S3 délai d'attente de Connexion lors de l'utilisation de boto3

Je suis en utilisant boto3 pour fonctionner avec S3. Si ma demande est impossible à atteindre S3 en raison d'un problème de réseau, la connexion se bloque jusqu'à ce que finalement il arrive à expiration. Je voudrais mettre un moindre délai d'attente de connexion. Je suis tombé sur cette PR pour botocore qui permet de définir un délai d'attente:

$ sudo iptables -A OUTPUT -p tcp --dport 443 -j DROP

from botocore.client import Config
import boto3

config = Config(connect_timeout=5, read_timeout=5)

s3 = boto3.client('s3', config=config)

s3.head_bucket(Bucket='my-s3-bucket')

Cela jette un ConnectTimeout, mais il prend trop de temps à l'erreur:

ConnectTimeout: HTTPSConnectionPool(host='my-s3-bucket.s3.amazonaws.com', port=443): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<botocore.awsrequest.AWSHTTPSConnection object at 0x2ad5dd0>, 'Connection to my-s3-bucket.s3.amazonaws.com timed out. (connect timeout=5)'))

De peaufinage à la fois le connecter et de lire les délais d'attente n'a pas d'impact sur la façon dont rapidement la connexion répond.

Qu'est ce que iptables commande en train de faire là? Il empêche quiconque d'entrer en contact avec le port 443 de n'importe quel serveur. Il ignore les paquets et à toute connexion HTTPS temps. Pourquoi est-il là?
Je soupçonne que c'est la façon dont les OP simule une fracture de réseau.

OriginalL'auteur Python Novice | 2016-12-21

  1. 10

    Vous sont probablement de vous faire piquer par boto3 comportement par défaut de la nouvelle tentative de connexions à plusieurs reprises et de façon exponentielle la sauvegarde de repos entre les deux. J'ai eu de bons résultats avec les éléments suivants:

    config = Config(connect_timeout=5, retries={'max_attempts': 0})
    Ce travail est pour moi, Merci!
    En ajoutant le texte de l'erreur, de sorte que les gens peuvent rechercher: botocore.des exceptions.ClientError: Une erreur s'est produite (InternalError) lors de l'appel de la fonction GetObject opération (atteinte max retries: 4): Nous avons rencontré une erreur interne. Merci d'essayer de nouveau.

    OriginalL'auteur llude

  2. 0

    Avez-vous jamais obtenir ce résolu? Mon soupçon est que vous avez besoin des informations d'identification pour votre boto connexion.

    Ici est de savoir comment me connecter à boto3:

    import boto3
from botocore.exceptions import ClientError
import re
from io import BytesIO
import gzip
import datetime
import dateutil.parser as dparser
from datetime import datetime
import tarfile
import requests
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

## Needed glue stuff
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)

## 
## currently this will run for everything that is in the staging directory         of omniture

# set needed parms
myProfileName = 'MyDataLake'
dhiBucket = 'data-lake'
#create boto3 session
try:    
    session = boto3.Session(aws_access_key_id='aaaaaaaaaaaa', aws_secret_access_key='abcdefghijklmnopqrstuvwxyz', region_name='us-east-    1')aws_session_token=None, region_name=None, botocore_session=None
s3 = session.resource('s3') #establish connection to s3
except Exception as conne:
    print ("Unable to connect:  " + str(conne))
    errtxt = requests.post("https://errorcapturesite", data=    {'message':'Unable to connect to : ' + myProfileName,     'notify':True,'color':'red'})
    print(errtxt.text) 
    exit()
    Btw c'est une très mauvaise idée de stocker vos aws_access_key_id et aws_secret_access_key variables dans le code. Recommande de stocker vos informations d'identification comme des variables d'environnement ou localement au ~/.aws/credentials. Voir le lien suivant pour plus de détails boto3.readthedocs.io/en/latest/guide/configuration.html

    OriginalL'auteur EM Bee