Les Pandas & AWS Lambda

Personne ne dispose d'une version compilée de pandas qui est compatible avec AWS Lambda?

Après avoir cherché pendant quelques heures, je n'arrive pas à trouver ce que je recherche et la documentation sur ce sujet est inexistante.

J'ai besoin d'accéder à l'emballage dans une fonction lambda toutefois, j'ai échoué à obtenir le package de compiler correctement pour une utilisation dans une fonction Lambda.

En lieu et place de la compilation quelqu'un peut-il fournir reproductible étapes pour créer les fichiers binaires?

Malheureusement je n'ai pas réussi à reproduire l'une quelconque des guides sur des sujets comme la plupart ils combinent les pandas avec scipy qui je n'ai pas besoin et ajoute une couche supplémentaire de charge.

InformationsquelleAutor Moe | 2016-03-17
  1. 16

    Je crois que vous devriez être en mesure d'utiliser la récente pandas version (ou probablement, l'une sur votre machine). Vous pouvez créer un lambda paquet avec des pandas par vous-même comme cela,

    1. D'abord trouver où les pandas package est installé sur votre machine, c'est à dire Ouvrir un python terminal et tapez 

      import pandas
pandas.__file__

      Qui doit afficher quelque chose comme '/usr/local/lib/python3.4/site-packages/pandas/__init__.py'

    2. Maintenant copier les pandas dossier à partir de cet emplacement (dans ce cas '/usr/local/lib/python3.4/site-packages/pandas) et le placer dans votre référentiel.

    3. L'emballage de vos Lambda code avec les pandas comme ceci:

      zip -r9 my_lambda.zip pandas/
zip -9 my_lambda.zip my_lambda_function.py

    Vous pouvez également déployer votre code de S3 et de faire vos Lambda utiliser le code de S3.

    aws s3 cp  my_lambda.zip s3://dev-code//projectx/lambda_packages/

    Voici le repo qui vous permettra de commencer

    InformationsquelleAutor blueskin
  2. 11

    Après quelques retouches autour et beaucoup de recherches sur google, j'ai pu faire tout le travail et l'installation d'un repo qui peuvent seulement être cloné dans le futur.

    Plats à emporter clés:

    1. Toutes statique paquets doivent être compilé sur un ec2 d'amazon Linux instance
    2. Le code python pour charger les bibliothèques dans le répertoire lib/dossier avant de s'exécuter.

    Dépôt Github:
    https://github.com/moesy/AWS-Lambda-ML-Microservice-Skeleton

    • veuillez prendre un second regard sur le repo il génère les fichiers binaires à partir de la source.
    • Mais cela nécessite une instance ec2. Comment éviter qu'un?
    • Si vous avez une machine linux, la même procédure peut être fait dans votre local. L'exigence de base est juste que la Lambda fonctionne sur Linux, par conséquent, la compilation de la non Amazon Api doivent être Linux.
    InformationsquelleAutor Moe
  3. 4

    Je sais que la question a été posée il y a quelques années et Lambda est sur une autre scène d'alors.

    J'ai fait face à des problèmes similaires, dernièrement, et j'ai pensé que ce serait une bonne idée d'ajouter la nouvelle solution pour les futurs utilisateurs confrontés au même problème.

    Il s'avère que amazon a publié le concept de calques dans le re:Inventer de 2018. C'est une grande fonctionnalité. Ce post dans un milieu qu'il décrit beaucoup mieux que j'ai pu ici: La création de Nouveaux AWS Lambda Couche Pour Python Pandas Bibliothèque

    • Pas sûr que ce est une réponse à la question d'origine. Vous avez encore le besoin de créer le Lambda de la Couche par l'intermédiaire d'un package de déploiement qui contient l'correctement les binaires compilés. Lambda Couches tout à fait de ces dépendances ré-utilisable dans de multiples fonctions.
    InformationsquelleAutor b3rtz
  4. 1

    J'ai réussi à déployer une pandas code dans aws lambda à l'aide de python3.6 de l'exécution . c'est l'étape que j'ai suivi :

    1. Ajouter les bibliothèques requises dans requirements.txt
    2. Projet de construction dans un conteneur docker (à l'aide d'aws sam cli : sam build --utilisation d'un container)
    3. Exécuter du code (sam locale invoque, cas de test.json)

    c'est un helper : https://github.com/ysfmag/aws-lambda-py-pandas-template

    • Ce que l'enfer est sam?
    InformationsquelleAutor ymaghzaz
  5. 1

    Une autre option consiste à télécharger le pré-compilé roue de fichiers comme expliqué sur ce post: https://aws.amazon.com/premiumsupport/knowledge-center/lambda-python-package-compatible/

    Essentiellement, vous avez besoin d'aller à la page du projet sur https://pypi.org et de télécharger les fichiers nommés comme suit:

    • Pour Python 2.7: module-nom-version-cp27-cp27mu-manylinux1_x86_64.whl
    • Pour Python 3.6: module-nom-version-cp36-cp36m-manylinux1_x86_64.whl

    Puis décompressez-le .whl les fichiers de votre répertoire de projet et de re-compresser le contenu avec vos lambda code.

    REMARQUE: La principale fonction Python fichier(s) doit être dans le dossier racine de la package de déploiement .fichier zip. D'autres modules Python et dépendances en sous-dossiers. Quelque chose comme:

    my_lambda_deployment_package.zip
├───lambda_function.py
├───numpy
│   ├───[subfolders...]
├───pandas
│   ├───[subfolders...]
└───[additional package folders...]
    • Ce n'est pas de travail. Ce que j'ai fait a fait pandas-0.24.2 et ses dépendances (numpy-1.16.2, python-dateutil-2.8.0, pytz-2018.9, six-1.12.0), tous les cp36-cp36m-manylinux1_x86_64.whl à partir de pypi.org et décompressé et mis dans un seul dossier windows. Mettre le code Python, zippé et téléchargées. Erreur: Impossible d'importer le module 'lambda_function': No module named 'lambda_function'
    • Sonne comme il s'attend à la valeur par défaut de python de nom de fichier. Est votre lambda_function.py fichier dans la racine de votre .fichier zip avec les différents dossiers package?
    InformationsquelleAutor ashtonium
  6. 0

    Il y a quelques paquets précompilés sur github par ryfeus.

    InformationsquelleAutor Rajesh