Quel est le moyen le plus facile pour exécuter des scripts python dans un serveur cloud?

J'ai une analyse web script python qui prend des heures à remplir, et il est impossible de s'exécuter dans son intégralité sur ma machine locale. Est-il un moyen pratique de déployer ce pour un simple serveur web? Le script fondamentalement téléchargements de pages web dans des fichiers texte. Comment cela serait-il mieux?
Merci!

Peut-être vous demandez pour ceci.

OriginalL'auteur user1330691 | 2014-11-13

  1. 4

    Puisque vous avez dit que la performance est un problème, et vous le faites web de grattage, la première chose à faire est d'essayer un Scrapy cadre - c'est très rapide et facile à utiliser le web scraping cadre. scrapyd outil vous permettra de distribuer le système - vous pouvez avoir plusieurs scrapyd services s'exécutant sur des serveurs différents et partager la charge entre chaque. Voir:

    Il y a aussi un Scrapy Cloud service:

    Scrapy Cloud ponts la très efficace Scrapy développement
    de l'environnement avec un robuste, entièrement en vedette environnement de production à
    de déployer et d'exécuter vos analyses. C'est comme un Heroku pour Scrapy, bien que
    d'autres technologies seront pris en charge dans un avenir proche. Il fonctionne sur
    haut de la Scrapinghub plate-forme, ce qui signifie que votre projet peut évoluer sur
    la demande, en tant que de besoin.

    OriginalL'auteur alecxe

  2. 3

    Comme une alternative aux solutions déjà donné, je dirais Heroku. Vous ne pouvez pas seulement de déployer facilement un site web, mais aussi des scripts pour les robots pour exécuter.

    De base du compte est gratuite et est assez flexible.

    Cette entrée de blog, cette une et cette vidéo contiennent des exemples pratiques de la façon de le faire fonctionner.

    OriginalL'auteur J0ANMM

  3. 2

    Il y a plusieurs endroits où vous pouvez le faire. Juste google pour "python dans le cloud", vous pouvez venir avec quelques-uns, par exemple https://www.pythonanywhere.com/.

    En outre, il existe également plusieurs nuages IDEs qu'essentiellement vous donner une petite VM pour gratuit où vous pouvez développer votre code dans un basé sur le web de l'IDE et de l'exécuter sur la machine virtuelle, en est un exemple http://www.c9.io.

    PythonAnywhere dev ici -- merci pour la mention! 🙂 Permettez-moi d'ajouter que nous avons un certain nombre de clients à l'aide de nous pour Scrapy. Cette façon de garder les scripts en cours d'exécution est très populaire: pythonanywhere.com/wiki/LongRunningTasks

    OriginalL'auteur BostonHiker