FTP de Stockage Google

Certains fichiers sont téléchargés sur une base quotidienne à un serveur FTP et j'ai besoin de ces fichiers dans Google Cloud Storage. Je ne veux pas embêter les utilisateurs de télécharger des fichiers à installer de logiciels supplémentaires et les laisser continuer à utiliser leur client FTP.
Est-il possible d'utiliser GCS comme un serveur FTP? Si non, comment puis-je créer un travail qui périodiquement ramasse les fichiers à partir d'un emplacement FTP et les met dans CG?
En d'autres termes: quelle est la meilleure et la plus simple façon de le faire?

Semble comme une façon est de mettre en place un serveur FTP sur une machine virtuelle et l'utilisation gcsfs de se connecter à ce serveur à GCS, comme décrit ici ilyapimenov.com/blog/2015/01/19/ftp-proxy-to-gcs.html - est-ce de travailler pour vous?

OriginalL'auteur CCC | 2017-04-19

  1. 9

    Vous pouvez écrire vous-même un serveur FTP qui télécharge à GCS, par exemple basé sur pyftpdlib

    Définir un gestionnaire personnalisé magasins GCS lorsqu'un fichier est reçu 

    import os
from pyftpdlib.handlers import FTPHandler
from pyftpdlib.servers import FTPServer
from pyftpdlib.authorizers import DummyAuthorizer
from google.cloud import storage

class MyHandler:
    def on_file_received(self, file):
        storage_client = storage.Client()
        bucket = storage_client.get_bucket('your_gcs_bucket')
        blob = bucket.blob(file[5:]) # strip leading /tmp/
        blob.upload_from_filename(file)
        os.remove(file)
    def on_... # implement other events

def main():
    authorizer = DummyAuthorizer()
    authorizer.add_user('user', 'password', homedir='/tmp', perm='elradfmw')

    handler = MyHandler
    handler.authorizer = authorizer
    handler.masquerade_address = add.your.public.ip
    handler.passive_ports = range(60000, 60999)

    server = FTPServer(("127.0.0.1", 21), handler)
    server.serve_forever()

if __name__ == "__main__":
    main()

    J'ai réussi à l'exécuter sur Google Container Engine (il nécessite un certain effort arriver passive FTP fonctionne correctement), mais il devrait être assez simple à faire sur Compute Engine. Selon la configuration ci-dessus, ouvrir le port 21 et ports 60000 - 60999 sur le pare-feu.

    Pour l'exécuter, python my_ftp_server.py - si vous souhaitez écouter sur le port 21 vous aurez besoin des privilèges root.

    Où mettre ce fichier aller? comment puis-utilisateur de s'authentifier avec le client ftp (quels sont le nom du host, user, pass)?
    Je pense que crazystick est ce qui suggère que l'utilisateur s'authentifie auprès du serveur FTP comme vous l'aimez, et que le serveur FTP, vous êtes en cours d'exécution, dispose d'informations d'identification pour télécharger les objets de GCS. Si vous écrivez à un serveur FTP, serveur FTP transfère de téléchargement de flux sur de GCS.
    Oui - vérifier les documents pour pyftpdlib et vous trouverez un certain nombre d'options pour l'authentification. Dans l'exemple ci-dessus, tout le monde peut se connecter au serveur FTP en utilisant le nom d'utilisateur "utilisateur" et le mot de passe "mot de passe", et tous les fichiers sont sous-évaluées dans le même GCS seau avec de sécurité par défaut. En cours d'exécution sur Compute Engine / Conteneur Moteur vous obtient les informations d'identification pour les GCS
    Merci... je sais que je suis peut-être trop demander, mais où ce fichier, allez et ce que les modifications de configuration de la machine virtuelle dans Compute Engine? Aussi, devrait-il y avoir aucune considération pour le mode FTP passif et de se connecter à l'adresse IP externe?
    J'ai ajouté quelques options de configuration vous aurez probablement envie de le faire fonctionner sur GCE. Pour l'avoir démarrer automatiquement, vous devez écrire un systemd service de celle-ci. Cela devrait être assez trivial et il y a beaucoup de ressources en expliquant comment.

    OriginalL'auteur crazystick

  2. 3

    Vous pourriez utiliser un cron et rsync entre le serveur FTP et Google Cloud de Stockage à l'aide de gsutil rsync ou open source rclone outil.

    Si vous ne pouvez pas exécuter ces commandes sur le serveur FTP périodiquement, vous pouvez monter le serveur FTP comme un système de fichiers local ou en voiture (Linux, Windows)

    OriginalL'auteur Lukasz Cwik

  3. 2

    J'ai réussi à mettre en place un proxy FTP à GCS à l'aide de gcsfs dans une machine virtuelle dans Google Compute (mentionné par jkff dans le commentaire à ma question), avec ces instructions:
    http://ilyapimenov.com/blog/2015/01/19/ftp-proxy-to-gcs.html

    Certains changements sont nécessaires, si:

    Certains problèmes possibles:

    • Si vous pouvez accéder au serveur FTP à l'aide de l'adresse ip locale, mais pas l'adresse ip à distance, c'est probablement parce que vous n'avez pas défini les règles de pare-feu
    • Si vous pouvez accéder au serveur ftp, mais sont incapables de l'écrire, c'est probablement parce que vous avez besoin de la write_enable=YES
    • Si vous liant à lire sur le dossier que vous avez créé dans le répertoire /mnt, mais à obtenir une erreur d'e/S, c'est probablement parce que le seau dans gcsfs_config n'est pas droit.

    Aussi, votre client ftp doit utiliser le transfert en mode "passif".

    Nous avons fait cela, mais ai d'énormes quantités d'erreurs intermittentes avec tous les prêts à des solutions de FTP. La seule chose qui a travaillé dans la fin a été pyftpdlib, qui nous le faire fonctionner sur un FUSIBLE monté GCS.

    OriginalL'auteur CCC

  4. 1

    Configurer une machine virtuelle dans le cloud google, à l'aide de certains *nix saveur. Configurer ftp sur elle, et de pointer vers un dossier abc. Utiliser google fusible pour monter abc comme un GCS seau. Voila - et-vient entre les tables /ftp sans avoir à écrire de n'importe quel logiciel.
    (Petits caractères: fusible de rouleaux et meurt si vous poussez trop de données, afin de rebondir périodiquement, une fois par semaine ou une fois par jour; aussi, vous pourriez avoir besoin pour définir le montage ou le fusible pour accorder des autorisations pour tous les utilisateurs)

    OriginalL'auteur user3688176