Comment Télécharger de Nombreux Fichiers pour Google Colab?

Je suis en train de travailler sur la segmentation d'images d'apprentissage de la machine projet et je voudrais le tester sur Google Colab.

Pour l'ensemble de données d'apprentissage, j'ai 700 images, pour la plupart 256x256, que j'ai besoin de télécharger vers un python tableau numpy pour mon projet. J'ai aussi des milliers de correspondants masque de fichiers à télécharger. Ils existent dans une variété de sous-dossiers sur Google drive, mais ont été incapables de télécharger sur Google Colab pour l'utiliser dans mon projet.

Jusqu'à présent, j'ai essayé à l'aide de Google Fusible qui semble avoir très lente vitesse d'upload et PyDrive qui m'a donné une variété d'erreurs d'authentification. J'ai été en utilisant le Google Colab I/O exemple de code pour la plupart.

Comment dois-je aller à ce sujet? Serait PyDrive être le chemin à parcourir? Code quelque part pour le téléchargement d'un dossier de la structure ou plusieurs fichiers à la fois?

InformationsquelleAutor cambonator | 2018-02-19
  1. 7

    Vous pouvez mettre toutes vos données dans votre google drive, et de monter en voiture. C'est la façon dont je l'ai fait. Laissez-moi vous expliquer en étapes.

    Étape 1:
    Le transfert de vos données dans votre google drive.

    Étape 2:
    Exécutez le code suivant pour monter votre google drive.

    # Install a Drive FUSE wrapper.
# https://github.com/astrada/google-drive-ocamlfuse
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse



# Generate auth tokens for Colab
from google.colab import auth
auth.authenticate_user()


# Generate creds for the Drive FUSE library.
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}


# Create a directory and mount Google Drive using that directory.
!mkdir -p My Drive
!google-drive-ocamlfuse My Drive


!ls My Drive/

# Create a file in Drive.
!echo "This newly created file will appear in your Drive file list." > My Drive/created.txt

    Étape 3:
    Exécutez la ligne suivante pour vérifier si vous pouvez voir vos données souhaitées dans le lecteur monté.

    !ls Drive

    Étape 4:

    Maintenant charger vos données dans un tableau numpy comme suit. J'ai eu mes fichiers exel avoir mon train, un cv et des données de test.

    train_data = pd.read_excel(r'Drive/train.xlsx')
test = pd.read_excel(r'Drive/test.xlsx')
cv= pd.read_excel(r'Drive/cv.xlsx')

    J'espère que cela peut aider.

    Modifier

    Pour télécharger les données dans le lecteur de la colab cahier de l'environnement, vous pouvez exécuter le code suivant.

    # Install the PyDrive wrapper & import libraries.
# This only needs to be done once in a notebook.
!pip install -U -q PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials



# Authenticate and create the PyDrive client.
# This only needs to be done once in a notebook.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)



# Create & upload a file.
uploaded = drive.CreateFile({'data.xlsx': 'data.xlsx'})
uploaded.SetContentFile('data.xlsx')
uploaded.Upload()
print('Uploaded file with ID {}'.format(uploaded.get('id')))
    • Pour certaines raisons, cette approche ne fonctionne plus, l'adresse URL ne s'affiche pas, seulement le champ pour entrer la clé.
    • le fais actuellement et il est travaillé pour moi. Je dirais que le redémarrage de votre colab portable et essayez à nouveau. Vous pouvez essayer de redémarrer votre navigateur. Laissez-moi savoir si cela ne fonctionne toujours pas.
    • copier (dans la boîte ) AD5F235DF639B041 ou quelque chose comme cette clé, qui apparaît dans la troisième ligne si vous exécutez le premier morceau de code que j'ai mentionné plus tôt.
    • merci pour l'extrait. Que faire si le jeu de données que j'utilise n'est pas sur ma machine locale. Puis-je utiliser colab avec mon Disque monté pour télécharger le jeu de données et l'enregistrer dans un dossier sur mon disque ?
    • télécharger les données dans votre google drive, veuillez vérifier mes mises à jour de réponse. Les données sont téléchargées à partir de et téléchargés dans votre Google Drive seulement. Vous pouvez ensuite transférer ces données sur votre machine locale.
    InformationsquelleAutor Abdul Karim Khan
  2. 4

    Voici quelques étapes pour télécharger vaste ensemble de données de Google Colab

    1.Télécharger votre jeu de données pour libérer de stockage sur le cloud comme dropbox, openload, etc.(J'ai utilisé dropbox)


    2.Créer une à partager le lien de votre fichier téléchargé et copiez-le.


    3.Ouvrez votre bloc-notes dans Google Colab et exécutez cette commande dans l'une des cellules:

        !wget your_shareable_file_link

    Que c'est!

    Vous pouvez compresser votre jeu de données dans un fichier zip ou rar fichier et, plus tard, unizp après téléchargement dans Google Colab à l'aide de cette commande:

        !unzip downloaded_filename -d destination_folder
    • ou utiliser github pour garder tous vos fichiers et à faire: git clone [YOUR_REPO]
    InformationsquelleAutor nikhilbisht21
  3. 1

    Fichier Zip, vous d'abord, puis de la télécharger à Google Drive.

    Voir cette simple commande de décompression:

    !unzip {file_location}

    Exemple:

    !unzip drive/models.rar
    • N'a pas fonctionné. Au lieu de cela d'abord télécharger le zip à l'aide de wget et puis la décompression, il a travaillé.
    InformationsquelleAutor Deepak Ravi
  4. 0

    Vous pouvez essayer de le kaggle-cli module, tel que discuté ici

    InformationsquelleAutor Korakot Chaovavanich