Comment télécharger toutes les données de Google BigQuery dataset?

Est-il un moyen facile de télécharger directement toutes les données contenues dans une série de données sur Google BigQuery? Je suis en train de télécharger "csv", en faisant une requête après l'autre, mais il ne m'autorise pas à obtenir plus de 15k lignes, et les lignes j'ai besoin de télécharger plus de 5M.
Merci

developers.google.com/bigquery/bigquery-browser-tool#exportdata états, vous devez l'exporter sous la forme d'un tableau à google cloud storage si son >16k lignes

OriginalL'auteur mark | 2013-08-28

  1. 5

    Vous pouvez exécuter BigQuery extraction des emplois à l'aide de l'INTERFACE Web, l'outil de ligne de commande, ou le BigQuery API. Les données peuvent être extraites

    Par exemple, à l'aide de l'outil de ligne de commande:

    De la première installation et d'authentification à l'aide de ces instructions:
    https://developers.google.com/bigquery/bq-command-line-tool-quickstart

    Alors assurez-vous de disposer d'une Google Cloud Storage seau (voir Google Cloud Console à cet effet).

    Ensuite, exécutez la commande suivante:
    bq extrait my_dataset.ma_table gs://mybucket/monfichier.csv

    Plus sur l'extraction de données via l'API ici:
    https://developers.google.com/bigquery/exporting-data-from-bigquery

    Merci: bonne réponse, mais google a une politique très boiteux. Mauvaise méthode, forçant les utilisateurs à s'abonner à leur service

    OriginalL'auteur Michael Manoochehri

  2. 5

    Détaillé étape par étape pour télécharger de gros de requête de sortie

    1. permettre de facturation

      Vous devez donner votre numéro de carte de crédit à Google pour exporter le résultat, et vous pourriez avoir à payer.

      Mais le quota gratuit (1 to de données traitées) devrait suffire pour de nombreux hobby projets.

    2. créer un projet

    3. de facturation associé à un projet

    4. faire votre requête

    5. créer un nouveau dataset

    6. cliquez sur "Afficher les options" et activez l'option "Permettre à de Grands Résultats" si la sortie est en très grande

    7. exporter le résultat de la requête à une table dans le dataset

    8. créer un seau de Stockage en Nuage.

    9. exporter la table à l'opposé sur le Cloud de Stockage.

      • assurez-vous de cliquer sur la compression GZIP

      • d'utiliser un nom comme <bucket>/prefix.gz.

        Si la sortie est très grand, le nom de fichier doit avoir un astérisque * et la sortie sera divisé en plusieurs fichiers.

    10. télécharger le tableau de cloud de stockage à votre ordinateur.

      Ne semble pas possible de télécharger plusieurs fichiers à partir de l'interface web si le fichier de grande taille ont dû se séparer, mais vous pouvez en installer gsutil et de l'exécution:

      gsutil -m cp -r 'gs://<bucket>/prefix_*' .

      Voir aussi: Télécharger des fichiers et des dossiers à partir de Google seau de Rangement dans un dossier local

      Il y a un gsutil dans Ubuntu 16.04 mais c'est un autre package.

      Vous devez installer et configurer comme documenté:

    11. décompresser en local:

      for f in *.gz; do gunzip "$f"; done
    J'obtiens toujours ServiceException: 401 Anonymous users does not have storage.objects.list access to bucket sur l'étape 10. Comment puis-je résoudre ce problème?
    désolé, n'est-ce pas touché depuis un moment. Veuillez poser une autre question, et me donner le lien dans un autre commentaire.

    OriginalL'auteur Ciro Santilli 新疆改造中心 六四事件 法轮功

  3. 1

    oui étapes proposées par Michael Manoochehri sont correct et facile d'exporter des données à partir de Google Bigquery.

    J'ai écrit un script bash de sorte que vous n'avez pas besoin d'effectuer ces étapes à chaque fois , il suffit d'utiliser mon script bash .
    ci-dessous sont le github url :
    https://github.com/rajnish4dba/GoogleBigQuery_Scripts

    champ d'application :

    1. exportation des données de base sur votre Requête SQL.

    2. exportation de données basé sur le nom de votre table.

    3. le transfert de votre fichier d'exportation pour le serveur SFtp.

    essayez-le et laissez-moi savoir vos commentaires.

    pour aider à utiliser ExportDataFromBigQuery.sh -h

    OriginalL'auteur Rajnish