L'utilisation de R pour télécharger zippée fichier de données, extraire et importer des données

@EZGraphs sur Twitter a écrit:
"Beaucoup de en ligne csvs sont zippés. Est-il un moyen pour télécharger, décompresser l'archive, et de charger les données d'un ensemble de données.cadre de l'utilisation de R? #Rstats"

J'ai également essayer de faire ça aujourd'hui, mais il a fini juste le téléchargement du fichier zip manuellement.

J'ai essayé quelque chose comme:

fileName <- "http://www.newcl.org/data/zipfiles/a1.zip"
con1 <- unz(fileName, filename="a1.dat", open = "r")

mais je me sens comme si je suis loin.
Toutes les pensées?

Fait-il? Si oui, pourquoi vous vous sentez toujours que vous êtes un long chemin?
Nope. le code dans ma question ne fonctionne pas. Voir les réponses ci-dessous.

InformationsquelleAutor Jeromy Anglim | 2010-06-16

connection r zip

160

Les archives Zip sont en fait plus un "système de fichiers" avec le contenu de métadonnées etc. Voir help(unzip) pour plus de détails. Donc pour faire ce que vous esquisser ci-dessus, vous devez
1. Créer un temp. nom de fichier (par exemple tempfile())
2. Utilisation download.file() pour aller chercher le fichier dans le temp. fichier
3. Utilisation unz() pour extraire le fichier cible de temp. fichier
4. Supprimer le fichier temporaire via unlink()
qui dans le code (merci pour l'exemple de base, mais c'est plus simple) ressemble
```
temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
data <- read.table(unz(temp, "a1.dat"))
unlink(temp)
```
Comprimé (.z) ou au format gzip (.gz) ou bzip2ed (.bz2) les fichiers sont juste le fichier et ceux que vous pouvez lire directement à partir d'une connexion. Ainsi, obtenir le fournisseur de données pour l'utiliser à la place 🙂
- Dirk, auriez-vous l'esprit en expansion sur la façon d'extraire des données à partir d'un .z archive? Je peux lire à partir d'une url de connexion avec readBin(url(x, "rb"), 'raw', 99999999), mais comment pourrais-je extraire les données contenues? Le uncompress colis a été retiré de CRAN - est-ce possible dans la base de R (et si oui, est-elle limitée à des systèmes *nix?)? Heureux de poster une nouvelle question le cas échéant.
- Voir help(gzfile) -- je pensais que le gzip protocole peut maintenant décompresser pierre (ancienne) .z les fichiers trop maintenant que le brevet a longtemps expiré. Il ne peut pas. Qui l'utilise .z, de toute façon? Les années 1980 on les appelle, ils veulent que leur compression de retour 😉
- Merci - je ne peux pas le faire fonctionner, donc c'est peut-être pas pris en charge, après tout. Le Bureau Australien de Météorologie prévoit certaines de leurs données .z, malheureusement!
- Pour info Il ne fonctionne pas avec readRDS() (au moins pour moi). À partir de ce que je peux dire, le fichier doit être dans un type de fichier que vous pouvez lire avec read.table().
- Pour faire écho au commentaire de @jessi , il ne fonctionne pas avec readxl::read_excel() soit
- vous aurez également besoin de fermer la connexion. R ne peut avoir de 125 ouverts à la fois. Quelque chose comme con <- unz(temp, "a1.dat"); données <- lire.tableau(con); close(con);
InformationsquelleAutor Dirk Eddelbuettel
27

Juste pour le record, j'ai essayé de traduire de Dirk réponse dans le code 😛
```
temp <- tempfile()
download.file("http://www.newcl.org/data/zipfiles/a1.zip",temp)
con <- unz(temp, "a1.dat")
data <- matrix(scan(con),ncol=4,byrow=TRUE)
unlink(temp)
```
- N'utilisez pas de scan(); vous pouvez utiliser read.table() et al directement sur une connexion. Voir mon édité réponse,
- Merci pour montrer comment la mettre en œuvre.
InformationsquelleAutor George Dontas
17

J'ai utilisé CRAN package "downloader", à http://cran.r-project.org/web/packages/downloader/index.html . Beaucoup plus facile.
```
download(url, dest="dataset.zip", mode="wb") 
unzip ("dataset.zip", exdir = "./")
```
- juste l'ajout de virgules, DONC, se plaint! (d'où le modifier en bas)
- Je viens de l'utiliser utils::décompressez pas besoin de la downlaoder paquet pour moi
- Incroyable de voir comment beaucoup plus facile de ce package, rend cette tâche. Merci beaucoup pour la mettre en lien
- l' './' donne une erreur "exdir n'existe pas"
InformationsquelleAutor unixcreeper
6

Pour Mac (et je suppose Linux)...

Si l'archive zip contient un fichier unique, vous pouvez utiliser la commande bash funzip, en étroite collaboration avec fread de la data.table package:
```
library(data.table)
dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | funzip")
```
Dans les cas où l'archive contient plusieurs fichiers, vous pouvez utiliser tar au lieu d'extraire un fichier spécifique à stdout:
```
dt <- fread("curl http://www.newcl.org/data/zipfiles/a1.zip | tar -xf- --to-stdout *a1.dat")
```
- quand j'ai essayé votre solution pour plusieurs fichiers, j'obtiens une erreur que File is empty:
InformationsquelleAutor dnlbrky

Voici un exemple qui fonctionne pour les fichiers qui ne peuvent pas être lues avec le read.table fonction. Cet exemple lit .fichier xls.

url <-"https://www1.toronto.ca/City_Of_Toronto/Information_Technology/Open_Data/Data_Sets/Assets/Files/fire_stns.zip"

temp <- tempfile()
temp2 <- tempfile()

download.file(url, temp)
unzip(zipfile = temp, exdir = temp2)
data <- read_xls(file.path(temp2, "fire station x_y.xls"))

unlink(c(temp, temp2))

InformationsquelleAutor ColinTea

Essayer ce code. Il fonctionne pour moi:

unzip(zipfile="<directory and filename>",
      exdir="<directory where the content will be extracted>")

Exemple:

unzip(zipfile="./data/Data.zip",exdir="./data")

InformationsquelleAutor Marcelo Tibau

3

Pour ce faire à l'aide de données.tableau, j'ai trouvé que les œuvres suivantes. Malheureusement, le lien ne fonctionne plus, j'ai donc utilisé un lien pour un autre ensemble de données.
```
library(data.table)
temp <- tempfile()
download.file("https://www.bls.gov/tus/special.requests/atusact_0315.zip", temp)
timeUse <- fread(unzip(temp, files = "atusact_0315.dat"))
rm(temp)
```
Je sais que c'est possible en une seule ligne puisque vous pouvez passer des scripts bash pour fread, mais je ne suis pas sûr de la façon de télécharger un .fichier zip, extraire, et de passer un seul fichier à fread.

InformationsquelleAutor Mallick Hossain

Vous devez vous connecter pour publier un commentaire.