écrire un fichier gzip de trame de données

Je suis en train d'écrire un bloc de données à un fichier gzip, mais d'avoir des problèmes.

Voici mon code exemple:

df1 <- data.frame(id = seq(1,10,1), var1 = runif(10), var2 = runif(10))

gz1 <- gzfile("df1.gz","w" )
writeLines(df1)

Erreur dans writeLines(df1) : invalid 'texte' argument

Des suggestions?

EDIT:
un exemple de ligne du personnage, vectoriel, je suis en train d'écrire est:

0 | var1:1.5 var2:.55 var7:1250

La classe label /y-variable est séparé de la x-vars par un " | "et les noms de variables sont séparées les valeurs par" : "et les espaces entre les variables.

EDIT2:
Je m'excuse pour la formulation et la forme de la question, mais voici les résultats:
Ancienne méthode:

system.time(write(out1, file="out1.txt"))
#    user  system elapsed 
#   9.772  17.205  86.860

Nouvelle Méthode:

writeGzFile <- function(){
  gz1 = gzfile("df1.gz","w");
  write(out1, gz1);
  close(gz1) 
}

system.time( writeGzFile())
#    user  system elapsed 
#   2.312   0.000   2.478

Merci beaucoup à tous de m'aider à comprendre cela.

Comme c'est souvent demandé sur Rhelp: "Quel problème essayez-vous de résoudre".
Indice: la réponse @DWin commentaire n'est pas "Comment puis-je écrire un bloc de données à un fichier gzip?"
Plus question serait "Est-il plus rapide à écrire .fichier txt ou .fichier gz de R?"
Cela dépend de combien de temps votre morceau de ficelle. En termes informatiques, si votre CPU ou I/O est le goulot d'étranglement. L'écriture d'un gros fichier sur un disque rapide est plus rapide que le calcul d'une forme compressée sur un CPU lent.
J'espérais obtenir une réponse à la question "que peut-il y avoir dans le traitement de la R objet de données d'une manière autre que celui atteint par save"? Avez-vous besoin d'être lu par un programme autre que R?

OriginalL'auteur screechOwl | 2013-01-08

writeLines s'attend à une liste de chaînes de caractères. La façon la plus simple d'écrire ce à un fichier gzip serait

df1 <- data.frame(id = seq(1,10,1), var1 = runif(10), var2 = runif(10))
gz1 <- gzfile("df1.gz", "w")
write.csv(df1, gz1)
close(gz1)

Cela permettra d'écrire sous un format csv. Voir aussi write.table et write.csv2 pour d'autres façons d'écrire le fichier.

EDIT:Basé sur la mise à jour de l'article sur le format désiré, j'ai fait l'assistance suivante (rapidement jetés ensemble, probablement admet tonnes de simplification):

function(df) {
    rowCount <- nrow(df)
    dfNames <- names(df)
    dfNamesIndex <- length(dfNames)
    sapply(1:rowCount, function(rowIndex) {
        paste(rowIndex, '|', 
            paste(sapply(1:dfNamesIndex, function(element) {
                c(dfNames[element], ':', df[rowIndex, element])
            }), collapse=' ')
        )
    })
}

La sortie ressemble à

a <- data.frame(x=1:10,y=rnorm(10))
writeLines(myser(a))
# 1 | x : 1 y : -0.231340933021948
# 2 | x : 2 y : 0.896777389870928
# 3 | x : 3 y : -0.434875004781075
# 4 | x : 4 y : -0.0269824962632977
# 5 | x : 5 y : 0.67654540494899
# 6 | x : 6 y : -1.96965253674725
# 7 | x : 7 y : 0.0863177759402661
# 8 | x : 8 y : -0.130116466571162
# 9 | x : 9 y : 0.418337557610229
# 10 | x : 10 y : -1.22890714891874

Et tout ce qui est nécessaire est de passer le gzfile à writeLines pour obtenir le résultat souhaité.

Pour les personnes utilisant VW, voir aussi cette réponse plus rapides pour les options de writeLines: stackoverflow.com/a/41215573/3576984

OriginalL'auteur user295691

4

D'écrire quelque chose d'un fichier gzip vous avez besoin de "sérialiser" à texte. Pour R des objets, vous pouvez avoir un coup de couteau à l'aide de dput:
```
gz1 = gzfile("df1.gz","w")
dput(df1, gz1)
close(gz1)
```
Cependant, vous avez écrit un texte à la représentation de la trame de données dans le fichier. Ce sera très probablement être moins efficace que l'utilisation de save(df1,file="df1.RData") pour l'enregistrer dans un natif R fichier de données. Demandez-vous: pourquoi suis-je l'enregistrer en tant que .fichier gz?

Dans un test rapide avec un certains nombres aléatoires, le fichier gz était 54k, l' .RData fichier a été 34k

Je vous remercie. La raison pour laquelle je suis en train d'écrire .gz est que la sortie est un fichier d'entrée pour un autre programme qui lit .les fichiers gz. En d'autres termes, il quitte le R de l'écosystème. Sinon je l'utiliserais .RData.
Donc, juste gzip l' .RData fichier? Non, ça ne marchera pas, parce que gzip compression qui vous dit rien sur le format des données dans le fichier lors de la décompression. C'est un format de fichier CSV, format NetCDF, un fichier au format gzip fichier RData? Vous n'avez pas dit de nous.
Désolé, je suis en l'utilisant comme un fichier d'entrée pour un programme appelé vowpal wabbit. C'est un peu bizarre de délimiter à l'aide de '|', ':' et ' '.
Nous nous rapprochons de la vraie question. Voulez modifier la vôtre-à-dire de plus de ce que vous êtes désireux de le faire? Il semble que la réponse à faire (écrire.csv) pourrait être mieux. Mais c'est une conjecture.
Je suis actuel de l'utilisation de 'écrire(df1, file = "df1.txt")'. Mais c'est prendre un temps pour s'exécuter (C'est ~200k lignes). J'étais curieux de savoir si l'aide .gz serait plus rapide, mais ne pouvait pas obtenir de R à écrire un .fichier gz, qui est la raison de la question.

OriginalL'auteur Spacedman
3

Un autre moyen très simple de le faire est:
```
# We create the .csv file
write.csv(df1, "df1.csv")

# We compress it deleting the .csv
system("gzip df1.csv")
```
A eu l'idée de: http://blog.revolutionanalytics.com/2009/12/r-tip-save-time-and-space-by-compressing-data-files.html

OriginalL'auteur Gorka

Vous pouvez utiliser le gzip fonction dans R. utils:

library(R.utils)
library(data.table)

#Write gzip file
df <- data.table(var1='Compress me',var2=', please!')
fwrite(df,'filename.csv',sep=',')
gzip('filename.csv',destname='filename.csv.gz')`

#Read gzip file
fread('gzip -dc filename.csv.gz')
          var1      var2
1: Compress me , please!

OriginalL'auteur user3055034

Vous devez vous connecter pour publier un commentaire.