Comment lire un .gz fichier ligne par ligne en C++?

J'ai 3 téraoctet .gz fichier et que vous voulez lire son non compressé contenu ligne par ligne dans un programme C++. Comme le fichier est assez énorme, je veux éviter de le charger complètement en mémoire.

Quelqu'un peut poster un exemple simple de faire cela?

Vous aurez de le décompresser pour être en mesure de le lire. Cependant, ce que vous pouvez faire est de décompresser dans la mémoire, et pas sur le disque. Est-ce que vous vouliez dire ?
Vous ne pouvez pas - il n'y a pas de lignes à lire.
ce 3T? et @Neil est un droit .fichier gz n'aurez pas de "lignes" de son un format binaire.
très probablement, il signifie 3 téraoctets
3 téraoctets, je suppose. Par conséquent, vous ne pouvez pas décompresser le fichier entier.

OriginalL'auteur Shihab | 2010-07-08

  1. 14

    Vous sera très probablement avoir à utiliser ZLib de se dégonfler, l'exemple est disponible à partir de leurs site

    Alternativement, vous pouvez avoir un coup d'oeil à BOOST wrapper C++

    L'exemple de BOOST page (décompresse les données d'un fichier et écrit sur la sortie standard)

    #include <fstream>
#include <iostream>
#include <boost/iostreams/filtering_streambuf.hpp>
#include <boost/iostreams/copy.hpp>
#include <boost/iostreams/filter/zlib.hpp>

int main() 
{
    using namespace std;

    ifstream file("hello.z", ios_base::in | ios_base::binary);
    filtering_streambuf<input> in;
    in.push(zlib_decompressor());
    in.push(file);
    boost::iostreams::copy(in, cout);
}
    Ici, il est un meilleur exemple de la façon de lire ligne par ligne à l'aide de boost: techoverflow.net/2013/11/03/...

    OriginalL'auteur bobah

  2. 9

    Pour quelque chose qui va être utilisé régulièrement, vous voudrez probablement utiliser l'une des suggestions précédentes. Sinon, vous pouvez faire 

    gzcat file.gz | yourprogram

    et ont yourprogram lire à partir de la cin. Cela permettra de décompresser les parties du fichier en mémoire que c'est nécessaire, et envoyer la sortie sans compression pour yourprogram.

    OriginalL'auteur KeithB

  3. 2

    La zlib bibliothèque prend en charge la décompression des fichiers dans la mémoire en blocs, de sorte que vous n'avez pas à décompresser le fichier entier afin de les traiter.

    OriginalL'auteur Amnon

  4. 2

    À l'aide de zlib, je suis en train de faire quelque chose le long de ces lignes:

    //return a line in a std::vector< char >
std::vector< char > readline( gzFile f ) {
std::vector< char > v( 256 );
unsigned pos = 0;
for ( ;; ) {
if ( gzgets( f, &v[ pos ], v.size() - pos ) == 0 ) {
//end-of-file or error
int err;
const char *msg = gzerror( f, &err );
if ( err != Z_OK ) {
//handle error
}
break;
}
unsigned read = strlen( &v[ pos ] );
if ( v[ pos + read - 1 ] == '\n' ) {
if ( pos + read >= 2 && v[ pos + read - 2 ] == '\r' ) {
pos = pos + read - 2;
} else {
pos = pos + read - 1;
}
break;
}
if ( read == 0 || pos + read < v.size() - 1 ) {
pos = read + pos;
break;
}
pos = v.size() - 1;
v.resize( v.size() * 2 );
}
v.resize( pos );
return v;
}

    EDIT: Enlevé deux mal copié * dans l'exemple ci-dessus.
    EDIT: Corrigé en dehors des limites de lire sur v[pos + lire - 2]

    Hmm, cela a été downvoted au moins deux fois. C'est un exemple de travail sur l'utilisation "de base" zlib à mon humble avis, il est conseillé de commentaire au moment de voter ce à un improvemt possible.
    Cela a eu un bug majeur sur la ligne avec v[pos+lire-2] lorsque la ligne a été seulement un caractère '\n' (ligne vide sous linux), vous disposez d'un au-delà de la matrice de lire (-1 est converti à un grand unsigned adresse de mémoire). J'ai ajouté un pré-enregistrement.

    OriginalL'auteur mkluwe

  5. 1

    Vous ne pouvez pas faire cela, parce que *.gz n'avons pas de "lignes".

    Si les données compressées a des retours à la ligne, vous devrez le décompresser. Vous n'avez pas à décompresser toutes les données à la fois, vous le savez, vous pouvez le faire en morceaux, et envoyer des chaînes retour au programme principal lorsque vous rencontrez des caractères de saut de ligne. *.gz peut être décompressé à l'aide de zlib.

    OriginalL'auteur SigTerm

  6. 0

    Chilkat (http://www.chilkatsoft.com/) a des bibliothèques pour lire des fichiers compressés à partir d'un C++, .Net, VB, ... de l'application.

    OriginalL'auteur Patrick

  7. 0

    Voici un code avec lequel vous pouvez lire la normale et zippée fichiers ligne par ligne:

    char line[0x10000];
FILE *infile=open_file(file);
bool gzipped=endsWith(file, ".gz");
if(gzipped) 
init_gzip_stream(infile,&line[0]);
while (readLine(infile,line,gzipped)) {
if(line[0]==0)continue;//skip gzip new_block
printf(line);
}
#include <zlib.h>
#define CHUNK 0x100
#define OUT_CHUNK CHUNK*100
unsigned char gzip_in[CHUNK];
unsigned char gzip_out[OUT_CHUNK];
///* These are parameters to inflateInit2. See http://zlib.net/manual.html for the exact meanings. */
#define windowBits 15
#define ENABLE_ZLIB_GZIP 32
z_stream strm = {0};
z_stream init_gzip_stream(FILE* file,char* out){//unsigned     
strm.zalloc = Z_NULL;
strm.zfree = Z_NULL;
strm.opaque = Z_NULL;
strm.next_in = gzip_in;
strm.avail_in = 0;
strm.next_out = gzip_out;
inflateInit2 (& strm, windowBits | ENABLE_ZLIB_GZIP);
return strm;
}
bool inflate_gzip(FILE* file, z_stream strm,size_t bytes_read){
strm.avail_in = (int)bytes_read;
do {
strm.avail_out = OUT_CHUNK;
inflate (& strm, Z_NO_FLUSH);
//             printf ("%s",gzip_out);
}while (strm.avail_out == 0);
if (feof (file)) {
inflateEnd (& strm);
return false;
}
return true;//all OK
}
char* first_line=(char*)&gzip_out[0];
char* current_line=first_line;
char* next_line=first_line;
char hangover[1000];
bool readLine(FILE* infile,char* line,bool gzipped){
if(!gzipped)
return fgets(line, sizeof(line), infile) != NULL;
else{
bool ok=true;
current_line=next_line;
if(!current_line || strlen(current_line)==0 || next_line-current_line>OUT_CHUNK){
current_line=first_line;
size_t bytes_read = fread (gzip_in, sizeof (char), CHUNK, infile);
ok=inflate_gzip(infile,strm,bytes_read);
strcpy(line,hangover);
}
if(ok){
next_line=strstr(current_line,"\n");
if(next_line){
next_line[0]=0;
next_line++;
strcpy(line+strlen(hangover),current_line);
hangover[0]=0;
}else{
strcpy(hangover,current_line);
line[0]=0;//skip that one!!
}
}
return ok;
}
}

    OriginalL'auteur Anona112