Comment puis-je sauver un très grand MATLAB sparse matrix dans un fichier texte?

J'ai un 30000x14000 sparse matrix dans MATLAB (version 7), qui je dois l'utiliser dans un autre programme. Appeler save n'est pas écrire ce que l'ASCII (non pris en charge). L'appel de full() sur ce monstre de résultats dans un Out of Memory erreur.
Comment puis-je exporter?

OriginalL'auteur Midhat | 2008-10-20

  1. 28

    Vous pouvez utiliser pour tirer index & valeur vecteurs:

    [i,j,val] = find(data)
data_dump = [i,j,val]

    Vous pouvez recréer les données de data_dump avec spconvert, qui est destiné à "Importer à partir de matrices creuses format externe" (je crois que c'est un bon format d'exportation):

    data = spconvert( data_dump )

    Vous pouvez enregistrer au format ascii avec:

    save -ascii data.txt data_dump

    Mais ce décharges d'indices, comme un double, vous pouvez l'écrire plus joliment avec fopen/fprintf/fclose:

    fid = fopen('data.txt','w')
fprintf( fid,'%d %d %f\n', transpose(data_dump) )
fclose(fid)

    Espère que cette aide.

    Le data_dump au cours de la fprintf commande doit être transposée avant de l'utiliser selon les docs (mathworks.com/help/matlab/ref/fprintf.html). Cela se produit parce que les données sont écrites dans collumn-commande.
    J'ai édité dans la correction @AlanCN suggéré.

    OriginalL'auteur Matt

  2. 7

    Enregistrer la matrice creuse comme un .mat fichier. Puis, dans l'autre programme, à l'aide de la bibliothèque pour lire le .mat fichier.

    Par exemple, si l'autre programme est écrit en Python, vous pouvez utiliser le scipy.io.mio.loadmat fonction, qui prend en charge matrices creuses et vous offre un clairsemée numpy matrice.

    un autre programme est rapidminer

    OriginalL'auteur Vebjorn Ljosa

  3. 3

    Je l'ai enregistré en tant que texte à l'aide de Java dans MATLAB.
    Code MATLAB:

    
pw=java.io.PrintWriter(java.io.FileWriter('c:\\retail.txt'));
line=num2str(0:size(data,2)-1);
pw.println(line);
for index=1:length(data)
    disp(index);
    line=num2str(full(data(index,:)));
    pw.println(line);
end
pw.flush();
pw.close();

    Ici data est une très grande matrice creuse.

    Je suis confus - pourquoi avez-vous utiliser java.io au lieu de MATLAB intégré dans fopen et fprintf?
    probablement parce que je savais mieux java que matlab, et c'était un jeter du code, de sorte qu'il n'a pas besoin d'être beau. il a juste besoin de travailler correctement 🙂

    OriginalL'auteur Midhat

  4. 2

    Avez-vous essayez de le partitionner ?

    Je veux dire essayer d'appeler pleine() sur les 1000 premières lignes (ou 5000) et puis répétez le processus si cela fonctionne.

    oui c'est toujours une option, il va probablement prendre beaucoup de temps à écrire ascii morceaux et de les fusionner plus tard

    OriginalL'auteur Veynom

  5. 1

    Utiliser le find fonction pour obtenir les indices de non-zéro éléments...

    idcs = find(data);
vals = data(idcs);
...save the index vector and value vector in whatever format you want...

    Si vous le souhaitez, vous pouvez utiliser ind2sub pour convertir le linéaire des indices de la ligne, la colonne des indices.

    Si vous avez besoin de recréer une matrice creuse dans matlab à partir des indices + valeurs, utilisez spconvert.

    OriginalL'auteur Mr Fooz

  6. 1

    dlmwrite - Écrire la matrice de l'ASCII d'un fichier délimité
    Syntaxe

    dlmwrite(nom de fichier, M)

    dlmwrite(nom de fichier, M, 'D')

    dlmwrite(nom de fichier, M, D, R, C)

    dlmwrite(nom de fichier, M, 'attrib1', valeur1, 'attrib2', valeur2, ...)

    dlmwrite(nom de fichier, M, '-append')

    dlmwrite(nom de fichier, M, '-append', attribut-valeur de la liste)

    OriginalL'auteur ehsan

  7. 0

    Si c'est assez bien d'une affaire, alors que je vient de parcourir la matrice et écrire la matrice dans un fichier ASCII par force brute, ou d'utiliser @Veynom de l' suggestion et de l'appel complet() sur un sous-ensemble de lignes. Il peut prendre un certain temps, mais il sera probablement plus rapide qu'il pourrait prendre pour apprendre à lire dans une .tapis de fichier en dehors de l'environnement.

    Si c'est quelque chose que vous devez faire sur une base récurrente, alors je profite de @Vebjorn's des conseils et de l'utilisation d'une bibliothèque pour lire la .tapis de fichier.

    OriginalL'auteur Scottie T

  8. 0

    Utiliser ce script:
    msm_to_mm.m, écrit un MATLAB sparse matrix à un MatrixMarket fichier.

    Et Ce fil peut également être utile.

    OriginalL'auteur Dr_Hope