Lire sparse matrix en python

Je veux lire un sparse matrix. Quand je suis bâtiment ngrams à l'aide de scikit learn. Son transform() donne de sortie dans la matrice creuse. Je veux lire cette matrice sans faire todense().

Code:

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
document = ['john guy','nice guy']
vectorizer = CountVectorizer(ngram_range=(1, 2))
X = vectorizer.fit_transform(document)
transformer = vectorizer.transform(document)
print transformer

De sortie :

  (0, 0)    1
  (0, 1)    1
  (0, 2)    1
  (1, 0)    1
  (1, 3)    1
  (1, 4)    1

Comment puis-je lire cette sortie pour obtenir son valeurs. J'ai besoin de la valeur à (0,0), (0,1) et ainsi de suite et enregistrez en liste.

OriginalL'auteur iNikkz | 2014-11-12

  1. 9

    La documentation de cette transform méthode dit qu'elle renvoie une matrice creuse, mais ne spécifie pas la nature. Différents types vous permettent d'accéder aux données de différentes façons, mais il est facile de convertir de l'un à l'autre. Votre impression de l'affichage est typique de l' str pour une matrice creuse.

    Un équivalent de la matrice peuvent être générés avec:

    from scipy import sparse
i=[0,0,0,1,1,1]
j=[0,1,2,0,3,4]
A=sparse.csr_matrix((np.ones_like(j),(i,j)))
print(A)

    production:

      (0, 0)        1
  (0, 1)        1
  (0, 2)        1
  (1, 0)        1
  (1, 3)        1
  (1, 4)        1

    Un csr type peut être indexé comme une matrice dense:

    In [32]: A[0,0]
Out[32]: 1    
In [33]: A[0,3]
Out[33]: 0

    À l'intérieur de l' csr matrice stocke ses données dans data, indices, indptr, ce qui est pratique pour le calcul, mais un peu obscur. Convertir coo format de données qui ressemble à votre entrée:

    In [34]: A.tocoo().row
Out[34]: array([0, 0, 0, 1, 1, 1], dtype=int32)

In [35]: A.tocoo().col
Out[35]: array([0, 1, 2, 0, 3, 4], dtype=int32)

    Ou vous pouvez convertir en un dok type, et que l'accès des données comme un dictionnaire:

    A.todok().keys()
#  dict_keys([(0, 1), (0, 0), (1, 3), (1, 0), (0, 2), (1, 4)])
A.todok().items()

    produit: (Python3 ici)

    dict_items([((0, 1), 1), 
            ((0, 0), 1), 
            ((1, 3), 1), 
            ((1, 0), 1), 
            ((0, 2), 1), 
            ((1, 4), 1)])

    La lil format stocke les données sous 2 listes de listes, l'une avec les données (tous les 1 dans cet exemple), et l'autre avec la ligne des indices.

    Ou pensez-vous qu'à "lire" les données d'une autre façon?

    OriginalL'auteur hpaulj

  2. 2

    C'est un SciPy RSE de la matrice. Convertir cette (ligne, colonne, valeur) triples, l'option la plus facile est de convertir à COO format, puis obtenir les triples:

    >>> from scipy.sparse import rand
>>> X = rand(100, 100, format='csr')
>>> X
<100x100 sparse matrix of type '<type 'numpy.float64'>'
    with 100 stored elements in Compressed Sparse Row format>
>>> zip(X.row, X.col, X.data)[:10]
[(1, 78, 0.73843533223380842),
 (1, 91, 0.30943772717074158),
 (2, 35, 0.52635078317400608),
 (4, 75, 0.34667509458006551),
 (5, 30, 0.86482318943934389),
 (7, 74, 0.46260571098933323),
 (8, 75, 0.74193890941716234),
 (9, 72, 0.50095749482583696),
 (9, 80, 0.85906284644174613),
 (11, 66, 0.83072142899400137)]

    (À noter que la sortie est triée.)

    OriginalL'auteur Fred Foo

  3. 1

    Vous pouvez utiliser data et indices:

    >>> indices=transformer.toarray()
>>> indices
array([[1, 1, 1, 0, 0],
      [1, 0, 0, 1, 1]])
>>> values=transformer.data
>>> values
array([1, 1, 1, 1, 1, 1])
    Désolé, je l'ai mentionné dans la question que je ne veux pas utiliser todense() pour convertir le sparse matrix ordinaire de la matrice. Toute autre solution.
    Désolé, je n'ai pas lu la question attentivement. J'ai fourni quelques méthodes de lecture des données. Espérons que cela aide.

    OriginalL'auteur Irshad Bhat