Python: wie speichern Sie eine sparse-matrix mit python?

Ich habe eine Ausgabe mit sparse matrix in python, die ich brauche, um zu speichern diese sparse-matrix-in meiner Festplatte, wie kann ich es tun? wenn ich eine Datenbank erstellen, die dann, wie soll ich tun??
das ist mein code:

import nltk
import cPickle
import numpy
from scipy.sparse import lil_matrix
from nltk.corpus import wordnet as wn
from nltk.corpus import brown
f = open('spmatrix.pkl','wb')
def markov(L):
    count=0
    c=len(text1)
    for i in range(0,c-2):
        h=L.index(text1[i])
        k=L.index(text1[i+1])
        mat[h,k]=mat[h,k]+1//matrix
    cPickle.dump(mat,f,-1)



text = [w for g in brown.categories() for w in brown.words(categories=g)]
text1=text[1:500]
arr=set(text1)
arr=list(arr)
mat=lil_matrix((len(arr),len(arr)))
markov(arr)
f.close()

Brauche ich zum speichern dieser "Matte" in eine Datei und sollte Zugriff auf den Wert der matrix mit den Koordinaten..

Ergebnis des sparse-matrix ist wie folgt: "das Ergebnis der sparse-matrix wie folgt:

(173, 168) 2.0 (173, 169) 1.0 (173, 172) 1.0 (173, 237) 4.0 (174, 231) 1.0 (175, 141) 1.0 (176, 195) 1.0

aber wenn ich es speichern in eine Datei und Lesen das gleiche hab ich es immer so:

(0, 68) 1.0 (0, 77) 1.0 (0, 95) 1.0 (0, 100)    1.0 (0, 103)    1.0 (0, 110) 1.0 (0, 112)   2.0 (0, 132)    1.0 (0, 133)    2.0 (0, 139)    1.0 (0, 146)    2.0 (0, 156)    1.0 (0, 157)    1.0 (0, 185)    1.0
  • Sie haben eine Besondere Datenbank im Sinn? Was die Größe dieser Matrizen? Haben Sie als sqlite (die Python hat eine eingebaute Unterstützung für)?
  • ich bin ein Neuling, ich weiß nicht viel, naja ich hab nur versucht eine Lösung zu finden, der zum speichern der matrix in der Festplatte, die ich nicht wollen, um das Programm auszuführen, zu produzieren, die matrix immer wieder, wenn ich die Speicherung der matrix kann ich nur verweisen Sie die matrix von Werten für die nächste Zeit.. pls mir empfehlen.. danke 🙂
  • Finden Sie in der folgenden zu formatieren Sie Ihren code so, dass es lesbar ist: stackoverflow.com/editing-help, im Grunde aber setzen Sie einfach 4 Leerzeichen vor jeder Zeile code und dann einzurücken, wie Sie wäre sonst machen Sie sicher, dass Sie lassen Sie eine Leerzeile zwischen code und kein normaler text.
InformationsquelleAutor Bhuvan raj | 2011-03-02
  1. 4

    Hinweis: Diese Antwort ist die Antwort auf die überarbeiten die Frage, die sich nun bietet-code.

    Sollten Sie nicht nennen cPickle.dump() in Ihrer Funktion. Erstellen sparse-matrix-und dann dump der Inhalt der Datei.

    Versuchen:

    def markov(L):
   count=0
   c=len(text1)
   for i in range(0,c-2):
       h=L.index(text1[i])
       k=L.index(text1[i+1])
       mat[h,k]=mat[h,k]+1 #matrix


text = [w for g in brown.categories() for w in brown.words(categories=g)]
text1=text[1:500]
arr=set(text1)
arr=list(arr)
mat=lil_matrix((len(arr),len(arr)))
markov(arr)
f = open('spmatrix.pkl','wb')
cPickle.dump(mat,f,-1)
f.close()
    • Dieser code wird ohne Fehler ausgeführt, infact gibt es die matrix in die Datei so dass ein Teil aber!..ich bin nicht in der Lage, um diesen Befehl verwenden zu.. mat.dump('output.mat') wo mat ist meine matrix.. Das ist der Fehler, die ich zu finden bin raise AttributeError, attr + " not found" AttributeError: dump not found
    • Sie scheinen über einige andere Methode, die jetzt als Matte.dump() erscheinen nicht im code oder in meinem Vorschlag. Ich entschuldige mich, aber ich habe nicht die Zeit, dir noch weiter zu helfen. Viel Glück.
    InformationsquelleAutor JoshAdel
  2. 6

    Vorausgesetzt, Sie haben ein numpy matrix oder ndarray, die Ihre Frage und die tags bedeuten, es ist ein dump Methode und Last Funktion, die Sie verwenden können:

    your_matrix.dump('output.mat')
another_matrix = numpy.load('output.mat')
    • so kann ich mit diesem Ausgang.Matte jederzeit ich brauche in anderen Programmen??
    • Ja. Es ist nur der Pfad zu einer Datei auf Ihrer Festplatte, wo Sie möchten, um die Daten zu speichern.
    InformationsquelleAutor ide
  3. 2

    pyTables ist die Python-Schnittstelle zu Daten im HDF5-Modell und ist ziemlich beliebt und gut integriert mit NumPy und SciPy. pyTables, mit dem Sie Zugriff Scheiben databased-arrays, ohne zu laden, wird das gesamte array wieder in Erinnerung.

    Ich habe keine speziellen Erfahrungen mit sparse-Matrizen per se, und eine schnelle Google-Suche weder bestätigt noch geleugnet werden, dass sparse-Matrizen unterstützt werden.

    InformationsquelleAutor Paul
  4. 2

    Hinzufügen auf die im HDF5-Unterstützung, Python hat auch NetCDF-Unterstützung, die ideal für die matrix-form der Daten-Speicherung und den schnellen Zugriff sowohl spärlich und dichten. Es ist enthalten in Python-x,y für windows, die eine Menge von wissenschaftlichen Nutzer von python am Ende mit.

    Mehr numpy basiert Beispiele können gefunden werden in diesem Kochbuch.

    InformationsquelleAutor whatnick
  5. 2

    Für sehr große dünnbesetzte Matrizen auf Clustern verwenden Sie pytrilinos, es hat eine im HDF5-interface, welches dump kann eine sparse-matrix auf die Festplatte, und funktioniert auch, wenn die matrix wird verteilt auf verschiedenen Knoten.

    http://trilinos.sandia.gov/packages/pytrilinos/development/EpetraExt.html#input-output-classes

    InformationsquelleAutor Andrea Zonca
  6. 2

    Abhängig von der Größe des sparse-matrix, Neige ich dazu, verwenden Sie einfach cPickle zu Gurke array:

    import cPickle
f = open('spmatrix.pkl','wb')
cPickle.dump(your_matrix,f,-1)
f.close()

    Wenn ich den Umgang mit wirklich großen Datenmengen dann Neige ich zum netcdf4-python

    Edit:

    Dann wieder auf die Datei zugreifen würden Sie:

    f = open('spmatrix.pkl','rb') # open the file in read binary mode
# load the data in the .pkl file into a new variable spmat
spmat = cPickle.load(f) 
f.close()
    • Vielen Dank 🙂 :), wenn u könnte erklären, wie auf diese spmatrix.pkl es wird eine große Hilfe.. danke nochmal 🙂
    • vielen Dank für das helfen u:)
    • dies ist der eigentliche Eingang in die Datei (0, 148) 1.0 (1, 48) 1.0 (1, 173) 1.0 (2, 173) 1.0 (3, 168) 1.0 (4, 61) 1.0 (4, 91) 1.0 (5, 136) 1.0 (6, 237) 2.0 (7, 111) 1.0 aber nach dem Lesen der Daten aus .pkl-Datei, die ich bin immer (0, 148) 1.0 (0, 48) 1.0 (0, 173) 1.0 (0, 173) 1.0 (0, 168) 1.0 (0, 61) 1.0 (0, 91) 1.0 (0, 136) 1.0 (0, 237) 2.0 (0, 111) 1.0 was ist der Fehler, die ich getan habe, als u angewiesen haben 🙁
    • Ich verstehe nicht, was dein input ist. Ist es der text in einer Datei, die Sie Lesen in python? Bitte geben Sie den exakt code, den Sie verwendet, um generieren die Gurke. Es ist wohl am besten, wenn Sie das original Bearbeiten Frage, so können Sie das format der code richtig.
    • Bitte setzen Sie den code in deiner ursprünglichen Frage mit der richtigen stackoverflow-Formatierung, so dass ich kann tatsächlich Lesen, was Sie schrieb
    • ich möchte schreiben, diese matrix "mat" in einer Datei, und verwenden Sie die Indizes der matrix, ich sollte in der Lage sein, auf die Werte zuzugreifen mit einem anderen Programm!...
    • Ich kann dir nicht helfen wenn du nicht den code, den Sie oben geschrieben haben, in Ihrer Frage mit den richtigen Vertiefungen/Formatierung
    • ich bin nicht in der Lage zu formatieren code, wie kann ich es machen??? wenn ich es im editor sieht es fein nach der Buchung den code angezeigt, mit dem sich die Einrückung oder die Farbe, wie formatieren??
    • Gott sei Dank konnte ich formatieren.. hoffe, dass u mir helfen könnte heraus jetzt 🙂

    InformationsquelleAutor JoshAdel
  7. 2

    Für mich, mit dem -1 option in cPickle.dump Funktion verursacht die eingelegten Datei nicht belastbar sein danach.

    Dem Objekt ausgegeben ich durch cPickle war eine Instanz scipy.sparse.dok_matrix.

    Nur zwei Argumente hat den trick für mich; Dokumentation über pickle.dump() Staaten den default-Wert der protocol parameter ist 0.

    Arbeiten an Windows 7, Python 2.7.2 (64 bit), und cPickle v 1.71.

    Beispiel:

    >>> import cPickle
>>> print cPickle.__version__
1.71
>>> from scipy import sparse
>>> H = sparse.dok_matrix((135, 654), dtype='int32')
>>> H[33, 44] = 8
>>> H[123, 321] = -99
>>> print str(H)
  (123, 321)    -99
  (33, 44)  8
>>> fname = 'dok_matrix.pkl'
>>> f = open(fname, mode="wb")
>>> cPickle.dump(H, f)
>>> f.close()
>>> f = open(fname, mode="rb")
>>> M = cPickle.load(f)
>>> f.close()
>>> print str(M)
  (123, 321)    -99
  (33, 44)  8
>>> M == H
True
>>>
    InformationsquelleAutor EricP
Schreibe einen Kommentar