Tag: hdf5
Das Hierarchical Data Format (im HDF5) ist ein binäres Dateiformat zum speichern große Menge von numerischen Daten.
3
Antworten
Gibt es eine Möglichkeit, Lesen Sie im HDF5-Dateien mit der Scala-version von Spark? Es sieht aus wie es getan werden kann in Python (über Pyspark), aber ich kann nichts finden für Scala. Dies könnte Ihnen helfen, loszulegen.
3
Antworten
Ich bin mit dem folgt 1) VS 2010 C++ 2) Debug Win 32 3) Die Bibliothek von hier aus http://www.hdfgroup.org/HDF5/release/obtain5.html Grundsätzlich habe ich heruntergeladen Windows (32-bit) Compiler: CMake VS 2010 C -, C++ -, IVF-12, RWDI und
3
Antworten
Bin ich habe Probleme beim speichern ein numpy csr_matrix mit PyTables. Ich bin immer diese Fehlermeldung: TypeError: objects of type ``csr_matrix`` are not supported in this context, sorry; supported objects are: NumPy array, record or scalar; homogeneous
3
Antworten
HINWEIS: Dieser Frage befasst sich mit einem Sachverhalt beobachtet wieder im Jahr 2011 mit einer alten MATLAB version (R2009a). Wie pro das update unten ab Juli 2016, das Problem/bug in MATLAB scheint nicht mehr vorhanden (getestet mit
3
Antworten
Brauche ich zum speichern einer 512^3-array auf der Festplatte in irgendeiner Weise und ich bin derzeit mit im HDF5. Da das array spärliche viel Speicherplatz verschwendet. Nicht im HDF5 bieten keine Unterstützung für sparse-array ? [Die Antwort][1]
2
Antworten
Auf ein paar Aspekte eines Projekts, mit "h5" Speicher wäre ideal. Aber die Dateien werden immer massiver und ehrlich gesagt, wir ' re running out of space. Diese Aussage... store.put(storekey, data, table=False, compression='gzip') produziert kein Unterschied in
4
Antworten
Ich bin mit dem IM HDF5 C++ - API zu schreiben 2D-array dataset-Dateien. Der HDF-Gruppe hat ein Beispiel zum erstellen eine im HDF5-Datei aus einem statisch definierten array-Größe, die ich modifiziert habe, um die suite meine Bedürfnisse
1
Antworten
Betrachten Sie das folgende Beispiel: Vorbereiten der Daten: import string import random import pandas as pd matrix = np.random.random((100, 3000)) my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])] mydf = pd.DataFrame(matrix, columns=my_cols) mydf['something'] = 'hello_world' , Die höchstmögliche
4
Antworten
Ich bin auf der Suche nach einem Beispielcode, die konvertieren kann .h5-Dateien in csv-oder tsv. Ich gelesen zu haben .h5 und Ausgang auf csv-oder tsv. Beispiel-code wäre sehr geschätzt werden,bitte helfen, wie muss ich stecken, es für
3
Antworten
Angesichts einer großen (10s GB) CSV-Datei von gemischten text - /zahlen, was ist die Schnellste Methode zum erstellen einer im HDF5-Datei mit dem gleichen Inhalt, während die Speichernutzung sinnvoll? Ich würde gerne die h5py Modul, wenn möglich.
2
Antworten
In unserem Labor-wir speichern unsere Daten in hdf5 Dateien, die durch das python-Paket h5py. Am Anfang ein experiment erstellen wir ein hdf5 Datei-und Speicher-array nach array von array von Daten in der Datei (unter anderem). Wenn ein
2
Antworten
Habe ich kein problem, die Auswahl von Inhalten aus einer Tabelle in eine im HDF5-Shop: with pandas.HDFStore(data_store) as hdf: df_reader = hdf.select('my_table_id', chunksize=10000) Wie kann ich eine Liste aller Tabellen auswählen aus mit pandas? Siehe Verwandte: stackoverflow.com/questions/27097925/...
4
Antworten
Ich habe eine Datei in hdf5 - format. Ich weiß, dass es sein soll, eine matrix, aber ich will, zu Lesen, dass die matrix in R so dass ich studieren kann. Ich sehe, dass es eine h5r
5
Antworten
Ich habe den folgenden code zu Lesen im HDF5-Datei als ein numpy-array: hf = h5py.File('path/to/file', 'r') n1 = hf.get('dataset_name') n2 = np.array(n1) und wenn ich drucken n2 ich dieses: Out[15]: array([[<HDF5 object reference>, <HDF5 object reference>, <HDF5
1
Antworten
Lese ich eine csv-Beispieldatei und speichern Sie es auf .h5-Datenbank. Die .csv ist wie folgt aufgebaut: User_ID;Longitude;Latitude;Year;Month;String 267261661;-3.86580025;40.32170825;2013;12;hello world 171255468;-3.83879575;40.05035005;2013;12;hello world 343588169;-3.70759531;40.4055946;2014;2;hello world 908779052;-3.8356385;40.1249459;2013;8;hello world 289540518;-3.6723114;40.3801642;2013;11;hello world 635876313;-3.8323166;40.3379393;2012;10;hello world 175160914;-3.53687933;40.35101274;2013;12;hello world 155029860;-3.68555076;40.47688417;2013;11;hello world Ich habe legt es
1
Antworten
Habe ich ein instrument, welches Daten (viele Spuren, die von einem analog-zu-digital-Konverter) als HDF-5-Datei. Wie kann ich effizient öffnen Sie diese Datei in python? Ich habe versucht den folgenden code, aber es scheint eine sehr lange Zeit,
3
Antworten
Habe ich ein cell-array in matlab columns = {'MagX', 'MagY', 'MagZ', ... 'AccelerationX', 'AccelerationX', 'AccelerationX', ... 'AngularRateX', 'AngularRateX', 'AngularRateX', ... 'Temperature'} Benutze ich diese Skripte die Verwendung von matlab ' s hdf5write-Funktion zum speichern der array in
1
Antworten
Ich habe einen Datensatz der gespeichert ist .h5-Dateien. Ich brauche, um nur bestimmte Spalten und manipulieren zu können, werden die Daten in es. Um dies zu tun, habe ich versucht zu laden, es in ein pandas dataframe.
1
Antworten
Ich bin auf der Suche nach einer Möglichkeit zum Anhängen von Daten an eine vorhandene dataset innerhalb einer h5-Datei mit python (h5py). Einem kurzen intro zu meinem Projekt: ich versuche zu trainieren, ein CNN mit medizinischen Bilddaten.
4
Antworten
Ich versuche zu installieren tables Paket in Ubuntu 14.04 aber sems, wie es ist, sich zu beschweren. Ich versuche, es zu installieren mit PyCharm und seine Paket-installer, aber wie es scheint, ist beschweren sich über HDF5 Paket.
2
Antworten
Ich habe eine Frage, wie am besten zu schreiben, im HDF5-Dateien mit python /h5py. Habe ich Daten wie: ----------------------------------------- | timepoint | voltage1 | voltage2 | ... ----------------------------------------- | 178 | 10 | 12 | ... -----------------------------------------
1
Antworten
Hat jemand eine Idee für die Aktualisierung im HDF5 datasets aus h5py? Angenommen, wir erstellen eine Datensatz wie: import h5py import numpy f = h5py.File('myfile.hdf5') dset = f.create_dataset('mydataset', data=numpy.ones((2,2),"=i4")) new_dset_value=numpy.zeros((3,3),"=i4") Ist es möglich zu verlängern die dset
1
Antworten
Problem Beschreibung: Ich benutze python pandas zu Lesen, ein paar große CSV-Datei und speichern Sie es in im HDF5-Datei, ist die resultierende im HDF5-Datei ist über 10GB. Das problem tritt auf, wenn die Lektüre es zurück. Obwohl
5
Antworten
Ich denke, der Titel deckt das Problem, aber zur Aufklärung: Den pandas python Paket hat einen DataFrame Datentyp für holding-Tabelle Daten in python. Es hat auch eine komfortable Schnittstelle zu den im HDF5 - Datei-format, so dass
1
Antworten
In python2.7 kann ich analysieren hdf5 Dateien, die Schlüssel verwenden $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key'] Jedoch in python3.4, bekomme ich etwas anderes: $ python3 -q >>> import h5py >>>
3
Antworten
Ich versuche zu speichern, eine variable Länge Liste von Strings zu einem im HDF5 Datasets. Der code für diese ist import h5py h5File=h5py.File('xxx.h5','w') strList=['asas','asas','asas'] h5File.create_dataset('xxx',(len(strList),1),'S10',strList) h5File.flush() h5File.Close() Bin ich immer die Fehlermeldung "TypeError: Keine conversion-Pfad für "dtype":
3
Antworten
Ich habe vor kurzem installiert die im HDF5 Bibliothek auf einem ubuntu-Rechner, und bin jetzt Probleme mit Verlinkung zu den exportierten Funktionen. Ich schrieb ein einfaches test-Skript readHDF.cpp zu erklären, die Frage: #include <hdf5.h> int main(int argc,
1
Antworten
Ich versuche zu Plotten einige HDF-Daten in matplotlib. Nach dem Import Sie Sie mit h5py, werden die Daten in form von Arrays, wie dieser: array([[151, 176, 178], [121, 137, 130], [120, 125, 126]) In diesem Fall x-und
2
Antworten
Ich bin versucht, zu schreiben eine matlab-mex-Funktion, die verwendet libhdf5; Meine Linux-Installation bietet libhdf5-1.8 shared-libraries und-Header. Aber meine version von Matlab r2007b, bietet eine libhdf5.so aus der 1.6 Version. (Matlab .mat Dateien bootstrap im HDF5, offenbar). Wenn
6
Antworten
Ich versuche, mit der Eine Million Song Dataset, für diese hatte ich zum installieren von python-Tabellen, numpy, cython, im HDF5, numexpr, und so. Gestern habe ich es geschafft zu installieren, alles, was ich brauchte, und nachdem er
2
Antworten
Gibt es eine Möglichkeit zu entfernen, ein dataset aus einer im HDF5-Datei, vorzugsweise mit h5py? Oder alternativ, ist es möglich, zu überschreiben Datensatz, während die anderen Datensätze intakt? Meinem Verständnis, h5py Lesen/schreiben im HDF5-Dateien in 5 Modi
1
Antworten
Hier Matrix-Multiplikation mit im HDF5 ich benutze im HDF5 (pytables), der für große matrix-Multiplikation, aber ich war überrascht, da die Verwendung im HDF5 es funktioniert sogar schneller ist als mit reinen numpy.dot und speichern von Matrizen im
5
Antworten
Mithilfe Von Python Ist3, Pandas 0.12 Ich versuche zu schreiben, mehrere csv-Dateien (Gesamtgröße ist 7,9 GB) auf eine im HDF5 speichern, um später zu verarbeiten ab. Die csv-Dateien enthalten rund eine million Zeilen jeweils 15 Spalten und
1
Antworten
Gegeben ist eine 1,5 Gb Liste der pandas dataframes. Frage ich mich, was ist ein besserer Ansatz zu behandeln, das laden dieser Daten: Gurke (über cPickle), im HDF5, oder etwas anderes in python? Erste, "dumping" der Daten
7
Antworten
import pandas as pd dfs = pd.HDFStore('xxxxx.h5') wirft diesen Fehler: "ImportError: HDFStore requires PyTables, "No module named tables" problem importing" Habe ich versucht zu installieren PyTables, die Erfordert Cython. Ich habe Cython 0.21 installiert, aber es wirft
4
Antworten
Ich versuche zu Lesen, Daten im HDF5-Datei in Python. Ich kann Lesen, die im HDF5-Datei mit h5pyaber ich kann nicht herausfinden, wie Zugriff auf Daten innerhalb der Datei. Mein code import h5py import numpy as np f1
2
Antworten
HDFVIEW ist ziemlich gut, aber gibt es alternativen? Wäre es toll, in der Lage, Dinge zu ändern, wie chunking - /Kompressions-Einstellungen - hdfview nicht, dass die Funktionalität - die zimmerreserviereung, ohne das resort laden der Dateien mittels
2
Antworten
Habe ich die folgenden Fragen im HDF5 Leistung und Parallelität: Nicht im HDF5 Unterstützung gleichzeitiger Schreibzugriff? Parallelität überlegungen beiseite, wie ist im HDF5 Leistung in Bezug auf I/O-performance (nicht Kompressionsraten Auswirkungen auf die Leistung)? Da ich im
2
Antworten
Ich habe mit pandas-Forschung nun für etwa zwei Monate mit großer Wirkung. Mit einer großen Anzahl von mittelständischen trace-Ereignis-Datensätze, die pandas + PyTables (die im HDF5-interface) stellt eine enorme Aufgabe, die mir erlaubt, zu verarbeiten, heterogene Daten
2
Antworten
Pandas die folgenden Beispiele zum speichern SeriesDataFrames und Panelsim im HDF5-Dateien: Bereiten einige Daten: In [1142]: store = HDFStore('store.h5') In [1143]: index = date_range('1/1/2000', periods=8) In [1144]: s = Series(randn(5), index=['a', 'b', 'c', 'd', 'e']) In [1145]:
5
Antworten
Habe ich eine Reihe von im HDF5-Dateien, von denen jede ein einzelnes dataset. Die Datensätze sind zu groß, um zu halten Sie in RAM. Ich möchte kombinieren Sie diese Dateien in eine einzelne Datei, die alle Datensätze
2
Antworten
Habe ich eine 100M-Linie csv-Datei (eigentlich viele separate csv-Dateien) in Höhe 84GB. Ich brauche, um zu konvertieren, um ein im HDF5-Datei mit einem einzigen float-dataset. Ich verwendet h5py im Test ohne Probleme, aber jetzt kann ich nicht
3
Antworten
Mit HDF5DotNetjemand kann mir bei Beispiel-code, welcher eine im HDF5-Datei, extrahieren Sie den Inhalt eines datasets, und drucken Sie den Inhalt auf der standard-Ausgabe? Bisher habe ich die folgenden: H5.Open(); var h5 = H5F.open("example.h5", H5F.OpenMode.ACC_RDONLY); var dataset
2
Antworten
Ich habe eine vorhandene im HDF5-Datei mit drei arrays, die ich extrahieren möchte eines der arrays mit h5py. InformationsquelleAutor der Frage l.z.lz | 2012-04-23
8
Antworten
Arbeite ich an einer open-source-Projekt Umgang mit dem hinzufügen von Metadaten zu Ordnern. Die mitgelieferten (Python) API ermöglicht das durchsuchen und die Metadaten zugreifen, wie es war nur ein weiterer Ordner. Denn es ist nur ein weiterer
1
Antworten
Den offizielle Dokumentation besagt Folgendes: . Aber ich habe bemerkt, dass es andere wichtige Unterschiede außer den Angaben in der Tabelle oben. Zum Beispiel die Rettung eines cell-array mit etwa 6000 Elemente, die belegt 176 MB Speicher
7
Antworten
Jemand da draußen haben genug Erfahrung, w/NetCDF und im HDF5 zu geben, einige Pluspunkte /Minuspunkte über Sie als eine Möglichkeit der Speicherung von wissenschaftlichen Daten? Ich habe im HDF5 und möchte Lesen/schreiben über Java, aber das interface
13
Antworten
Ich habe versucht, ein Rätsel, eine Antwort auf diese Frage ist für viele Monate, während Sie lernen pandas. Ich nutze SAS für meine Tag-zu-Tag Arbeit und es ist großartig, denn es ist out-of-core-Unterstützung. Aber SAS ist schrecklich,
4
Antworten
Ich habe eine Datei in hdf5 - format. Ich weiß, dass es sein soll, eine matrix, aber ich will, zu Lesen, dass die matrix in R so dass ich studieren kann. Ich sehe, dass es eine h5r
3
Antworten
Angesichts einer großen (10s GB) CSV-Datei von gemischten text - /zahlen, was ist die Schnellste Methode zum erstellen einer im HDF5-Datei mit dem gleichen Inhalt, während die Speichernutzung sinnvoll? Ich würde gerne die h5py Modul, wenn möglich.