Tag: hdf5

Das Hierarchical Data Format (im HDF5) ist ein binäres Dateiformat zum speichern große Menge von numerischen Daten.

Lesung im HDF5-Dateien in Apache Spark

Anzahl der Antworten 3 Antworten
Gibt es eine Möglichkeit, Lesen Sie im HDF5-Dateien mit der Scala-version von Spark? Es sieht aus wie es getan werden kann in Python (über Pyspark), aber ich kann nichts finden für Scala. Dies könnte Ihnen helfen, loszulegen.

Im HDF5-Bibliothek Fehler

Anzahl der Antworten 3 Antworten
Ich bin mit dem folgt 1) VS 2010 C++ 2) Debug Win 32 3) Die Bibliothek von hier aus http://www.hdfgroup.org/HDF5/release/obtain5.html Grundsätzlich habe ich heruntergeladen Windows (32-bit) Compiler: CMake VS 2010 C -, C++ -, IVF-12, RWDI und

Die Speicherung von numpy sparse-matrix im HDF5 (PyTables)

Anzahl der Antworten 3 Antworten
Bin ich habe Probleme beim speichern ein numpy csr_matrix mit PyTables. Ich bin immer diese Fehlermeldung: TypeError: objects of type ``csr_matrix`` are not supported in this context, sorry; supported objects are: NumPy array, record or scalar; homogeneous

MATLAB: Speichern mehrerer Variablen zu “v7.3" (im HDF5) .mat-Dateien scheint schneller zu sein, wenn Sie mit den "-append" - flag. Wie kommt das?

Anzahl der Antworten 3 Antworten
HINWEIS: Dieser Frage befasst sich mit einem Sachverhalt beobachtet wieder im Jahr 2011 mit einer alten MATLAB version (R2009a). Wie pro das update unten ab Juli 2016, das Problem/bug in MATLAB scheint nicht mehr vorhanden (getestet mit

Sparse-array-Unterstützung im HDF5

Anzahl der Antworten 3 Antworten
Brauche ich zum speichern einer 512^3-array auf der Festplatte in irgendeiner Weise und ich bin derzeit mit im HDF5. Da das array spärliche viel Speicherplatz verschwendet. Nicht im HDF5 bieten keine Unterstützung für sparse-array ? [Die Antwort][1]

Durch Komprimierung mit Pandas und HD5 / HDFStore

Anzahl der Antworten 2 Antworten
Auf ein paar Aspekte eines Projekts, mit "h5" Speicher wäre ideal. Aber die Dateien werden immer massiver und ehrlich gesagt, wir ' re running out of space. Diese Aussage... store.put(storekey, data, table=False, compression='gzip') produziert kein Unterschied in

Im HDF5 C++ - Schnittstelle: schreiben, dynamische 2D-arrays

Anzahl der Antworten 4 Antworten
Ich bin mit dem IM HDF5 C++ - API zu schreiben 2D-array dataset-Dateien. Der HDF-Gruppe hat ein Beispiel zum erstellen eine im HDF5-Datei aus einem statisch definierten array-Größe, die ich modifiziert habe, um die suite meine Bedürfnisse

Im HDF5 mehr Raum einnimmt als CSV?

Anzahl der Antworten 1 Antworten
Betrachten Sie das folgende Beispiel: Vorbereiten der Daten: import string import random import pandas as pd matrix = np.random.random((100, 3000)) my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])] mydf = pd.DataFrame(matrix, columns=my_cols) mydf['something'] = 'hello_world' , Die höchstmögliche

Umwandlung im HDF5 in csv-oder tsv-Dateien

Anzahl der Antworten 4 Antworten
Ich bin auf der Suche nach einem Beispielcode, die konvertieren kann .h5-Dateien in csv-oder tsv. Ich gelesen zu haben .h5 und Ausgang auf csv-oder tsv. Beispiel-code wäre sehr geschätzt werden,bitte helfen, wie muss ich stecken, es für

Der Schnellste Weg zu schreiben, im HDF5-Dateien mit Python?

Anzahl der Antworten 3 Antworten
Angesichts einer großen (10s GB) CSV-Datei von gemischten text - /zahlen, was ist die Schnellste Methode zum erstellen einer im HDF5-Datei mit dem gleichen Inhalt, während die Speichernutzung sinnvoll? Ich würde gerne die h5py Modul, wenn möglich.

Schließen einer offenen h5py Daten Datei

Anzahl der Antworten 2 Antworten
In unserem Labor-wir speichern unsere Daten in hdf5 Dateien, die durch das python-Paket h5py. Am Anfang ein experiment erstellen wir ein hdf5 Datei-und Speicher-array nach array von array von Daten in der Datei (unter anderem). Wenn ein

Get Liste der im HDF5 Inhalt (Pandas HDFStore)

Anzahl der Antworten 2 Antworten
Habe ich kein problem, die Auswahl von Inhalten aus einer Tabelle in eine im HDF5-Shop: with pandas.HDFStore(data_store) as hdf: df_reader = hdf.select('my_table_id', chunksize=10000) Wie kann ich eine Liste aller Tabellen auswählen aus mit pandas? Siehe Verwandte: stackoverflow.com/questions/27097925/...

Wie man mit im HDF5-Dateien in R?

Anzahl der Antworten 4 Antworten
Ich habe eine Datei in hdf5 - format. Ich weiß, dass es sein soll, eine matrix, aber ich will, zu Lesen, dass die matrix in R so dass ich studieren kann. Ich sehe, dass es eine h5r

Lesen Sie im HDF5-Datei in numpy array

Anzahl der Antworten 5 Antworten
Ich habe den folgenden code zu Lesen im HDF5-Datei als ein numpy-array: hf = h5py.File('path/to/file', 'r') n1 = hf.get('dataset_name') n2 = np.array(n1) und wenn ich drucken n2 ich dieses: Out[15]: array([[<HDF5 object reference>, <HDF5 object reference>, <HDF5

pandas - so speichern Sie nur ausgewählte Spalten einer DataFrame im HDF5

Anzahl der Antworten 1 Antworten
Lese ich eine csv-Beispieldatei und speichern Sie es auf .h5-Datenbank. Die .csv ist wie folgt aufgebaut: User_ID;Longitude;Latitude;Year;Month;String 267261661;-3.86580025;40.32170825;2013;12;hello world 171255468;-3.83879575;40.05035005;2013;12;hello world 343588169;-3.70759531;40.4055946;2014;2;hello world 908779052;-3.8356385;40.1249459;2013;8;hello world 289540518;-3.6723114;40.3801642;2013;11;hello world 635876313;-3.8323166;40.3379393;2012;10;hello world 175160914;-3.53687933;40.35101274;2013;12;hello world 155029860;-3.68555076;40.47688417;2013;11;hello world Ich habe legt es

Schnell zu Lesen, HDF-5 Datei in python?

Anzahl der Antworten 1 Antworten
Habe ich ein instrument, welches Daten (viele Spuren, die von einem analog-zu-digital-Konverter) als HDF-5-Datei. Wie kann ich effizient öffnen Sie diese Datei in python? Ich habe versucht den folgenden code, aber es scheint eine sehr lange Zeit,

Wie Entferne ich die hex-Werte in einem python-string mit regulären Ausdrücken?

Anzahl der Antworten 3 Antworten
Habe ich ein cell-array in matlab columns = {'MagX', 'MagY', 'MagZ', ... 'AccelerationX', 'AccelerationX', 'AccelerationX', ... 'AngularRateX', 'AngularRateX', 'AngularRateX', ... 'Temperature'} Benutze ich diese Skripte die Verwendung von matlab ' s hdf5write-Funktion zum speichern der array in

im HDF5-Datei pandas dataframe

Anzahl der Antworten 1 Antworten
Ich habe einen Datensatz der gespeichert ist .h5-Dateien. Ich brauche, um nur bestimmte Spalten und manipulieren zu können, werden die Daten in es. Um dies zu tun, habe ich versucht zu laden, es in ein pandas dataframe.

Wie zum Anhängen von Daten zu einem bestimmten Datensatz in einer im HDF5-Datei mit h5py

Anzahl der Antworten 1 Antworten
Ich bin auf der Suche nach einer Möglichkeit zum Anhängen von Daten an eine vorhandene dataset innerhalb einer h5-Datei mit python (h5py). Einem kurzen intro zu meinem Projekt: ich versuche zu trainieren, ein CNN mit medizinischen Bilddaten.

installieren Sie im HDF5 und pytables in ubuntu

Anzahl der Antworten 4 Antworten
Ich versuche zu installieren tables Paket in Ubuntu 14.04 aber sems, wie es ist, sich zu beschweren. Ich versuche, es zu installieren mit PyCharm und seine Paket-installer, aber wie es scheint, ist beschweren sich über HDF5 Paket.

inkrementelle schreibt im HDF5 mit h5py

Anzahl der Antworten 2 Antworten
Ich habe eine Frage, wie am besten zu schreiben, im HDF5-Dateien mit python /h5py. Habe ich Daten wie: ----------------------------------------- | timepoint | voltage1 | voltage2 | ... ----------------------------------------- | 178 | 10 | 12 | ... -----------------------------------------

Aktualisierung h5py Datasets

Anzahl der Antworten 1 Antworten
Hat jemand eine Idee für die Aktualisierung im HDF5 datasets aus h5py? Angenommen, wir erstellen eine Datensatz wie: import h5py import numpy f = h5py.File('myfile.hdf5') dset = f.create_dataset('mydataset', data=numpy.ones((2,2),"=i4")) new_dset_value=numpy.zeros((3,3),"=i4") Ist es möglich zu verlängern die dset

Beim Lesen riesige im HDF5-Datei mit “pandas.read_hdf() ", warum bekomme ich das noch MemoryError-obwohl ich lese in Abschnitten durch die Angabe chunksize?

Anzahl der Antworten 1 Antworten
Problem Beschreibung: Ich benutze python pandas zu Lesen, ein paar große CSV-Datei und speichern Sie es in im HDF5-Datei, ist die resultierende im HDF5-Datei ist über 10GB. Das problem tritt auf, wenn die Lektüre es zurück. Obwohl

Wie kann ich effizient sparen python pandas dataframe in im HDF5 und öffnen Sie es wie ein dataframe in R?

Anzahl der Antworten 5 Antworten
Ich denke, der Titel deckt das Problem, aber zur Aufklärung: Den pandas python Paket hat einen DataFrame Datentyp für holding-Tabelle Daten in python. Es hat auch eine komfortable Schnittstelle zu den im HDF5 - Datei-format, so dass

Entdecken, Tasten mit h5py in Python ist3

Anzahl der Antworten 1 Antworten
In python2.7 kann ich analysieren hdf5 Dateien, die Schlüssel verwenden $ python >>> import h5py >>> f = h5py.File('example.h5', 'r') >>> f.keys() [u'some_key'] Jedoch in python3.4, bekomme ich etwas anderes: $ python3 -q >>> import h5py >>>

Speichern eine Liste von strings zu einem im HDF5 Datasets aus Python

Anzahl der Antworten 3 Antworten
Ich versuche zu speichern, eine variable Länge Liste von Strings zu einem im HDF5 Datasets. Der code für diese ist import h5py h5File=h5py.File('xxx.h5','w') strList=['asas','asas','asas'] h5File.create_dataset('xxx',(len(strList),1),'S10',strList) h5File.flush() h5File.Close() Bin ich immer die Fehlermeldung "TypeError: Keine conversion-Pfad für "dtype":

g++ kompilieren-Fehler: undefined reference to a shared library-Funktion, die vorhanden ist

Anzahl der Antworten 3 Antworten
Ich habe vor kurzem installiert die im HDF5 Bibliothek auf einem ubuntu-Rechner, und bin jetzt Probleme mit Verlinkung zu den exportierten Funktionen. Ich schrieb ein einfaches test-Skript readHDF.cpp zu erklären, die Frage: #include <hdf5.h> int main(int argc,

matplotlib - 3d-Oberfläche aus einem rechteckigen array von Höhen

Anzahl der Antworten 1 Antworten
Ich versuche zu Plotten einige HDF-Daten in matplotlib. Nach dem Import Sie Sie mit h5py, werden die Daten in form von Arrays, wie dieser: array([[151, 176, 178], [121, 137, 130], [120, 125, 126]) In diesem Fall x-und

shared-library, Standorte für matlab mex-Dateien:

Anzahl der Antworten 2 Antworten
Ich bin versucht, zu schreiben eine matlab-mex-Funktion, die verwendet libhdf5; Meine Linux-Installation bietet libhdf5-1.8 shared-libraries und-Header. Aber meine version von Matlab r2007b, bietet eine libhdf5.so aus der 1.6 Version. (Matlab .mat Dateien bootstrap im HDF5, offenbar). Wenn

numpy undefined symbol: PyFPE_jbuf

Anzahl der Antworten 6 Antworten
Ich versuche, mit der Eine Million Song Dataset, für diese hatte ich zum installieren von python-Tabellen, numpy, cython, im HDF5, numexpr, und so. Gestern habe ich es geschafft zu installieren, alles, was ich brauchte, und nachdem er

Löschen im HDF5 datasets mit h5py

Anzahl der Antworten 2 Antworten
Gibt es eine Möglichkeit zu entfernen, ein dataset aus einer im HDF5-Datei, vorzugsweise mit h5py? Oder alternativ, ist es möglich, zu überschreiben Datensatz, während die anderen Datensätze intakt? Meinem Verständnis, h5py Lesen/schreiben im HDF5-Dateien in 5 Modi

Wie bekommt man schnelleren code, als numpy.Punkt für die matrix-Multiplikation?

Anzahl der Antworten 1 Antworten
Hier Matrix-Multiplikation mit im HDF5 ich benutze im HDF5 (pytables), der für große matrix-Multiplikation, aber ich war überrascht, da die Verwendung im HDF5 es funktioniert sogar schneller ist als mit reinen numpy.dot und speichern von Matrizen im

Pandas ParserError EOF-Zeichen beim Einlesen mehrerer csv-Dateien zu im HDF5

Anzahl der Antworten 5 Antworten
Mithilfe Von Python Ist3, Pandas 0.12 Ich versuche zu schreiben, mehrere csv-Dateien (Gesamtgröße ist 7,9 GB) auf eine im HDF5 speichern, um später zu verarbeiten ab. Die csv-Dateien enthalten rund eine million Zeilen jeweils 15 Spalten und

die ist schneller laden: Gurke oder im HDF5 in python

Anzahl der Antworten 1 Antworten
Gegeben ist eine 1,5 Gb Liste der pandas dataframes. Frage ich mich, was ist ein besserer Ansatz zu behandeln, das laden dieser Daten: Gurke (über cPickle), im HDF5, oder etwas anderes in python? Erste, "dumping" der Daten

ImportError HDFStore erfordert PyTables Kein Modul namens Tabellen

Anzahl der Antworten 7 Antworten
import pandas as pd dfs = pd.HDFStore('xxxxx.h5') wirft diesen Fehler: "ImportError: HDFStore requires PyTables, "No module named tables" problem importing" Habe ich versucht zu installieren PyTables, die Erfordert Cython. Ich habe Cython 0.21 installiert, aber es wirft

Wie zu Lesen im HDF5-Dateien in Python

Anzahl der Antworten 4 Antworten
Ich versuche zu Lesen, Daten im HDF5-Datei in Python. Ich kann Lesen, die im HDF5-Datei mit h5pyaber ich kann nicht herausfinden, wie Zugriff auf Daten innerhalb der Datei. Mein code import h5py import numpy as np f1

Im HDF5-Viewer/Editoren linux

Anzahl der Antworten 2 Antworten
HDFVIEW ist ziemlich gut, aber gibt es alternativen? Wäre es toll, in der Lage, Dinge zu ändern, wie chunking - /Kompressions-Einstellungen - hdfview nicht, dass die Funktionalität - die zimmerreserviereung, ohne das resort laden der Dateien mittels

Im HDF5 - Parallelität, Kompression & I/O-performance

Anzahl der Antworten 2 Antworten
Habe ich die folgenden Fragen im HDF5 Leistung und Parallelität: Nicht im HDF5 Unterstützung gleichzeitiger Schreibzugriff? Parallelität überlegungen beiseite, wie ist im HDF5 Leistung in Bezug auf I/O-performance (nicht Kompressionsraten Auswirkungen auf die Leistung)? Da ich im

Verbessere Pandas (PyTables?) HDF5 Tabelle schreiben Leistung

Anzahl der Antworten 2 Antworten
Ich habe mit pandas-Forschung nun für etwa zwei Monate mit großer Wirkung. Mit einer großen Anzahl von mittelständischen trace-Ereignis-Datensätze, die pandas + PyTables (die im HDF5-interface) stellt eine enorme Aufgabe, die mir erlaubt, zu verarbeiten, heterogene Daten

Iterativ zu HDF5 Stores in Pandas schreiben

Anzahl der Antworten 2 Antworten
Pandas die folgenden Beispiele zum speichern SeriesDataFrames und Panelsim im HDF5-Dateien: Bereiten einige Daten: In [1142]: store = HDFStore('store.h5') In [1143]: index = date_range('1/1/2000', periods=8) In [1144]: s = Series(randn(5), index=['a', 'b', 'c', 'd', 'e']) In [1145]:

Kombination von hdf5-Dateien

Anzahl der Antworten 5 Antworten
Habe ich eine Reihe von im HDF5-Dateien, von denen jede ein einzelnes dataset. Die Datensätze sind zu groß, um zu halten Sie in RAM. Ich möchte kombinieren Sie diese Dateien in eine einzelne Datei, die alle Datensätze

Konvertieren Sie große CSV in HDF5

Anzahl der Antworten 2 Antworten
Habe ich eine 100M-Linie csv-Datei (eigentlich viele separate csv-Dateien) in Höhe 84GB. Ich brauche, um zu konvertieren, um ein im HDF5-Datei mit einem einzigen float-dataset. Ich verwendet h5py im Test ohne Probleme, aber jetzt kann ich nicht

HDF5 Beispielcode

Anzahl der Antworten 3 Antworten
Mit HDF5DotNetjemand kann mir bei Beispiel-code, welcher eine im HDF5-Datei, extrahieren Sie den Inhalt eines datasets, und drucken Sie den Inhalt auf der standard-Ausgabe? Bisher habe ich die folgenden: H5.Open(); var h5 = H5F.open("example.h5", H5F.OpenMode.ACC_RDONLY); var dataset

Wie exportiert man HDF5-Datei mit H5PY zu NumPy?

Anzahl der Antworten 2 Antworten
Ich habe eine vorhandene im HDF5-Datei mit drei arrays, die ich extrahieren möchte eines der arrays mit h5py. InformationsquelleAutor der Frage l.z.lz | 2012-04-23

Wie unterscheidet sich HDF5 von einem Ordner mit Dateien?

Anzahl der Antworten 8 Antworten
Arbeite ich an einer open-source-Projekt Umgang mit dem hinzufügen von Metadaten zu Ordnern. Die mitgelieferten (Python) API ermöglicht das durchsuchen und die Metadaten zugreifen, wie es war nur ein weiterer Ordner. Denn es ist nur ein weiterer

MATLAB: Unterschiede zwischen .mat-Versionen

Anzahl der Antworten 1 Antworten
Den offizielle Dokumentation besagt Folgendes: . Aber ich habe bemerkt, dass es andere wichtige Unterschiede außer den Angaben in der Tabelle oben. Zum Beispiel die Rettung eines cell-array mit etwa 6000 Elemente, die belegt 176 MB Speicher

Meinungen zu NetCDF vs HDF5 zum Speichern von wissenschaftlichen Daten?

Anzahl der Antworten 7 Antworten
Jemand da draußen haben genug Erfahrung, w/NetCDF und im HDF5 zu geben, einige Pluspunkte /Minuspunkte über Sie als eine Möglichkeit der Speicherung von wissenschaftlichen Daten? Ich habe im HDF5 und möchte Lesen/schreiben über Java, aber das interface

"Große Daten" arbeiten mit Pandas

Anzahl der Antworten 13 Antworten
Ich habe versucht, ein Rätsel, eine Antwort auf diese Frage ist für viele Monate, während Sie lernen pandas. Ich nutze SAS für meine Tag-zu-Tag Arbeit und es ist großartig, denn es ist out-of-core-Unterstützung. Aber SAS ist schrecklich,

Wie behandelt man hdf5-Dateien in R?

Anzahl der Antworten 4 Antworten
Ich habe eine Datei in hdf5 - format. Ich weiß, dass es sein soll, eine matrix, aber ich will, zu Lesen, dass die matrix in R so dass ich studieren kann. Ich sehe, dass es eine h5r

Schnellste Möglichkeit, HDF5-Dateien mit Python zu schreiben?

Anzahl der Antworten 3 Antworten
Angesichts einer großen (10s GB) CSV-Datei von gemischten text - /zahlen, was ist die Schnellste Methode zum erstellen einer im HDF5-Datei mit dem gleichen Inhalt, während die Speichernutzung sinnvoll? Ich würde gerne die h5py Modul, wenn möglich.