Tag: pytables

Eine Python-Bibliothek für die Arbeit mit extrem großen hierarchischen Datensätzen.

Aufbau einer riesigen numpy-array mit pytables

Anzahl der Antworten 2 Antworten
Wie kann ich eine riesige numpy-array mit pytables. Ich versuchte dies aber gibt mir der "ValueError: array ist zu groß." Fehler: import numpy as np import tables as tb ndim = 60000 h5file = tb.openFile('test.h5', mode='w', title="Test

Die Speicherung von numpy sparse-matrix im HDF5 (PyTables)

Anzahl der Antworten 3 Antworten
Bin ich habe Probleme beim speichern ein numpy csr_matrix mit PyTables. Ich bin immer diese Fehlermeldung: TypeError: objects of type ``csr_matrix`` are not supported in this context, sorry; supported objects are: NumPy array, record or scalar; homogeneous

Pytables Tabelle in ein pandas DataFrame

Anzahl der Antworten 2 Antworten
Viele Informationen zum Lesen einer csv in ein pandas dataframe, aber ich, was ich habe, ist ein pyTable Tabelle und wollen ein pandas DataFrame. Habe ich gefunden, wie meine pandas DataFrame zu pytables... dann lese ich es

Anhängen von Daten an bestehende Tabelle pytables

Anzahl der Antworten 1 Antworten
Ich bin neu PyTables und umgesetzt werden ein paar grundlegende Techniken zum einfügen und abrufen von Daten aus einer Tabelle in Pytables. Allerdings bin ich mir nicht sicher, wie das einfügen von Daten in eine vorhandene Tabelle

Im HDF5 mehr Raum einnimmt als CSV?

Anzahl der Antworten 1 Antworten
Betrachten Sie das folgende Beispiel: Vorbereiten der Daten: import string import random import pandas as pd matrix = np.random.random((100, 3000)) my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])] mydf = pd.DataFrame(matrix, columns=my_cols) mydf['something'] = 'hello_world' , Die höchstmögliche

Wie Entferne ich die hex-Werte in einem python-string mit regulären Ausdrücken?

Anzahl der Antworten 3 Antworten
Habe ich ein cell-array in matlab columns = {'MagX', 'MagY', 'MagZ', ... 'AccelerationX', 'AccelerationX', 'AccelerationX', ... 'AngularRateX', 'AngularRateX', 'AngularRateX', ... 'Temperature'} Benutze ich diese Skripte die Verwendung von matlab ' s hdf5write-Funktion zum speichern der array in

installieren Sie im HDF5 und pytables in ubuntu

Anzahl der Antworten 4 Antworten
Ich versuche zu installieren tables Paket in Ubuntu 14.04 aber sems, wie es ist, sich zu beschweren. Ich versuche, es zu installieren mit PyCharm und seine Paket-installer, aber wie es scheint, ist beschweren sich über HDF5 Paket.

Immer Pypy zu erkennen third party Modulen

Anzahl der Antworten 5 Antworten
Nur eine kurze Frage, wie bekomme ich pypy zu erkennen third pary-Module, die ich in Python? Zum Beispiel, bekomme ich die folgende Fehlermeldung. from tables import * ImportError: No Module named tables Ist im Grunde sagen, dass

Das Zusammenführen von zwei Tabellen mit Millionen von Zeilen in Python

Anzahl der Antworten 1 Antworten
Bin ich mit Python für einige Daten-Analyse. Ich habe zwei Tabellen, die erste (nennen wir es 'A'), hat 10 Millionen Zeilen und 10 Spalten und der zweite ('B') hat 73 Millionen Zeilen und 2 Spalten. Sie haben

Python: how to store a numpy mehrdimensionales array, in PyTables?

Anzahl der Antworten 1 Antworten
Wie kann ich ein mehrdimensionales array numpy in einem im HDF5-Datei mit PyTables? Was ich sagen kann, ich kann nicht ein array-Feld in einem pytables Tabelle. Brauche ich auch, um zu speichern einige Informationen über dieses array

Wie bekommt man schnelleren code, als numpy.Punkt für die matrix-Multiplikation?

Anzahl der Antworten 1 Antworten
Hier Matrix-Multiplikation mit im HDF5 ich benutze im HDF5 (pytables), der für große matrix-Multiplikation, aber ich war überrascht, da die Verwendung im HDF5 es funktioniert sogar schneller ist als mit reinen numpy.dot und speichern von Matrizen im

Verbessere Pandas (PyTables?) HDF5 Tabelle schreiben Leistung

Anzahl der Antworten 2 Antworten
Ich habe mit pandas-Forschung nun für etwa zwei Monate mit großer Wirkung. Mit einer großen Anzahl von mittelständischen trace-Ereignis-Datensätze, die pandas + PyTables (die im HDF5-interface) stellt eine enorme Aufgabe, die mir erlaubt, zu verarbeiten, heterogene Daten

Iterativ zu HDF5 Stores in Pandas schreiben

Anzahl der Antworten 2 Antworten
Pandas die folgenden Beispiele zum speichern SeriesDataFrames und Panelsim im HDF5-Dateien: Bereiten einige Daten: In [1142]: store = HDFStore('store.h5') In [1143]: index = date_range('1/1/2000', periods=8) In [1144]: s = Series(randn(5), index=['a', 'b', 'c', 'd', 'e']) In [1145]:

Konvertieren Sie große CSV in HDF5

Anzahl der Antworten 2 Antworten
Habe ich eine 100M-Linie csv-Datei (eigentlich viele separate csv-Dateien) in Höhe 84GB. Ich brauche, um zu konvertieren, um ein im HDF5-Datei mit einem einzigen float-dataset. Ich verwendet h5py im Test ohne Probleme, aber jetzt kann ich nicht