Tag: dataframe

Ein data frame ist eine tabellarische Datenstruktur. In der Regel enthält es Daten, in denen Zeilen sind Beobachtungen und die Spalten sind Variablen der verschiedenen Typen. Während „data frame“ oder „dataframe“ ist der Begriff für dieses Konzept in mehreren Sprachen (R, Apache Spark, deedle, Ahorn, die pandas-Bibliothek in Python und die DataFrames library in Julia), „Tabelle“ ist der Begriff in MATLAB und SQL.

Computing Rang einer Zeile

Anzahl der Antworten 1 Antworten
Ich möchte Ranges Benutzer-id basiert auf einem Feld. Für den gleichen Wert des Feldes, Rang sollte gleich sein. Dass Daten in Hive-Tabelle. z.B. user value a 5 b 10 c 5 d 6 Rank a - 1

Konvertieren Pandas DataFrame Spalte Von String zu Int-Basierend auf Bedingten

Anzahl der Antworten 1 Antworten
Ich habe einen dataframe, der aussieht wie df viz a1_count a1_mean a1_std n 3 2 0.816497 y 0 NaN NaN n 2 51 50.000000 Ich konvertieren wollen die "viz" - Spalte auf 0 und 1, basierend auf

Pandas DataFrame.merge MemoryError

Anzahl der Antworten 2 Antworten
Ziel Mein Ziel ist es, Zusammenführen von zwei DataFrames durch Ihre gemeinsame Spalte (gen-Namen), so kann ich ein Produkt jedes gen score über jedes gen Reihe. Ich würde dann einen groupby auf Patienten und Zellen und der

So entfernen Sie die letzten zwei Ziffern in einer Spalte vom Typ integer?

Anzahl der Antworten 2 Antworten
Wie kann ich entfernen Sie die letzten beiden Ziffern der DataFrame Spalte des Typs int64? Beispielsweise df['DATE'] umfasst: DATE 20110708 20110709 20110710 20110711 20110712 20110713 20110714 20110815 20110816 20110817 Was ich möchte ist: DATE 201107 201107 201107

Erkennen und ausschließen von Ausreißern in der Pandas-Daten-frame

Anzahl der Antworten 17 Antworten
Habe ich ein pandas dataframe mit wenigen Spalten. Jetzt weiß ich, dass gewisse Zeilen sind-Ausreißer, basierend auf einer bestimmten Spalte Wert. Beispielsweise Spalten - 'Vol' hat alle Werte um 12xx und ein Wert 4000 (Ausreißer). Nun würde

Zusammenführen und Subtraktion DataFrame Spalten in pandas?

Anzahl der Antworten 3 Antworten
Habe ich ein pandas DataFrame, so etwas wie: col1 col2 col3 col5 NaN 1 2 8 2 NaN 4 8 4 NaN 4 8 Möchte ich zwei Dinge tun: 1) Verschmelzen, Spalten 1 und 2: newcol1 col3

Gruppe durch und finden Sie top-n-value_counts pandas

Anzahl der Antworten 2 Antworten
Habe ich ein dataframe von taxi-Daten mit zwei Spalten, die wie folgt aussieht: Neighborhood Borough Time Midtown Manhattan X Melrose Bronx Y Grant City Staten Island Z Midtown Manhattan A Lincoln Square Manhattan B Grundsätzlich, jede Zeile

Wechsel-Pipe-separierte Daten zu Dataframe in Python Pandas

Anzahl der Antworten 1 Antworten
Habe ich pipe-separierte Werte wie diese: https|clients4.google.com|application/octet-stream|2296| https|clients4.google.com|text/html; charset=utf-8|0| .... .... https|clients4.google.com|application/octet-stream|2291| Habe ich zum erstellen eines Pandas DataFrame aus diesen Daten, wobei jede Spalte einen Namen gegeben. InformationsquelleAutor itsaruns | 2014-01-06

So löschen Sie eine Spalte in pandas dataframe basierend auf einer Bedingung?

Anzahl der Antworten 2 Antworten
Habe ich ein pandas DataFrame, mit vielen NAN Werte. Wie kann ich das löschen von Spalten, so dass number_of_na_values > 2000? Ich versuchte es so: toRemove = set() naNumbersPerColumn = df.isnull().sum() for i in naNumbersPerColumn.index: if(naNumbersPerColumn[i]>2000): toRemove.add(i)

Wie konvertieren von faktorstufen auf Liste in R

Anzahl der Antworten 2 Antworten
Vorstellen, einen Daten-frame wie df1 unten: df1 <- data.frame(v1 = as.factor(c("m0p1", "m5p30", "m11p20", "m59p60", "m59p60"))) Wie erstelle ich eine Liste von allen Ebenen eine variable? Danke. levels(df1$v1) geben Sie ein Zeichen, Vektor-Ebenen. Verwandte: stackoverflow.com/questions/5869539/... InformationsquelleAutor jpinelo |

Umwandlung einer Liste von Daten-frames in einzelne data frames in R

Anzahl der Antworten 5 Antworten
Ich habe die Suche hoch und niedrig für das, was ich denke, ist eine einfache Lösung. Habe ich einen großen Daten-frame, der ich-split-Faktoren. eqRegions <- split(eqDataAll, eqDataAll$SeismicRegion) Dieser jetzt erzeugt ein list-Objekt des Daten-frames die von region

Wie kann ich merge mehrere dataframes mit den gleichen Spaltennamen?

Anzahl der Antworten 3 Antworten
, Was ich haben: Ich habe ein "master" dataframe, der die folgenden Spalten: userid, condition Da gibt es vier experiment-Bedingungen, ich habe auch vier dataframes, die Antwort von Informationen, mit den folgenden Spalten: userid, condition, answer1, answer2

Wie um eine Unterklasse pandas DataFrame?

Anzahl der Antworten 2 Antworten
Unterklassen pandas Klassen scheint eine gemeinsame müssen, aber ich konnte nicht finden, Verweise auf das Thema. (Es scheint, dass pandas sind die Entwickler noch dran arbeiten: https://github.com/pydata/pandas/issues/60). Gibt es SO einige threads zu dem Thema, aber ich

Kombinieren duplizierten Spalten innerhalb einer DataFrame

Anzahl der Antworten 3 Antworten
Wenn ich einen dataframe, die Spalten mit den gleichen Namen, gibt es eine Möglichkeit, verbinden die Spalten, die den gleichen Namen mit einer Art von Funktion (d.h. die Summe)? Beispielsweise mit: In [186]: df["NY-WEB01"].head() Out[186]: NY-WEB01 NY-WEB01

Erstellen Sie leere Daten-frame mit 200 Zeilen und keine Spalten

Anzahl der Antworten 3 Antworten
Hier ist, wie ich das tun kann: df <- data.frame(a=1:200) df$a <- NULL df Ergebnis: data frame with 0 columns and 200 rows Kann das gleiche erreicht werden, mit nur einem Befehl? Ich denke, die erste Frage

Wie bekomme ich eine einzelne Spalte in der Funke?

Anzahl der Antworten 1 Antworten
Ich würde gerne eine Aktion durchführen, die auf eine einzelne Spalte. Leider, nachdem ich die Transformation, die Spalte, es ist jetzt nicht mehr Teil der dataframe es kam aber ein Column-Objekt. Als solche, es kann nicht gesammelt

Wie man die letzten N Zeilen eines pandas DataFrame?

Anzahl der Antworten 3 Antworten
Ich habe pandas dataframe df1 und df2 (df1 ist vanila dataframe, df2 ist indiziert durch 'STK_ID' & 'RPT_Date') : >>> df1 STK_ID RPT_Date TClose sales discount 0 000568 20060331 3.69 5.975 NaN 1 000568 20060630 9.14 10.143

Konvertieren Sie einen dataframe um einen Vektor (Zeilen -)

Anzahl der Antworten 3 Antworten
Ich habe einen dataframe mit numerischen Einträgen wie diesem test <- data.frame(x = c(26, 21, 20), y = c(34, 29, 28)) Wie bekomme ich den folgenden Vektor? > 26, 34, 21, 29, 20, 28 Ich war in

Wo ist die Dokumentation über Pandas 'Freq' - tags?

Anzahl der Antworten 1 Antworten
Ich bin neu Pandas, und versuche, mit date_range. Ich stieß auf alle möglichen guten Dinge für freq wie BME und BMS und ich möchte in der Lage sein, um schnell nachschlagen die richtigen Saiten zu bekommen, was

Drucken Sie ein Daten-frame mit den Spalten ausgerichtet werden (siehe R)

Anzahl der Antworten 6 Antworten
Habe ich die folgenden Daten-frame in R: > dframe Mean Median Candidates 85.68 60 NonCands 9.21 4 Multi 27.48 17 Mono 4.43 3 Multi NonCands 22.23 15 Will ich drucken Sie in eine Datei und halten Sie

So erstellen Sie ein DataFrame von zufälligen Ganzzahlen mit Pandas?

Anzahl der Antworten 1 Antworten
Ich weiß, dass wenn ich randn, import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(100, 4), columns=list('ABCD')) gibt mir das, was ich Suche, aber mit Elementen aus einer Normalverteilung. Aber was ist, wenn ich nur

Split-Daten-frame string-Spalte in mehrere Spalten

Anzahl der Antworten 14 Antworten
Nehme ich gerne die Daten des Formulars before = data.frame(attr = c(1,30,4,6), type=c('foo_and_bar','foo_and_bar_2')) attr type 1 1 foo_and_bar 2 30 foo_and_bar_2 3 4 foo_and_bar 4 6 foo_and_bar_2 und verwenden split() auf die Spalte "type" von oben zu

Pretty-print für eine gesamte Pandas-Serie / DataFrame

Anzahl der Antworten 10 Antworten
Ich arbeite mit Serien-und DataFrames auf das terminal, eine Menge. Die Standard - __repr__ für eine Serie gibt einem reduzierten Probe, mit einigen Kopf-und Schwanz-Werte, aber der rest fehlt. Gibt es eine vordefinierte Art und Weise zu

erhalten Sie die Spalte aus der Liste von dataframes R

Anzahl der Antworten 1 Antworten
Ich bin R Anfänger und ich komme auf dieses problem. Ich hatte einen dataframe, und mithilfe der split () - Funktion habe ich eine Liste von dataframes, e.g: dfList <- split(mtcars, mtcars$cyl) Nun will ich rufen Sie

So führen Sie eine Serie und DataFrame

Anzahl der Antworten 5 Antworten
Wenn Sie hierher gekommen auf der Suche nach Informationen über , wie führen Sie eine DataFrame und Series auf dem index, schauen Sie bitte in diese Antwort. Die OP ' s ursprüngliche Absicht war, zu Fragen zuweisen

Fügen Sie eine Zeile pandas DataFrame

Anzahl der Antworten 19 Antworten
Verstehe ich, dass pandas ist entworfen, um die Last vollständig aufgefüllt DataFrame aber ich muss erstellen Sie eine leere DataFrame dann Zeilen hinzufügen, eins nach dem anderen. Was ist der beste Weg, dies zu tun ? Habe

Konvertieren Liste der Wörterbücher, die auf ein pandas DataFrame

Anzahl der Antworten 5 Antworten
Habe ich eine Liste der Wörterbücher wie diese: [{'points': 50, 'time': '5:00', 'year': 2010}, {'points': 25, 'time': '6:00', 'month': "february"}, {'points':90, 'time': '9:00', 'month': 'january'}, {'points_h1':20, 'month': 'june'}] Und ich möchten diesen in einen Pandabären DataFrame wie

Teilmenge von Daten mithilfe von nicht sequenziell Zeile zahlen

Anzahl der Antworten 1 Antworten
Habe ich einen Daten-frame mit 30 Zeilen und 100 Spalten (X). Ich möchte erstellen Sie eine neue Daten-frame (Y) mit bestimmten Zeilen aus der größeren Daten-frame. Zum Beispiel, ich möchte Daten-frame (Y) enthalten, Zeilen 1 bis 5,

umbenennen von Elementen in einer Spalte eines data Frames mit pandas

Anzahl der Antworten 1 Antworten
Mit pandas: df = pd.DataFrame({'n':['d','a','b','c','c','a','d','b'], 'v':[1,2,1,2,2,1,1,1]}) Wie kann ich das umbenennen der Elemente in df.n, so dass a änderungen x, b zu y, c zu w und d zu z Resultat: n v 0 z 1 1

Konvertieren Python-dictionary zu entfachen, DataFrame

Anzahl der Antworten 1 Antworten
Habe ich ein Python-dictionary : dic = { (u'aaa',u'bbb',u'ccc'):((0.3, 1.2, 1.3, 1.5), 1.4, 1), (u'kkk',u'ggg',u'ccc',u'sss'):((0.6, 1.2, 1.7, 1.5), 1.4, 2) } Ich umwandeln möchte dieses Wörterbuch zu entfachen, DataFrame mit den Spalten : ['key', 'val_1', 'val_2', 'val_3',

Der Unterschied zwischen Klammer [ ] und doppelte Klammer [[ ]] für den Zugriff auf die Elemente einer Liste oder dataframe

Anzahl der Antworten 12 Antworten
R bietet zwei verschiedene Methoden für den Zugriff auf die Elemente einer Liste oder eines data.Rahmen - die und [ Betreiber. Was ist der Unterschied zwischen den beiden? In welchen Situationen sollte ich einen über den

Gleiche Funktion über mehrere data frames in R

Anzahl der Antworten 3 Antworten
Ich bin neu in R, und dies ist eine sehr einfache Frage. Ich habe eine Menge ähnliche Dinge, was ich haben will, aber nicht genau. Im Grunde habe ich mehrere Daten-frames und ich will einfach ausführen derselben

Immer das minimum der Zeilen in einem Daten-frame

Anzahl der Antworten 3 Antworten
Arbeite ich mit einem dataframe, der hat 65 Variablen in es. Die erste variable Kataloge eine person, und die nächsten 64 Variablen zeigen die geografische Distanz, die person ist von jedem an 64 Standorten. Mit R, ich

Funke: schreiben DataFrame als komprimierte JSON

Anzahl der Antworten 3 Antworten
Apache Spark DataFrameReader.json() verarbeiten kann gzipped JSONlines Dateien automatisch, aber es scheint nicht zu einem Weg, um DataFrameWriter.json() zu schreiben komprimiert JSONlines-Dateien. Die zusätzliche Netzwerk-I/O ist sehr teuer in der cloud. Gibt es einen Weg um dieses

Konvertieren eines Pandas GroupBy-Ausgabe von Serie zu DataFrame

Anzahl der Antworten 9 Antworten
Ich fange an mit input-Daten wie diese df1 = pandas.DataFrame( { "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } ) Die, wenn Sie gedruckt werden, erscheint

Kombinieren von zwei Listen, in einen dataframe in R

Anzahl der Antworten 5 Antworten
Ich habe zwei Listen mit unterschiedlicher Struktur: listA <- list(c("a","b","c"), c("d","e")) listB <- list(0.05, 0.5) listA [[1]] [1] "a" "b" "c" [[2]] [1] "d" "e" listB [[1]] [1] 0.05 [[2]] [1] 0.5 Ich habe eine Idee, wie

Finden Sie die maximal zwei oder mehr Spalten mit pandas

Anzahl der Antworten 2 Antworten
Ich habe einen dataframe mit den Spalten A,B. Ich brauche zum erstellen einer Spalte C so dass für jeden Datensatz /Zeile: C = max(A, B). Wie gehe ich dabei vor? Dank. InformationsquelleAutor Navneet | 2012-08-28

Zeilen entfernen, die mit allen oder einigen NAs (fehlende Werte) in den Daten.Rahmen

Anzahl der Antworten 16 Antworten
Möchte ich entfernen Sie die Zeilen in diesem data-frame: a) enthalten NAs über alle Spalten. Unten ist meine Beispiel-Daten-frame. gene hsap mmul mmus rnor cfam 1 ENSG00000208234 0 NA NA NA NA 2 ENSG00000199674 0 2 2

konvertieren von Daten.frame-Daten.Tabelle Spalte fehlt

Anzahl der Antworten 1 Antworten
Hatte einen Fall wie diesen. Versucht zu konvertieren "mtcars" Klasse von Daten.frame-Daten.Tabelle. "mtcars" Daten: > mtcars mpg cyl disp hp drat wt qsec vs am gear carb Mazda RX4 21.0 6 160.0 110 3.90 2.620 16.46 0

R - merge eine Liste von Daten-frames in einen data frame mit fehlenden Werten durch die Reihe

Anzahl der Antworten 1 Antworten
Habe ich eine variation auf die ach-so-common Problems, wie verschmelzen die Dinge miteinander in R. Habe ich eine Reihe von .txt-Dateien in einem bestimmten Ordner, und ich habe geschrieben eine Funktion, die: macht eine Liste der Dateien,

Sparen Sie einen großen Funken Dataframe wie eine einzige json-Datei in S3

Anzahl der Antworten 3 Antworten
Im Versuch zu speichern ein Funke DataFrame (mehr als 20G) auf eine einzige json-Datei in Amazon S3, mein code zum speichern der dataframe ist wie folgt : dataframe.repartition(1).save("s3n://mybucket/testfile","json") Aber ich bin immer ein Fehler von S3 "Ihr

Erstellen Sie eine neue variable aus einer lookup-Tabelle

Anzahl der Antworten 4 Antworten
Ich habe folgende Spalten in meinem Datensatz: presult aresult I single I double I triple I home run SS strikeout Ich würde gern noch eine Dritte Spalte "Grundlagen", die abhängig ist der Wert das Ergebnis in aresult

Hinzufügen einer Spalte rowsums über eine Liste von Spalten in Spark-Dataframe

Anzahl der Antworten 4 Antworten
Ich habe eine Spark-dataframe mit mehreren Spalten. Ich möchte eine Spalte hinzufügen, die auf der dataframe, die eine Summe einer bestimmten Anzahl von Spalten. Beispielsweise meine Daten sieht wie folgt aus: ID var1 var2 var3 var4 var5

Hinzufügen eines Vektors zu einer Spalte ein dataframe

Anzahl der Antworten 2 Antworten
Tut mir Leid, aber ich kann nicht finden, eine einfache Lösung für dieses. Habe ich einen Daten-frame: >bla<-c(1) >df<-data.frame(bla) >df bla 1 1 Möchte ich Anhängen von Werten an das Ende der Spalte (also nicht eine neue

Auswahl mehrerer Spalten in ein pandas dataframe

Anzahl der Antworten 15 Antworten
Ich habe Daten in verschiedenen Spalten, aber ich weiß nicht, wie um Sie zu extrahieren, um es zu speichern in einer anderen variable. index a b c 1 2 3 4 2 3 4 5 Wie wähle

Die aggregierten Daten in einer Spalte basierend auf Werten in einer anderen Spalte

Anzahl der Antworten 4 Antworten
Ich weiß, es ist ein einfacher Weg, dies zu tun...aber, ich kann ' T es herausfinden. Ich habe einen dataframe in mein R-Skript, das ungefähr so aussieht: A B C 1.2 4 8 2.3 4 9 2.3

Unlist alle Listenelemente in einem dataframe

Anzahl der Antworten 1 Antworten
Habe ich einen Daten-frame mit den folgenden Klassen von Variablen für jede Spalte: "date" "numeric" "numeric" "list" "list" "numeric" Die Daten in jeder Zeile sieht wie folgt aus: 1978-01-01, 12.5, 6.3, c(0,0,0.25,0.45,0.3), c(0,0,0,0.1,0.9), 72 Möchte ich, um

Wählen Sie durch partielle string aus ein pandas DataFrame

Anzahl der Antworten 8 Antworten
Ich habe eine DataFrame mit 4 Säulen, von denen 2 enthält string-Werte. Ich Frage mich, ob es einen Weg, um Zeilen auszuwählen, die basierend auf eine teilweise übereinstimmung mit einem gegen eine bestimmte Spalte? In anderen Worten,

Pandas DataFrame merge-Summen-Spalte

Anzahl der Antworten 3 Antworten
Ich versuche zum Zusammenführen von zwei DataFrames Summierung der Spalten Wert. df1 id name weight 1 A 0 2 B 10 3 C 10 df2 id name weight 2 B 15 3 C 10 Muss ich Summe

Zum extrahieren von nicht-nan-Werte aus mehreren Zeilen in ein pandas dataframe

Anzahl der Antworten 3 Antworten
Arbeite ich an mehreren taxi-datasets. Ich habe verwendet, pandas zu concat alle datasets in einer einzigen dataframe. Mein dataframe so aussieht. 675 1039 #and rest 125 taxis longitude latitude longitude latitude date 2008-02-02 13:31:21 116.56359 40.06489 Nan