Kopieren Sie einige Spalten einer CSV-Datei in eine Tabelle

Ich habe eine CSV-Datei mit 10 Spalten. Nach dem erstellen einer PostgreSQL-Tabelle mit 4 Spalten, ich will zu kopieren 10 Spalten in die Tabelle ein.

die Spalten meiner CSV-Tabelle werden wie:

x1 x2 x3 x4 x5 x6 x7 x8 x9 x10

den Spalten von meiner PostgreSQL-Tabelle sollte wie:

x2 x5 x7 x10

InformationsquelleAutor der Frage POTENZA | 2012-09-27

  1. 50

    Wenn es sich um eine ad-hoc-Aufgabe

    Erstellen Sie eine temporäre Tabelle mit allen Spalten in der input-Datei

    create temporary table t (x1 integer, ... , x10 text)

    Kopie von der Datei:

    copy t (x1, ... , x10)
from '/path/to/my_file'
with (format csv)

    Legen Sie nun in die endgültige Tabelle aus dem temp -:

    insert into my_table (x2, x5, x7, x10)
select x2, x5, x7, x10
from t

    And drop:

    drop table t

    Wenn es ist eine häufige Aufgabe

    Verwenden Sie die file_fdw - Erweiterung. Als superuser:

    create extension file_fdw;

create server my_csv foreign data wrapper file_fdw;

create foreign table my_csv (
    x1 integer,
    x2 text,
    x3 text
) server my_csv
options (filename '/tmp/my_csv.csv', format 'csv' )
;

    Grant select Berechtigung auf die Tabelle, um den Benutzer, der es Lesen wird:

    grant select on table my_csv to the_read_user;

    Dann, wenn notwendig, Lesen Sie direkt aus der csv-Datei, als ob es eine Tabelle:

    insert into my_table (x2)
select x2
from my_csv
where x1 = 2

    InformationsquelleAutor der Antwort Clodoaldo Neto

  2. 19

    Können Sie die Spalten, die Sie wollen zu füllen mit den COPY Befehl. Etwa so:

    \copy your_table (x2,x5,x7,x10) FROM '/path/to/your-file.csv' DELIMITER ',' CSV;

    Hier ist der doc für die COPY Befehl.

    InformationsquelleAutor der Antwort Julien

  3. 3

    Gerade hier angekommen, auf ein Streben nach einer Lösung, um nur laden einer Teilmenge der Spalten, aber scheinbar ist es nicht möglich. Also, nutzen Sie awk (oder cut) zum extrahieren der Spalten wollte, um eine neue Datei new_file:

    $ awk '{print $2, $5, $7, $10}' file > new_file

    und laden Sie die new_file. Sie konnten leiten Sie die Ausgabe direkt in psql:

    $ cut -d \  -f 2,5,7,10 file | 
  psql -h host -U user -c "\COPY table(col1,col2,col3,col4) FROM STDIN DELIMITER ' '" database

    InformationsquelleAutor der Antwort James Brown

  4. 0

    Zum laden von Daten aus einer Tabellenkalkulation (Excel oder OpenOffice Calc) in postgreSQL:

    Speichern Sie die Seite Tabelle als CSV-Datei. Bevorzugte Methode ist, öffnen Sie die Kalkulationstabelle auf OpenOffice Calc und machen die Rettung. Auf "Export to text file" wählen Sie als Zeichensatz Unicode (UTF8), Feld-Trennzeichen: "," und der Text Delimiter" -" ". Meldung angezeigt werden sagen nur aktive Blatt wird gespeichert. Hinweis: Diese Datei muss gespeichert werden, auf einem Ordner, aber nicht auf dem desktop und speichern müssen im UTF8-format (postgreSQL per dafault ist Schritt für UTF8-Kodierung). Wenn gespeichert auf desktop, postgreSQL geben wird "Zugriff verweigert" angezeigt und nicht hochgeladen.

    In PostgreSQL erstellen Sie eine leere Tabelle mit der gleichen Anzahl von Spalten der Tabelle.

    Hinweis: Auf jeder Spalte-Spalte-name muss derselbe sein, der Datentyp muss gleich sein. Auch im Auge behalten, die Länge der Daten, bei denen Zeichen unterschiedlicher mit genug Feld.

    Dann auf postgreSQL, SQL-Fenster, setzen Sie den code:

    kopieren "ABC"."def" aus E'C:\\tmp\\blabla.csv' Trennzeichen ',' CSV HEADER;

    HINWEIS: Hier C:\\tmp ist der Ordner, wo die CSV-Datei "blabla" ist gespeichert. "ABC"."def" ist die erstellte Tabelle auf dem postgreSQL, wobei "ABC" schema-und"def" ist die tatsächliche Tabelle. Dann gehe auf "Abfrage ausführen" drücken der grünen Taste auf der Oberseite. "CSV-HEADER" ist erforderlich, wenn die CSV-Tabelle hat überschrift am Anfang jeder Spalte.

    Wenn everythig ist ok, keine Fehlermeldung wird angezeigt und die Tabelle, die Daten aus einer CSV-Datei geladen werden, die in der postgreSQL-Tabelle. Aber wenn es eine Fehlermeldung gibt Folgendes machen:

    Wenn die Fehlermeldung sagt, dass die Daten zu lang für eine bestimmte Spalte, dann erhöhen Sie die Spalte Größe. Dies geschieht meist auf den Charakter und der Charakter unterschiedlicher Spalte. Führen Sie dann die "Abfrage ausführen" - Befehl wieder.

    Wenn die Fehlermeldung sagt, dass der Datentyp nicht mehr mit einer bestimmten Spalte, dann ändern Sie den Datentyp in postgreSQL-Tabelle-Spalte übereinstimmen, die in der CSV-Tabelle.

    In Ihrem Fall, nach dem erstellen der CSV-Datei, löschen Sie unerwünschte Spalten und passen Sie die Spalten in der postgre-Tabelle.

    InformationsquelleAutor der Antwort Sagun

  5. 0

    Konnten Sie mit James Brown ' s Vorschlag weiter und Mach alles in einer Zeile:

    cat Datei |awk -F ',' '{print $2","$5","$7","$10}' |psql -d-db -c "\kopieren MyTable von STDIN csv-header"

    InformationsquelleAutor der Antwort Chris Lawton

  6. 0

    Andere Antworten haben darauf hingewiesen, ist es möglich, zu spezifizieren, zu kopierenden Spalten in der PG-Tabelle. Jedoch ohne die Möglichkeit zur Referenz Spaltennamen in der CSV, hatte diese kleine utility-abgesehen von dem laden in eine Tabelle, wo die Spalten hatte eine andere Reihenfolge.

    Glücklicherweise, wie der Postgres 9.3, es ist möglich, kopieren Sie Spalten nicht nur aus einer Datei oder von der Standardeingabe, sondern auch von einem shell-Befehl mit dem PROGRAMM:

    PROGRAMM

    Einen Befehl auszuführen. In der KOPIE AUS, der Eingang ist Lesen aus Standardausgabe des Befehls, und in KOPIE AN die Ausgabe geschrieben, um die standard-Eingabe von dem Befehl.

    Beachten Sie, dass der Befehl aufgerufen wird, indem Sie die Schale, so dass, wenn Sie brauchen, um passieren, alle Argumente zu shell-Befehl, der von einer vertrauenswürdigen Quelle kommen, müssen Sie vorsichtig sein, um Streifen oder escape-Sonderzeichen, die möglicherweise eine spezielle Bedeutung für die shell. Aus Gründen der Sicherheit, verwenden Sie am besten einen festen Befehls-string, oder zumindest vermeiden, durch Benutzereingaben.

    Dies war das fehlende Stück, das wir benötigten für eine solche Spannung erwarteten Funktionalität. Zum Beispiel könnten wir diese option in Kombination mit cut (in einem UNIX-system) zum auswählen bestimmter Spalten Reihenfolge:

    COPY my_table (x2, x5, x7, x10) FROM PROGRAM 'cut -d "," -f 2,5,7,10 /path/to/file.csv' WITH (FORMAT CSV, HEADER)

    Jedoch cut hat einige Einschränkungen beim Bearbeiten von CSV -: es kann nicht angemessen manipulieren strings mit Kommata (oder einem anderen delimeters) in Ihnen und nicht erlauben, wählen Sie die Spalten mit Namen.

    Gibt es mehrere andere open-source-Kommandozeilen-tools, die sind besser zu manipulieren und CSV-Dateien, wie csvkit oder miller. Hier ist ein Beispiel für die Verwendung miller wählen Sie Spalten nach Namen:

    COPY my_table (x2, x5, x7, x10) FROM PROGRAM 'mlr --csv lf cut -f x2,x5,x7,x10 /path/to/file.csv' WITH (FORMAT CSV, HEADER)

    InformationsquelleAutor der Antwort arredond

Schreibe einen Kommentar