BCP/ Bulk Insert schlägt Fehl (tab-getrennte Datei)

Habe ich versucht zu importieren-Daten (Tabulator getrennt) in SQL server. Die source-Daten exportiert werden, die von IBM Cognos. Daten können heruntergeladen werden von: sample-Daten

Habe ich versucht BCP /Bulk Insert -, aber es hat nicht geholfen. Die ursprüngliche Datei enthält eine header-Zeile (die übersprungen werden muss).

==================================
Schema:

CREATE TABLE [dbo].[DIM_Assessment](
[QueryType] [nvarchar](4000) NULL,
[QueryDate] [nvarchar](4000) NULL,
[APUID] [nvarchar](4000) NULL,
[AssessmentID] [nvarchar](4000) NULL,
[ICDCode] [nvarchar](4000) NULL,
[ICDName] [nvarchar](4000) NULL,
[LoadDate] [nvarchar](4000) NULL
) ON [PRIMARY]
GO

=============================
Format-Datei mit dem folgenden Befehl generiert

bcp [dbname].dbo.dim_assessment format nul -c -f C:\config\dim_assessment.Fmt -S <IP>  -U sa -P Pwd

Inhalt der Datei im format:

11.0
7
1       SQLCHAR             0       8000    "\t"     1     QueryType                    SQL_Latin1_General_CP1_CI_AS
2       SQLCHAR             0       8000    "\t"     2     QueryDate                    SQL_Latin1_General_CP1_CI_AS
3       SQLCHAR             0       8000    "\t"     3     APUID                        SQL_Latin1_General_CP1_CI_AS
4       SQLCHAR             0       8000    "\t"     4     AssessmentID                 SQL_Latin1_General_CP1_CI_AS
5       SQLCHAR             0       8000    "\t"     5     ICDCode                      SQL_Latin1_General_CP1_CI_AS
6       SQLCHAR             0       8000    "\t"     6     ICDName                      SQL_Latin1_General_CP1_CI_AS
7       SQLCHAR             0       8000    "\r\n"   7     LoadDate                     SQL_Latin1_General_CP1_CI_AS

=============================

Ich habe versucht, den Import von Daten mithilfe von BCP /Bulk Insert -, jedoch nicht von Ihnen arbeitete.

bcp [dbname].dbo.dim_assessment IN C:\dim_assessment.dat -f C:\config\dim_assessment.Fmt -S <IP>  -U sa -P Pwd

BULK INSERT dim_assessment FROM '\\dbserver\DIM_Assessment.dat'
WITH (
  DATAFILETYPE = 'char',
  FIELDTERMINATOR = '\t',
  ROWTERMINATOR = '\r\n'
);
GO

Vielen Dank im Voraus für Eure Hilfe@

Was bedeutet "nichts hat funktioniert" bedeuten? Hast du eine Fehlermeldung bekommen? Wenn dem so ist, was ist es?
Ja, zu dieser Zeit, ich kann nicht importieren von Daten mit SSIS. Wir schauen auf eine automatisierte Methode zum importieren von Daten im Netzwerk gespeichert in der SQL-server.
Ich bin mir nicht sicher, wie Sie Sie, die Antwort beantwortet alle meine Fragen.
Keine Fehler auftauchen. Außer es sagt 0 Zeilen kopiert.
Wenn Sie versuchen, BULK INSERT, das ist, was passiert?
Meine schlecht, ich sah nicht, Ihren Kommentar vor dem posten meine SSIS Sache. sorry.
Dies ist, was ich sehe, für die bulk insert
DataFileType wird davon ausgegangen, dass widechar, da die Daten-Datei ist eine Unicode-Signatur. Msg 4866, Ebene 16, Status 1, Zeile 1 Das Massenladen ist fehlgeschlagen. Die Spalte ist zu lange in der Daten-Datei für die Zeile 1, Spalte 7. Stellen Sie sicher, dass das Feldabschlusszeichen und das Zeilenabschlusszeichen richtig angegeben wurden. Msg 7399, Ebene 16, Status 1, Zeile 1 Der OLE DB-provider "BULK" für den Verbindungsserver "(null)" meldete einen Fehler. Der Anbieter hat keine Informationen über den Fehler. Msg 7330, Ebene 16, Status 2, Zeile 1 Kann keine Zeile aus abrufen OLE DB-provider "BULK" für den Verbindungsserver "(null)".

InformationsquelleAutor DataRiver | 2013-12-09

3

Ihre input-Datei ist in einem schrecklichen format.

Ihre format-Datei und Ihre BULK INSERT Befehl sowohl für den Staat, dass das Ende einer Zeile einen Wagenrücklauf und Zeilenvorschub-Kombination, und dass es sieben Spalten von Daten. Allerdings, wenn Sie öffnen Sie Ihre CSV-Datei im Editor werden Sie schnell sehen, dass die carriage returns und line feeds werden nicht beobachtet ordnungsgemäß in Windows (das heißt, Sie muss etwas anderes sein als genau \r\n). Sie können auch sehen, dass es nicht tatsächlich sieben Spalten von Daten, sondern fünf:
```
QueryType   QueryDate   APUID   AssessmentID    ICDCode ICDName LoadDate
PPIC    2013-11-20 10:23:14 11431   10963       Tremors
PPIC    2013-11-20 10:23:14 11431   11299       THUMB PAIN
PPIC    2013-11-20 10:23:14 11431   11348       Environmental allergies
...
```
Schaut auf Sie optisch kann man sagen, es ist nicht richtig, und Sie brauchen, um eine bessere Quell-Datei, bevor warf es über die Mauer in SQL Server und erwartet, dass es zu behandeln es wie geschmiert:
- Ich weiß nicht, was zu sagen. Wahrscheinlich so, wie andere bereits erklärt haben, einige Spalten fehlen/ leer, die ist, warum Sie sehen die Datendatei in diesem schlechten format?
InformationsquelleAutor Aaron Bertrand
2

Nur Gespeichert Ihre Datei als .CSV-und bulk eingefügt mit der folgenden Anweisung.
```
BULK INSERT dim_assessment FROM 'C:\Blabla\TestFile.csv'
WITH (
  FIRSTROW = 2,
  FIELDTERMINATOR = ',',
  ROWTERMINATOR = '\n'
);
GO
```
Meldete
```
(22587 row(s) affected)
```
Geladenen Daten

Nur bemerken, dass einige der Daten von der ICD-Namen überflogen hat in LoadDate Spalte, verwenden Sie Einfach die | pipe-Zeichen zu deliminate und verwenden die gleichen bulk insert-Anweisung mit FIELDTERMINATOR = '|' und glückliche Tage .
- Es ist wahrscheinlich nicht machbar, fügen Sie die Trennzeichen (- Rohr).
- Würde Sie einen Weg kennen um zu speichern diese tab-getrennte Datei mit den "pipes" von der Kommandozeile aus oder etwas, was nicht die ein manuelles eingreifen erfordern?
- Die Datei wurde bereits beschriftet ".csv", sondern im tab-delimited-format. Meinst du, dass Sie es geöffnet haben, manuell in Excel, und dann neu gespeichert als CSV? Leider kann man das nicht jedes mal manuell. Die wirkliche Lösung ist, um die richtige Ausgabe in den ersten Platz, so dass Sie nicht haben, um manuelle Schritte dazwischen...
- so, ich habe die Daten gespeichert, wie einem pipe-delimited (alle programmgesteuert). So weit, ich habe ein Problem bei der Rettung der Daten via bcp. Ich erhalte die folgende Fehlermeldung beim Versuch, ein Problem bcp: Starting copy... SQLState = S1000, NativeError = 0 Error = [Microsoft][SQL Server Native Client 11.0]Unexpected EOF encountered in BCP data-file 21 rows copied. Network packet size (bytes): 4096 Clock Time (ms.) Total : 78 Average : (269.23 rows per sec.)
- Es sagt 21 Zeilen kopiert, jedoch werden alle Zeilen, außer der ersten Zeile, erste Spalte hat einige junk-Werte. Ich bin an einem Verlust, was ist hier Los. Es ist eine einfache BCP-Eingabe mit pipe-Trennzeichen angegeben wird.
InformationsquelleAutor M.Ali
0

Öffnen Sie die Datei über Excel zeigt das folgende:
- Sind es ja auch 7 Zeilen-Header
- Nur die ersten sechs von Ihnen sind besiedelt
- Spalten 1, 2 und 3 halten identische Werte
- Es gibt einige verwirrende Daten, wo der fünften Spalte kann entweder leer, oder gefüllt mit zahlen oder mit text gefüllt.
Ich denke, dass in diesen Bedingungen, der bulk insert funktioniert möglicherweise nicht ordnungsgemäß. Als Excel scheint auf verwalten Ihre Datei in einem ganz saubere Art und Weise, sollten Sie darüber nachdenken, ein extra-Schritt, von CSV zu Excel und dann zu Ihrer Datenbank.
- Wow, ich bin begeistert, dies zu sehen. Wenn Sie sagen, es sollte ein extra-Schritt, gibt es eine Möglichkeit zum speichern der Registerkarte Datei mit Trennzeichen als ein "Komma" getrennte Datei in excel, und importieren Sie die Daten dann von der Kommandozeile? Wenn das passiert,, ich bin gold!
- Sollten Sie geben diesem einen Versuch, durch die "speichern unter" - option von Excel. Wenn Sie können es manuell tun, es bedeutet, es gibt einen Weg, es zu tun programmgesteuert. einfache T-SQL-möglicherweise nicht den trick tun, aber es gibt sicherlich einige command-line-software zur Verfügung. Google es einfach.
- Ich bin auf der Suche! wenn ich etwas finden, werde es hier posten. Dank
- ok, also ich bin in der Lage, speichern Sie die Datei als "csv" mit vba. Wenn ich die Datei importieren, mithilfe der bulk-import, wird es importiert der server. Es gibt jedoch ein kleines problem. Daten in der Datei (beim öffnen in notepad zeigt sich: PPIC,11/20/2013 10:23,11431,10963,,Tremors , PPIC,11/20/2013 10:23,11431,11592,,"Glioblastoma, Barin ", die erste Zeile ist korrekt eingesetzt. die zweite Zeile fügt jedoch die Letzte Spalte gespeichert, die in mehrere Spalten (ich glaube, es ist, weil das zusätzliche Komma) Wie kann ich das beheben?
- Wenn Sie VBA verwenden, dann mache ich Ihnen raten, gehen Sie direkt mit Excel-Objekte und-tools und speichern Sie die Datei als XLS (oder versuchen XML?). Damit vermeiden Sie, dass das Koma-problem. Sie können dann entweder weiter mit VBA und öffnen Sie ein recordset basierend auf Ihrem XLS-Datei, oder wechseln Sie zu einer import-Prozedur mithilfe von SQL Server.
- Ein weiteres "fettig" - Lösung sein, öffnen Sie Ihren text-Datei und ändern Sie die Koma in ein anderes Zeichen, wenn das Koma ist zwischen zwei Anführungszeichen ... du wirst dann in der Lage sein, um eine saubere csv-Datei und bulk-import....
- ok, so habe ich es geschafft, um die Quelle der Daten (excel-csv-Trennzeichen getrennt) zu einem pipe-delimited-mithilfe von windows powershell. Nun, das format-Datei wurde aktualisiert, um mit "|" statt "\t". Bei dem Versuch, einen bcp, ich sehe den Fehler Starting copy... SQLState = S1000, NativeError = 0 Error = [Microsoft][SQL Server Native Client 11.0]Unexpected EOF encountered in BCP data-file 21 rows copied. Network packet size (bytes): 4096 Clock Time (ms.) Total : 78 Average : (269.23 rows per sec.) keine Hilfe?
- Es gibt keine spezifische csv-format für Excel. Wenn es Ihnen gelingt, die Datei über Excel, Speichere es als xml oder xlsx. Überlassen Sie es nicht als csv-Datei ....
InformationsquelleAutor Philippe Grondier
0

Ok, so war dies eine vermeintlich einfache Aufgabe zu drücken getrennte Daten aus flat-Datei zu SQL server. Ich dachte, BCP war der Weg zu gehen (ich habe es benutzt und war früher erfolgreich).

Einen schnellen überblick von dem, was vorgeschlagen wurde:
ein. Update der source-Datei
b. speichern von source-Daten in nativem excel-format
c. speichern von source-Daten als pipe-separierte Daten

Ich habe versucht, alle Optionen, aber, es war Sie mehrere Schritte, um meinen Prozess, aber war machbar.

Stolperte ich über invoke-sqlcmd - & import-csv aus der powershell commandlets. Stellt sich heraus, ich kann die Daten importieren, mithilfe der powershell direkt. es ist ein bisschen langsam, aber ich kann damit Leben, dass für jetzt.
```
$DATA=IMPORT-CSV dim_assessment.CSV -Delimiter "`t"

FOREACH ($LINE in $DATA)

{
$QueryType="`'"+$Line.QueryType+"`'"
$QueryDate="`'"+$Line.QueryDate+"`'"
$APUID="`'"+$Line.APUID+"`'"
$AssessmentID="`'"+$Line.AssessmentID+"`'"
$ICDCode="`'"+$Line.ICDCode+"`'"
    $ICDName=$Line.ICDName
    $ICDName = $ICDName.replace("'","''")
$ICDName="`'"+$ICDName+"`'" 
$LoadDate="`'"+$Line.LoadDate+"`'"

$SQLHEADER="INSERT INTO [dim_assessment] ([QueryType],[QueryDate],[APUID],[AssessmentID],[ICDCode],[ICDName],[LoadDate])"
$SQLVALUES="VALUES ($QueryType,$QueryDate,$APUID,$AssessmentID,$ICDCode,$ICDName,$LoadDate)"

$SQLQUERY=$SQLHEADER+$SQLVALUES
Invoke-Sqlcmd –Query $SQLQuery -ServerInstance HA -U sa -P Pwd

}
```
Vielen Dank für Ihre Hilfe!

InformationsquelleAutor DataRiver

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.