wie entfernen Sie die BOM() Zeichen aus einer UTF-8-kodierten csv?

Muss ich parse eine utf8 codierte csv. Nach der Konvertierung habe ich gerade gesehen, dass das problem mit dem BOM () Zeichen am beginging. Ich kann nicht erstellen Sie eine csv-Vermeidung der Stückliste mit der utf8-Codierung, wie ich brauche, um zu analysieren, selbst wenn es ist utf8 codiert.

Alle einer bitte sagen Sie mir, wie kann ich das entfernen der BOM () Zeichen aus einer csv mit c#.net..

Update : ich habe meinen code zum Lesen der csv-Header, da ich immer das BOM am Anfang der Datei.

 string CSVConnectionString = "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" + ConfigurationSettings.AppSettings["CSVFolder"].ToString() + ";Extensions=asc,csv,tab,txt;Persist Security Info=False;";

        using (OdbcConnection Connection = new OdbcConnection(CSVConnectionString))
        {
            List<string> CSVHeaders = new List<string>();

            string SelectQuery = string.Format(@"SELECT TOP 1 * FROM [{0}]", CSVFileName);

            OdbcCommand Command = new OdbcCommand(SelectQuery, Connection);

            Connection.Open();

            OdbcDataReader Reader = Command.ExecuteReader(System.Data.CommandBehavior.CloseConnection);

            int ColumnCount = Reader.FieldCount;

            for (int column = 0; column < ColumnCount; column++)
            {
                CSVHeaders.Add(Reader.GetName(column));
            }

            return CSVHeaders;
        }
  • Sie nicht brauchen, um das BOM entfernen, Sie brauchen nur die Datei zu Lesen, richtig. Was macht der code Aussehen?
  • Jeff, ich bearbeitet haben meine Frage mit dem code
  • Ich konnte die Datei nicht Lesen richtig, denn es wurde gelesen als ein Teil von einem upload in Solr. Ich musste Strahlen die Datei ohne BOM, da in Simon ' s neues bei UTF8Encoding(false)
InformationsquelleAutor Harun | 2011-06-07
  1. 2

    Hier ist eine Funktion, die Folgendes tut:

        public static void SaveAsUTF8WithoutByteOrderMark(string fileName)
    {
        SaveAsUTF8WithoutByteOrderMark(fileName, null);
    }

    public static void SaveAsUTF8WithoutByteOrderMark(string fileName, Encoding encoding)
    {
        if (fileName == null)
            throw new ArgumentNullException("fileName");

        if (encoding == null)
        {
            encoding = Encoding.Default;
        }

        File.WriteAllText(fileName, File.ReadAllText(fileName, encoding), new UTF8Encoding(false));
    }
    • Tut dies, geeignet, wenn die Datei nicht verschlüsselt oder kodiert mit einigen anderen? Ich meine, sollte ich diese nur für utf8-codierte Dateien.
    • Ich würde nicht empfehlen, diese Möglichkeit für große Dateien.
    • Nein, diese Funktion arbeitet nur auf den utf-8-Eingabe-Dateien, oder wenn die Eingabe-Datei enthält nur ASCII-Zeichen.
    • Also ich brauche zur Behandlung von Dateien, die Sie mit aus utf8-Codierung getrennt, richtig?
    • ja, und um zu erleichtern, dass, ich habe eine überlastung zu können, geben Sie die input-Datei-Codierung. Standardmäßig ist der Default-Codierung (ANSI), aber wenn die input-Datei ist UTF8, die Sie tun können, SaveAsUTF8WithoutByteOrderMark(file, Encoding.UTF8)
    • bitte posten Sie Ihre Antwort
    • Ok.. danke für die Antwort. Könnten Sie bitte vorschlagen, den anderen Verschlüsselungen, sollte in Betracht gezogen werden im Fall einer csv-Datei? Jetzt habe ich nur das problem mit utf8.
    • Ich kann nicht darauf hinweisen, Nachteile für die Antwort, es sei denn, ich Schreibe einen besseren?
    • der Begriff "empfehlen" sicherlich bedeutet, 1) gibt es Probleme mit dieser Lösung, und 2) Sie sich vorstellen, eine andere Lösung, behebt es, so könnte man es mit uns teilen.
    • Ok.. danke für die Antwort. Könnten Sie bitte vorschlagen, den anderen Verschlüsselungen, sollte in Betracht gezogen werden im Fall einer csv-Datei? Jetzt habe ich nur das problem mit utf8.
    • Dies hat Super geklappt, nochmals vielen Dank!!

    InformationsquelleAutor Simon Mourier
  2. 4

    Eigentlich C# Lesen kann UTF-8 kodierte Dateien, die einen BOM-einfach nur gut. Es ist die kaputte CSV-text-Treiber, die Sie verwenden, die tatsächlich das problem verursacht. Ich würde empfehlen, einen der anderen CSV-reading-Lösungen von diese Antwort.

    • wenn Sie wirklich wollen, verwenden Sie die csvtext Treiber in das code-snippet einzufügen, verwenden Sie möglicherweise einen FileReader und FileWriter Kombination erstellen Sie eine Path.GetTempFilename() Kopie der Datei ohne die Stücklisten
    • Dieser funktioniert Super... Danke für deine Antwort. Wenn ich nicht bis jetzt getan ich würde auf jeden Fall diese verwendet. Ich kann nicht erneut ausführen, meine volle Testfälle nach der Verwendung der neuen externen dll..
    • Nicht sicher, was du meinst mit "neue externe DLL"... du meinst, dass Sie nicht das hinzufügen neuer Referenzen zu diesem Projekt? In diesem Fall, vielleicht können Sie das Microsoft.VisualBasic.FileIO.TextFieldParser, da es Teil der .NET-Framework.
    InformationsquelleAutor Daniel Pryden
  3. 2

    Statt Pferdewechsel (verwenden Sie eine andere .csv-Treiber) oder helfen, die gegebene Pferd durch ziehen der Wagen selbst (änderung der Codierung), sollten Sie sagen, das Pferd (der standard-ODBC-Text-Treiber), was es braucht, um zu wissen, um die Arbeit zu tun, indem ein schema.ini-Datei:

    [withbomgood.txt]
Format=TabDelimited
ColNameHeader=True
CharacterSet=65001
Col1=FrsColümn CHAR

    definieren Sie das format der withbomgood.txt:

    FrsColümn
whätever

    die eine exakte Kopie der withbombad.txt; beide Dateien haben eine Stückliste:

    FrsColümn
whätever

    Wenn Sie rufen nun eine leicht modifizierte Kopie 

    static void Harun00(string CSVFileName)
{
    string CSVFilePath = @"E:\trials\SoTrials\answers\6260911\data";
    string CSVConnectionString = 
        "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" + 
        CSVFilePath +
        ";Extensions=asc,csv,tab,txt;Persist Security Info=False;";

    using (OdbcConnection Connection = new OdbcConnection(CSVConnectionString))
    {
        List<string> CSVHeaders = new List<string>();

        string SelectQuery = string.Format(@"SELECT TOP 1 * FROM [{0}]", CSVFileName);

        OdbcCommand Command = new OdbcCommand(SelectQuery, Connection);

        Connection.Open();

        OdbcDataReader Reader = Command.ExecuteReader(System.Data.CommandBehavior.CloseConnection);

        int ColumnCount = Reader.FieldCount;

        for (int column = 0; column < ColumnCount; column++)
        {
            CSVHeaders.Add(Reader.GetName(column));
        }

        Console.WriteLine(CSVHeaders[0]);
    }
}

    Ihren code zweimal:

    static void Main(string[] args)
{
    Harun00("withbombad.txt");
    Harun00("withbomgood.txt");
}

    erhalten Sie:

    FrsColümn
FrsColümn
Press any key to continue . . .

    beweist, dass die Fahrer Lesen einer UTF8 mit BOM-Datei richtig und ohne weiteres, wenn Sie die Regel zu Folgen: definieren Sie Ihre csv-Tabellen in einem schema.ini-Datei.

    • Zwar kryptisch, diese Antwort ist eigentlich für mich gearbeitet. Um zu klären, ich angegeben, werden alle Spalten mit der Col#={ColumnName} {Type} - format, mit der Ausnahme, dass für die erste Spalte, die ich angegeben CHAR für die Art, obwohl in meinem Fall war es wirklich ein Long. Referenz [msdn.microsoft.com/en-us/library/windows/desktop/....
    InformationsquelleAutor Ekkehard.Horner
Schreibe einen Kommentar