So entfernen Sie steuerzeichen aus UTF8-string

habe ich eine VB.NET Programm behandelt, die den Inhalt von Dokumenten.
Das programm verarbeitet große Mengen von Unterlagen, die als "batch"(>2 Millionen Dokumente, insgesamt 1-TB-Volumen)
Einige dieser Dokumente enthalten möglicherweise control-chars oder chars wie f0e8(http://www.fileformat.info/info/unicode/char/f0e8/browsertest.htm).

Gibt es eine einfache und vor allem schnell Weg, um zu entfernen, dass die chars?(außer space,newline,tab,...)
Wenn die Antwort regex: Hat jemand eine komplette regex für mich?

Dank!

  • Was ist das problem mit den steuerzeichen? Ich gehe davon aus, dass Sie geeignet sind, die Dokumente selbst.
  • Das Programm verwendet verschiedene Parser(word,pdf,...) und beschäftigt sich mit plain/text-und xml-Dateien. Manchmal ist die (extrahierten) "Körper"/Inhalt string enthält noch störende Zeichen wie "f0e8". So habe ich, um Sie zu entfernen mich
  • utf8-chartable.de/... sagt, dass f0e8 ist ein utf8-char oder Irre ich mich?
  • Ja der Extraktor doens nicht alle entfernen "design" - chars.Aber ich kann es nicht ändern
  • Für zukünftige Referenz siehe Abschnitt "Unicode Character Properties", hier: regular-expressions.info/unicode.html
InformationsquelleAutor Mimefilt | 2010-12-21
  1. 16

    Versuchen 

    resultString = Regex.Replace(subjectString, "\p{C}+", "");

    Dies entfernt alle "anderen" Unicode-Zeichen (control -, format -, private Nutzung, Surrogat, und nicht zugewiesen) aus deinem string.

    • Vielen Dank 😀 Funktioniert gut! Ich hop es nicht verlangsamen den Prozess zu viel.
    • Warum ist das @ nicht angenommen in Visual Basic? Bekomme ich den "Ausdruck erwartet" Fehler bei der @.
    • +1 . Getestet und es funktioniert, ohne das @ in VB.
    • Oops. Ich hatte übersehen das VB-Teil, und meine reflexartige Reaktion auf die .NET-tag wurde um eine C# code-snippet. Wird Bearbeiten. Danke!
    • Ist es eine übersicht welche chars entfernt werden, indem "\p{C}+"? Danke!
    • Check out unicode.org/charts, Blättern Sie nach unten und suchen Sie in der rechten Spalte.

    InformationsquelleAutor Tim Pietzcker
  2. 0

    Hier ist die POSIX-regex für steuerzeichen: [:cntrl:] von Regulärer Ausdruck auf Wikipedia.

    • Posix ist ziemlich tot, kann es rest in pieces.
    InformationsquelleAutor systemovich
Schreibe einen Kommentar