Wie bestimmt die Codierung von text?

Korrekten Erkennung der Kodierung aller Zeiten ist unmöglich.

(Von chardet-FAQ:)

Jedoch einige Codierungen optimiert sind
für bestimmte Sprachen, und Sprachen
nicht zufällig sind. Einige Zeichen
Sequenzen pop-up die ganze Zeit, während
andere Sequenzen, die keinen Sinn machen. Ein
person, die fließend Englisch spricht, der öffnet eine
Zeitung und findet “txzqJv 2!dasd0a
QqdKjvz" wird sofort erkennen, dass
das ist nicht Deutsch (obwohl Sie es ist
zusammengesetzt aus englischen Buchstaben).
Durch das Studium der vielen "typischen" text,
computer-Algorithmus kann dies simulieren
Art der Geläufigkeit und eine fundierte
denke, über sich ein text über die Sprache.

Gibt es die chardet Bibliothek verwendet, die Studie, um zu versuchen zu erkennen Codierung. chardet ist ein port für die automatische Erkennung von code in Mozilla.

Können Sie auch UnicodeDammit. Es werden die folgenden Methoden ausprobieren:

• Eine Codierung entdeckt, in dem Dokument selbst: zum Beispiel in eine XML-Deklaration oder (für HTML-Dokumente) ein http-equiv-META-tag. Wenn Schöne Suppe findet diese Art der Kodierung innerhalb des Dokuments analysiert das Dokument erneut von Anfang an und gibt die neue Codierung versuchen. Die einzige Ausnahme ist, wenn Sie explizit ein encoding, das encoding tatsächlich gearbeitet: es wird dann ignorieren Codierung findet es in dem Dokument.
• Eine Kodierung schnupperte, indem man die ersten paar bytes der Datei. Wenn eine Codierung erkannt wird, in diesem Stadium, es wird eine UTF-* Kodierungen, EBCDIC oder ASCII.
• Eine Kodierung schnupperte durch die chardet Bibliothek, wenn Sie es installiert haben.
• UTF-8
• Windows-1252

InformationsquelleAutor nosklo

Einige encoding-Strategien, kommentieren bitte nach Geschmack :

#!/bin/bash
#
tmpfile=$1
echo '-- info about file file ........'
file -i $tmpfile
enca -g $tmpfile
echo 'recoding ........'
#iconv -f iso-8859-2 -t utf-8 back_test.xml > $tmpfile
#enca -x utf-8 $tmpfile
#enca -g $tmpfile
recode CP1250..UTF-8 $tmpfile

Möchten Sie vielleicht zu prüfen, die die Codierung durch das öffnen und Lesen der Datei in form einer Schleife... aber Sie müssen möglicherweise überprüfen Sie die Dateigröße erste :

encodings = ['utf-8', 'windows-1250', 'windows-1252' ...etc]
            for e in encodings:
                try:
                    fh = codecs.open('file.txt', 'r', encoding=e)
                    fh.readlines()
                    fh.seek(0)
                except UnicodeDecodeError:
                    print('got unicode error with %s , trying different encoding' % e)
                else:
                    print('opening the file with encoding:  %s ' % e)
                    break              

InformationsquelleAutor zzart

# Function: OpenRead(file)

# A text file can be encoded using:
#   (1) The default operating system code page, Or
#   (2) utf8 with a BOM header
#
#  If a text file is encoded with utf8, and does not have a BOM header,
#  the user can manually add a BOM header to the text file
#  using a text editor such as notepad++, and rerun the python script,
#  otherwise the file is read as a codepage file with the 
#  invalid codepage characters removed

import sys
if int(sys.version[0]) != 3:
    print('Aborted: Python 3.x required')
    sys.exit(1)

def bomType(file):
    """
    returns file encoding string for open() function

    EXAMPLE:
        bom = bomtype(file)
        open(file, encoding=bom, errors='ignore')
    """

    f = open(file, 'rb')
    b = f.read(4)
    f.close()

    if (b[0:3] == b'\xef\xbb\xbf'):
        return "utf8"

    # Python automatically detects endianess if utf-16 bom is present
    # write endianess generally determined by endianess of CPU
    if ((b[0:2] == b'\xfe\xff') or (b[0:2] == b'\xff\xfe')):
        return "utf16"

    if ((b[0:5] == b'\xfe\xff\x00\x00') 
              or (b[0:5] == b'\x00\x00\xff\xfe')):
        return "utf32"

    # If BOM is not provided, then assume its the codepage
    #     used by your operating system
    return "cp1252"
    # For the United States its: cp1252


def OpenRead(file):
    bom = bomType(file)
    return open(file, 'r', encoding=bom, errors='ignore')


#######################
# Testing it
#######################
fout = open("myfile1.txt", "w", encoding="cp1252")
fout.write("* hi there (cp1252)")
fout.close()

fout = open("myfile2.txt", "w", encoding="utf8")
fout.write("\u2022 hi there (utf8)")
fout.close()

# this case is still treated like codepage cp1252
#   (User responsible for making sure that all utf8 files
#   have a BOM header)
fout = open("badboy.txt", "wb")
fout.write(b"hi there.  barf(\x81\x8D\x90\x9D)")
fout.close()

# Read Example file with Bom Detection
fin = OpenRead("myfile1.txt")
L = fin.readline()
print(L)
fin.close()

# Read Example file with Bom Detection
fin = OpenRead("myfile2.txt")
L =fin.readline() 
print(L) #requires QtConsole to view, Cmd.exe is cp1252
fin.close()

# Read CP1252 with a few undefined chars without barfing
fin = OpenRead("badboy.txt")
L =fin.readline() 
print(L)
fin.close()

# Check that bad characters are still in badboy codepage file
fin = open("badboy.txt", "rb")
fin.read(20)
fin.close()

InformationsquelleAutor Bill Moore

Ist es im Prinzip unmöglich zu bestimmen, die Codierung einer text-Datei, in der Allgemeine Fall. Also Nein, es gibt keine standard-Python-Bibliothek, um das für Sie tun.

Wenn du mehr spezifische Kenntnisse über die text-Datei (z.B., dass es XML ist), könnte es sein, library-Funktionen.

InformationsquelleAutor Martin v. Löwis

Diese Seite hat python-code für die Anerkennung der ascii-Kodierung mit Stücklisten und utf8 ohne bom: https://unicodebook.readthedocs.io/guess_encoding.html. Lesen der Datei in byte-array (data): http://www.codecodex.com/wiki/Read_a_file_into_a_byte_array. Hier ist ein Beispiel. Ich bin in osx.

#!/usr/bin/python                                                                                                  

import sys

def isUTF8(data):
    try:
        decoded = data.decode('UTF-8')
    except UnicodeDecodeError:
        return False
    else:
        for ch in decoded:
            if 0xD800 <= ord(ch) <= 0xDFFF:
                return False
        return True

def get_bytes_from_file(filename):
    return open(filename, "rb").read()

filename = sys.argv[1]
data = get_bytes_from_file(filename)
result = isUTF8(data)
print(result)


PS /Users/js> ./isutf8.py hi.txt                                                                                     
True

InformationsquelleAutor js2010