So konvertieren Sie eine Datei von ASCII nach UTF-8?

Ich versuche mit transcode ein Haufen Dateien von ASCII zu UTF-8.

Dafür, ich habe versucht, mit iconv:

iconv -f US-ASCII -t UTF-8 infile > outfile

-f ENCODING die Kodierung der Eingabe

-t ENCODING die Codierung der Ausgabe

Immer noch, dass die Datei nicht konvertieren zu UTF-8. Es ist eine .dat-Datei.

Bevor dieses posting, ich suchte in Google und finden Sie Informationen wie:

ASCII eine Teilmenge von UTF-8, also alle ASCII-Dateien sind bereits in UTF-8 codiert. Die bytes in ASCII-Datei und die bytes, die sich aus "encoding es sich um UTF-8" wäre genau der gleichen bytes. Es gibt keinen Unterschied zwischen Ihnen.

Kraft codieren von US-ASCII auf UTF-8 (iconv)

Beste Weg, um text zu konvertieren, Dateien zwischen verschiedenen Zeichensätzen?

Immer noch die links oben, hat auch nicht geholfen.

Obwohl es in ASCII unterstützt wird UTF-8 als UTF-8 ist ein super set, der anderen Partei, die Sie erhalten die Dateien von mir braucht-Datei die Kodierung UTF-8. Er brauche nur Datei-format als UTF-8.

Irgendwelche Vorschläge bitte.

  • Es ist überhaupt nicht klar, was das problem ist - nur geben die person, die den ursprünglichen ASCII-Dateien. Wenn Sie echte ASCII -, Sie sind bereits UTF-8, so dass Sie sollten in Ordnung sein. Was ist eigentlich schief gehen?
  • Skeet Der anderen Partei zu erwarten, die Datei-format als UTF-8, Wenn ich versuchte, mit dem Befehl Datei-ich outfile es zurückgeben von ascii -, aber Sie wollen es als utf-8 strictily. Obwohl ascii ist Teilmenge von utf-8.
  • Es ist "UTF-8 streng", wenn es wirklich ASCII. Basierend auf Ihren Kommentar, es klingt wie die andere Partei ist grundsätzlich gebrochen, wenn Sie die Ablehnung von ASCII-Dateien, weil der Ausgang von file. Sie sollten akzeptieren, dass ASCII-Dateien sind UTF-8 Dateien, und einfach weiter zu verarbeiten ist es sowieso.
  • In der Abwesenheit von zusätzlichen details, ich wäre geneigt, dem zuzustimmen. Es wäre wahrscheinlich Wert, was darauf hindeutet und Sie zu ermutigen, zu akzeptieren, beide Antworten von 'file'. Ihre API ist flexibler und robuster, und Sie werden sich selbst retten müssen, haben diese genaue Diskussion über und über mit anderen über Sie. Wenn Sie nicht in der Lage oder nicht Willens, dies zu tun, dann zumindest eine sehr explizite Angabe in Ihrer Dokumentation, dass die Stückliste ist in der input-Datei verwenden, die präzise Sprache, würde wohl auch gehen einen langen Weg.
InformationsquelleAutor Ram | 2015-02-07
  1. 11

    Ich bin ein wenig verwirrt von der Frage aus, weil, wie Sie angegeben, ASCII eine Teilmenge von UTF-8, also alle ASCII-Dateien sind bereits in UTF-8 codiert.

    Wenn Sie das senden von Dateien, die nur ASCII-Zeichen an die andere Partei, aber die andere Partei ist beschwert, dass Sie nicht 'UTF-8 Codierten', dann würde ich vermuten, dass Sie in Bezug auf die Tatsache, dass die ASCII-Datei hat keine byte order mark) ausdrücklich, dass die Inhalte sind UTF-8.

    Wenn das wirklich der Fall ist, dann können Sie eine byte-Reihenfolge-Marke mit der Antwort hier:

    iconv: Konvertierung von Windows ANSI nach UTF-8 mit BOM

    Wenn die andere Partei gibt, die er nicht braucht die 'BOM' (Byte Order Mark), aber ist immer noch beschweren, dass die Dateien nicht UTF-8, dann eine weitere Möglichkeit ist, dass Sie Ihre ursprüngliche Datei ist eigentlich nicht ASCII, sondern enthält Zeichen, die codiert werden mit ANSI oder ISO-8859-1.

    Bearbeitet, um hinzufügen der folgende Versuch, nach dem Kommentar von Ram in Bezug auf die andere Partei suchen für den Typ mit der 'file' - Kommando

    Tims-MacBook-Pro:~ tjohns$ echo 'Stuff' > deleteme
Tims-MacBook-Pro:~ tjohns$ cat deleteme
Stuff
Tims-MacBook-Pro:~ tjohns$ file -I deleteme
deleteme: text/plain; charset=us-ascii
Tims-MacBook-Pro:~ tjohns$ echo -ne '\xEF\xBB\xBF' > deleteme
Tims-MacBook-Pro:~ tjohns$ echo 'Stuff' >> deleteme
Tims-MacBook-Pro:~ tjohns$ cat deleteme
Stuff
Tims-MacBook-Pro:~ tjohns$ file -I deleteme
deleteme: text/plain; charset=utf-8
    • Hi @Timothy Johns. Vielen Dank für deine Erklärung. Die andere Partei ist die überprüfung der Datei-format mit Datei -ich outfile es zurückgeben von ascii-dort wollen Sie es als utf-8 zu verarbeiten, weitere für Sie.
    • In diesem Fall bin ich mir zu 98% sicher, dass die andere Partei ist auf der Suche nach dem byte order mark. Auf Mac OS 'Datei' wird die Ausgabe "text/plain; charset=utf-8", wenn es da ist, und "text/plain; charset=us-ascii" wenn es nicht. Ich werde Bearbeiten Sie die obige Antwort hinzufügen ein experiment.
    • Hi @Timothy Johns war ich im Linux-Umfeld. Der Grund, Sie sind gefragt, für UTF-8 ist, das Sie unterstützen möchten, einige weitere Zeichen, die nicht in ASCII. Bitte beachten Sie, dass zum verarbeiten der Daten in Hadoop(data world).
    • Hi @Timothy Johns. Danke für all Eure inputs. Ich habe versucht, verwenden Sie den folgenden Befehl, und es konvertiert ASCII-Datei in UTF-8-format. (printf "\357\273\277";cat inputfile) > outputfile; Wenn ich gab ASCII-inputfile es ist die Rückkehr mir UTF-8-Ausgabedatei.
    InformationsquelleAutor Timothy Johns
Schreibe einen Kommentar