Wie kann ich re-fügen Sie eine unicode-byte-order-marker in linux?

Ich habe eine ziemlich große SQL-Datei, die beginnt mit der byte order marker der FFFE. Ich teilte diese Datei mit der unicode aware linux-split-tool 100.000 line-Brocken. Aber wenn er diese zurück zu windows, tut es nicht wie jedes andere Teile als die erste, wie es nur hat der FFFE byte-Reihenfolge-Markierung auf.

Wie kann ich das hinzufügen dieser zwei-byte-code mit echo (oder einem anderen bash-Befehl)?

InformationsquelleAutor Neil Trodden | 2009-06-25

4

Etwas wie (backup-first)):
```
for i in $(ls *.sql)
do
  cp "$i" "$i.temp"
  printf '\xFF\xFE' > "$i"
  cat "$i.temp" >> "$i"
  rm "$i.temp"
done
```
- printf! Danke Kumpel, ich glaube, ich hätte googeln bis zum Ende der Zeit!
- Die BOM-codepoint U+FEFF, aber seine wörtliche Darstellung in UTF-8 ist EF BB BF (drei bytes). Dies würde nur funktionieren, wenn die Datei bereits im UTF-16, little-endian-Reihenfolge. Siehe en.wikipedia.org/wiki/...
InformationsquelleAutor Matthew Flaschen
15

Basierend auf sed -Lösung von Anonym, sed -i '1s/^/\xef\xbb\xbf/' foo fügt die BOM UTF-8-codierten Datei foo. Nützlich ist auch, dass es konvertiert ASCII-Dateien nach UTF8 mit BOM

InformationsquelleAutor brillout
11

Hinzufügen von Stücklisten, die alle Dateien, die beginnen mit "foo", die Sie verwenden können sed. sed hat eine option, ein backup zu machen.
```
sed -i '1s/^$\xff\xfe$\?/\xff\xfe/' foo-*
```
straceing dies zeigt, sed erstellt eine temporäre Datei mit einem Namen beginnend mit "sed". Wenn Sie wissen, für sicher, es ist keine Stückliste bereits, vereinfachen Sie den folgenden Befehl ein:
```
sed -i '1s/^/\xff\xfe/' foo-*
```
Stellen Sie sicher, dass Sie benötigen, um UTF-16, weil also UTF-8 ist anders.
- Für UTF-8 verwenden \xef\xbb\xbf; für UTF-16 little-endian verwenden \xff\xfe; für UTF-16 big-endian verwenden \xfe\xff. Siehe w3.org/International/questions/qa-byte-order-mark
- Upvoting diese Antwort, weil das ist, was ich selbst benutze. Mac OS und anderen BSD-Benutzer sollten beachten Sie, dass, dass die -i,--inplace option nicht angegeben wird von POSIX und wird nur mit GNU-sed.
- BTW, die g (global) Modifikator nicht hier nichts zu tun.
- Hoppla, danke.
InformationsquelleAutor yingted
9

Für eine Allgemeine Lösung—etwas, dass setzt die korrekte byte-order mark-unabhängig davon, ob die Datei in UTF-8, UTF-16 oder UTF-32—würde ich vim benutzen ist 'bomb' option:
```
$ echo 'hello' > foo
$ xxd < foo
0000000: 6865 6c6c 6f0a                           hello.
$ vim -e -s -c ':set bomb' -c ':wq' foo
$ xxd < foo
0000000: efbb bf68 656c 6c6f 0a                   ...hello.
```
(-e bedeutet runs in den ex-Modus statt des visuellen Modus; -s bedeutet nicht, drucken Sie status-Nachrichten; -c bedeutet "tun")

InformationsquelleAutor andrewdotn
4

Versuchen uconv
```
uconv --add-signature
```
- uconv muss installiert sein (bei Debian ist es in der libicu-dev-Paket). Nicht, dass add-Signatur funktioniert nicht, wenn die Datei ansonsten in einer anderen Kodierung.
InformationsquelleAutor Martin Wang
2

Matthew Flaschen, die Antwort ist gut, allerdings hat es ein paar Mängel.
- Es ist kein überprüfen Sie, dass das kopieren erfolgreich war, bevor die original-Datei ist abgeschnitten. Es wäre besser, alles hängt von einer erfolgreichen Kopie, oder test für die Existenz der temporären Datei, oder arbeiten auf der Kopie. Wenn Sie einen Gürtel-und-Hosenträger Art von person sind, Sie tun würde, eine combo habe ich unten dargestellt
- Die ls ist unnötig.
- Ich würde eine bessere Nutzung variable name als "ich" - vielleicht "Datei".
Natürlich, Sie könnte sehr paranoid und überprüfen Sie für die Existenz der temporären Datei an den Anfang, so dass Sie nicht versehentlich überschreiben und/oder die Verwendung einer UUID oder eine generierte Datei name. Eine von mktemp, tempfile, oder uuidgen würde den trick tun.
```
td=TMPDIR
export TMPDIR=

usertemp=~/temp            # set this to use a temp directory on the same filesystem
                           # you could use ./temp to ensure that it's one the same one
                           # you can use mktemp -d to create the dir instead of mkdir

if [[ ! -d $usertemp ]]    # if this user temp directory doesn't exist
then                       # then create it, unless you can't 
    mkdir $usertemp || export TMPDIR=$td    # if you can't create it and TMPDIR is/was
fi                                          # empty then mktemp automatically falls
                                            # back to /tmp

for file in *.sql
do
    # TMPDIR if set overrides the argument to -p
    temp=$(mktemp -p $usertemp) || { echo "$0: Unable to create temp file."; exit 1; }

    { printf '\xFF\xFE' > "$temp" &&
    cat "$file" >> "$temp"; } || { echo "$0: Write failed on $file"; exit 1; }

    { rm "$file" && 
    mv "$temp" "$file"; } || { echo "$0: Replacement failed for $file; exit 1; }
done
export TMPDIR=$td
```
Fallen könnte besser sein, als alle separaten Fehler-Handler, die ich Hinzugefügt habe.

Kein Zweifel, alle diese Vorsicht übertrieben ist, für ein one-shot script, aber diese Techniken können Sie sparen, wenn es hart auf hart kommt, vor allem in einem multi-Datei-Betrieb.
- Die "cp" - Befehl ist nicht erforderlich. Auch "mktemp" gibt den Namen in /tmp; es wäre besser zu schreiben der temporären Datei auf dem gleichen Dateisystem, so dass "mv" nicht haben, um es zu kopieren.
- Sie sind richtig in beiden Punkten. Ich aktualisiert meine Antwort entsprechend.
InformationsquelleAutor Dennis Williamson

$ printf '\xEF\xBB\xBF' > bom.txt

Dann überprüfen:

$ grep -rl $'\xEF\xBB\xBF' .
./bom.txt

InformationsquelleAutor sanmai

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.