Wie konvertiere ich einen string von windows-1252 zu utf-8 in Ruby?

Ich bin die Migration von Daten aus MS Access 2003, MySQL 5.0 mit Ruby-1.8.6 unter Windows XP (schreiben ein Rake-task, dies zu tun).

Stellt sich heraus, das Windows-string-Daten im Format windows-1252 und Rails und MySQL sind jeweils vorausgesetzt, dass utf-8-Eingabe so einige Charaktere, wie Apostrophe, sind immer entstellt. Sie wind-up als "a"s mit einem Akzent, der über Sie und so ein Zeug.

Kennt jemand ein tool, library, system, Methodik, ritual, Zauber oder Beschwörung konvertieren Sie eine windows-1252 string auf utf-8?

Wenn Sie sagen, "ich bin die Migration von Daten aus MS Access 2003, MySQL 5.0", was du meinst, ist "ich bin die Migration von Daten aus MS Jet 4 auf MySQL 5.0". Der Unterschied ist von entscheidender Bedeutung-Sie sind nicht mit Access, sondern nur die Jet-Datenbank-engine.
Danke, das ist gut zu wissen.

InformationsquelleAutor Ethan | 2009-06-04

10

Für Ruby 1.8.6, es scheint, dass Sie verwenden können Ruby-Iconv, Teil der standard-Bibliothek:

Iconv-Dokumentation

Gemäß dieser hilfreiche Artikel, es scheint, Sie können mindestens bereinigen unerwünschte win-1252-Zeichen aus Ihrem string, etwa so:
```
ic = Iconv.new('UTF-8//IGNORE', 'UTF-8')
valid_string = ic.iconv(untrusted_string + ' ')[0..-2]
```
Könnte man dann versuchen zu tun, eine vollständige Umsetzung zum Beispiel so:
```
ic = Iconv.new('UTF-8', 'WINDOWS-1252')
valid_string = ic.iconv(untrusted_string + ' ')[0..-2]
```
InformationsquelleAutor austinfromboston
9

Wenn Sie auf Ruby 1.9...
```
string_in_windows_1252 = database.get(...)
# => "Fåbulous"

string_in_windows_1252.encoding
# => "windows-1252"

string_in_utf_8 = string_in_windows_1252.encode('UTF-8')
# => "Fabulous"

string_in_utf_8.encoding
# => 'UTF-8'
```
- Danke, das ist gut zu wissen. Allerdings bin ich mir derzeit den Umgang mit Ruby 1.8.6. Ich denke, dass ich installieren konnte, 1.9, RubyGems, etc.
- Ich hoffe, dass ruby nicht Kodieren "Fåbulous" in "Fabelhaft" als " å " ist ein sehr anderes Zeichen von 'a' für jede Sprache, Sport. Wenn die UTF-8-codierte Zeichenfolge, die ausgegeben würden, in Windows-1252-codepage der string sollte so Aussehen "FÃ¥blasenförmige" und wenn es gedruckt in UTF-8 sollte es "Fåbulous".
InformationsquelleAutor James A. Rosen
3

Hy,

Ich hatte genau das gleiche problem.

Diese Tipps hat mir geholfen, get goin:

Prüfen Sie stets, ob das richtige encoding-Namen, um zu füttern, Ihre conversion-tools richtig.
Im Zweifel können Sie eine Liste der unterstützten Kodierungen für iconv oder recode über:
```
$ recode -l
```
oder
```
$ iconv -l
```
Immer starten, aus der Sie die ursprüngliche Datei und Kodieren ein Beispiel für die Arbeit mit:
```
$ recode windows-1252..u8 < original.txt > sample_utf8.txt
```
oder
```
$ iconv -f windows-1252 -t utf8 original.txt -o sample_utf8.txt
```
Install Ruby1.9, weil es hilft Ihnen EINE MENGE, wenn es um Codierungen. Auch wenn Sie nicht verwenden Sie es in Ihrem programm, können Sie beginnen immer ein irb1.9 Sitzung und wählen Sie auf die Saiten, um zu sehen, was die Ausgabe ist.
Datei.öffnen Sie eine neue 'mode' - parameter in Ruby 1.9. Verwenden Sie es!
Dieser Artikel hat mir sehr geholfen: http://blog.nuclearsquid.com/writings/ruby-1-9-encodings
```
File.open('original.txt', 'r:windows-1252:utf-8')
# This opens a file specifying all encoding options. r:windows-1252 means read it as windows-1252. :utf-8 means treat it as utf-8 internally.
```
Spaß haben und schwören eine Menge!

InformationsquelleAutor Overbryd
2

Wenn Sie möchten, konvertieren Sie eine Datei mit dem Namen win1252file, auf einem unix-OS, run:
```
$ iconv -f windows-1252 -t utf-8 win1252_file > utf8_file
```
Sollten Sie wahrscheinlich in der Lage sein, dasselbe zu tun unter Windows mit cygwin.
- Danke, gut zu wissen für die Zukunft, aber ich bin mir nicht sicher, wie ich das machen würde in dieser situation wie ich bin den Umgang mit MS Access und MySQL in einer Windows XP-Umgebung, nicht Cygwin.
InformationsquelleAutor yhager

Wenn Sie NICHT auf Ruby 1.9 und unter der Annahme yhager's Befehl funktioniert, könnten Sie versuchen,

File.open('/tmp/w1252', 'w') do |file|
  my_windows_1252_string.each_byte do |byte|
    file << byte
  end
end

`iconv -f windows-1252 -t utf-8 /tmp/w1252 > /tmp/utf8`

my_utf_8_string = File.read('/tmp/utf8')

['/tmp/w1252', '/tmp/utf8'].each do |path|
  FileUtils.rm path
end

Hoppla: dieser scheitert aus dem gleichen Grund yhager tut ' s: Windows hat keine iconv (oder /tmp/ - Verzeichnis, für diese Angelegenheit). Hmm...

InformationsquelleAutor James A. Rosen

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.