Wie kann ich mit Python den bsondump von MongoDB in JSON umwandeln?

So, ich habe eine enorme Menge .bson aus einer MongoDB-dump. Ich bin mit bsondump auf der Befehlszeile umleiten der Ausgabe als stdin zu python. Diese erfolgreich konvertiert von BSON 'JSON', aber es ist in der Tat ein string, und scheinbar nicht legal JSON.

Beispielsweise eine eingehende Zeile sieht wie folgt aus:

{ "_id" : ObjectId( "4d9b642b832a4c4fb2000000" ),
  "acted_at" : Date( 1302014955933 ),
  "created_at" : Date( 1302014955933 ),
  "updated_at" : Date( 1302014955933 ),
  "_platform_id" : 3,
  "guid" : 72106535190265857 }

Die ich glauben, ist Mongo Erweiterte JSON.

Wenn ich lese in einer Zeile und tun:

json_line = json.dumps(line)

Bekomme ich:

"{ \"_id\" : ObjectId( \"4d9b642b832a4c4fb2000000\" ),
\"acted_at\" : Date( 1302014955933 ),
\"created_at\" : Date( 1302014955933 ),
\"updated_at\" : Date( 1302014955933 ),
\"_platform_id\" : 3,
\"guid\" : 72106535190265857 }\n"

Ist noch <type 'str'>.

Habe ich auch schon versucht

json_line = json.dumps(line, default=json_util.default)

(siehe pymongo json_util - spam-Erkennung verhindert, dass ein Dritter link )
Das scheint die Ausgabe die gleiche wie Bohnenstroh oben. Lasten gibt einen Fehler:

json_line = json.loads(line, object_hook=json_util.object_hook)
ValueError: No JSON object could be decoded

So, wie kann ich mich verwandeln den string von TenGen JSON in parseable JSON?
(das Endziel ist stream tab-getrennte Daten in eine andere Datenbank)

InformationsquelleAutor der Frage Peter Nachbaur | 2012-08-08

  1. 13

    Was Sie haben, ist ein dump-in Mongo Erweiterte JSON in TenGen-Modus (siehe hier). Einige mögliche Wege zu gehen:

    1. Wenn Sie können dump wieder, den Strikten output-Modus durch das MongoDB-REST-API. Das sollte Ihnen real JSON anstelle von dem, was Sie jetzt haben.

    2. Verwenden bson aus http://pypi.python.org/pypi/bson/ zu Lesen, die BSON, die Sie bereits in Python-Datenstrukturen und dann tun, was die Verarbeitung, die Sie brauchen, auf diejenigen, die (möglicherweise Ausgabe JSON).

    3. Verwendung der MongoDB Python-Bindungen für die Verbindung zur Datenbank, um die Daten in Python, und dann tun, was die Verarbeitung, die Sie benötigen. (Falls nötig, könnte man die Einrichtung eines lokalen MongoDB-Instanz und importieren Sie Ihre gedumpten Dateien in.)

    4. Konvertieren der Mongo Erweiterte JSON aus TenGen-Modus auf den Strikten Modus. Sie könnte eine separate filter, um es zu tun (von stdin Lesen, ersetzen TenGen Strukturen mit Strengen Strukturen, und die Ausgabe auf stdout) oder Sie tun konnte, als er Sie verarbeiten die Eingabe.

    Hier ist ein Beispiel für die Verwendung von Python und regular expressions:

    import json, re
from bson import json_util

with open("data.tengenjson", "rb") as f:
    # read the entire input; in a real application,
    # you would want to read a chunk at a time
    bsondata = f.read()

    # convert the TenGen JSON to Strict JSON
    # here, I just convert the ObjectId and Date structures,
    # but it's easy to extend to cover all structures listed at
    # http://www.mongodb.org/display/DOCS/Mongo+Extended+JSON
    jsondata = re.sub(r'ObjectId\s*\(\s*\"(\S+)\"\s*\)',
                      r'{"$oid": "\1"}',
                      bsondata)
    jsondata = re.sub(r'Date\s*\(\s*(\S+)\s*\)',
                      r'{"$date": \1}',
                      jsondata)

    # now we can parse this as JSON, and use MongoDB's object_hook
    # function to get rich Python data structures inside a dictionary
    data = json.loads(jsondata, object_hook=json_util.object_hook)

    # just print the output for demonstration, along with the type
    print(data)
    print(type(data))

    # serialise to JSON and print
    print(json_util.dumps(data))

    Je nach Ihrem Ziel, einer von diesen sollte ein angemessener Ausgangspunkt.

    InformationsquelleAutor der Antwort Fabian Fagerholm

  2. 8

    laden eines kompletten bson-Dokument in python-Speicher ist teuer.

    Wenn Sie möchten, übertragen Sie Sie eher als das laden der gesamten Datei und tun, eine Last, können Sie versuchen, diese Bibliothek.

    https://github.com/bauman/python-bson-streaming

    from bsonstream import KeyValueBSONInput
from sys import argv
for file in argv[1:]:
    f = open(file, 'rb')
    stream = KeyValueBSONInput(fh=f,  fast_string_prematch="somthing") #remove fast string match if not needed
    for id, dict_data in stream:
        if id:
         ...process dict_data...

    InformationsquelleAutor der Antwort bauman.space

  3. 6

    Können Sie konvertieren Linien des bson-Datei wie folgt:

    >>> import bson
>>> bs = open('file.bson', 'rb').read()
>>> for valid_dict in bson.decode_all( bs ):
....

    Jeder valid_dict element wird ein Gültiger python-dict, die Sie konvertieren können, um json.

    InformationsquelleAutor der Antwort Emily S

Schreibe einen Kommentar