exportieren von Daten in csv-von mongodb mithilfe von python

So... Das problem ist, dass die csv Verfasser nicht verstehen, das Konzept der "subdictionaries" als "mongo" gibt es.

Wenn ich das richtig verstanden, wenn Sie die Abfrage Mongo, erhalten Sie ein Wörterbuch wie dieses:

{
   "_id": "a hex ID that correspond with the record that contains several answers",
   "answers": [ ... a list with a bunch of dicts in it... ]
}

So, wenn die csv.DictWriter versucht, dass zu schreiben, es ist nur schreiben, ein Wörterbuch (die oberste). Er weiß nicht (oder kümmert sich darum), dass answers ist eine Liste, die enthält Wörterbücher, deren Werte geschrieben werden müssen in den Spalten als auch (Zugriff auf Felder in Wörterbüchern mit Hilfe der Punkt-notation wie answers.order wird nur verstanden von Mongo, nicht von der csv writer)

Was ich verstehe, dass Sie tun sollten, ist der "walk" - die Liste der Antworten und erstellen Sie ein Wörterbuch aus der jeder Datensatz (jede Wörterbuch) in dieser Liste. Sobald Sie eine Liste von "abgeflacht" Wörterbücher übergeben Sie diese und schreiben Sie Sie in Ihr csv Datei:

cursor = client.stack_overflow.stack_039.find(
    {}, {'_id': 1, 'answers.order': 1, 'answers.text': 1, 'answers.answerId': 1})

# Step 1: Create the list of dictionaries (one dictionary per entry in the `answers` list)
flattened_records = []
for answers_record in cursor:
    answers_record_id = answers_record['_id']
    for answer_record in answers_record['answers']:
        flattened_record = {
            '_id': answers_record_id,
            'answers.order': answer_record['order'],
            'answers.text': answer_record['text'],
            'answers.answerId': answer_record['answerId']
        }
        flattened_records.append(flattened_record)

# Step 2: Iterate through the list of flattened records and write them to the csv file
with open('stack_039.csv', 'w') as outfile:
    fields = ['_id', 'answers.order', 'answers.text', 'answers.answerId']
    write = csv.DictWriter(outfile, fieldnames=fields)
    write.writeheader()
    for flattened_record in flattened_records:
        write.writerow(flattened_record)

Whatch für die Verwendung von Pluralformen. answers_record ist anders als answer_record

Erstellt eine Datei wie diese:

$ cat ./stack_039.csv
_id,answers.order,answers.text,answers.answerId
580f9aa82de54705a2520833,0,{u'en': u'Yes'},527d65de7563dd0fb98fa28c
580f9aa82de54705a2520833,1,{u'en': u'No'},527d65de7563dd0fb98fa28b

EDIT:

Ihre Anfrage (die eine, die macht cursor = db.questions.find ({},{'_id':1, 'answers.order':1, 'answers.text':1, 'answers.answerId':1})) werden wieder alle Einträge in der questions Sammlung. Wenn diese Sammlung ist sehr groß, Sie möchten möglicherweise verwenden Sie das cursor als iterator.

Vielleicht haben Sie es schon gemerkt, die ersten for - Schleife in meinem code oben setzt alle Datensätze in einer Liste (flattened_records Liste). Sie können tun, lazy loading durch Durchlaufen der cursor (statt laden alle Einzelteile im Speicher zu Holen, etwas tun, kommt der nächste, etwas damit zu tun...).

Es ist etwas langsamer, aber mehr Speicher effizient.

cursor = client.stack_overflow.stack_039.find(
    {}, {'_id': 1, 'answers.order': 1, 'answers.text': 1, 'answers.answerId': 1})

with open('stack_039.csv', 'w') as outfile:
    fields = ['_id', 'answers.order', 'answers.text', 'answers.answerId']
    write = csv.DictWriter(outfile, fieldnames=fields)
    write.writeheader()
    for answers_record in cursor:  # Here we are using 'cursor' as an iterator
        answers_record_id = answers_record['_id']
        for answer_record in answers_record['answers']:
            flattened_record = {
                '_id': answers_record_id,
                'answers.order': answer_record['order'],
                'answers.text': answer_record['text'],
                'answers.answerId': answer_record['answerId']
            }
            write.writerow(flattened_record)

Wird es produzieren die gleichen .csv - Datei wie oben gezeigt.