Speichern, JSON, HDFS mit python

Habe ich ein python-script, das derzeit greift auf eine API gibt JSON. Es nimmt dann den JSON-string und speichert es als eine Datei auf dem lokalen Dateisystem, auf dem ich dann verschieben Sie Sie in HDFS manuell. Ich möchte dies ändern also mein python-Skript speichern direkt in HDFS statt des Schlagens das lokale Dateisystem, die erste. Ich bin versucht derzeit, speichern Sie die Datei mithilfe von HDFS und DFS-Befehl, aber ich glaube nicht, dass der copy-Befehl ist der richtige Weg, dies zu tun, weil es nicht eine Datei, sondern ein JSON-string, wenn ich versuche, es zu retten.

Aktuellen Code

import urllib2
import json
import os

f = urllib2.urlopen('RESTful_API_URL.json')
json_string = json.loads(f.read().decode('utf-8'))
with open('\home\user\filename.json', 'w') as outfile:
    json.dump(json_string,outfile)

Neuen Code

f = urllib2.urlopen('RESTful_API_URL.json')
json_string = json.loads(f.read().decode('utf-8'))
os.environ['json_string'] = json.dump(json_string)
os.system('hdfs dfs -cp -f $json_string hdfs/user/test')
InformationsquelleAutor Jared | 2015-08-19
Schreibe einen Kommentar