NumPy-array ist nicht als JSON serialisierbar

Nach dem erstellen ein NumPy-array und speichern es als eine Django-Kontext, variable, erhalte ich die folgende Fehlermeldung beim laden der Webseite:

array([   0,  239,  479,  717,  952, 1192, 1432, 1667], dtype=int64) is not JSON serializable

Was bedeutet das?

Es bedeutet, dass irgendwo, irgendwas versucht zu dumpen ein numpy-array mit Hilfe der json Modul. Aber numpy.ndarray ist nicht ein Typ, der json weiß, wie zu handhaben. Sie müssen schreiben Sie Ihre eigenen serializer, oder (einfach) nur pass list(your_array) zu was auch immer ist das schreiben der json.
Hinweis: list(your_array) wird nicht immer so funktionieren, wie es gibt numpy ints, nicht native int. Verwenden your_array.to_list() statt.
eine Anmerkung zu @ashishsingal Kommentar, es sollte your_array.tolist(), nicht to_list().

InformationsquelleAutor Karnivaurus | 2014-10-30

189

Ich regelmäßig "jsonify" np.arrays. Versuchen Sie, die Anwendung ".tolist ()" - Methode auf die arrays zunächst, wie diese:
```
import numpy as np
import codecs, json 

a = np.arange(10).reshape(2,5) # a 2 by 5 array
b = a.tolist() # nested lists with same data, indices
file_path = "/path.json" ## your path variable
json.dump(b, codecs.open(file_path, 'w', encoding='utf-8'), separators=(',', ':'), sort_keys=True, indent=4) ### this saves the array in .json format
```
Um "unjsonify" das array verwenden:
```
obj_text = codecs.open(file_path, 'r', encoding='utf-8').read()
b_new = json.loads(obj_text)
a_new = np.array(b_new)
```
Warum kann es nur gespeichert werden als eine Liste von Listen?
Ich weiß nicht, aber ich erwarte, np.array-Typen haben Metadaten, die nicht in json (z.B. wenn Sie die Daten festlegen, die Art der einzelnen Einträge wie float)
Ich versuchte Ihre Methode, aber es scheint, dass das Programm hier an tolist().
Nicht sicher, wie Sie Sie, Ihnen zu helfen, mit der gegebenen info. Bitte versuchen Sie, die macht Sie sicher, dass a ist ein numpy-array. Dann a.tolist() ist nur die Methode, verwandelt Sie sich in eine Liste mit der gleichen Struktur.
Ich fand der Grund ist, dass tolist() braucht eine Menge Zeit, wenn die Daten zu groß ist.

InformationsquelleAutor travelingbones

115

Store als JSON ein numpy.ndarray oder verschachtelte-Liste-Komposition.

class NumpyEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, np.ndarray):
            return obj.tolist()
        return json.JSONEncoder.default(self, obj)

a = np.array([[1, 2, 3], [4, 5, 6]])
print(a.shape)
json_dump = json.dumps({'a': a, 'aa': [2, (2, 3, 4), a], 'bb': [2]}, cls=NumpyEncoder)
print(json_dump)

Ausgabe:

(2, 3)
{"a": [[1, 2, 3], [4, 5, 6]], "aa": [2, [2, 3, 4], [[1, 2, 3], [4, 5, 6]]], "bb": [2]}

Wiederherstellen von JSON:

json_load = json.loads(json_dump)
a_restored = np.asarray(json_load["a"])
print(a_restored)
print(a_restored.shape)

Ausgabe:

[[1 2 3]
 [4 5 6]]
(2, 3)

Diese sollte so höher das board ist, es ist die verallgemeinernde und richtig abstrahiert Möglichkeit dies zu tun. Danke!
Gibt es eine einfache Möglichkeit, um die ndarray wieder aus der Liste ?
sind Sie auf der Suche nach numpy.asarray()?
Dies sollte die akzeptierte Antwort, viel aufgeräumter Art und Weise, Dinge zu tun.
Das IST die Antwort. Tolle Arbeit

InformationsquelleAutor karlB

32

Können Sie Pandas:
```
import pandas as pd
pd.Series(your_array).to_json(orient='values')
```
Super!!! Und ich denke für 2D-np.array-es wird so etwas wie pd.DataFrame(your_array).to_json('data.json', orient='split').
Welche Daten? Vielleicht solltest du dir eine Frage stellen?

InformationsquelleAutor John Zwinck

Fand ich die beste Lösung, wenn Sie geschachtelt haben numpy-arrays in einem Wörterbuch:

import json
import numpy as np

class NumpyEncoder(json.JSONEncoder):
    """ Special json encoder for numpy types """
    def default(self, obj):
        if isinstance(obj, (np.int_, np.intc, np.intp, np.int8,
            np.int16, np.int32, np.int64, np.uint8,
            np.uint16, np.uint32, np.uint64)):
            return int(obj)
        elif isinstance(obj, (np.float_, np.float16, np.float32, 
            np.float64)):
            return float(obj)
        elif isinstance(obj,(np.ndarray,)): #### This is the fix
            return obj.tolist()
        return json.JSONEncoder.default(self, obj)

dumped = json.dumps(data, cls=NumpyEncoder)

with open(path, 'w') as f:
    json.dump(dumped, f)

Dank dieser Kerl.

Vielen Dank für die hilfreiche Antwort! Ich schrieb die Attribute, die in einer json-Datei, bin jetzt aber Probleme beim rücklesen der Parameter für die Logistische Regression. Gibt es einen "decoder" für diese json-Datei gespeichert?
Natürlich Lesen die json zurück, die Sie verwenden können: with open(path, 'r') as f: data = json.load(f) gibt ein dictionary mit Ihren Daten.
Das ist für das Lesen der json Datei und anschließend zu Deserialisieren, die Ausgabe, die Sie verwenden können: data = json.loads(data)

InformationsquelleAutor tsveti_iko

5

Viele andere numpy-Encoder scheint ein bisschen allzu ausführlich.

prüfen, ob das Objekt, wenn aus dem Modul numpy, wenn so verwenden Sie entweder ndarray.tolist für eine ndarray oder verwenden Sie .item für andere numpy bestimmten Typ.

Verwenden Sie die json.dumps default kwarg:

Standard sollte eine Funktion sein, die aufgerufen wird für Objekte, die ansonsten nicht serialisiert werden.
```
import numpy as np

def default(obj):
    if type(obj).__module__ == np.__name__:
        if isinstance(obj, np.ndarray):
            return obj.tolist()
        else:
            return obj.item()
    raise TypeError('Unknown type:', type(obj))

dumped = json.dumps(data, default=default)
```
InformationsquelleAutor moshevi
4

Dies ist nicht standardmäßig unterstützt, aber Sie können es ganz leicht! Es gibt mehrere Dinge, die Sie Kodieren möchten, wenn Sie möchten, dass die exakt gleichen Daten zurück:
- Die Daten selbst, die Sie bekommen können mit obj.tolist() @travelingbones erwähnt. Manchmal mag das gut genug sein.
- Die Daten geben. Ich glaube, das ist wichtig, in ganz bestimmten Fällen.
- Der dimension (nicht unbedingt, 2D), die abgeleitet werden könnte von den oben genannten, wenn Sie davon ausgehen, der Eingang ist ja auch immer eine 'rechteckige' grid.
- Den Speicher um (row - oder column-major). Dies nicht oft egal, aber manchmal ist es nicht (z.B. Leistung), warum also nicht alles speichern?
Darüber hinaus Ihre numpy-array konnte ein Teil Ihrer Datenstruktur, z.B. eine Liste mit einige Matrizen innen. Für die, die Sie verwenden, eine benutzerdefinierte encoder, die im Grunde genommen hat die oben.

Dieser sollte ausreichend sein, um eine Lösung implementieren. Oder Sie konnte json-tricks, die tut genau das (und unterstützt verschiedene andere Arten) (disclaimer: ich habe es).
```
pip install json-tricks
```
Dann
```
data = [
    arange(0, 10, 1, dtype=int).reshape((2, 5)),
    datetime(year=2017, month=1, day=19, hour=23, minute=00, second=00),
    1 + 2j,
    Decimal(42),
    Fraction(1, 3),
    MyTestCls(s='ub', dct={'7': 7}),  # see later
    set(range(7)),
]
# Encode with metadata to preserve types when decoding
print(dumps(data))
```
InformationsquelleAutor Mark

Ich hatte ein ähnliches problem mit einer verschachtelten Wörterbuch mit einigen numpy.ndarrays.

def jsonify(data):
    json_data = dict()
    for key, value in data.iteritems():
        if isinstance(value, list): # for lists
            value = [ jsonify(item) if isinstance(item, dict) else item for item in value ]
        if isinstance(value, dict): # for nested lists
            value = jsonify(value)
        if isinstance(key, int): # if key is integer: > to string
            key = str(key)
        if type(value).__module__=='numpy': # if value is numpy.*: > to python list
            value = value.tolist()
        json_data[key] = value
    return json_data

InformationsquelleAutor JLT

Könnten Sie auch default argument zum Beispiel:

def myconverter(o):
    if isinstance(o, np.float32):
        return float(o)

json.dump(data, default=myconverter)

InformationsquelleAutor steco

1

Auch einige sehr interessante Informationen weiter, die auf Listen gegenüber arrays in Python ~> Python-Liste vs. Array - Wann?

Es konnte festgestellt werden, dass, sobald ich meine konvertieren arrays in eine Liste, bevor Sie es speichern in eine JSON-Datei, in meinem deployment-jetzt sowieso, wenn ich lese, dass die JSON-Datei zur späteren Verwendung, ich kann auch weiterhin, um es in eine Liste der form (im Gegensatz zur Umwandlung zurück in ein array).

UND sieht tatsächlich besser aus (meiner Meinung nach) auf dem Bildschirm als Liste (durch Komma getrennt) vs. ein array (nicht-Komma-getrennt) auf diese Weise.

@Travelingbones .tolist () - Methode oben habe ich mit als solche (Fang ein paar Fehler hab ich auch gefunden):

SPEICHERN WÖRTERBUCH
```
def writeDict(values, name):
    writeName = DIR+name+'.json'
    with open(writeName, "w") as outfile:
        json.dump(values, outfile)
```
LESEN WÖRTERBUCH
```
def readDict(name):
    readName = DIR+name+'.json'
    try:
        with open(readName, "r") as infile:
            dictValues = json.load(infile)
            return(dictValues)
    except IOError as e:
        print(e)
        return('None')
    except ValueError as e:
        print(e)
        return('None')
```
Hoffe, das hilft!

InformationsquelleAutor ntk4

Hier ist eine Umsetzung, die für mich arbeiten und entfernt alle nans (vorausgesetzt, diese sind einfache Objekt - (Liste oder dict)):

from numpy import isnan

def remove_nans(my_obj, val=None):
    if isinstance(my_obj, list):
        for i, item in enumerate(my_obj):
            if isinstance(item, list) or isinstance(item, dict):
                my_obj[i] = remove_nans(my_obj[i], val=val)

            else:
                try:
                    if isnan(item):
                        my_obj[i] = val
                except Exception:
                    pass

    elif isinstance(my_obj, dict):
        for key, item in my_obj.iteritems():
            if isinstance(item, list) or isinstance(item, dict):
                my_obj[key] = remove_nans(my_obj[key], val=val)

            else:
                try:
                    if isnan(item):
                        my_obj[key] = val
                except Exception:
                    pass

    return my_obj

InformationsquelleAutor Roei Bahumi

1

Dies ist eine andere Antwort, aber dies könnte helfen, Menschen zu helfen, die versuchen, Daten zu speichern und dann Lesen Sie es erneut.

Es ist hickle, die ist schneller als die Gurke und leichter.

Ich versuchte, Sie zu speichern und Lesen Sie es in Gurke-dump, aber beim Lesen gab es viele Probleme und verschwendet eine Stunde und immer noch keine Lösung finden, obwohl ich arbeiten war auf meine eigene Daten zu erstellen, einen chat-bot.

vec_x und vec_y sind numpy-arrays:
```
data=[vec_x,vec_y]
hkl.dump( data, 'new_data_file.hkl' )
```
Dann nur Lesen und ausführen der Vorgänge:
```
data2 = hkl.load( 'new_data_file.hkl' )
```
InformationsquelleAutor KS HARSHA

Können Sie eine einfache for-Schleife mit Prüfung-Typen:

with open("jsondontdoit.json", 'w') as fp:
    for key in bests.keys():
        if type(bests[key]) == np.ndarray:
            bests[key] = bests[key].tolist()
            continue
        for idx in bests[key]:
            if type(bests[key][idx]) == np.ndarray:
                bests[key][idx] = bests[key][idx].tolist()
    json.dump(bests, fp)
    fp.close()

InformationsquelleAutor Robert GRZELKA

1

TypeError: array([[0.46872085, 0.67374235, 1.0218339 , 0.13210179, 0.5440686 , 0.9140083 , 0.58720225, 0.2199381 ]], dtype=float32) ist nicht JSON serialisierbar

Tritt der oben genannte Fehler geworfen wurde, wenn ich versuchte, Sie zu übergeben, Liste der Daten, die von Modell zu Modell.predict (), als ich erwartete die Antwort im json-format.
```
> 1        json_file = open('model.json','r')
> 2        loaded_model_json = json_file.read()
> 3        json_file.close()
> 4        loaded_model = model_from_json(loaded_model_json)
> 5        #load weights into new model
> 6        loaded_model.load_weights("model.h5")
> 7        loaded_model.compile(optimizer='adam', loss='mean_squared_error')
> 8        X =  [[874,12450,678,0.922500,0.113569]]
> 9        d = pd.DataFrame(X)
> 10       prediction = loaded_model.predict(d)
> 11       return jsonify(prediction)
```
Aber zum Glück fand Sie den Hinweis, um den Fehler zu beheben, warf
Die Serialisierung der Objekte gilt nur für die folgende Umsetzung
Die Kartierung sollte in der folgenden Art und Weise
Objekt - dict
array - Liste
string - string
integer - Ganzzahl

Wenn Sie nach oben scrollen, um zu sehen, die Zeile mit der Nummer 10
Vorhersage = loaded_model.vorherzusagen(d), wo diese code-Zeile wurde die Ausgabe generieren
der Typ array Datentyp , wenn Sie versuchen, zu konvertieren array zu json-format ist nicht möglich

Schließlich fand ich die Lösung nur durch die Umwandlung erhaltene Ausgabe der Liste Typ von
folgende Zeilen code

Vorhersage = loaded_model.vorherzusagen(d)

listtype = Vorhersage.tolist()
zurück jsonify(listtype)

Bhoom! endlich die erwartete Ausgabe,

InformationsquelleAutor Poornima Subramani Naidu

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.