Lesen einer großen json-Datei in R , Probleme

Ich versuche zu Lesen, sehr großen json-Datei mit R , und ich bin mit dem RJSON Bibliothek mit diesem commend json_data <- fromJSON(paste(readLines("myfile.json"), collapse=""))

Das problem ist, dass ich immer diese Fehlermeldung 

Error in paste(readLines("myfile.json"), collapse = "") :

konnte nicht Speicher (2383 Mb) in der C-Funktion 'R_AllocStringBuffer'

Kann mir jemand helfen mit diesem Problem

  • R ist nicht die beste für wirklich große Daten-Dateien, er lädt alle Daten in den Speicher. Möglicherweise benötigen Sie die Datei inkrementell
  • Um genauer zu sein die R-engine wird nicht lassen Sie Lesen ein string so groß wie Ihre Datei, und rjson ist zu Lesen versucht, die ganze Sache auf einmal.
  • Vielen Dank für Ihren Kommentar, aber was sollte ich tun, um Lesen Sie die json-Datei.
  • Haben Sie eine Kopie der json-Datei irgendwo??? In der Regel große json-dumps veröffentlicht streamable jsonlines-format finden Sie unter ?stream_in im jsonlite Paket.
InformationsquelleAutor Rabe | 2015-04-17
  1. 3

    Gut, nur meine Erfahrungen über Lesen json-Datei. die Fortschritte der
    Ich bin versucht zu Lesen 52.8 MB,19.7 MB,1,3 GB,93.9 MB,158.5 MB json-Dateien kostet mich 30 Minuten und schließlich die auto-resume-R-Sitzung nach, der versucht hat, sich zu bewerben, parallel computing und würde gerne den Fortschritt sehen, aber gescheitert sind.

    https://github.com/hadley/plyr/issues/265

    Und dann habe ich versucht den parameter hinzufügen pagesize = 10000, seine Arbeit und effizienter denn je. Gut, wir brauchen nur einmal gelesen und später speichern als RData/Rda/Rds-format von saveRDS.

    > suppressPackageStartupMessages(library('BBmisc'))
> suppressAll(library('jsonlite'))
> suppressAll(library('plyr'))
> suppressAll(library('dplyr'))
> suppressAll(library('stringr'))
> suppressAll(library('doParallel'))
> 
> registerDoParallel(cores=16)
> 
> ## https://www.kaggle.com/c/yelp-recsys-2013/forums/t/4465/reading-json-files-with-r-how-to
> ## https://class.coursera.org/dsscapstone-005/forum/thread?thread_id=12
> fnames <- c('business','checkin','review','tip','user')
> jfile <- paste0(getwd(),'/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_',fnames,'.json')
> dat <- llply(as.list(jfile), function(x) stream_in(file(x),pagesize = 10000),.parallel=TRUE)
> dat
list()
> jfile
[1] "/home/ryoeng/Coursera-Data-Science-Capstone/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_business.json"
[2] "/home/ryoeng/Coursera-Data-Science-Capstone/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_checkin.json" 
[3] "/home/ryoeng/Coursera-Data-Science-Capstone/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_review.json"  
[4] "/home/ryoeng/Coursera-Data-Science-Capstone/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_tip.json"     
[5] "/home/ryoeng/Coursera-Data-Science-Capstone/yelp_dataset_challenge_academic_dataset/yelp_academic_dataset_user.json"    
> dat <- llply(as.list(jfile), function(x) stream_in(file(x),pagesize = 10000),.progress='=')
opening file input connection.
 Imported 61184 records. Simplifying into dataframe...
closing file input connection.
opening file input connection.
 Imported 45166 records. Simplifying into dataframe...
closing file input connection.
opening file input connection.
 Found 470000 records...
    InformationsquelleAutor RYO ENG Lian Hu
  2. 2

    Ich hab das gleiche problem bei der Arbeit mit großen Datenmengen in der R., die ich benutzt hatte jsonlite package in R für Lesen, json, in R. hatte ich den folgenden code zu Lesen, json, in R:

    library(jsonlite)
get_tweets <- stream_in(file("tweets.json"),pagesize = 10000)

    hier tweets.json ist das meine Datei Namen und den Ort, wo es vorhanden ist,pagesize gibt an, wie viele die Anzahl der Zeilen liest es in einer iteration.Hoffe, es hilft.

    InformationsquelleAutor Kanwar_Singh
  3. 2

    Aus irgendeinem Grund die oben genannten Lösungen verursacht, die R beenden oder noch schlimmer.

    Diese Lösung funktionierte für mich, mit denselben Daten:

    library(jsonlite)
file_name <- 'C:/Users/Downloads/yelp_dataset/yelp_dataset~/dataset/business.JSON'
business<-jsonlite::stream_in(textConnection(readLines(file_name, n=100000)),verbose=F)

    Dauerte etwa 15 Minuten

    InformationsquelleAutor user2723494
Schreibe einen Kommentar