Tag: apache-spark-mllib

Ich bin neu auf der apache spark, und aus dem Dokument der MLlib, ich fand ein Beispiel von scala, aber ich weiß wirklich nicht, scala, ist kennt jemand ein Beispiel in java? danke! der Beispiel-code ist import

Ich bin Evaluierung der tools für die Produktion-ML-basierten Anwendungen und eine unserer Optionen ist Spark MLlib , aber ich habe einige Fragen dazu, wie Sie dienen, ein Modell einmal seine geschulten? Beispielsweise in Azure ML, einmal ausgebildet,

Ich versuche, zu extrahieren die Klasse Wahrscheinlichkeiten der random forest-Objekt habe ich geschult mit PySpark. Allerdings sehe ich nicht ein Beispiel von ihm überall in der Dokumentation, noch ist es eine Methode der RandomForestModel. Wie kann ich

Ich Plane, verwenden Sie die Lineare Regression in der Funke. Um loszulegen, ich habe das Beispiel aus der offiziellen Dokumentation (die finden Sie hier) Fand ich auch diese Frage auf stackoverflow, die im wesentlichen die gleiche Frage

Wenn ich erhöhen Sie die Modell-Größe meiner word2vec Modell ich fange an, diese Art von Ausnahme in meinen melden: org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 6 at org.apache.spark.MapOutputTracker$$anonfun$org$apache$spark$MapOutputTracker$$convertMapStatuses$2.apply(MapOutputTracker.scala:542) at org.apache.spark.MapOutputTracker$$anonfun$org$apache$spark$MapOutputTracker$$convertMapStatuses$2.apply(MapOutputTracker.scala:538) at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:772) at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)

Arbeite ich mit der Funke 1.3.0 mit PySpark und MLlib und ich muss das speichern und laden meine Modelle. Ich verwende code wie folgt (entnommen aus der offiziellen Dokumentation ) from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating data

, wenn ich versuche, führen Sie es auf diesen Ordner, es wirft mich ExecutorLostFailure jedesmal, wenn Hallo ich bin ein Anfänger in der Funke. Ich versuche zu laufen, einen job auf Spark 1.4.1 mit 8 slave-Knoten mit

Tun Sie Jungs wissen, wo finde ich Beispiele für multiclass Klassifizierung Funken. Ich verbrachte viel Zeit mit der Suche in Büchern und im web, und so weit ich weiß nur, dass es möglich ist, da die neueste

Ich trainierte klassifikationsmodell in Apache Spark (mit pyspark). Ich gespeichert, das Modell in ein Objekt, LogisticRegressionModel. Nun, ich möchte, um Vorhersagen auf neuen Daten. Ich möchte speichern Sie das Modell, und Lesen Sie es wieder in ein

In Java, ich benutze RowFactory.create() erstellt eine Zeile: Row row = RowFactory.create(record.getLong(1), record.getInt(2), record.getString(3)); wo "record" ist ein Datensatz aus einer Datenbank, aber ich kann nicht wissen, die Länge der "record" im Voraus, also ich will eine

Bin ich basteln mit einigen cross-Validierung code aus dem PySpark Dokumentation, und zu versuchen, PySpark, um mir zu sagen, welches Modell gewählt wurde: from pyspark.ml.classification import LogisticRegression from pyspark.ml.evaluation import BinaryClassificationEvaluator from pyspark.mllib.linalg import Vectors from pyspark.ml.tuning

Ich habe eine CSV-Datei mit dem folgenden format : product_id1,product_title1 product_id2,product_title2 product_id3,product_title3 product_id4,product_title4 product_id5,product_title5 [...] Den product_idX ist ein integer und die product_titleX ist ein String, Beispiel : 453478692, Apple iPhone 4 8Go Ich versuche zu schaffen,

Wie gehe ich mit kategorischen Daten mit spark-ml und nicht spark-mllib ? Dachte, die Dokumentation ist nicht sehr klar, es scheint, dass Klassifikatoren, z.B. RandomForestClassifier, LogisticRegression haben eine featuresCol argument gibt den Namen der Spalte Funktionen der

Habe ich eine Python-Klasse, die ich zum laden und verarbeiten einige Daten in der Funke. Unter den verschiedenen Dinge, die ich tun müssen, ich bin erzeugt eine Liste von dummy-Variablen abgeleitet, die aus verschiedenen Spalten in einer

Möchte ich libsvm-format, also machte ich dataframe, um die gewünschten format, aber ich weiß nicht, wie zu konvertieren, um libsvm-format. Das format ist wie in der Abbildung gezeigt. Ich hoffe, dass die gewünschte libsvm-Typ ist user-item:Bewertung .

Ich war die Anwendung einiger Machine-Learning-algorithmen (wie Lineare Regression, Logistische Regression, Naive Bayes, um einige Daten, aber ich habe versucht zu vermeiden, mit RDDs und starten Sie mit DataFrames, weil die RDDs sind langsamer als Dataframes unter

Ich versuche zum durchführen der matrix-Multiplikation unter Verwendung von Apache Spark und Java. Habe ich 2 wesentliche Fragen: How to create RDD vertreten kann matrix in Apache Spark? Wie multiplizieren von zwei solchen RDDs? InformationsquelleAutor Jigar |

Ich habe einen dataframe gi_man_df wo die Gruppe kann n: +------------------+-----------------+--------+--------------+ | group | number|rand_int| rand_double| +------------------+-----------------+--------+--------------+ | 'GI_MAN'| 7| 3| 124.2| | 'GI_MAN'| 7| 10| 121.15| | 'GI_MAN'| 7| 11| 129.0| | 'GI_MAN'| 7| 12| 125.0|

Ich brauche addition von zwei Matrizen, sind in zwei Dateien gespeichert. Den Inhalt latest1.txt und latest2.txt hat die nächste str: 1 2 3 4 5 6 7 8 9 Lese ich die Dateien wie folgt: scala> val

Ich über eine Liste mit Doppelt wie folgt gespeichert : JavaRDD<Double> myDoubles Möchte ich berechnen Sie den Mittelwert dieser Liste. Nach der Dokumentation, : Alle MLlib Methoden, mittels Java-freundlichen Arten, so können Sie importieren und rufen Sie

Wie erstellen SparseVector dicht und Vektor-Repräsentationen wenn die DenseVector ist: denseV = np.array([0., 3., 0., 4.]) Was wird das Sparse-Vektor-Darstellung ? Für diejenigen, die Lesen den Titel des "Sparse Vector vs Dichten Vector" und waren auf der

Ich versuche zu implementieren ist ein Dokument classifier mit Apache Spark MLlib und ich bin mit einigen Problemen, die die Daten. Mein code ist der folgende: import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.sql.types.{StringType, StructField, StructType} import org.apache.spark.ml.feature.Tokenizer import org.apache.spark.ml.feature.HashingTF

Ich versuche zu laufen random forest Klassifikation mithilfe Spark ML api aber ich habe Probleme mit der Erstellung von rechts-Daten-frame input in der pipeline. Hier Beispieldaten: age,hours_per_week,education,sex,salaryRange 38,40,"hs-grad","male","A" 28,40,"bachelors","female","A" 52,45,"hs-grad","male","B" 31,50,"masters","female","B" 42,40,"bachelors","male","B" Alter und hours_per_week ganze zahlen

Ich habe einen Datensatz von (user, product, review) und füttern wollen es in mllib ist ALS Algorithmus. Muss der Algorithmus-Benutzer und-Produkte zu zahlen, während meine sind String-Benutzernamen und-String-SKUs. Gerade jetzt, ich bekomme die verschiedene Benutzer und SKUs,

Ich war die Anwendung einiger Machine-Learning-algorithmen (wie Lineare Regression, Logistische Regression, Naive Bayes, um einige Daten, aber ich habe versucht zu vermeiden, mit RDDs und starten Sie mit DataFrames, weil die RDDs sind langsamer als Dataframes unter