No suitable driver found for jdbc Spark

Ich bin mit

df.write.mode("append").jdbc("jdbc:mysql://ip:port/database", "table_name", properties)

in eine Tabelle einfügen in MySQL.

Auch, ich habe Class.forName("com.mysql.jdbc.Driver") in meinem code.

Wenn ich meine Funke Anwendung:

spark-submit --class MY_MAIN_CLASS
  --master yarn-client
  --jars /path/to/mysql-connector-java-5.0.8-bin.jar
  --driver-class-path /path/to/mysql-connector-java-5.0.8-bin.jar
  MY_APPLICATION.jar

Dieses Garn-client-Modus funktioniert für mich.

Aber wenn ich Garn-cluster-Modus:

spark-submit --class MY_MAIN_CLASS
  --master yarn-cluster
  --jars /path/to/mysql-connector-java-5.0.8-bin.jar
  --driver-class-path /path/to/mysql-connector-java-5.0.8-bin.jar
  MY_APPLICATION.jar

Es doens T Arbeit. Ich habe auch versucht, die Einstellung "--conf":

spark-submit --class MY_MAIN_CLASS
  --master yarn-cluster
  --jars /path/to/mysql-connector-java-5.0.8-bin.jar
  --driver-class-path /path/to/mysql-connector-java-5.0.8-bin.jar
  --conf spark.executor.extraClassPath=/path/to/mysql-connector-java-5.0.8-bin.jar
  MY_APPLICATION.jar

aber bekomme immer noch die "No suitable driver found for jdbc" Fehler.

InformationsquelleAutor Xiaoyu Chen | 2016-01-13

  1. 3

    Gibt es 3 mögliche Lösungen,

    1. Möchten Sie vielleicht, um Montage-Anwendung mit dem build-manager (Maven,SBT) so werden Sie nicht brauchen, um hinzuzufügen, die Abhängigkeiten in Ihrem spark-submit cli.

    2. Können Sie die folgende option in Ihrer spark-submit cli : 

      --jars $(echo ./lib/*.jar | tr ' ' ',')

      Erklärung : Angenommen, Sie haben alle Ihre Gläser in einem lib Verzeichnis in deinem Projekt root, Lesen alle Bibliotheken und fügen Sie Sie an die Anwendung senden.

    3. Können Sie auch versuchen, konfigurieren Sie diese 2 Variablen : spark.driver.extraClassPath und spark.executor.extraClassPath im SPARK_HOME/conf/spark-default.conf Datei, und geben Sie den Wert dieser Variablen als Pfad der jar-Datei. Sicherstellen, dass der Pfad vorhanden ist, auf die worker nodes.

    Ich Hinzugefügt mysql-connector-java-5.1.38-bin.jar in mein Glas und jetzt habe ich es nicht in meine Funke zu übermitteln cli. Dadurch Garn-client noch funktioniert, aber Garn-cluster nicht.
    können Sie auch versuchen, konfigurieren Sie diese 2 Variablen, die "Funken.- Treiber.extraClassPath" und "der Funke.executor.extraClassPath" in "SPARK_HOME/conf/Funke-Standard.conf" - Datei und geben Sie den Wert dieser Variablen als Pfad der jar-Datei. Sicherstellen, dass der Pfad existiert auf worker-Knoten.
    Die Einstellung "spark.- Treiber.extraClassPath" arbeitet für mich, danke.

    InformationsquelleAutor

  2. 1

    Ich habe versucht, die Vorschläge, die hier gezeigt werden, die nicht für mich arbeiten (mit mysql). Während des Debuggens durch die DriverManager-code, merkte ich, dass ich brauchte, um zu registrieren, mein Fahrer ist da dies geschieht nicht automatisch mit "spark-submit". Ich fügte

    Driver driver = new Driver();

    Konstruktor registriert sich der Treiber beim DriverManager, der gelöst die SQLException problem für mich.

    InformationsquelleAutor Sumit

Schreibe einen Kommentar