Spark 2.3.0 netty version Problem: NoSuchMethod io.netty.Puffer.PooledByteBufAllocator.(Metrisch)

Ich gerade aktualisiert meine spark-Projekt von 2.2.1 auf 2.3.0 zu finden, die Versionierung Ausnahme unten. Ich habe Abhängigkeiten auf der Funke-cassandra-Anschluss.2.0.7 und cassandra-driver-Kern.3.4.0 von datastax, die wiederum Abhängigkeiten auf netty 4.x in der Erwägung, dass spark 2.3.0 nutzt 3.9.x.

Die Klasse die Anhebung der Ausnahme, org.apache.spark.Netzwerk.util.NettyMemoryMetrics, wurde in spark 2.3.0.

Ist eine Herabstufung meine Cassandra Abhängigkeiten der einzige Weg um die Ausnahme? Danke!

Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)
at org.apache.spark.network.client.TransportClientFactory.<init>(TransportClientFactory.java:109)
at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
at org.apache.spark.rpc.netty.NettyRpcEnv.<init>(NettyRpcEnv.scala:71)
at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
InformationsquelleAutor rodders | 2018-03-06
  1. 14

    Es scheint, wie Sie ein "zu alt" netty 4-version. Vielleicht haben Sie mehrere auf Ihrem classpath ? Es sollte kein problem zu haben, netty 4.x-und 3.x auf dem classpath.

    • Danke du hast auf die richtige Richtung. Ich komme aus der .Net-Welt und Scala ist noch ein bisschen neu für mich. Schließlich bekam ich es repariert folgenden: maven.apache.org/guides/introduction/...
    • bitte upvote dann 😉
    • können Sie uns sagen, wie hast du es behoben?
    • Ich habe durch das hinzufügen dieses fragment zu meinem pom, und so zwingt eine gemeinsame netty Referenz: ` <dependencyManagement> <Abhängigkeiten> <Abhängigkeit> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>4.1.17.Die endgültige</version> </Abhängigkeit> </Abhängigkeiten> </dependencyManagement> `
    • Ich bin auch vor dem gleichen Problem, aber in meinem Fall bin ich mit pyspark(v 2.3.2) und hadoop (v2.8.3) . Wenn ich senden Sie eine pyspark job mit Funken-senden und öffnen Sie die Protokolle der Garn-container bekomme ich ähnliche Fehler. Wegen Sie haben keine Ahnung, wie es zu lösen im Fall der pyspark
    • Ich hatte dasselbe problem und nach Ausschluss netty aus einer von der Abhängigkeit ` <Abhängigkeit> <groupId>com.datastax.Funke</groupId> <artifactId>Funke-cassandra-connector_2.11</artifactId> <version>${Funke-cassandra-connector_2.11.version}</version> <AUSSCHLÜSSE> <Ausgrenzung> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> </Ausschluss> </AUSSCHLÜSSE> </Abhängigkeit>`,, es funktioniert für mich

    InformationsquelleAutor Norman Maurer
  2. 2

    Ich würde gerne ein paar mehr details zu der Antwort für einfache arbeiten, führen Sie einfach mvn dependency:tree -Dverbose -Dincludes=io.netty:netty-all wird es wieder alle Abhängigkeiten mit io.netty und seine version. In meinem Fall ist der Täter war Hive-Jdbc-2.1.0 hat netty-all version niedriger als die version von spark 2.3.1 also der classpath unterlässt laden der Funke ist netty, da es bereits geladen wurde von der hive-jdbc.

    Also das Update ist auszuschließen, die Abhängigkeiten von der Hive-Jdbc in pom.xml

    InformationsquelleAutor Vicky
Schreibe einen Kommentar