konnte nicht finden, impliziten Wert für Beweise parameter vom Typ org.apache.flink.api.common.typeinfo.TypeInformation[...]

Ich bin versucht, zu schreiben einige Anwendungsfälle für Apache Flink. Ein Fehler, ich Laufe ziemlich oft ist

could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[SomeType]

Mein problem ist, dass ich kann nicht wirklich festzunageln, wenn Sie geschehen, und wenn Sie dont.

Jüngstes Beispiel dafür wäre die folgende

...
val largeJoinDataGen = new LargeJoinDataGen(dataSetSize, dataGen, hitRatio)
val see = StreamExecutionEnvironment.getExecutionEnvironment
val newStreamInput = see.addSource(largeJoinDataGen)
...

wo LargeJoinDataGen extends GeneratorSource[(Int, String)] und GeneratorSource[T] extends SourceFunction[T], beide definiert in separaten Dateien.

Wenn Sie versuchen, zu bauen, bekomme ich

Error:(22, 39) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[(Int, String)]
val newStreamInput = see.addSource(largeJoinDataGen)

1. Warum ist es ein Fehler im Beispiel?

2. Was wäre eine Allgemeine Richtlinie, wenn diese Fehler auftreten und wie Sie zu vermeiden in der Zukunft?

P. S.: erste scala-Projekt und erste-flink-Projekt also bitte Geduld

InformationsquelleAutor jheyd | 2016-06-20
  1. 12

    Dies geschieht meist, wenn Sie Benutzer-code, d.h. eine Quelle oder eine map-Funktion, oder etwas, dass die Natur, die einen generischen parameter. In den meisten Fällen kann man beheben, indem man so etwas wie

    implicit val typeInfo = TypeInformation.of(classOf[(Int, String)])

    Wenn Ihr code ist in einer anderen Methode, die einen generischen parameter können Sie auch versuchen, indem ein Kontext-gebunden an die generischen parameter der Methode, wie in

    def myMethod[T: TypeInformation](input: DataStream[Int]): DataStream[T] = ...
    • diese Lösung scheint zu funktionieren. der Aufruf der Methode ist TypeInformation.of(classOf[(Int, String)]), möchten Sie vielleicht, um zu beheben, dass Ihre Antwort ein.
    InformationsquelleAutor aljoscha
  2. 44

    Können Sie importieren statt implicits

    import org.apache.flink.streaming.api.scala._

    Wird es auch helfen.

    • Diese Antwort ist besser, denn es vermeidet zu erstellen TypeInformation implizite Menge Zeit, wenn die flink Prozess ist Komplex 🙂
    • Warum funktioniert es? importieren alles aus einem Paket scheint ein anti-pattern
    InformationsquelleAutor dmreshet
  3. 9

    Mein problem ist, dass ich kann nicht wirklich festzunageln, wenn Sie geschehen, und wenn Sie dont.

    Diese passieren, wenn ein implizite parameter erforderlich ist. Wenn wir uns an der Methode der definition sehen wir:

    def addSource[T: TypeInformation](function: SourceFunction[T]): DataStream[T]

    Aber wir sehen keinen impliziten parameter definiert wird, wo ist es?

    Wenn Sie sehen, eine polymorphe Methode, bei der parameter Typ ist von der form

    def foo[T : M](param: T)

    Wo T ist der Typ-parameter und die M ist ein Kontext-gebunden. Es bedeutet, dass der Schöpfer der Methode ist die Beschaffung einer impliziten parameter vom Typ M[T]. Es ist äquivalent zu:

    def foo[T](param: T)(implicit ev: M[T])

    Im Falle Ihrer Methode, es ist eigentlich erweitert:

    def addSource[T](function: SourceFunction[T])(implicit evidence: TypeInformation[T]): DataStream[T]

    Dies ist der Grund warum der compiler meckert, als Sie es nicht finden können, den impliziten parameter der Methode ist erforderlich.

    Wenn wir gehen, um die Apache Flink Wiki, unter Geben Sie Informationen können wir sehen, warum dies geschieht :

    Keine Implizite Wert für Beweise Parameter-Fehler

    In dem Fall, wo TypeInformation konnte nicht erstellt werden, Programme, die nicht kompilieren mit einer Fehlermeldung, die besagt "could not find implicit value for evidence-parameter vom Typ TypeInformation".
    Ein häufiger Grund, wenn der code erzeugt, dass der TypeInformation wurde nicht importiert. Stellen Sie sicher, dass der import der gesamten flink.api.scala-Paket.
    import org.apache.flink.api.scala._

    Für generische Methoden, müssen Sie Sie benötigen, um zu generieren, eine TypeInformation an der call-site sowie:

    Für generische Methoden, die Datentypen der übergabeparameter und Rückgabewert-Typ kann nicht das gleiche für jeden Anruf und sind nicht bekannt, auf der Seite, wo die Methode definiert ist. Der obige code führt zu einem Fehler, dass nicht genügend implizite Belege zur Verfügung.
    In solchen Fällen, die Art von Informationen, die auf der Aufruf-Seite und an die Methode übergeben. Scala bietet impliziten Parameter.

    Für Ihre Typen dies bedeutet, dass, wenn die aufrufende Methode generisch ist, muss Sie auch auf Anfrage den Kontext gebunden für Ihr Typ-parameter.

    • org.apache.flink.api.scala._ wurde bereits eingeführt und es passiert immer noch. Das ist das, was ich meinte mit "kann nicht festzunageln".
    • Benötigen GeneratorSource[T] und SourceFunction[T] zu haben Kontext-Grenzen sowie: GeneratorSource[T : TypeInformation], SourceFunction[T : TypeInformation]
    • SourceFunction ist eine java-Schnittstelle erforderlich, die von der addSource Methode, das hinzufügen von Kontext Grenzen zu GeneratorSource änderte nichts.
    • Dann vielleicht Bedarf es, um einen engeren Umfang. Ist die Methode aufrufen tge flink API auch generische?
    • Nein, es ist in der main-Methode
    • import org.apache.flink.api.scala._ arbeitet für mich, ich danke Ihnen sehr

    InformationsquelleAutor Yuval Itzchakov
Schreibe einen Kommentar