Form/Pattern-Matching-Ansatz in der Computer Vision

Ich bin derzeit eine, meiner Meinung nach, eher häufiges problem, das sollte Recht einfach zu lösen, aber bisher haben alle meine näherten versagt haben, so Wende ich mich an Sie um Hilfe.

Ich denke, das problem erklärt wird am besten mit einigen Abbildungen. Ich habe einige Muster, wie diese beiden:

Form/Pattern-Matching-Ansatz in der Computer Vision
Form/Pattern-Matching-Ansatz in der Computer Vision

Ich habe auch ein Bild wie (wohl besser, weil das Foto, das eine stammt aus der war ziemlich schlecht beleuchtet) dies:

Form/Pattern-Matching-Ansatz in der Computer Vision

(Beachten Sie, wie die Vorlage skaliert wurde, um irgendwie passen die Größe des Bildes)

Ziel ist ein Werkzeug, das bestimmt, ob der Benutzer zeigt den Daumen nach oben/Daumen nach unten Geste und auch einige Ecken dazwischen. Also, ich will entsprechend der Muster gegen das Bild und sehen Sie, das sieht aus wie das Bild, das die meisten (oder um genauer zu sein, den Winkel der hand zeigt). Ich weiß, in welche Richtung der Daumen zeigt in dem Muster, also wenn ich finde das Muster, das aussieht wie ich, haben auch die Winkel.

Arbeite ich mit OpenCV (mit Python-Bindings) und bereits versucht cvMatchTemplate und MatchShapes aber bisher sind die nicht wirklich zuverlässig zu funktionieren.

Ich kann nur vermuten, warum MatchTemplate ausgefallen, doch ich denke, dass kleinere Muster mit einem kleineren weiß sind passt voll in die weiße Fläche von einem Bild und schaffen so die besten matching-Faktor, obwohl seine offensichtlich, dass Sie nicht wirklich gleich Aussehen.

Gibt es einige Methoden, die versteckt in OpenCV habe ich nicht gefunden oder gibt es einen bekannten Algorithmus für diese Art von problem sollte ich implementieren?

Glückliches Neues Jahr.

InformationsquelleAutor Nicolas | 2011-12-27
  1. 6

    Ein paar einfache Techniken, die funktionieren könnte:

    1. Nach Binarisierung und Segmentierung, finden Feret ' s Durchmesser der blob (ein.k.ein. die weiteste Entfernung zwischen den Punkten, oder der großen Achse).
    2. Finden der konvexen Hülle der Punktmenge, füllt es, und behandeln es als eine verbundene region. Subtrahieren Sie das ursprüngliche Bild mit dem Daumen. Der Unterschied wird der Bereich zwischen Daumen und Faust, und die position, die Fläche relativ zu der Mitte der Masse, sollte Ihnen eine Angabe der rotation.
    3. Verwenden Sie ein watershed-Algorithmus auf die Entfernungen von jedem Punkt an der Note edge. Dies kann dazu beitragen, die angeschlossenen thin-region (die Daumen).
    4. Fit der größte Kreis (oder größte polygon eingeschrieben) innerhalb des Blobs. Erweitern Sie diesen Kreis oder polygon, bis einige Bruchteil der Rand überlappt den hintergrund. Subtrahieren Sie diese erweiterte Abbildung aus dem original Bild, nur die Daumen bleiben wird.
    5. Wenn die Größe der hand ist konsistent (oder relativ konsistent), dann könnte man auch ausführen, N morphologische Erodieren Operationen, bis der Daumen verschwindet, dann N erweitern Operationen zu wachsen, die Faust wieder auf seinen ursprünglichen Ungefähre Größe. Subtrahieren Sie diese Faust-only-blob von der ursprünglichen blob, um die Daumen blob. Verwendet dann den Daumen blob-Richtung (Feret ' s Durchmesser) und/oder Zentrum der Masse relativ zu den Faust-blob Mitte der Masse zu bestimmen die Richtung.

    Techniken zu finden, die kritische Punkte (Regionen starke Richtungsänderung) sind schwieriger. Am einfachsten, Sie könnten auch verwenden, Ecke Detektoren und überprüfen Sie dann den Abstand von einer Ecke zur anderen zu identifizieren, die vorhanden ist, wenn die innere Kante des Daumens erfüllt die Faust.

    Für komplexere Methoden, schauen Sie in die Papiere über die Form der ZERLEGUNG von Autoren wie Kimia, Siddiqi, und Xiaofing Mi.

    InformationsquelleAutor Rethunk
  2. 1

    MatchTemplate scheint wie eine gute Passform für das problem, das Sie beschreiben. In welcher Weise ist es versagt, für Sie? Wenn Sie tatsächlich Maskierung der Daumen-hoch/Daumen runter/Daumen-in-zwischen den Zeichen, so schön wie Sie zeigen in Ihrem Beispiel-Bild, dann haben Sie bereits getan und der schwierigste Teil.

    MatchTemplate nicht enthalten, rotation und Skalierung bei der Suche, so sollten Sie erzeugen mehr Vorlagen vom Referenz-Bild bei allen Rotationen, die Sie gerne zu erkennen, und sollten Sie skalieren Sie Ihre Vorlagen entsprechend der Allgemeinen Größe der gefundenen Daumen hoch/Daumen runter-Zeichen.

    [Bearbeiten]
    Das Ergebnis-array für MatchTemplate enthält einen ganzzahligen Wert, der angibt, wie gut die Passung der Schablone im Bild ist an diesem Ort. Wenn Sie CV_TM_SQDIFF dann der niedrigste Wert in das Ergebnis-array ist die Lage des best fit, wenn Sie CV_TM_CCORR oder CV_TM_CCOEFF dann ist es der höchste Wert. Wenn Ihr skaliert und gedreht-template-images haben alle die gleiche Anzahl von weißen Pixel dann vergleichen Sie den Wert am besten passen Sie zu finden, die für alle möglichen template-images, und die Vorlage-Bild, dass die best-fit-insgesamt ist das eine, die Sie auswählen möchten.

    Gibt es Tonnen von Drehung/Skalierung unabhängige Funktionen zur Erkennung, dass könnte unter Umständen helfen, aber die Normalisierung Ihres Problems zu arbeiten, mit MatchTemplate ist bei weitem die einfachste.

    Für die weiter fortgeschrittenen Zeug, check-out SIFT, Haar-feature-basierte Klassifikatoren, oder einer der anderen in OpenCV

    • ja, die Bilder sind original Bilder. seine nur, dass zum Beispiel das zweite pattern Bild noch nicht den passenden Wert, wenn im Vergleich mit dem Beispiel-Bild. auch wenn Sie fast die gleiche Größe wie im Bild. empfehlen Sie eine spezielle matchtemplate Methode(CV_TM_SQDIFF, ...)? was ist der Wert, den ich bekommen? Fehler für das ganze Bild? Distanz pro pixel (so, dass muss ich teilen es durch das Bild, die Größe oder so etwas?)
    • Ich aktualisiert meine Antwort auf Ihre Fragen.
    • Für eine "dehnbare" - Form wie eine Faust, match-Vorlagen kann nicht immer so gut funktioniert, wie Sie möchten. Rotation, Skalierung und affine Transformationen zusammen, nicht stückweise Drehung und Streckung der einzelnen Komponenten. Wenn eine Kombination von morphologischen und Segmentierungs-Techniken nicht funktionieren, dann prüfen, suchen für die Papiere auf "shape decomposition".
    InformationsquelleAutor jilles de wit
  3. 1

    Ich denke, dass kann man hervorragende Ergebnisse, wenn Sie nur die Berechnung der beiden Punkte, die am weitesten kürzeste Pfad geht durch weiß. Die Richtung, in die der Daumen zeigt, ist nur die Richtung der Linie, die beide Punkte verbindet.

    Können Sie dies leicht tun, indem sampling-Punkte auf die weiße Fläche und mit Floyd-Warshall.

    • Das klingt wie ein interessanter Ansatz, aber könntest du vielleicht näher auszuführen? Ich verstehe nicht, was du meinst mit "sampling-Punkte auf die weiße Fläche" und wie könnten Sie einen solchen Algorithmus für Graphen, um unser problem zu lösen
    • Schauen Sie sich dieses Papier, beschreiben die Technik auch: "Form: Klassifizierung Mit den Inneren Abstand" von Ling und Jacobs http://www.cs.umd.edu/~djacobs/pubs_files/ID-pami-8.pdf
    InformationsquelleAutor carlosdc
Schreibe einen Kommentar