Wie können Sie verfolgen von Bewegung mit der iPhone-Kamera?

Ich habe gerade einen Vortrag an SecondConf wo ich demonstrierte den Einsatz der iPhone-Kamera zu verfolgen, ein farbiges Objekt mit OpenGL ES 2.0 Shader. Die post begleiten, die sprechen, auch meine Folien und Beispiel-code für alle demos finden hier.

Die Beispielanwendung, die ich schrieb, deren code kann heruntergeladen werden von hierbasiert auf einem Beispiel produziert von Apple für den Nachweis der Core-Image auf der WWDC 2007. Das Beispiel ist beschrieben in Kapitel 27 der GPU Gems 3-Buch.

Die grundlegende Idee ist, dass Sie können benutzerdefinierte GLSL-Shader für die Verarbeitung von Bildern aus der iPhone-Kamera in Echtzeit ermitteln, welche Pixel übereinstimmen, ein Ziel-Farbe in einer bestimmten Schwelle. Diese Pixel dann normalisierte X -, Y-Koordinaten eingebettet in Ihre roten und grünen Farbkomponenten, während alle anderen Pixel werden gekennzeichnet als schwarz. Die Farbe des ganzen Rahmens wird dann gemittelt, um zu erhalten der Schwerpunkt das farbige Objekt, das Sie verfolgen können, wie es bewegt sich durch den Blick der Kamera.

Während dies nicht der Fall ist tracking ein komplexeres Objekt wie ein Fuß, Shader wie diese sollten in der Lage sein, um geschrieben zu werden, herausgreifen ein bewegendes Objekt.

Als update zu den oben genannten, in den zwei Jahren seit ich dies schrieb, habe ich jetzt entwickelt ein open-source-frameworkkapselt OpenGL ES 2.0 shader-Verarbeitung von Bildern und video. Eine der jüngsten Ergänzungen ist eine GPUImageMotionDetector Klasse, die Prozesse einer Szene und erkennt jede Art von Bewegung innerhalb es. Es wird Ihnen wieder den Schwerpunkt und die Intensität der gesamten Bewegung erkennt, als Teil einer einfachen callback-block. Mit diesem Rahmen zu tun, das sollte viel einfacher sein, als die Rollen Ihrer eigenen Lösung.

InformationsquelleAutor der Antwort Brad Larson