Android OpenGL Kombination von SurfaceTexture (externes image) und normale textur

Ich habe das gleiche Problem auf meinem Nexus 7 und es fuhr mich verrückt. Zugriff auf entweder eine samplerExternalOES oder eine sampler2D arbeitete völlig in Ordnung, aber der Zugriff auf Sie beide in der selben shader gab unerwartete Ergebnisse. Manchmal ist die Ausgabe wäre schwarz. Manchmal ist die Ausgabe von einem der lookup hätte schlechte Quantisierung Artefakte. Das Verhalten würde auch je auf die textur-Einheit mit den Samplern, wo gebunden. Ich habe mir jede opengl-Fehler und validateProgram Ergebnisse.

Schließlich, was funktionierte, war der Einsatz einer separaten shader einfach auf die Kamera-Ausgabe und Rendern in eine textur. Dann wird die resultierende textur kann durch eine regelmäßige sampler2D und alles funktioniert genau wie erwartet. Ich vermute da ist ein Fehler irgendwo im Zusammenhang zu samplerExternalOES.

Es scheint ein bug im OpenGl-Implementierung. Der gleiche code funktionierte gut auf dem Samsung Note und nicht auf dem nexus 4. Es scheint, dass getUniformLocation bricht bei einigen Geräten, die für alle Variablen, die sich letzten samplerExternalOES.

es scheint auch, dass compiler-Art uniform-Variablen alphabeticaly, so ist die Lösung, dass es funktioniert auf beiden Geräten wurde umbenannt samplerExternalEoz werden zzzTexture oder so etwas.

Bezogen auf user1924406 post (https://stackoverflow.com/a/14050597/3250829) auf aufteilen der Zugriff auf eine sampler2D textur und samplerExternalOES textur, dies ist, was ich zu tun hatte, weil die Anwendung, die ich entwickle, ist das Lesen aus einer Datei oder streaming von einem server statt der Verwendung der Kamera, auf dem Gerät. Mit beiden Texturen in den gleichen shader führte zu sehr komischen colourization Artefakte (der Fall ist auf einem Galaxy-S3) oder Sättigung und Kontrast Probleme (der Fall ein Nexus 4).

Als solche, die einzige Möglichkeit zum umgehen der samplerExternalOES textur-bug (von dem, was ich bisher gesehen habe) zu tun, die beiden shader-Programme: Eines, das schreibt die Inhalte in die samplerExternalOES textur in einem FBO und die andere, dass der Inhalt von der FBO und schreibt es direkt auf die Oberfläche.

Eine Sache, die Sie brauchen zu prüfen, ist, dass manchmal, wenn Sie schreiben, um einen FBO, die textur-Koordinaten zu spiegeln. In meinem Fall, die V (oder T oder Y) co-ordinate gespiegelt wurde, was zu einer gespiegelten Bild über die horizontale Achse. Ich hatte, um dies zu berücksichtigen, wenn das schreiben der fragment-shader auf der zweiten Stufe.

Dies ist ein Krieg-Geschichte, die ich wollte zu teilen, falls es einige von Euch, die Lesen müssen, aus einer Datei oder einem stream von einem server statt direkt von der Kamera.

In Ordnung, zum konvertieren einer externen textur (nicht die GPU), um eine regelmäßige interne, müssen Sie

• Zuerst erstellen Sie eine externe textur (gleiche wie die Schaffung einer regelmäßigen textur, aber das ersetzen aller GLES20.GL_TEXTURE_2D mit GLES11Ext.GL_TEXTURE_EXTERNAL_OES).
• Erstellen Sie einen internen/regelmäßige Struktur zu schreiben
• Wickeln SurfaceTexture mit dem externen textur.
• Lesen Sie den Inhalt in das externe textur (wenn aus einer Kamera, einer Datei, etc.)
• Überschreiben onFrameAvailable des SurfaceTexture und führen Sie die Konvertierung hier liefert sowohl die externe textur zu Lesen, und die innere textur zu schreiben.
• Sie möglicherweise benötigen, rufen Sie getTransformMatrix für Korrekturen der Koordinaten (meist flip y-Achse) und stellen Sie es als gut. Manchmal nicht...

hier einige Beispiel-Shader:

Vertex-shdaer -

uniform mat4 transform; //might be needed, and might not
uniform mat4 modelview;
uniform mat4 projection;
attribute vec2 position;

varying vec2 vTexcoord;

void main() {
    gl_Position = projection * modelview * vec4(position.xy, 0.0, 1.0);
    //texture takes points in [0,1], while position is [-1,1];
    vec4 newpos = (gl_Position + 1.0) * 0.5;
    vTexcoord = (transform * newpos).xy ;
}

Fragment-shader -

#extension GL_OES_EGL_image_external : require

precision mediump float;

uniform samplerExternalOES sTexture;
varying vec2 vTexcoord;

void main() {
    gl_FragColor = texture2D(sTexture, vTexcoord);
}