iOS Image Manipulation (Verzerrung)

Wie Sie sagen, die aktuellen Fähigkeiten von Core Image sind ein wenig beschränkt auf iOS. Insbesondere das fehlen von custom-kernels wie Sie finden auf dem desktop ist enttäuschend. Die anderen alternativen Liste (mit Ausnahme von GLImageProcessing, die nicht in der Lage sein, das zu tun diese Art der Filterung) sind alle CPU-gebundene Bibliotheken und wäre viel zu langsam für live-filtern auf einem mobilen Gerät.

Allerdings kann ich Punkt Sie zu einem open-source-framework namens GPUImage, dass ich nur gerollt, weil ich nicht finden konnte, etwas, dass Sie pull-off Effekte. Wie der name andeutet, GPUImage stellt GPU-beschleunigte Bearbeitung von Bildern und Videos mithilfe von OpenGL ES 2.0 Shader. Sie können schreiben Sie Ihre eigenen Effekte mit diesen, so dass Sie sollten in der Lage sein zu tun, gerade über alles, was man sich denken kann. Der Rahmen selbst ist in Objective-C, und hat eine ziemlich einfache Schnittstelle.

Als ein Beispiel für die Verzerrung filter, der folgende shader (basiert auf dem code in Danny Pflughoeft Antwort) ist eine Art Fischaugen-Effekt:

varying highp vec2 textureCoordinate;
uniform sampler2D inputImageTexture;

const mediump float bulgeFactor = 0.5;

void main()
{
    mediump vec2 processedTextureCoordinate = textureCoordinate - vec2(0.5);
    mediump float radius = processedTextureCoordinate.x * processedTextureCoordinate.x + processedTextureCoordinate.y * processedTextureCoordinate.y;
    mediump vec2 distortedCoordinate = vec2(pow(radius, bulgeFactor)) * processedTextureCoordinate + vec2(0.5);

    gl_FragColor = texture2D(inputImageTexture, distortedCoordinate);
}

Dieser produziert diese Art der Wirkung auf einen video-stream:

In meinen benchmarks, GPUImage Prozesse Bilder, die 4X schneller sind als die Core-Image auf einem iPhone 4 (6X schneller als CPU-gebunden-Verarbeitung) und video-25X schneller als die Core-Image (70X schneller als auf der CPU). Selbst In den schlimmsten Fall, ich könnte um sich werfen, es entspricht die Core-Image für die Verarbeitungsgeschwindigkeit.

Rahmen ist noch ziemlich neu, so dass die Anzahl der Aktien-Filter habe ich in es ist im Moment gering, aber ich werde das hinzufügen ein paar mehr bald. In der Zwischenzeit, Sie können schreiben Sie Ihre eigenen custom distortion Shader für die Verarbeitung der Bilder, und die Quellcodes für alles, was verfügbar ist für Sie zu zwicken, wie gebraucht. Meinen einleitenden post darüber hat ein wenig mehr detail auf, wie verwenden Sie diese in Ihren Anwendungen.