Kodieren von H.264 von der Kamera mit Android MediaCodec

Für Ihre schnelle Wiedergabe - Rahmen-rate Problem, es gibt nichts zu tun hier. Da es eine streaming-Lösung von der anderen Seite muss gesagt werden, die frame-rate im Voraus oder Zeitstempel mit jedem frame. Beide sind nicht Teil der elementary stream. Entweder VORGEGEBENE framerate eingestellt ist, oder passieren Sie auf einige sdp oder so etwas wie das, oder Sie verwenden bereits existierende Protokolle wie rtsp. Im zweiten Fall sind die Zeitstempel sind Teil des Datenstroms gesendet, in form von etwas wie das rtp. Dann hat der AUFTRAGGEBER zu depay des rtp-Streams und spielen Sie es bacl. Das ist, wie elementar-streaming funktioniert. [entweder korrigieren Sie die frame-rate wenn Sie eine Feste rate, encoder oder geben timestamps]

Lokalen PC wird die Wiedergabe schnell, da wird es nicht wissen, die fps. Durch die Angabe der fps-parameter vor der Eingabe e aus.g

ffplay -fps 30 in.264

Steuern Sie die Wiedergabe auf dem PC.

Als für die Datei nicht spielbar: gibt es eine SPS und PPS. Auch Sie sollten die NAL-Header aktiviert - Anhang b-format. Ich weiß nicht viel über android, aber diese ist Voraussetzung für alle h.264-elementary-stream abgespielt werden, wenn Sie nicht in alle Container und müssen weggeworfen werden und später abgespielt.
Wenn android Standard ist mp4, aber Standard annexb-Header abgeschaltet werden, so gibt es vielleicht einen Schalter, um es zu aktivieren. Oder wenn Sie Daten-frame-by-frame, fügen Sie es einfach selbst.

Als für Farbe format: ich würde vermuten, der Standard sollte funktionieren. Also versuchen Sie nicht, die Einstellung.
Wenn nicht versuchen 422 Planar oder UVYV /VYUY interleaved Formaten. in der Regel sind die Kameras einen jener. (ist aber nicht notwendig, diese können diejenigen sein, die mir begegnet öfter).

InformationsquelleAutor der Antwort av501

Können Sie konvertieren Farbräume wie diese, wenn Sie die Vorschau-Farbraum auf YV12:

public static byte[] YV12toYUV420PackedSemiPlanar(final byte[] input, final byte[] output, final int width, final int height) {
        /* 
         * COLOR_TI_FormatYUV420PackedSemiPlanar is NV12
         * We convert by putting the corresponding U and V bytes together (interleaved).
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); //Y

        for (int i = 0; i < qFrameSize; i++) {
            output[frameSize + i*2] = input[frameSize + i + qFrameSize]; //Cb (U)
            output[frameSize + i*2 + 1] = input[frameSize + i]; //Cr (V)
        }
        return output;
    }

Oder

 public static byte[] YV12toYUV420Planar(byte[] input, byte[] output, int width, int height) {
        /* 
         * COLOR_FormatYUV420Planar is I420 which is like YV12, but with U and V reversed.
         * So we just have to reverse U and V.
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); //Y
        System.arraycopy(input, frameSize, output, frameSize + qFrameSize, qFrameSize); //Cr (V)
        System.arraycopy(input, frameSize + qFrameSize, output, frameSize, qFrameSize); //Cb (U)

        return output;
    }

InformationsquelleAutor der Antwort br1

Wenn Sie nicht explizit angefordert werden, ein anderes pixel-format der Kamera-Vorschau-Puffer kommen in einen YUV-420-format bekannt als NV21für die COLOR_FormatYCrYCb ist die MediaCodec entspricht.

Leider, wie die anderen Antworten auf dieser Seite erwähnt, gibt es keine Garantie, dass auf Ihrem Gerät, die AVC-encoder unterstützt dieses format. Beachten Sie, dass es gibt einige seltsame Geräte, die nicht unterstützt NV21, aber ich don ' T wissen alle, dass ein Upgrade API 16 (daher haben MediaCodec).

Google-Dokumentation behauptet auch, dass YV12 planar YUV unterstützt werden müssen, als Kamera-Vorschau-format für alle Geräte mit API >= 12. Daher kann es sinnvoll sein, es zu versuchen (die MediaCodec äquivalent ist COLOR_FormatYUV420Planardie Sie verwenden, in Ihrem code-snippet).

Update: als Andrew Cottrell erinnerte mich, YV12 muss noch chroma-swapping zu werden COLOR_FormatYUV420Planar.

InformationsquelleAutor der Antwort Alex Cohn