Wie konvertieren von sample-rate von AV_SAMPLE_FMT_FLTP zu AV_SAMPLE_FMT_S16?

BEARBEITEN 9. April 2013: Arbeitete heraus, wie libswresample, dies zu tun... viel schneller!

Irgendwann in den letzten 2-3 Jahren FFmpeg AAC decoder Ausgabeformat geändert von AV_SAMPLE_FMT_S16 zu AV_SAMPLE_FMT_FLTP. Dies bedeutet, dass jeder audio-Kanal hat seinen eigenen Puffer, und jeder sample-Wert ist ein 32-bit-floating-point-Wert skaliert von -1.0 bis +1.0.

In der Erwägung, dass mit AV_SAMPLE_FMT_S16 die Daten in einen einzigen Puffer, die Proben interleaved, und jede Probe ist eine vorzeichenbehaftete Ganzzahl zwischen -32767 bis +32767.

Und wenn Sie wirklich brauchen Ihre audio-als AV_SAMPLE_FMT_S16, dann haben Sie, um die Konvertierung selbst. Dachte ich, zwei Möglichkeiten, es zu tun:

1. Verwenden libswresample (empfohlen)

#include "libswresample/swresample.h"

...

SwrContext *swr;

...

//Set up SWR context once you've got codec information
swr = swr_alloc();
av_opt_set_int(swr, "in_channel_layout",  audioCodec->channel_layout, 0);
av_opt_set_int(swr, "out_channel_layout", audioCodec->channel_layout,  0);
av_opt_set_int(swr, "in_sample_rate",     audioCodec->sample_rate, 0);
av_opt_set_int(swr, "out_sample_rate",    audioCodec->sample_rate, 0);
av_opt_set_sample_fmt(swr, "in_sample_fmt",  AV_SAMPLE_FMT_FLTP, 0);
av_opt_set_sample_fmt(swr, "out_sample_fmt", AV_SAMPLE_FMT_S16,  0);
swr_init(swr);

...

//In your decoder loop, after decoding an audio frame:
AVFrame *audioFrame = ...;
int16_t* outputBuffer = ...;
swr_convert(&outputBuffer, audioFrame->nb_samples, audioFrame->extended_data, audioFrame->nb_samples);   

... Und das ist alles, was Sie zu tun haben!

2. Tun Sie es von hand in C (original-Antwort, nicht empfohlen)

Also in Ihrem decode-Schleife, wenn Sie haben eine audio-Paket Sie decodieren dies wie folgt:

AVCodecContext *audioCodec;   //init'd elsewhere
AVFrame *audioFrame;          //init'd elsewhere
AVPacket packet;              //init'd elsewhere
int16_t* outputBuffer;        //init'd elsewhere
int out_size = 0;
...
int len = avcodec_decode_audio4(audioCodec, audioFrame, &out_size, &packet);

Dann, wenn Sie haben einen full-frame von audio -, können Sie wandeln es ziemlich einfach:

    //Convert from AV_SAMPLE_FMT_FLTP to AV_SAMPLE_FMT_S16
    int in_samples = audioFrame->nb_samples;
    int in_linesize = audioFrame->linesize[0];
    int i=0;
    float* inputChannel0 = (float*)audioFrame->extended_data[0];
    //Mono
    if (audioFrame->channels==1) {
        for (i=0 ; i<in_samples ; i++) {
            float sample = *inputChannel0++;
            if (sample<-1.0f) sample=-1.0f; else if (sample>1.0f) sample=1.0f;
            outputBuffer[i] = (int16_t) (sample * 32767.0f);
        }
    }
    //Stereo
    else {
        float* inputChannel1 = (float*)audioFrame->extended_data[1];
        for (i=0 ; i<in_samples ; i++) {
             outputBuffer[i*2] = (int16_t) ((*inputChannel0++) * 32767.0f);
             outputBuffer[i*2+1] = (int16_t) ((*inputChannel1++) * 32767.0f);
        }
    }
    //outputBuffer now contains 16-bit PCM!

Ich habe Links ein paar Dinge für Klarheit... die Klemmung in der mono-Pfad sollte im Idealfall ebenfalls im stereo-Pfad. Und der code kann leicht optimiert.

Dank Reuben nach einer Lösung für dieses. Ich habe die Erfahrung gemacht, dass einige der sample-Werte waren etwas aus, wenn verglichen mit einer geraden ffmpeg -i Datei.wav. Es scheint, dass bei der Umwandlung, verwenden Sie eine Runde() auf den Wert.

Um die Konvertierung zu tun, ich Tat, was Sie Tat, mit einem Gebot von änderungen funktioniert für jede Anzahl von Kanälen:

if (audioCodecContext->sample_fmt == AV_SAMPLE_FMT_FLTP)
{
    int nb_samples = decoded_frame->nb_samples;
    int channels = decoded_frame->channels;
    int outputBufferLen = nb_samples & channels * 2;
    short* outputBuffer = new short[outputBufferLen/2];

    for (int i = 0; i < nb_samples; i++)
    {
         for (int c = 0; c < channels; c++)
         {
             float* extended_data = (float*)decoded_frame->extended_data[c];
             float sample = extended_data[i];
             if (sample < -1.0f) sample = -1.0f;
             else if (sample > 1.0f) sample = 1.0f;
             outputBuffer[i * channels + c] = (short)round(sample * 32767.0f);
         }
    }

    //Do what you want with the data etc.

}

Ging ich von ffmpeg 0.11.1 -> 1.1.3 gefunden und das ändern der sample-format nervig. Ich schaute auf die Einstellung der request_sample_fmt zu AV_SAMPLE_FMT_S16 aber es scheint der aac-decoder nicht unterstützt, ist alles andere als AV_SAMPLE_FMT_FLTP sowieso.