Mit FFMPEG: Wie man eine Scene Change Detection? mit timecode?

Basierend auf diesem Artikel scheint es, dass es möglich ist, verwenden Sie FFMPEG zu erkennen Szenenwechsel in videos:
http://www.luckydinosaur.com/u/ffmpeg-scene-change-detector

Nun habe ich ein video, das zeigt ein Buch mit text und wenn der text (Wort oder Satz) gesprochen wird, es wird hervorgehoben.
So etwas wie dieses Hörbuch: https://youtu.be/lA7L6ZNVKjc

Ich wissen muss, um den timestamp, wenn der text wird hervorgehoben (daher Szenenwechsel), wird diese ermöglichen es mir, hinzufügen von timestamp-tags auf meinem youtube-video, so dass es einfacher wird für den Zuhörer zum navigieren durch das Hörbuch.

Was ist der Magie Befehlszeile würde dies tun?

Vielen Dank!

InformationsquelleAutor Mozart | 2016-02-27

  1. 16

    Kombination der Szene filter (für die Erkennung von Szenenwechsel) und die showinfo filter erreichen, was Sie wollen:

    ffmpeg -i input.flv  \
       -filter:v "select='gt(scene,0.4)',showinfo" \
       -f null \
       - 2> ffout

    Dieser Befehl extrahiert alle Bilder, die sich aus dem vorherigen frame, um mehr als (gt) 0.4 (auf einer Skala von 0 zu 1). Für diese frames, die Informationen werden gedruckt (showinfo) wie diese

    [Parsed_showinfo_1 @ 0x2d85e60] n:   0 pts:2537204 pts_time:2.5372  pos:  2998114 fmt:rgb24 sar:1/1 s:1920x1200 i:P iskey:1 type:I checksum:5616582E plane_checksum:[5616582E]

    Jetzt müssen Sie nur noch zum extrahieren der Zeitstempel. Ich glaube, du bist daran interessiert pts_time. Man könnte es so machen:

    grep showinfo ffout | grep pts_time:[0-9.]* -o | grep [0-9.]* -o > timestamps

    Dieser wird Ihnen die Liste aller Zeitstempel:

    2.5372
4.37799
6.65301
8.09344

    Damit dieser Ansatz funktioniert, müssen Sie eine version von FFmpeg, die die Szene-Erkennung. Auch, wählen Sie einen geeigneten Wert für den threshold (0.4 im ersten Befehl). Sie können versuchen, zu finden eine optimale Schwellenwert für das extrahieren von frames für verschiedene Schwellenwerte (und danach untersuchen Sie den Rahmen manuell) wie diese

    ffmpeg -i input.flv \
       -filter:v "select='gt(scene,0.1)',showinfo" \
       -vsync 0 frames/%05d.jpg

    Nur zur Klarstellung: grep [0-9.]* schließt nicht aus, Ganzzahlen, wie behauptet, in einer anderen Antwort. Es entspricht einer beliebigen Zeichenfolge, die aus Ziffern und Zeiten, aber es würde auch passen, non-Nummern wie '4.4.4'. Aber ffmpeg sollte nicht die Ausgabe so schlecht ausgebildet Zeitstempel.

    die Letzte grep oben sollte grep '[0-9]*\.[0-9]*' -o so dass die endgültige grep ist grep showinfo ffout | grep pts_time:[0-9.]* -o | grep '[0-9]*\.[0-9]*' -o > timestamps die . muss escaped werden, da es sonst für ein beliebiges Zeichen
    nicht mit jedem Charakter . tut. [.] ist ein bracket-Ausdruck für ein beliebiges einzelnes Zeichen zwischen den Klammern. Siehe auch die grep-Handbuch auf "Charakter-Klassen und Klammer-Ausdrücke". Während grep [0-9.]* würde auch passen, mehr als floats und integers (aber in der Realität nicht in dieser pipeline), regexp, ausschließen können ganze zahlen wie schon in der anderen Antwort.
    Hallo, ich bin interessiert in Szenen (change detection). Sie schrieb über eine version von FFmpeg, die die Szene-Erkennung. Können Sie mir sagen, welche version von ffmpeg implementiert diese Funktion?
    das neueste und - mindestens - jede version seit Juli '16. Ich weiß nicht, Wann dieser Hinzugefügt wurde.
    Es funktioniert nicht für mich: pastebin.com/x0W47a04

    InformationsquelleAutor ckoehn

  2. 6

    Ich habe nicht die rep, um einen Kommentar auf der oben genannten Antwort, aber ich wollte darauf hinweisen, dass die grep-gepostet von sowohl @ckoehn und @keypulsations nur greifen Zeitstempel, die floating-point. Greifen beide floating-point und integer-Zeitstempel verwenden Sie die folgende regex

    grep showinfo ffout | grep pts_time:[0-9.]* -o | grep -E '[0-9]+(?:\.[0-9]*)?' -o > timestamps

    InformationsquelleAutor Luke Harrison

  3. 3

    Ich habe versucht die @ckoehn Antwort und es funktionierte, bis es aufgehört zu arbeiten, das Sternchen in das Letzte grep war, Probleme zu verursachen. Um dies zu vermeiden empfehle ich die Verwendung von Anführungszeichen in der grep-Sätze wie:

    grep showinfo ffout | grep pts_time:[0-9.]* -o | grep "[0-9.]*" -o > timestamps

    InformationsquelleAutor Ignacio Peletier

  4. 0

    Können Sie einfach den Befehl:

    ffmpeg inputvideo.mp4 -filter_complex "select='gt(scene,0.3)',metadata=print:file=time.txt" -vsync vfr img%03d.png

    Diese speichern nur die relevanten Informationen in die time.txt Datei wie unten.

    frame:0    pts:108859  pts_time:1.20954
lavfi.scene_score=0.436456
frame:1    pts:285285  pts_time:3.16983
lavfi.scene_score=0.444537
frame:2    pts:487987  pts_time:5.42208
lavfi.scene_score=0.494256
frame:3    pts:904654  pts_time:10.0517
lavfi.scene_score=0.462327
frame:4    pts:2533781 pts_time:28.1531
lavfi.scene_score=0.460413
frame:5    pts:2668916 pts_time:29.6546
lavfi.scene_score=0.432326

    Rahmen ist die Seriennummer der erkannten Schuss Wechsel von der ab. Auch, wählen Sie Ihre threshold-Wert (hier 0.3) passend für Ihren Anwendungsfall auf die richtige Ausgänge

    InformationsquelleAutor Abhijeet

Schreibe einen Kommentar