Bestimmen Sie, ob ein Bild vorhanden ist, in einem größeren Bild, und wenn dem so ist, finden es, mit Python

Werde ich vorschlagen, eine Antwort, die funktioniert schnell und perfekt, wenn Sie suchen für exact match sowohl in Größe und in der image-Werte.

Die Idee ist die Berechnung eines brute-force-Suche von das wollte h x w Vorlage in einem größeren H x W Bild. Der bruteforce-Ansatz würde darin bestehen, sich auf alle möglichen h x w windows über das Bild und überprüfen Sie die pixel-by-pixel-Korrespondenz innerhalb der Vorlage. Dieses ist jedoch sehr rechenintensiv, kann aber beschleunigt werden.

im = np.atleast_3d(im)
H, W, D = im.shape[:3]
h, w = tpl.shape[:2]

Mithilfe der smart integral-Bilder man berechnen kann wirklich schnell die Summe innerhalb eines h x w Fenster, beginnend an jedem pixel. Ein integraler Bild ist ein kombiniertes Bereich Tabelle (kumulativ summiert array) berechnet werden kann, mit numpy wirklich schnell:

sat = im.cumsum(1).cumsum(0)

und es hat wirklich schöne Eigenschaften, wie zum Beispiel die Berechnung der Summe aller Werte in einem Fenster mit nur 4 arithmetische Operationen:

So, durch die Berechnung der Summe der Vorlage und Abgleich mit der Summe der h x w windows über die integrierte Bild, es ist leicht zu finden, eine Liste von "möglichen windows", wo die Summe der inneren Werte ist die gleiche wie die Summe der Werte in der Vorlage (eine schnelle Annäherung).

iA, iB, iC, iD = sat[:-h, :-w], sat[:-h, w:], sat[h:, :-w], sat[h:, w:]
lookup = iD - iB - iC + iA

Oben ist ein numpy Vektorisierung der Betrieb der in der Abbildung für alle möglichen h x w Rechtecke auf dem Bild (also wirklich schnell).

Dies verringert eine Menge der Anzahl der möglichen Fenster (2 in einem meiner tests). Der Letzte Schritt wäre zu prüfen, wird nach exakten übereinstimmungen mit der Vorlage:

posible_match = np.where(np.logical_and.reduce([lookup[..., i] == tplsum[i] for i in range(D)]))
for y, x in zip(*posible_match):
    if np.all(im[y+1:y+h+1, x+1:x+w+1] == tpl):
        return (y+1, x+1)

Beachten Sie, dass hier y und x Koordinaten beziehen sich auf den Einen Punkt im Bild, wird die vorhergehende Zeile und Spalte der Vorlage.

Setzen alle zusammen:

def find_image(im, tpl):
    im = np.atleast_3d(im)
    tpl = np.atleast_3d(tpl)
    H, W, D = im.shape[:3]
    h, w = tpl.shape[:2]

    # Integral image and template sum per channel
    sat = im.cumsum(1).cumsum(0)
    tplsum = np.array([tpl[:, :, i].sum() for i in range(D)])

    # Calculate lookup table for all the possible windows
    iA, iB, iC, iD = sat[:-h, :-w], sat[:-h, w:], sat[h:, :-w], sat[h:, w:] 
    lookup = iD - iB - iC + iA
    # Possible matches
    possible_match = np.where(np.logical_and.reduce([lookup[..., i] == tplsum[i] for i in range(D)]))

    # Find exact match
    for y, x in zip(*possible_match):
        if np.all(im[y+1:y+h+1, x+1:x+w+1] == tpl):
            return (y+1, x+1)

    raise Exception("Image not found")

Funktioniert es mit beiden Graustufen-und Farbbilder und läuft in 7ms für eine 303x384 Farb-Bild mit einem 50x50 Vorlage.

Einem Beispiel aus der Praxis:

>>> from skimage import data
>>> im = gray2rgb(data.coins())
>>> tpl = im[170:220, 75:130].copy()

>>> y, x = find_image(im, tpl)
>>> y, x
(170, 75)

Und ilustrate das Ergebnis:

Links Originalbild, rechts die Vorlage. Und hier die genaue übereinstimmung:

>>> fig, ax = plt.subplots()
>>> imshow(im)
>>> rect = Rectangle((x, y), tpl.shape[1], tpl.shape[0], edgecolor='r', facecolor='none')
>>> ax.add_patch(rect)

Und letzten, nur ein Beispiel für die possible_matches für den test:

Die Summe über die beiden Fenster im Bild ist die gleiche, aber der Letzte Schritt der Funktion Filter, die nicht exakt der Vorlage.