BeautifulSoup webscraping find_all( ): Suche nach exakter übereinstimmung

Bin ich mit Python und BeautifulSoup für web-scraping.

Können sagen, ich habe den folgenden html-code zu kratzen:

<body>
    <div class="product">Product 1</div>
    <div class="product">Product 2</div>
    <div class="product special">Product 3</div>
    <div class="product special">Product 4</div>
</body>

Mit BeautifulSoup, ich will zu finden, NUR die Produkte mit dem Attribut class="Produkt"
(nur Produkt 1 und 2), nicht die "speziellen" Produkte

Wenn ich den folgenden Code:

result = soup.find_all('div', {'class': 'product'})

das Ergebnis enthält ALLE Produkte (1,2,3 und 4).

Was soll ich tun, um Produkte zu finden, deren Klasse GENAU entspricht, 'Produkt'??

Ich den Code ran:

from bs4 import BeautifulSoup
import re

text = """
<body>
    <div class="product">Product 1</div>
    <div class="product">Product 2</div>
    <div class="product special">Product 3</div>
    <div class="product special">Product 4</div>
</body>"""

soup = BeautifulSoup(text)
result = soup.findAll(attrs={'class': re.compile(r"^product$")})
print result

Ausgabe:

[<div class="product">Product 1</div>, <div class="product">Product 2</div>, <div class="product special">Product 3</div>, <div class="product special">Product 4</div>]

InformationsquelleAutor user2436815 | 2014-03-29

  1. 30

    In BeautifulSoup 4, die class Attribut (und mehrere andere Attribute, wie accesskey und die headers - Attribut in table-cell-Elemente) behandelt; Sie match gegen einzelne Elemente aufgeführt, die in dem Attribut. Dies folgt dem HTML-standard.

    Als solche, können Sie nicht beschränken Sie die Suche auf nur eine Klasse.

    Müssen Sie eine benutzerdefinierte Funktion hier passend vor der Klasse statt:

    result = soup.find_all(lambda tag: tag.name == 'div' and 
                                   tag.get('class') == ['product'])

    Habe ich eine lambda erstellen einer anonymen Funktion; jeder tag ist abgestimmt auf name (muss sein 'div'), und das class-Attribut muss genau gleich der Liste ['product']; z.B. haben nur den einen Wert.

    Demo:

    >>> from bs4 import BeautifulSoup
>>> text = """
... <body>
...     <div class="product">Product 1</div>
...     <div class="product">Product 2</div>
...     <div class="product special">Product 3</div>
...     <div class="product special">Product 4</div>
... </body>"""
>>> soup = BeautifulSoup(text)
>>> soup.find_all(lambda tag: tag.name == 'div' and tag.get('class') == ['product'])
[<div class="product">Product 1</div>, <div class="product">Product 2</div>]

    Vollständigkeit halber, hier sind alle solche Attribute festgelegt, von der BeautifulSoup-source-code:

    # The HTML standard defines these attributes as containing a
# space-separated list of values, not a single value. That is,
# class="foo bar" means that the 'class' attribute has two values,
# 'foo' and 'bar', not the single value 'foo bar'.  When we
# encounter one of these attributes, we will parse its value into
# a list of values if possible. Upon output, the list will be
# converted back into a string.
cdata_list_attributes = {
    "*" : ['class', 'accesskey', 'dropzone'],
    "a" : ['rel', 'rev'],
    "link" :  ['rel', 'rev'],
    "td" : ["headers"],
    "th" : ["headers"],
    "td" : ["headers"],
    "form" : ["accept-charset"],
    "object" : ["archive"],

    # These are HTML5 specific, as are *.accesskey and *.dropzone above.
    "area" : ["rel"],
    "icon" : ["sizes"],
    "iframe" : ["sandbox"],
    "output" : ["for"],
    }
    Endlich eine Lösung, die funktioniert!! Ich hatte zwei-Klassen-match und war mit soup.find_all('div', {'class': ['class1','class2']}) aber es war auch unter divs, hatte nur class2. Mit dem ist es zu tun, was ich erwarten würde. Keine Ahnung, warum der eine war ich mit war nicht arbeiten, obwohl...

    InformationsquelleAutor Martijn Pieters

  2. 0

    Können Sie mithilfe von CSS-Selektoren wie:

    result = soup.select('div.product.special')

    css-Selektoren

    Danke für die Antwort, aber ich bin versucht zu finden, "Produkt" div, nicht "product special" div.... mit Suppe.select('div.Produkt.Besondere') return 'spezielle' Produkte..
    Oops, falsch gelesen deine Frage. Gut wäre eine alternative zu entfernen divs zusammenbringen ".Produkt.spezielle" dann können Sie sicher suchen ".Produkt" ohne Begegnung mit dem anderen.

    InformationsquelleAutor crunch

Schreibe einen Kommentar