BeautifulSoup Ausgang zu .txt-Datei

Ich versuche meine Daten exportieren, als .txt-Datei

from bs4 import BeautifulSoup
import requests
import os

import os

os.getcwd()
'/home/folder'
os.mkdir("Probeersel6") 
os.chdir("Probeersel6")
os.getcwd()
'/home/Desktop/folder'
os.mkdir("img")  #now `folder` 

url = "http://nos.nl/artikel/2093082-steeds-meer-nekklachten-bij-kinderen-door-gebruik-tablets.html"
r  = requests.get(url)
soup = BeautifulSoup(r.content)
data = soup.find_all("article", {"class": "article"})

with open(""%s".txt", "wb" %(url)) as file:
    for item in data:
        print item.contents[0].find_all("time", {"datetime": "2016-03-16T09:50:30+0100"})[0].text 
        print item.contents[0].find_all("a", {"class": "link-grey"})[0].text
        print "\n"
        print item.contents[0].find_all("img", {"class": "media-full"})[0]
        print "\n"
        print item.contents[1].find_all("div", {"class": "article_textwrap"})[0].text
        file.write()

was sollte das: 

file.write()

arbeiten?

Ich versuche auch, mir den Namen des .txt-Datei die gleiche wie die url soll ich tun, mit einem string?

with open(""%s".txt", "wb" %(url)) as file:

url = "http://nos.nl/artikel/2093082-steeds-meer-nekklachten-bij-kinderen-door-gebruik-tablets.html"
InformationsquelleAutor Danisk | 2016-03-16
  1. 2

    Sollten Sie Innerhalb file.write Ihre Inhalte. Ich werde wahrscheinlich so etwas wie:

    #!/usr/bin/python3
#

from bs4 import BeautifulSoup
import requests

url = 'http://nos.nl/artikel/2093082-steeds-meer-nekklachten-bij-kinderen-door-gebruik-tablets.html'
file_name=url.rsplit('/',1)[1].rsplit('.')[0]

r  = requests.get(url)
soup = BeautifulSoup(r.content, 'lxml')
data = soup.find_all('article', {'class': 'article'})


content=''.join('''{}\n{}\n\n{}\n{}'''.format( item.contents[0].find_all('time', {'datetime': '2016-03-16T09:50:30+0100'})[0].text,
                                               item.contents[0].find_all('a', {'class': 'link-grey'})[0].text,
                                               item.contents[0].find_all('img', {'class': 'media-full'})[0],
                                               item.contents[1].find_all('div', {'class': 'article_textwrap'})[0].text,
                                             ) for item in data)

with open('./{}.txt'.format(file_name), mode='wt', encoding='utf-8') as file:
    file.write(content)
    • Es zeigt sich ein "UnicodeEncodeError: 'ascii' codec can T encode character u'\xa0' in position 130: ordinal not in range(128)"
    • Ich wirklich dont haben Zugriff auf python, und es scheint, dass Sie mit python2 (denke ich). Lesen Sie ein wenig über die Codierung, dein problem ist sehr verbreitet!
    • Ist python 2 schlecht?
    • Nicht bei allen, aber die Codierung ist irgendwie verschiedenen von Python ist3, und es macht lange Zeit, die ich noch nicht verwendet python2. Ich nehme einen Blick auf dein problem, aber vielleicht waren Sie rechts durch die Verwendung der Binär-Modus wb
    • Ich denke, es ist nicht der wb, es ist ein Fehler im letzten Satz: "item.Inhalt[1].find_all("div", {"class": "article_textwrap"})[0].text im content+= '' '
    • Über python2 Sie lassen den text-Modus, wie ich sagte, und nutzen Sie einfach ...text.decode('utf-8','replace') zum Dekodieren der Inhalte. Beachten Sie, dass die Zeichenkodierung utf-8 kann nicht immer die gleichen, und Sie können wohl analysieren, es aus dem html-Inhalt. Ich denke, dass dein script hat noch einige andere kleine Probleme, aber ich habe nicht wirklich die Zeit um zu Debuggen.
    • stackoverflow.com/questions/36044653/... konnte ich nicht posten, keinen Code hier, so dass ich entschieden habe das Unicode-problem (denke ich), aber jetzt funktioniert es nicht speichern alles
    • wenn Sie Zugriff auf Python ist3, ich habe gerade ein edit zu meinem post, und es scheint gut zu funktionieren, da Ihre website ist in utf-8

    InformationsquelleAutor rsm
  2. 0

    Ich ein webscraping Projekt, und dieses Problem gab mir Tonnen von Problemen. Ich habe versucht, fast jeder Lösung gibt, die sich mit Python-Codierung (konvertiere zu UTF Hilfe von string.encode(), konvertieren in ASCII konvertieren mit der "unicodedata' - Modul verwenden .decode() und dann .encode(), Blutopfer, Tim Peters, etc etc).

    Keine der Lösungen gearbeitet die ganze Zeit, die mir auffiel, wie sehr un-Pythonic.

    Also, was ich am Ende mit war die folgende:

    html = bs.prettify()  #bs is your BeautifulSoup object
with open("out.txt","w") as out:
    for i in range(0, len(html)):
        try:
            out.write(html[i])
        except Exception:
            1+1

    Es ist nicht perfekt, aber es gab mir die besten Ergebnisse. Als ich Sie öffnete in einem browser, es war in der Lage zu analysieren, die Seite richtig fast jedes mal.

    • Ihre Lösungen nicht die ganze Zeit funktioniert, weil Sie nicht richtig-Kodierung und-Dekodierung Eingänge und Ausgänge. Normalerweise sollten Sie das Lesen der Kodierung des html-Dokuments. Für Ihr Glück (oder das Glück jeden) fast der gesamte Inhalt ist auf utf-8 oder die latin-encoding 🙂
    • Ja, aber das problem ist nicht das Parsen der HTML-Seite, es ist immer beim schreiben in die Datei. Betriebssysteme in der Regel speichern von Dateien in einfache ASCII-Formate und Konvertierung von UTF-8 zu ASCII ist ein Schmerz. Es ist möglich, die Datei-Kodierung UTF-8 öffnen Sie die Datei über open("out.txt","w","utf-8"), aber praktisch, das hat nicht für mich gearbeitet Häufig. Ich bin einfach zu sprechen von den praktischen Erfahrungen, und ich habe festgestellt, das oben genannte Lösung zu sein, die eine, die "einfach nur funktioniert".
    • Das Utf problem ist "gelöst", ich denke, stackoverflow.com/questions/36044653/... Jetzt das .txt-Datei, die Sache muss gelöst werden.... Oder bin ich falsch?
    • Gut, ich bin sorry, Jungs, wenn ich nicht wollen, darüber zu diskutieren, aber es gibt auch viele Dokumentationen gibt. Die Codierung ist ein wirklich wichtiger Teil eines Programms, und manchmal ein Schmerz, aber für mich ist Python ist3 macht den job. Wenn Sie wissen wollen, der Zeichensatz einer html-Datei, nehmen Sie nur einen Blick auf die meta-charset - <meta charset="utf-8">..
    • übrigens, ich habe nur einen guten Blick auf Ihren code und ich weiß nicht jedem empfehlen, diesen code. Es gibt keinen Grund, dass die for entweder die range entweder die Exception und die 1+1. Du könntest einfach so etwas wie out.write(html.encode('utf-8','replace'))
    InformationsquelleAutor Abhishek Divekar
Schreibe einen Kommentar