Laden Sie alle Nachrichten von einer Google-Gruppe

Ich bin in den Prozess der Entwicklung von Google apps migration/Archiv-system, und an diesem Punkt in der Entwicklung, die ich bin versucht zu kommen mit ein Weg, um laden Sie alle Nachrichten in allen Gruppen, dass mein domain-Benutzer erstellt haben. Ich weiß, dass ich eine Weiterleitung-Filter und alle Nachrichten archiviert, um eine E-Mail, aber dieses hilft nicht, mit älteren Nachrichten.

Gibt es eine Möglichkeit, diese herunterzuladen und Nachrichten aus einer Google-Gruppe und wenn dem so ist, ist es Weg in die admin-API, um eine Liste aller Gruppen, die Benutzer angelegt haben?

  • So wie es aussieht, die beste Lösung, die ich mir ausgedacht habe, ist zum erstellen einer web-scraper, der geht und zieht alle raw-Beiträge aus den verschiedenen Gruppen. Dies ist offensichtlich eine mangelnde Lösung, da es fehleranfällig und müssen aktualisiert werden, sobald änderungen an der google-Gruppen-layout.
InformationsquelleAutor LexNix | 2014-05-07
  1. 15

    Wenn es Sie nicht stört mit #bash, können Sie versuchen, ein tool, das ich schrieb

    https://github.com/icy/google-group-crawler

    Kann es download alle mbox Dateien aus der Google-Gruppe. Wenn Sie eine cookie-Datei, können Sie sogar herunterladen aller Dateien in einem privaten Google-Gruppe, und/oder um zu sehen, alle original E-Mails. Es können auch Lesen, rss-feeds und Holen sich die neuesten Beiträge, und dies ist nützlich für die daily mirror.

    Beispiel Ergebnis ist hier http://l.archlinuxvn.org/archlinuxvn/. MHonArch wird verwendet, um zu konvertieren mbox - Dateien in HTML-format.

    InformationsquelleAutor Anh Huynh
  2. 6

    Letztendlich landete ich mit der gdata-python-Bibliothek, um eine Liste aller Gruppen, zusammen mit den jeweiligen URLs. Von dort aus habe ich verwendet, Selen zu kratzen, die Gruppen-Nachrichten und alle Antworten. Wahrscheinlich nicht die beste Lösung, aber es funktioniert für das, was ich brauche.

    • Sie haben zur Verfügung gestellt beliebigen code tun dies erreichen?
    InformationsquelleAutor LexNix
  3. 1

    Habe ich ein einfaches Schrott-Dienstprogramm mithilfe Selen und htmlunit..
    Sie können es verwenden.. es ist nicht sehr optimiert und kann Ihnen helfen, laden Sie Nachrichten an nur kleine Gruppen(bis zu 7000 msgs)

    https://github.com/himukr/google-grp-scraper

    • Links zu externen Ressourcen sind erwünscht, aber bitte fügen Sie Rahmen um den link, damit Ihre Kolleginnen und Nutzer haben eine Vorstellung davon, was es ist und warum es da ist. Immer zitieren die meisten relevanten Teil eine wichtige Verbindung, im Falle der Ziel-Website nicht erreichbar ist oder dauerhaft offline ist.
    InformationsquelleAutor himukr
Schreibe einen Kommentar