Was sind die alternativen jetzt, dass die Google web search API ist veraltet?
Google Web Search API wurde als veraltet markiert und ersetzt mit Custom Search API (siehe http://code.google.com/apis/websearch/).
Wollte ich durchsuchen das gesamte web, aber es sieht aus wie mit der neuen API nur benutzerdefinierte Websites, die durchsucht werden können.
Ist es, einen Weg zu suchen das ganze web programmgesteuert? Ich war in der Lage, die Abfrage der alten API mit JSON aus einem Java-Programm.
OK, ich habe eine Menge Forschung auf dieses und es sieht aus wie die einzige Lösung ist Yahoo-Chef
Die custom search API ist nicht das, was die meisten Menschen suchen nach : - / searchapi.io einen Blick!
Ich habe getan, Fertigstellungsgrade auf verschiedenen search-APIs, die viele Funktionen und sehr einfach zu implementieren und in der Fraktion von Minuten. Swiftype (swiftype.com), Cludo (cludo.com/en), Algolia (algolia.com/doc) sind die APIs, die habe ich umgesetzt und auch getestet. Ich bieten könnte, detail beantworten, aber auch diese Frage ist geschlossen.
Die beste Lösung ist die Verwendung eines Drittanbieter-Dienst wie SerpApi
masswerk.at/googleBBS
Die custom search API ist nicht das, was die meisten Menschen suchen nach : - / searchapi.io einen Blick!
Ich habe getan, Fertigstellungsgrade auf verschiedenen search-APIs, die viele Funktionen und sehr einfach zu implementieren und in der Fraktion von Minuten. Swiftype (swiftype.com), Cludo (cludo.com/en), Algolia (algolia.com/doc) sind die APIs, die habe ich umgesetzt und auch getestet. Ich bieten könnte, detail beantworten, aber auch diese Frage ist geschlossen.
Die beste Lösung ist die Verwendung eines Drittanbieter-Dienst wie SerpApi
masswerk.at/googleBBS
InformationsquelleAutor Dan | 2010-11-02
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
Konnte man nur senden, Sie durch, wie ein browser funktioniert, und dann analysieren das html, das ist es, was ich immer getan haben, auch für Sachen wie Youtube.
Aus der TOS: "Sie erklären sich ausdrücklich damit einverstanden, keinen Zugriff (oder Zugriffsversuch) der Dienste über automatisierte Mittel (einschließlich der Verwendung von scripts oder web crawler)..."
"Gegen die Nutzungsbedingungen mit einem service-provider" ist nie ein guter Rat. Parsen von Webseiten ist etwas, das bricht von einem Tag auf den nächsten, ohne Vorwarnung, das ist schrecklich Beratung - das ist der Grund, es war downvotes mehr, es wurde von Ihnen positiv bewertet werden.
Ja, es bricht in den Nutzungsbedingungen, aber ich persönlich würde nicht befürchten, dass. Google verarbeiten kann ein wenig kratzen, schließlich haben Sie ein Vermögen gemacht, Schaben andere Völker-Websites.
Kommen Sie auf den Menschen. Seien Sie nicht so naiv. Google kann nicht erzwingen, dass ToS hinunter Ihre Kehle. Um gegen einen ToS-Sie müssen zuerst damit einverstanden sein (schriftlich oder durch klicken auf eine Schaltfläche wie "ja, ich akzeptiere die Bedingungen"). Denken Sie an dies: ich habe eine ToS auf meiner web-Seite, dass jede person, die Besuche, die Seite hat mir $10000. Kann ich diese durchzusetzen ToS auf meine Besucher? Wird die haben können Sie mich sofort.
InformationsquelleAutor Zimm3r
Ja, die Benutzerdefinierte Suche von Google ersetzt heutzutage die alten-Search-API, aber Sie kann noch die Verwendung der Benutzerdefinierten Suche von Google zum durchsuchen der gesamten web -, obwohl die Schritte sind nicht klar aus der Benutzerdefinierten Suche setup.
Zum erstellen einer Google Custom Search engine durchsucht das gesamte web:
Nun Ihre benutzerdefinierte Suchmaschine durchsucht das gesamte web.
Preise
Quelle: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
Danke!!! Dies ist möglicherweise die einzige Antwort, die auf das Internet gerichtet meine Frage. Es ist umwerfend, warum Google würde am Ende den direkten API-Unterstützung für Ihre Kern-service.
aber wie es zu benutzen ist mit json ?
WARNUNG: wir haben die Entwicklung mit der kostenlosen version, aber ein upgrade auf die kostenpflichtige version (mehr als 100 Suchanfragen), google zwingt Sie dazu, schalten Sie die "Suche im gesamten web, sondern betonen Sie den enthaltenen Websites"
"Am April 1, 2017, Google trennt sich der Umsatz der Google Site-Suche. Alle neuen Anschaffungen und Erneuerungen stattfinden müssen vor diesem Datum. Das Produkt wird vollständig ausgeschaltet werden, indem 1. April 2018."
InformationsquelleAutor Bangkokian
Benutzerdefinierte Suche von Google (wie dies in den top bewerteten Antworten) funktioniert gut, aber ist sehr teuer, im Vergleich zu seinen Konkurrenten (unten) oder im Vergleich zu anderen Google-API. Es hat eine kleine Kostenlose tier (100 Abfragen/Tag) und einer sehr hohen Preis von 5 $pro 1000 Abfrage.
Bieten Sie die option zum upgrade auf Site-Suche, die hat etwas bessere Preise, aber das ist gedacht für die Suche einer Website (Ihre eigenen), so ist es wirklich etwas ganz anderes - nicht ein upgrade.
Den wichtigsten alternativen scheinen zu sein:
Bing-Search-API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Die ein kostenloses nutzungskontingent von 5000q/Monat, und die Preise beginnen bei 5 Abfragen pro Cent, und keine harte Grenze.
UPDATE: Ende 2016 diese API wurde Herunterfahren, zugunsten seiner Azure-Gegenstück "Kognitiven Dienste Bing Search API":
https://azure.microsoft.com/en-us/services/cognitive-services/search/
Siehe hier für eine Preis-chart, der beginnt bei US$3/m für 1.000 Transaktionen. Es sei denn, ich bin fehlt etwas, es ist ziemlich teuer.
Yahoo-CHEF-Search-API
UPDATE: Wurde eingestellt am 31. März 2016.
http://developer.yahoo.com/boss/search/
Die Preise beginnen bei etwa 12 Abfragen/penny für ganze web durchsucht.
Und einige, die ich noch nicht gehört hatte:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.commoncrawl.org/
http://www.entireweb.com/search_api/implementation/
[eingestellt - wie schon unten]
Es ist ein bisschen Diskussion über einige dieser auf das SO ein post.
[habe geschlossen für off-topic und ist jetzt Weg]
entireweb.com eingestellt hat das service wie hier zu sehen entireweb.com/services
am Dezember 15, 2016 Bing Web Search API wird sich unter Kognitiven Services von Azure Marketplace (azure.microsoft.com/en-us/services/cognitive-services/search), was einen phone + überprüfung der Kreditkarte für ein Abonnement (auch eine Kostenlose).
Von Bing-API: "DataMarket-und Daten-Dienste im Ruhestand und wird nicht mehr die Annahme neuer Bestellungen nach 12/31/2016. Bestehende Abonnements werden zurückgezogen und annulliert ab 3/31/2017. Wenden Sie sich bitte an Ihren service-provider für Optionen, wenn Sie weiterhin den Dienst."
Vielen Dank für den Hinweis auf das ändern - ich habe aktualisiert und Antworten entsprechend.
InformationsquelleAutor Tom
Hier ist eine option am unteren Steuerfeld der Benutzerdefinierten Suche: "Sites zu suchen", können Sie wählen, "Suche im gesamten web, sondern betonen Sie den enthaltenen Websites"
Yep, es funktioniert immer noch.
Google zwingt Sie dazu, schalten Sie diese option aus, wenn Sie ein upgrade auf die bezahlte Suche. Und frei hat ein limit von 100 suchen.
Warum sieht die Seite https://support.google.com/customsearch/answer/141877?hl=en " Status "Sie können nicht konfigurieren Sie Google Site Search zum durchsuchen der gesamten web"?
Ich habe keine Ahnung davon. Vielleicht ist die Politik verändert haben?
InformationsquelleAutor Yishu Fang
Faroo ist ein free Web Search API
Nicht dieses vor gehört. Wo bekommt Sie Ihre Suchergebnisse aus?
Mögliche deal breaker für Faroo ist, dass Ihr API-Schlüssel ist beschränkt auf die IP-Adresse, die Sie angeben bei der Registrierung.
Sind diese Jungs immer noch in Betrieb? Ich habe angeforderten API-keys und hörte nichts.
InformationsquelleAutor Jack
Dann komme ich eben über diese von der Common Crawl.
http://www.commoncrawl.org/
Könnte die Antwort, die wir alle suchen!!
Teuer? Ich glaube nicht, dass das wahr ist. Es ist ein gemeinnütziger. Die gesamte 102 TB Daten ist kostenlos zum download.
Die Kosten für die Anbindung an AWS, wo Sie Zugriff auf diese. Wenn Sie student sind, haben Sie Anspruch auf Ihre freie tier, aber es könnte immer noch sein, Transferkosten, etc; und wenn Sie nicht in der freien Kategorie, da sind die Laufenden Kosten.
Sieht aus wie common crawl wird monatlich aktualisiert jetzt
InformationsquelleAutor Dan
Gibt es einen Hinweis auf der Oberseite des docs:
Den deprecation policy sagt, Sie wird weiterhin ausgeführt, die API für 3 Jahre. Also, wenn Sie bereits eine Anwendung, die die alte API, müssen Sie nicht zu eilen, um die Dinge zu ändern nur noch. Wenn Sie schreiben eine neue Anwendung, verwenden Sie die Custom Search API. Siehe meine Antwort hier, wie dies in Python, aber die Idee ist die gleiche für jede Sprache.
Diese Antwort ist jetzt veraltet als drei Jahre sind und 2014/09/29 bestanden hat.
CustomeSearchAPI ist nicht in alle Seiten - es ist für die Benutzer websites
InformationsquelleAutor marcog
Gibt es ein kostenloses Java-API aufgerufen JFreeWebSearch was nutzt das schon erwähnt Faroo:
http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
InformationsquelleAutor Heiko
Erstellen Sie "überall" benutzerdefinierte Suchmaschine rechts von der Benutzerdefinierten Suche von Google-homepage ( http://www.google.com/cse/ ).
Man sollte einfach auf 'erweitert' klicken, während das hinzufügen neuer engine. Dort können Sie bieten Schema.org site-Typ. 'Sache' ist die meisten generischen Typ, die für alle web.
Ja, ich habe es verwendet.
InformationsquelleAutor testlnord
Gigablast bietet Ihnen einen preiswerten web search API: http://www.gigablast.com/searchfeed.html
InformationsquelleAutor jman