Nutch Keine Agenten unter 'http.agent.name"
Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property.
at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1166)
at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1068)
at org.apache.nutch.crawl.Crawl.run(Crawl.java:135)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Jedes mal, wenn ich laufen ./nutch urls Crawlen -dir-crawl -Tiefe 3 -topN 5 . nutch beschließt, diesen Fehler auslösen. Ich habe meine beiden nutch-site.xml & nutch-default.xml set mit.
<property>
<name>http.agent.name</name>
<value>blah</value>
</property>
Nahm die Beschreibung aus, um die leichter zu Lesen. Aber ich kann nicht erkennen, wo sonst der agent-name angegeben werden kann. wenn jemand hat einen Rat wäre ich dankbar.
Du musst angemeldet sein, um einen Kommentar abzugeben.
mit 1.3? Wenn so stellen Sie sicher, dass Sie geändert nutch-site.xml (und nicht default) in runtime/local/conf
Ändern der conf in NUTCH_HOME/conf nicht kopiert werden, um die Laufzeit dirs, es sei denn, Sie erstellen Sie mit ant.
Versuchen, geben Sie den agent-Namen für http.Roboter.Agenten auch. Es funktionierte für mich. Ich wusste nicht, dass eine Nachricht danach!!!