Schaben mit Nokogiri und Ruby vor und nach JavaScript, ändert sich der Wert

Ich habe ein Programm, dass die Schrammen Wert von https://web.apps.markit.com/WMXAXLP?YYY2220_zJkhPN/sWPxwhzYw8K4DcqW07HfIQykbYMaXf8fTzWT6WKnuivTcM0W584u1QRwj

Mein aktuelle code:

doc = Nokogiri::HTML(open(source_url))

puts doc.css('span.indexDate').text
date = doc.css('span.indexDate').text
date = Date.parse(date)
puts date
values = doc.css('table#CdsIndexTable td.col2 span')
puts values

Diese schabt das Datum und die Werte der zweiten Spalte von "CDS-Indizes" Tabelle richtig was in Ordnung ist. Nun, ich will kratzen, die ähnliche Werte wie Sie aus der "Bond-Indizes" - Tabelle, wo ich bin mit dem problem.

Sehe ich eine JavaScript-Funktion, die änderungen, die es ohne das laden der Seite und ohne änderung des URL der Seite. Der Unterschied zwischen diesen beiden Tabellen ist Ihre IDs sind anders, das ist genau das, was es sein sollte. Aber leider wenn ich versuche mit:

values = doc.css('table#BondIndexTable')
puts values

Bekomme ich nichts von der Bond-Indizes Tabelle. Aber ich bekomme Werte aus CDS-Indizes Tabelle, wenn ich:

values = doc.css('table#CdsIndexTable')
puts values

Wie bekomme ich die Werte aus beiden Tabellen?

Tut Nokogiri javascript-Code ausführen? Wenn es das tut, und diese "javascript-Funktionen" ajax verwenden, vielleicht cross-domain-policy blockiert Sie von Abschluss? Haben Sie versucht, so etwas wie PhantomJS?
Nokogiri NICHT ausgeführt JavaScript.

InformationsquelleAutor K M Rakibul Islam | 2012-11-13

4

Wenn Sie nicht möchten, zu verwenden, PhantomJS Sie können auch die Netzwerk-sniffer auf Firefox oder Chrome-Entwicklungs-tools, und Sie werden sehen, dass die HTML-Tabelle Daten zurückgegeben, die mit einem javascript-POST-Anforderung an den server.

Dann anstatt zu öffnen, die original-URL der Seite mit Nokogiri, Sie würden stattdessen führen Sie diesen POSTEN von Ihrem Ruby-Skript und analysieren und interpretieren diese Daten statt. Wie es aussieht ist es nur JSON-Daten mit HTML in Sie eingebettet. Ziehen Sie die HTML-und Futtermittel, um Nokogiri.

Es erfordert ein wenig detektivische Arbeit, aber ich habe diese Methode mehrfach mit JavaScript web-Seiten und kratzen. Es funktioniert OK für die meisten einfachen Aufgaben, aber es erfordert ein wenig Graben in das Innenleben von der Seite und den Netzwerk-Verkehr.

Hier ist ein Beispiel für die JSON-Daten aus Javascript POST-request:

Anleihen:

https://web.apps.markit.com/AppsApi/GetIndexData?indexOrBond=bond&ClientCode=WSJ

CDS:

https://web.apps.markit.com/AppsApi/GetIndexData?indexOrBond=cds&ClientCode=WSJ

Hier ist die quick-and-dirty-Lösung, nur, damit Sie eine Vorstellung bekommen. Diese greifen, werden das cookie von der ersten Seite und verwenden Sie es in der Anfrage um die JSON-Daten, dann Parsen der JSON-Daten und füttern die extrahierten HTML, um Nokogiri:
```
require 'rubygems'
require 'nokogiri'
require 'open-uri'
require 'json'

# Open the initial page to grab the cookie from it
p1 = open('https://web.apps.markit.com/WMXAXLP?YYY2220_zJkhPN/sWPxwhzYw8K4DcqW07HfIQykbYMaXf8fTzWT6WKnuivTcM0W584u1QRwj')

# Save the cookie
cookie = p1.meta['set-cookie'].split('; ',2)[0]

# Open the JSON data page using our cookie we just obtained
p2 = open('https://web.apps.markit.com/AppsApi/GetIndexData?indexOrBond=bond&ClientCode=WSJ',
          'Cookie' => cookie)

# Get the raw JSON
json = p2.read

# Parse it
data = JSON.parse(json)

# Feed the html portion to Nokogiri
doc = Nokogiri.parse(data['html'])

# Extract the values
values = doc.css('td.col2 span')
puts values.map(&:text).inspect

=> ["0.02%", "0.02%", "n.a.", "-0.03%", "0.02%", "0.04%", 
    "0.01%", "0.02%", "0.08%", "-0.01%", "0.03%", "0.01%", "0.05%", "0.04%"]
```
- Ok. Wie es aussieht ist nicht ganz so einfach. Sie müssen wahrscheinlich die cookies von der original-web-Seite eingebettet in den Kopfzeilen der Anfrage. Das ist ein bisschen über den Rahmen einer einfachen Antwort, so möchten Sie vielleicht, um zu versuchen, PhantomJS statt. Ich habe die links mit den Netzwerk-panel in Chrome Developer Tools: developers.google.com/chrome-developer-tools/docs/network . Drücken Sie einfach die links auf die live-web-Seite und beobachten, was die Netzwerk-Aufrufe werden durch das javascript mit Hilfe der Entwickler-tools.
- Siehe mein edit.
- mechanize gem vereinfacht werden kann dies, weil es mit der cookie für Sie, und gibt Ihnen auch Zugang zu einem analysiert Nokogiri doc.
InformationsquelleAutor Casper

Können Sie Wasserschweine mit dem Poltergeist-Treiber zum ausführen von Javascript und format der Seite. Poltergeist ist ein wrapper für die PhantomJS headless browser. Hier ist ein Beispiel, wie Sie es tun können:

require 'rubygems'
require 'capybara'
require 'capybara/dsl'
require 'capybara/poltergeist'

Capybara.default_driver = :poltergeist
Capybara.run_server = false

module GetPrice
  class WebScraper
    include Capybara::DSL

    def get_page_data(url)
      visit(url)
      doc = Nokogiri::HTML(page.html)
      doc.css('td.col2 span')
    end
  end
end

scraper = GetPrice::WebScraper.new
puts scraper.get_page_data('https://web.apps.markit.com/WMXAXLP?YYY2220_zJkhPN/sWPxwhzYw8K4DcqW07HfIQykbYMaXf8fTzWT6WKnuivTcM0W584u1QRwj').map(&:text).inspect

Besuchen Sie hier für ein vollständiges Beispiel für die Verwendung Amazon.com:
https://github.com/wakproductions/amazon_get_price/blob/master/getprice.rb

InformationsquelleAutor Winston Kotzan

2

PhantomJS ist ein headless browser mit JavaScript-API. Da müssen Sie zum ausführen des Skripts auf der Seite, die Sie Schaben, die ein browser tun, für Sie; und PhantomJS wird Ihnen erlauben, zu Bearbeiten und kratzen die Seite nach der Skript-Ausführung.

InformationsquelleAutor Chad

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.