Logstash SQL Server-Daten Importieren

JS:

input {
  jdbc {
    jdbc_driver_library => "sqljdbc4.jar"
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
    jdbc_connection_string => "jdbc:sqlserver://192.168.2.126\\SQLEXPRESS2014:1433;databaseName=test
	jdbc_password => "sa@sa2015"
    schedule => "0 0-59 0-23 * * *"
    statement => "SELECT ID , Name, City, State,ShopName FROM dbo.Shops"
	jdbc_paging_enabled => "true"
    jdbc_page_size => "50000"
  }
}
filter {
}
output {
  stdout { codec => rubydebug }
    elasticsearch { 
        protocol => "http"
		index => "shops"
		document_id => "%{id}"
    }
}

Ich die zu importierenden Daten in ElasticSearch mit Logstash mit JDBC SQL-Server als input, aber ich bin immer Fehler Klasse Pfad ist nicht korrekt.

Weiß jemand, wie die Verbindung mit Logstash für richtige Standort für sqljdbc-DATEI MIT CONFIG-DATEI

  • Könnten Sie bitte geben Sie Ihre logstash-Konfiguration? Es ist schwer zu verstehen, was Sie versuchen zu erreichen.
  • Ich versuche, Daten aus ms sql in elasticsearch mit logstash, aber das problem ist, die Daten einfügen und aktualisieren, aber doesnot löschen in elasticsearch
InformationsquelleAutor Vivek Gupta | 2015-07-28
  1. 19

    Ich denke, dass der Weg zum "sqljdbc4.jar" Datei ist nicht korrekt. Hier ist die config die ich benutze zur Abfrage von Daten aus einer sql-db in elasticsearch (logstash.conf):

    input {
  jdbc {
    jdbc_driver_library => "D:\temp\sqljdbc\sqljdbc_4.2\enu\sqljdbc42.jar"
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
    jdbc_connection_string => "jdbc:sqlserver://DBSVR_NAME;user=****;password=****;"
    jdbc_user => "****"
    jdbc_password => "****"
    statement => "SELECT *
FROM [DB].[SCHEMA].[TABLE]"
  }
}
filter {
}
output {
  elasticsearch {
    hosts => "localhost"
    index => "INDEX_NAME"
    document_type => "DOCUMENT_TYPE"
    document_id => "%{id}"
    protocol => "http"
  }
  stdout { codec => rubydebug }
}

    Habe ich heruntergeladen den Microsoft JDBC-Treiber für SQL Server von hier:
    "https://msdn.microsoft.com/en-us/sqlserver/aa937724.aspx"

    Extrahiert die Dateien in den angegebenen Pfad in "jdbc_driver_library"

    Dann lief ich in den plugin-Befehl: "- plugin installieren, logstash-input-jdbc" zu installieren, die logstash-Eingang jdbc-plugin.

    Und endlich läuft logstash: "logstash -f logstash.conf".

    Nebenbei: ich bin auch mit Elasticsearch.Net in einer .Net-service-app um die Daten zu aktualisieren
    "http://nest.azurewebsites.net/"

    Und dieses vid: "Hinzufügen von Elasticsearch Zu Einer Vorhandenen .NET /SQL Server-Anwendung" "https://www.youtube.com/watch?v=sv-MflnT9qI" diskus mit einer Service Broker-Warteschlange, um die Daten aus sql. Zurzeit erforschen wir dies als eine option.

    Bearbeiten - Aktualisierte host-zu-hosts, wie in der Dokumentation hier https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-hosts

    • Sie können auch die JDBC-Treiberdatei (sqljdbc42.jar in meinem Fall) in den root-Ordner Ihrer Logstash installation. Dieser arbeitete für mich mit Logstash 2.4.0.
    • Korrektur: Die obige Aussage ist richtig, solange ist der Ort, den Sie beginnen, Logstash aus (bin\logstash --config myconfigfile.conf).
    InformationsquelleAutor user657527
  2. 3
    input {
  jdbc {
    jdbc_driver_library => "C:\Program Files\Microsoft JDBC Driver 6.0 for SQL Server\sqljdbc_6.0\enu\jre8\sqljdbc42.jar"
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
    jdbc_connection_string => "jdbc:sqlserver://[SERVER NAME];databaseName=[DATABASE NAME];"
    jdbc_user => "[USERNAME]"
    jdbc_password => "[PASSWORD]"
    statement => "SELECT eventId, sessionId FROM Events;"
  }
}

output {
  elasticsearch {
    hosts => "http://localhost:9200"
    index => "events3"
  }
  stdout { codec => rubydebug }
}

    Müssen Sie herunterladen sqljdbc Treiber von https://www.microsoft.com/en-au/download/details.aspx?id=11774
    und wo immer Sie entpacken Sie diesen Treiber nur geben, dass der Pfad in jdbc_driver_library. Versuchen Sie, entpacken Sie diesen Treiber in den gleichen Pfad, wie gezeigt, in code.

    InformationsquelleAutor Rahul
  3. 0

    Es so machen:-

    input {
  jdbc {
    jdbc_driver_library => "sqljdbc4.jar"
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
    jdbc_connection_string => "jdbc:sqlserver://192.168.2.126:1433;databaseName=test
    jdbc_password => "sa@sa2015"
    schedule => "0 0-59 0-23 * * *"
    statement => "SELECT ID , Name, City, State,ShopName FROM dbo.Shops"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "50000"
  }
}
filter {
}
output {
  stdout { codec => rubydebug }
    elasticsearch { 
        protocol => "http"
        index => "shops"
        document_id => "%{id}"
        hosts => "your_host_here"

    }
}
    InformationsquelleAutor Honey Yadav
Schreibe einen Kommentar