Kibana 3 Meilenstein 4 und Graphit-Integration

Bin ich Schwierigkeiten mit dem Verständnis der integration von Graphite und Kibana 3 zu überwachen-Protokolle und system lebenswichtigen Organen. Ich beziehe mich auf Abbildung in Log-management-system hier beschrieben.

  1. In Anbetracht der neuen features in Kibana 3 Meilenstein 4, können wir sammeln system lebenswichtigen Organen und speichern Sie Sie direkt in elastic search anstelle von Graphit und die Verwendung eines einzigen kibana dashboard (Was könnte die richtige Wahl für die Implementierung in einem verteilten system, wo der Schwerpunkt auf performance-und low-memory foot print)?
  2. Warum müssen wir nutzen, StatsD und graphite, als Graf und einfach-Statistiken werden jetzt unterstützt von kibana - Elasticsearch Kombination?
  3. Für den Fall, wir entscheiden beide, graphite und kibana, Wie integrieren wir es in einem einzigen Dashboard?
  4. Gibt es eine Anleitung zur Integration von Dashboards (kibana und graphitos/graph explorer/orion/Bleistift)?

Vielen Dank im Voraus.

InformationsquelleAutor Vamsi Krishna | 2013-11-18
  1. 12

    Warum statsd-Graphit:

    1. Statsd und Graphite kann Ihnen helfen, zu visualisieren alles, nicht nur anmeldet und das system lebenswichtigen Organen. Es ist sehr einfach mit statsd-Graphit-stack, um zu Messen, sagen, - Anzahl der Benutzer, schwebte auf der linken unteren Ihrer Website für mehr als 10 Sekunden.

    2. Weil es wird nicht zwischen in-Protokollierung beteiligt, die Skalierbarkeit, die Graphit bietet ist unvergleichlich, von einem IO-Sicht. Auch die Tatsache berücksichtigen, dass statsd Gespräche UDP, also das sammeln von 300K Metriken pro minute ist ein Kinderspiel.

    3. Du nicht müssen log etwas, um es zu sehen.

    Integration:

    So deutlich in das architektonische Diagramm, die Sie gemeinsam, können Sie einen filter für die Statistiken, die Sie visualisieren möchten, haben Sie weitergeleitet, statsd. Dies ist in parallel mit kibana Visualisierung direkt von logstash-elasticsearch. Gehen mit redundanten Daten ist ein einfacher Ansatz, wenn Sie wollen, um sowohl Graphite und Kibana Daten über Graphit, da die webapp würden nicht Abfragen elasticsearch direkt.

    Vimeo ist Graph Explorer ist etwas, möchten Sie vielleicht zu schauen. Es Abfragen zu elasticsearch.

    Updates:

    Nicht, dass Logstash catn nicht tun, aber es ist nicht 'entwickelt' für diese Rolle, in der Erwägung, dass statsd et al, werden.

    Ich habe mich gefragt, ob wir eine einfachere Abfrage-Sprache.

    Den inneren Plan der Organisation in Graphit ist wie ein Baum und damit die Suche nicht/kann-nicht yeild Ergebnisse aus einem anderen Teilbaum. Dies macht es nicht so geeignet für die cross-dimensionale Suche. GE ist die einfachste, da Sie wollen die macht.

    Graph, der Entdecker des flow-

    Graph Explorer behebt diese durch hinzufügen von tags zu den Metriken und integrieren es mit elasticsearch. So was GE eigentlich tut, ist, dass-

    1. Zeit - Es verbindet sich mit Ihrem Graphit-front-end -, macht-API-Aufrufe abrufen, die alle Metriken.

    2. Es dann "wandelt" der alte Stil proto 1-Metrik (A. B. C) in der tag-basierten proto 2-Metriken (host=A. app=B. Benutzername=C).

    3. Diese wird dann exportiert ES die verwaltet einen index.

    4. Wenn Sie Abfrage-GE-front-end, die es verbindet, um ES zu verstehen, was Sie wollen.

    5. GE fragt dann den Graphit-API und liefert die Ergebnisse in GE-front-end.

    Darüber hinaus muss der graph explorer nehme an, wir sind mit Diamanten für die Sammlung?

    Nicht.

    Wie tut es vergleichen, um Bleistift -, orion-und graphiti?

    Diese sind auf der Oberfläche Optimierungen, bis hin zur Visualisierung. Sie-

    1. ändern das Aussehen und Verhalten der Graphen.

    2. machen das Abfragen der API einfacher.

    3. erlauben eine bessere überwachung fließen.

    Sie sich NICHT ändern die Art und Weise, die Sie speichern oder die Informationen suchen. GE, bettet sich 'tiefer' in die Metrik-Daten und hat daher eine real Rand über, wie Sie die Abfrage-Metriken. (Cross-dimensionale Suche)

    Heads-up-

    GE-Metrik-Import-plug-in ist weit entfernt von perfekt. Es erfolgreich importiert 300 aus meinem 1000-Metriken. Es ist auch schwerer zu machen und die front-end-isst mehr NW (wegen der hoverable, Zoom-Funktionen).

    Update-

    Grafana ist raus.

    • Hallo, vielen Dank für die Antwort, ich habe geprüft, graph explorer. Ich habe mich gefragt, ob wir eine einfachere Abfrage-Sprache. Darüber hinaus muss der graph explorer nehme an, wir sind mit Diamanten für die Sammlung? Wie ist er im Vergleich zu Bleistift, orion und graphiti? Könnten Sie bitte teilen Sie Ihre Erfahrungen mit dashboards.
    • Außerdem, Logstash konnte auch hören UDP-sockets, analysieren und senden Sie es.
    • stackoverflow.com/questions/18651477/...
    • Nochmals vielen Dank, wie du schon erwähnt hast in Bezug auf den Import nur 30% von Metriken und im Hinblick auf die schweren front-end [geprüft vimeo-video-tutorial] (vimeo.com/67080202). Haben Sie schreiben Sie Ihre eigenen benutzerdefinierten plugin? Wie haben Sie Ihr problem lösen, der Visualisierung von 1000 Metriken?
    • Wollte eigentlich nicht. Bei einem 10s Granularität, anzeigen von Grafiken von meinen ~50 Servern für die letzten 7 Tage gemeint 30MB traffic JEDEN ANRUF. Das war höchst inakzeptabel. ich halte mich an Graphit-dashboards.
    • Unter der Annahme, dass der graph explorer funktioniert nicht im Falle des scaling-up, und ich würde mir wünschen, implementieren eine einzige Konsole, wo ich visualisieren kann meine logs [nginx,apache] {maps von IP-Adressen, pie-charts, über Protokolle etc mit Kibana3} und performance-Metriken von Host/Cpu/ sys Gesundheit, Zähler etc für Server/Switche/Router, wie würde ich Vorgehen, wenn der verteilten system-vorausgesetzt, ich werde zu verwenden, statsD und Graphite combo für metrices?
    • Derzeit habe ich installiert, Logstash, elastic search und Kibana auf VM1, und StatsD und graphite auf VM2.
    • Senden Sie alles an Graphit. Dafür senden Sie alle Protokolle auf logstash und dann haben Sie logstash-Graphit-plugins, werden die Daten weiterleiten zu Graphit. Verwenden collectd zum senden der host-Metriken zu Graphit. Auf diese Weise, alle Ihre Daten auf Graphit.
    • Hi, Incase sagen, wir sind die überwachung von HTTP 2xx, 4xx und 5xx-Nachrichten vom webserver. Aus irgendeinem Grund, sagen wir bezweifeln, dass ein bösartiger code lief auf unseren Servern und verursachen Dienst nicht verfügbar ist, Wie würden wir tun, ein Drilldown ausführen, um die Ursache zu finden? In diesem Fall: auf Graphit-dashboard, bemerken wir eine riesige Menge von HTTP-401-spiking bei 3 UHR. wie können wir einen Drilldown zur Ursache des Problems mit den verfügbaren metrices?
    • In Ihrer Metrik, syntax, können Sie übernehmen so etwas wie HTTP.ERR.5XX.THREADS.zählen HTTP.ERR.5XX.- VERBINDUNGEN.zählen etc. Im Grunde, kannst du alles, was deine logs herausfiltern können, die bei der Filterung Schritt und dementsprechend senden Sie die Metriken, so dass Sie lokalisieren das Problem.
    • Wenn Sie weitere Fragen haben, können Sie vielleicht Fragen Sie separat an. Lassen Sie sich nicht Unordnung die Informationen hier.
    • Habe ich die Frage beantworten, die Sie gefragt?
    • Danke, hast ja meine Frage beantwortet.
    • Hi, wie schaffen wir eine Standard-scripted-dashboards im Diagramm Explorer, ich.e wo wir haben Reihe von Standard-Grafiken.. aus einer Menge der Quellen. Davon ausgehen, dass wir Diamant für das sammeln von Metriken, die von verschiedenen Servern.
    • Was ist Ihre E-Mail-id?
    • Nun löschen Sie den Kommentar. Sie wollen nicht spam. 🙂
    • vielen Dank :), hat der graph explorer dashboard arbeiten. Ich war nur überrascht, dass es nicht erkennt, mein Diamant-Metriken, die es verwendet Standard-Plug-in. Ich muss sagen, dass das Beispiel in graphexplorer/assets/embedded_example.html ein einfaches Beispiel für eine Standard-dashabord.. aber es ist zu rudimentär.
    • Überprüfen Sie Ihre E-Mail.

    InformationsquelleAutor erbdex
Schreibe einen Kommentar