Leistungsstarke Tools für die Visualisierung und Analyse von Elasticsearch-Daten

Ziel ist es, Daten in Informationen und Informationen in Erkenntnisse umzuwandeln. ― Carly Fiorina

Über Kibana

Kibana ist eine Datenvisualisierungssoftware , die eine browserbasierte Oberfläche zum Erkunden von Elasticsearch-Daten und zum Navigieren im Elastic Stack bietet - eine Sammlung von Open-Source-Produkten (Elasticsearch, Logstash, Beats und andere).

Während Logstash und Bits Daten an Elasticsearch liefern, öffnet Kibana das Fenster zum Elastic Stack , in dem Sie den Zustand Ihres Clusters verfolgen , Protokoll- und Zeitreihenanalysen durchführen , Anomalien in den Daten mit unbeaufsichtigtem maschinellem Lernen erkennen und Beziehungen mithilfe von Diagrammen erkennen können Extrahieren Sie vor allem Erkenntnisse aus den Elasticsearch-Daten mit Visualisierungen , die in einem benutzerdefinierten interaktiven Dashboard kombiniert werden können .

Heute möchte ich Ihnen zeigen, wie Sie ein beeindruckendes Dashboard und einen tabellarischen Bericht basierend auf den Elasticsearch-Daten erstellen.

Krempeln Sie die Ärmel hoch und fangen wir an!

Wo soll man anfangen

Die Startseite Seite ist der Ort , wo alles beginnt.

Hier können Sie entscheiden, welche Aktionen als Nächstes ausgeführt werden sollen. Die verfügbaren Funktionen können in zwei logische Abschnitte unterteilt werden:

  • Visualisierung und Erkundung der Daten. Hier können Sie ein neues Dashboard, eine neue Visualisierung oder Präsentation erstellen, ein Modell für maschinelles Lernen erstellen, Beziehungen in Ihren Daten mithilfe von Diagrammen analysierenund vieles mehr.
  • Verwalten des elastischen Stapels : Konfigurieren Sie Ihre Bereiche, analysieren Sie Protokolle einer Anwendung, konfigurieren Sie Sicherheitseinstellungen usw.

Wir konzentrieren uns auf den Prozess des Erstellens und Hinzufügens von Visualisierungen zum Dashboard.

So erstellen Sie ein Dashboard in Kibana

Lassen Sie mich ein Gefühl dafür bekommen, wie einfach es ist, ein umfangreiches Dashboard einzurichten und mit der Berichterstellung zu beginnen.

Der erste wichtige Schritt ist der Import Ihrer Daten in Kibana. Ihnen stehen mehrere Optionen zum Hinzufügen von Daten zur Verfügung - Sie können die für Sie am besten geeignete auswählen:

Zu Demonstrationszwecken habe ich die Beispieldaten ausgewählt.

Öffnen Sie die Seite Visualisieren , um Ihre ersten Datenvisualisierungen zu entwerfen und im Dashboard zu kombinieren . Hier können Sie die vorhandenen Visualisierungen erstellen, ändern und anzeigen.

Was Sie sofort beeindrucken wird, ist die Fülle an Visualisierungstypen, aus denen Sie auswählen können.

Nachdem Sie das gewünschte ausgewählt haben, wählen Sie ein Indexmuster als Quelle aus, um Kibana über Ihren Index zu informieren. Wählen wir "kibana_sample_data_flights" und beginnen mit der Erstellung eines horizontalen Balkendiagramms.

Jetzt können Sie eine Metrikaggregation für die Y-Achse und eine Bucket-Aggregation für die X-Achse anwenden. Hier ist eine Liste aller verfügbaren Aggregationen für Diagramme.

Optional können Sie die Farben der Visualisierung anpassen.

Das Filtern ist ein weiteres mächtiges Merkmal von Elasticsearch und Kibana. Es bietet eine Möglichkeit, nur eine ausgewählte Teilmenge von Dokumenten zu visualisieren.

Sehen Sie, wie Sie Filter basierend auf logischen Bedingungen auf die Felder anwenden können:

Wie Sie sehen, bietet Kibana eine einfache Möglichkeit, die Daten über die komfortable Oberfläche zu filtern. Darüber hinaus können Sie auswählen, wie die Daten gefiltert werden sollen - entweder mithilfe der Kibana-Abfragesprache (eine vereinfachte Abfragesyntax) oder von Lucene .

Damit Endbenutzer die Daten interaktiv filtern können, können Sie Steuerungs- Widgets hinzufügen - spezielle Elemente des Dashboards, mit denen Sie die Daten einfach durch Klicken filtern können.

Eine weitere Funktion, die ich hervorheben möchte, ist die erweiterte Filterung nach Datumsangaben und die Möglichkeit, Zeitintervalle für die Aktualisierung der Daten im Dashboard festzulegen.

Das Gute ist, dass Visualisierungen wiederverwendbar sind . Nach dem Erstellen können Sie Ihr Ergebnis jederzeit speichern und dem Dashboard hinzufügen sowie mit Ihren Kollegen teilen, sofern diese Zugriff auf Ihre Kibana-Instanz haben.

Nachdem Sie alle Visualisierungselemente auf einer Seite angeordnet haben, können Sie das endgültige Dashboard in das PNG- oder PDF- Format exportieren . Dies macht die Dashboards portabel - es ist einfach, sie in kürzester Zeit abteilungsübergreifend zu teilen.

Schauen wir uns ein Beispiel für das Dashboard an, das Sie erstellen können:

Meiner Meinung nach sind die Hauptmerkmale, die jedes Dashboard zu etwas Besonderem machen, Interaktivität und Ausdruckskraft . Damit können Sie Geschäftsmetriken effizient kommunizieren.

Persönlicher Eindruck

Die Visualisierungen in Kibana erfüllen idealerweise die Aufgaben, für die sie entwickelt wurden. Darüber hinaus sind alle Visualisierungen ein Blickfang und können entsprechend Ihren Designideen angepasst werden. Der gesamte Prozess der Erstellung eines Dashboards in Kibana soll schnell und effizient sein - und das dank der benutzerfreundlichen und intuitiven Benutzeroberfläche des Kibana.

Andererseits habe ich das Gefühl, dass hier einige Funktionen fehlen.

Wenn Sie mit Daten arbeiten, können Sie Ihre Daten unter anderem effektiv aufteilen und in Würfel schneiden, bevor Sie wissen, auf welche Aspekte der Daten Sie achten müssen. Meiner Meinung nach ist das Datentabellen-Widget nicht die beste Option - es präsentiert die Daten in einer flachen Tabelle, die keine mehrdimensionale Ansicht der Daten unterstützt. Das Spielen mit Daten sollte jedoch interaktiv und schnell erfolgen.

Und hier kommt eine Pivot-Tischsteuerung ins Spiel. Nachdem ich nach verfügbaren Lösungen gesucht hatte, fiel meine Wahl auf ein Open-Source- Plugin namens Flexmonster. Es übernimmt die Verbindung zum Elasticsearch-Index und ermöglicht das Erstellen von Tabellenberichten basierend auf den Daten aus seinen Dokumenten. Darüber hinaus ist die Integration in Kibana reibungslos. Sie müssen lediglich ein Plugin installieren, indem Sie eine Codezeile in der Befehlszeile ausführen. Weitere Details finden Sie auf GitHub. Bevor Sie es verwenden, sollten Sie sicherstellen, dass Ihre Kibana- und Elasticsearch-Instanzen dieselbe Version haben.

Sobald Sie ein Tool eingerichtet haben, können Sie alle verfügbaren Funktionen für die Suche nach detaillierten Erkenntnissen verwenden.

Funktionen für Analyse und Berichterstellung

Flexmonster Pivot bietet schnellen Zugriff auf die wichtigsten Berichtsfunktionen. Über die Symbolleiste können Sie eine Verbindung zur Datenquelle herstellen, zuvor gespeicherte Berichte laden und Berichte in PDF , Excel , HTML , CSV und Bilder exportieren . Außerdem habe ich es geschafft, schnell zwischen zwei verschiedenen Modi zu wechseln - dem Raster und den Diagrammen. Zu den Formatierungsoptionen für Zellen gehören die bedingte Formatierung und die Formatierung von Zahlen . Die Feldliste verdient besondere Aufmerksamkeit - hier können Sie Hierarchien für Zeilen, Spalten, Kennzahlen und Berichtsfilter auswählen. Es gibt auch das Sucheingabefeld, das hilfreich ist, wenn der Index eine lange Liste von Feldern enthält.

Eine der Funktionen, die ich hervorheben möchte, ist die Möglichkeit, die Hierarchien direkt auf das Raster zu ziehen und dort abzulegen. Dadurch können Sie das Slice über die Benutzeroberfläche komplett ändern.

Eine andere ist die Drillthrough- Funktion - sie hilft zu wissen, welche Datensätze hinter den aggregierten Werten stehen.

Arbeiten mit einem Pivot-Tisch

Lassen Sie mich Ihnen zeigen, wie Sie einen Bericht basierend auf den Elasticsearch-Daten erstellen:

Beim Testen des Tools habe ich es geschafft, die Daten zu aggregieren und zu filtern und die Werte im Raster zu sortierenund speichern Sie die Ergebnisse, um später mit dem Bericht weiterzuarbeiten. Außerdem funktioniert der Export gut - es ist einfach, die Berichte mit Teamkollegen zu teilen.

Alles zusammenbringen

Heute habe ich die Vorteile von Kibana für die Visualisierung von Elasticsearch-Daten behandelt. Sie konnten sicherstellen, dass Dashboards den Analyseprozess unterstützen.

Meiner Meinung nach ist eine Pivot-Tabelle ein gutes Werkzeug, mit dem Sie von der Datenerfassung profitieren können, bevor Sie die Antworten auf komplexe Fragen herausarbeiten.

Flexmonster ergänzt die verfügbaren Funktionen von Kibana sehr gut - die Berichte, die Sie damit erstellen, sind aufschlussreich, anpassbar und können problemlos abteilungsübergreifend geteilt werden.

Beide Tools haben das Potenzial, Ihr Storytelling zu verbessern.

Ich ermutige Sie, eine solche Kombination auszuprobieren.

Was kommt als nächstes?

  • Berichterstattung mit Kibana
  • Erstellen einer Visualisierung in Kibana
  • Pivot-Tabelle für Elasticsearch
  • So fügen Sie Kibana eine Pivot-Tabelle hinzu