Logstash mit Elasticsearch und Kibana - Versionsgeschichte

Benjaminfras am 16. November 2014 um 15:31 Uhr

2014-11-16T15:31:30Z

← Nächstältere Version		Version vom 16. November 2014, 15:31 Uhr
Zeile 337:		Zeile 337:


	Kibana kann jetzt mit http://~~<span style="color:red">~~kibana.myhost.org~~</span>~~ im Browser aufgerufen werden.		Kibana kann jetzt mit http://kibana.myhost.org im Browser aufgerufen werden.

	= Quellen =		= Quellen =

Benjaminfras: /* Kibana */

2014-11-16T15:30:32Z

Kibana

← Nächstältere Version		Version vom 16. November 2014, 15:30 Uhr
Zeile 336:		Zeile 336:
	service nginx restart		service nginx restart


			Kibana kann jetzt mit http://<span style="color:red">kibana.myhost.org</span> im Browser aufgerufen werden.

	= Quellen =		= Quellen =

Benjaminfras am 16. November 2014 um 15:26 Uhr

2014-11-16T15:26:09Z

@@ Zeile 243: / Zeile 243: @@
-We will be using Nginx to serve our Kibana installation, so let's move the files into an appropriate location. Create a directory with the following command:
+ mkdir -p /var/www/kibana3
-sudo mkdir -p /var/www/kibana3
+ sudo cp -R ~/kibana-3.1.2/* /var/www/kibana3/
-sudo cp -R ~/kibana-3.0.1/* /var/www/kibana3/
+=== Nginx ===

Benjaminfras am 16. November 2014 um 15:01 Uhr

2014-11-16T15:01:40Z

← Nächstältere Version		Version vom 16. November 2014, 15:01 Uhr
Zeile 225:		Zeile 225:

	Es können hier neben den Syslog- und Apache-Meldungen natürlich noch weitere Dateien hinzugefügt werden. Das hier definierte Feld 'type' steht dann in Logstash auch zur Verfügung und kann ausgewertet werden.		Es können hier neben den Syslog- und Apache-Meldungen natürlich noch weitere Dateien hinzugefügt werden. Das hier definierte Feld 'type' steht dann in Logstash auch zur Verfügung und kann ausgewertet werden.


	== Kibana ==		== Kibana ==

			Kibana ist das dazugehörige Webfrontend. Es handelt sich um eine HTML5-Applikation, die komplett im Browser läuft. Ein Webserver wird nur für die Auslieferung benötigt. Wir verwenden in diesem Tutorial deshalb das leichtgewichtige Nginx. Zuerst laden wir das aktuelle Kibana herunter:

			cd ~; wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz

			tar xvf kibana-3.1.2.tar.gz


			Nun passen wir den Port an - wir ersetzen den standardmäßig konfigurierten Port 9200 durch 80

			vim ~/kibana-3.1.2/config.js

			elasticsearch: "http://"+window.location.hostname+":80",


			Als nächstes


			We will be using Nginx to serve our Kibana installation, so let's move the files into an appropriate location. Create a directory with the following command:

			sudo mkdir -p /var/www/kibana3
			Now copy the Kibana files into your newly-created directory:

			sudo cp -R ~/kibana-3.0.1/* /var/www/kibana3/

Benjaminfras am 16. November 2014 um 14:51 Uhr

2014-11-16T14:51:36Z

← Nächstältere Version		Version vom 16. November 2014, 14:51 Uhr
Zeile 1:		Zeile 1:
	Mit Logstash, Elasticsearch und Kibana ist es nun für jedermann möglich die eigenen Logs zu analysieren und auszuwerten. Alle verwendeten Tools sind Open Source und somit kostenfrei. Grenzen sind der Auswertung so gut wie keine gesetzt. Voraussetzung ist allerdings, dass man sich mit seinen Logs auseinandersetzt und sie strukturiert. Je strukturierter die Logs, desto besser lassen sich später die Daten verknüpfen und auswerten.		Mit Logstash, Elasticsearch und Kibana ist es nun für jedermann möglich die eigenen Logs zu analysieren und auszuwerten. Alle verwendeten Tools sind Open Source und somit kostenfrei. Grenzen sind der Auswertung so gut wie keine gesetzt. Voraussetzung ist allerdings, dass man sich mit seinen Logs auseinandersetzt und sie strukturiert. Je strukturierter die Logs, desto besser lassen sich später die Daten verknüpfen und auswerten.

			[[Datei:Kibana3 Dashboard.png\|500px\|thumb\|center]]


	= Voraussetzungen =		= Voraussetzungen =

Benjaminfras am 16. November 2014 um 14:41 Uhr

2014-11-16T14:41:43Z

← Nächstältere Version		Version vom 16. November 2014, 14:41 Uhr
Zeile 222:		Zeile 222:

	Es können hier neben den Syslog- und Apache-Meldungen natürlich noch weitere Dateien hinzugefügt werden. Das hier definierte Feld 'type' steht dann in Logstash auch zur Verfügung und kann ausgewertet werden.		Es können hier neben den Syslog- und Apache-Meldungen natürlich noch weitere Dateien hinzugefügt werden. Das hier definierte Feld 'type' steht dann in Logstash auch zur Verfügung und kann ausgewertet werden.

			== Kibana ==


	= Quellen =		= Quellen =

Benjaminfras am 16. November 2014 um 14:33 Uhr

2014-11-16T14:33:07Z

← Nächstältere Version		Version vom 16. November 2014, 14:33 Uhr
Zeile 175:		Zeile 175:


	Jetzt noch das Init-Script nach <code>/etc/init.d/</code> kopieren		Jetzt noch das Init-Script nach <code>/etc/init.d/</code> kopieren und in entsprechende Run-Level eintragen, damit der Logstash-Forwarder beim Booten automatisch startet:

	cd /etc/init.d/; wget http://wiki.easycow.de/downloads/logstash-forwarder		cd /etc/init.d/; wget http://wiki.easycow.de/downloads/logstash-forwarder

			update-rc.d logstash-forwarder defaults

Benjaminfras am 16. November 2014 um 14:30 Uhr

2014-11-16T14:30:33Z

@@ Zeile 162: / Zeile 162: @@
+}
 </pre>
 = Quellen =

Benjaminfras am 16. November 2014 um 14:09 Uhr

2014-11-16T14:09:53Z

← Nächstältere Version		Version vom 16. November 2014, 14:09 Uhr
Zeile 76:		Zeile 76:


	<span style="color:red">'''Hinweis:'''</span> Die Zahlenpräfixe dienen dazu, dass Logstash die Konfigurationen in der Reihenfolge abarbeitet. Alle Filter-Konfigurationen sollten sich deshalb zwischen dem Input und dem Output befinden.		<span style="color:red">'''Hinweis:'''</span> Die Zahlenpräfixe dienen dazu, dass Logstash die Konfigurationen in der Reihenfolge abarbeitet. Alle Filter-Konfigurationen sollten sich deshalb zwischen dem Input und dem Output befinden.


			=== SSL Zertifikate erzeugen ===

			Da wir nicht auf jedem Client Logstash installieren werden, sondern stattdessen den schlankeren Logstash-Forwarder verwenden, muss für die Kommunikation ein Zertifikat erstellt werden. Ich lege die Zertifikate unter <code>/etc/logstash/tls</code> ab:

			mkdir -p /etc/logstash/tls/private; mkdir -p /etc/logstash/tls/certs

			cd /etc/logstash/tls; openssl req -x509 -batch -nodes -days 3650 -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt


			Das File <code>logstash-forwarder.crt</code> werden wir später auf die Clients verteilen. Mit diesem Zertifikat kann sich der Client auf dem Logstash-Server authentifizieren.

			=== 01-lumberjack-input ===

			Diese Datei definiert die Konfiguration des Logstash-Servers. Die Logstash-Forwarder auf den Clients werden ihre Logs an diesen Input weiterleiten. Anhand des SSL-Zertifikats wird überprüft, ob der Client berechtigt ist.

			<pre>
			input {
			lumberjack {
			port => 5000
			type => "logs"
			ssl_certificate => "/etc/logstash/tls/certs/logstash-forwarder.crt"
			ssl_key => "/etc/logstash/tls/private/logstash-forwarder.key"
			}
			}
			</pre>

			=== 10-syslog.conf ===

			Zwischen Input und Output werden die Filter platziert, die durch Logstash verarbeitet werden sollen. Dieser Filter strukturiert z. B. die Syslog-Nachrichten

			<pre>
			filter {
			if [type] == "syslog" {
			grok {
			match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
			add_field => [ "received_at", "%{@timestamp}" ]
			add_field => [ "received_from", "%{host}" ]
			}
			syslog_pri { }
			date {
			match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
			}
			}
			}
			</pre>

			=== 20-apache.conf ===

			Noch interessanter ist der Apache-Filter, da wir hier neben der Strukturierung auch noch weitere Möglichkeiten haben. So können z. B. die Informationen aus den Access-Logs um weitere nützliche Angaben angereichert werden. Ein Beispiel ist die Verwendung von GeoIP, das neben dem Herkunftsland auch gleich die Koordinaten für Map in Kibana mitliefert.

			<pre>
			filter {
			if [type] =~ "apache_access" {
			grok {
			match => { "message" => "%{COMBINEDAPACHELOG}" }
			}

			date {
			match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
			}
			geoip {
			database => "/opt/logstash/vendor/geoip/GeoLiteCity.dat"
			source => "clientip"
			add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
			add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
			}
			mutate {
			convert => [ "[geoip][coordinates]", "float" ]
			}
			}
			}
			</pre>

			=== 99-elasticsearch-output.conf ===

			Zu guter Letzt wollen wir die strukturierten und angereicherten Daten an Elasticsearch senden.

			<pre>
			output {
			elasticsearch { host => localhost }
			stdout { codec => rubydebug }
			}
			</pre>

	= Quellen =		= Quellen =

Benjaminfras am 16. November 2014 um 10:51 Uhr

2014-11-16T10:51:33Z

← Nächstältere Version		Version vom 16. November 2014, 10:51 Uhr
Zeile 41:		Zeile 41:


			== Logstash ==

			Als nächstes richten wir Logstash ein. In diesem Tutorial wird Logstash als Server fungieren, in dem es die über das Lumberjack-Protokoll geschickten Logs der anderen Systeme entgegennimmt, strukturiert und schließlich an Elasticsearch schickt.

			Bevor Logstash installiert werden kann, muss eine Java-Umgebung eingerichtet sein. Das funktioniert auch prima mit OpenJDK und erfordert kein Oracle-Java.

			apt-get install openjdk-7-jre


			Zur Installation von Logstash benötigt man wieder ein PPA. Der GPG-Key hingegen ist der gleiche, wie wir ihn bereits bei der Einrichtung von Elasticsearch verwendet haben. Daher muss nun lediglich die Paketquelle hinzugefügt werden:

			echo "deb http://packages.elasticsearch.org/logstash/1.4/debian stable main" > /etc/apt/sources.list.d/logstash.list

			apt-get update && apt-get install logstash


			Die Logstash-Konfigurationen werden im Verzeichnis <code>/etc/logstash/conf.d</code> abgelegt. Statt einem großen File werden wir die Konfiguration wie folgt strukturieren:

			{\| class="wikitable"
			\|+Logstash Konfigurationsdateien
			\|-
			\|01-lumberjack-input
			\|Listener für den Logstash-Forwarder. Nimmt Logs der anderen Systeme entgegen.
			\|-
			\|10-syslog-filter
			\|Filter, um Syslog-Nachrichten zu strukturieren
			\|-
			\|20-apache-filter
			\|Filter, um Apache-Nachrichten zu strukturieren
			\|-
			\|99-elasticsearch-output
			\|Strukturierter Output soll an Elasticsearch gereicht werden
			\|}


			<span style="color:red">'''Hinweis:'''</span> Die Zahlenpräfixe dienen dazu, dass Logstash die Konfigurationen in der Reihenfolge abarbeitet. Alle Filter-Konfigurationen sollten sich deshalb zwischen dem Input und dem Output befinden.

	= Quellen =		= Quellen =
Zeile 49:		Zeile 85:

	https://www.digitalocean.com/community/tutorials/adding-logstash-filters-to-improve-centralized-logging		https://www.digitalocean.com/community/tutorials/adding-logstash-filters-to-improve-centralized-logging

			http://www.logstash.net/docs/1.4.2/repositories