Сервер логов Elasticsearch + Logtash + Kibana4 + beats(windows/linux). Установка и настройка

Получение данных об инфраструктуре сервера.
Передаёт информацию о работе процессора, использованию памяти. Для каждого процесса отображается информации о родители, pid, состояние и т.д. Также Topbeat позволяет просматривать информацию о файловой системе — состояние дисков, объём свободного пространства и т.д.

Установка (на клиенте):

cd ~/ELK/releases/beats/topbeat/ sudo curl -L -O https://download.elastic.co/beats/topbeat/topbeat_1.1.0_amd64.deb sudo dpkg -i topbeat_1.1.0_amd64.deb 

На сервер нужно добавить шаблоны индексов Topbeat чтобы Elasticsearch стал правильно анализировать информацию на входе:

sudo curl -XPUT 'http://localhost:9200/_template/topbeat' -d@/etc/topbeat/topbeat.template.json 

При успешной загрузки мы должны увидеть:

{"acknowledged":true}

Файл topbeat.template.json создаётся при установке Topbeat и имеет расположение по умолчанию /etc/topbeat/topbeat.template.json. Поэтомоу если на сервере ELK мы по каким то причинам не будем устанавливать клиенты Beats, то нам необходимо будет скопировать этот шаблон с клиента на сервер, либо создать этот файл на сервере и скопировать туда его содержимое (с клиента). И далее его загрузить curl -XPUT ‘адрес_сервер_elk:9200/_template/topbeat’ -d@/PATH/topbeat.template.json.
Но будем считать что Битсы установлены на сервер и имеют следующее месторасположение /etc/topbeat/topbeat.template.json.

Редактируем конфиг (на клиенте):

sudo vi /etc/topbeat/topbeat.yml 

В блоке output нужно за комментировать обращение к elasticsearch, т.к мы будем использоватеть logstash:

### Elasticsearch as output   #elasticsearch:     #hosts: ["localhost:9200"] 

Раскомментируем блок с Logstash, укажем его IP-адресс и порт:

  logstash:     hosts: ["IP_address_elk-server:5044"] 

Важно: не используйте табуляцию для передвижения курсора в конфиге! Только пробелы. Иначе получите ошибку:

Loading config file error: YAML config parsing failed on /etc/topbeat /topbeat.yml: yaml: line 14: found character that cannot start any token. Exiting. 

Если сервер Logstash находится во внешней сети, то на фаерволле удалённого сервера нужно настроить форвардиг порта, в данном случаем 5044 (tcp/udp).
Дополнительные опции логирования хорошо описаны в в конфигах.

Запускаем сервис:

sudo /etc/ini.d/topbeat start 

Открываем интерфейс Kibana и наблюдаем поступающую информацию:

Транслирует на сервер информацию из динамических файлов, которые мы будем указывать:

Устанвока:

cd ~/ELK/releases/beats/filebeat/ sudo curl -L -O https://download.elastic.co/beats/filebeat/filebeat_1.1.0_amd64.deb sudo dpkg -i filebeat_1.1.0_amd64.deb 

Добавим индексы на сервере (по аналогии с как мы настраивали Topbeat. Т.е. если на сервере шаблон отсутствует — мы его создаём):

sudo curl -XPUT 'http://localhost:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json 

Открываем конфиг:

sudo vi /etc/topbeat/filebeat.yml 

Указываем из каких файлов будем забирать информацию (по умолчанию стоят все файлы из /var/log c расширение .log):

prospectors:        paths:         - /var/log/*.log  

Указываем то, что нужно нам на данном клиенте, например:

paths:       # - /var/log/*.log         - /var/log/elasticsearch/*.log         - /var/log/syslog         - /var/log/nginx/*.log       # - c:\programdata\elasticsearch\logs\* 

Помните про отсутствие табуляции в коде!

Мы также будем использовать logstash для обработки индексов:

### Elasticsearch as output   #elasticsearch:     # Array of hosts to connect to.     # Scheme and port can be left out and will be set to the default (http and 9200)     # In case you specify and additional path, the scheme is required: http://localhost:9200/path     # IPv6 addresses should always be defined as: https://[2001:db8::1]:9200     #hosts: ["localhost:9200"] ...   ### Logstash as output   logstash:     # The Logstash hosts     hosts: ["IP_address_elk-server:5044"] 

Запустим:

sudo /etc/ini.d/filebeat start 

Смотрим информацию от Filebeat:

Очень полезный инструмент. Анализирует трафик между серверами. Моментально выявляет ошибки. Анализирует протоколы DNS, HTTP, MySQL, PostgreSQL, КЗС, Memcache и другие.

Настраивается по той же аналогии что и Topbeat/Filebeat:

sudo apt-get install libpcap0.8 sudo curl -L -O https://download.elastic.co/beats/packetbeat/packetbeat_1.1.0_amd64.deb sudo dpkg -i packetbeat_1.1.0_amd64.deb 

Редактируем кофиг (комментируем Elasticsearch и настраиваем Logstash)
output:

   #elasticsearch:        #hosts: ["localhost:9200"]      logstash:          hosts: ["IP_address_elk-server:5044""] 

Идём на сервер и добавляем индекс для Packetbeat:

sudo curl -XPUT 'http://localhost:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json 

Запускаем:

sudo /etc/ini.d/packetbeat start 

Скачиваем www.elastic.co/downloads/beats/winlogbeat. Распаковываем в C:\ и переименовываем в Winlogbeat. Запускаем PowerShell от админа и устанавливаем сервис:

PS C:\Users\Administrator> cd 'C:\Winlogbeat' PS C:\Winlogbeat> .\install-service-winlogbeat.ps1 

Если мы видим сообщение о том что скрипты отключены в системе по умолчанию (а так оно и будет), то мы просто создаём политику для Winlogbeat:

PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-winlogbeat.ps1 

Security warning Run only scripts that you trust. While scripts from the internet can be useful, this script can potentially harm your computer. If you trust this script, use the Unblock-File cmdlet to allow the script to run without this warning message. Do you want to run C:\Program Files\Winlogbeat\install-service-winlogbeat.ps1? [D] Do not run  [R] Run once  [S] Suspend  [?] Help (default is "D"): R  Status   Name               DisplayName ------   ----               ----------- Stopped  winlogbeat         winlogbeat 

Перед стартом сервиса правим в конфиге — C:\Winlogbeat\winlogbeat.yml.

output:    #elasticsearch:    #    hosts: localhost:9200     logstash:         hosts: ["IP_address_elk-server:5044"] 

В блоку event_logs перечислены основные журналы системы, которые нужно транспортировать на Logstash:

winlogbeat:   registry_file: C:/ProgramData/winlogbeat/.winlogbeat.yml   event_logs:     - name: Application     - name: Security     - name: System logging:   to_files: true   files:     path: C:/winlogbeat/winlogbeat/Logs   level: info 

В event_logs можно добавить и другие журналы, список которых можно посмотреть так:

PS C:\Users\Administrator> Get-EventLog * 

Если система выше Vista, то можно указать каналы:

PS C:\Users\Administrator> Get-WinEvent -ListLog * | Format-List -Property LogName 

Далее нам нужно загрузить на сервер индексы для winlogbeat как мы это делали для topbeat, filebeat, packetbeat. Это можно сделать удалённо:

PS C:\Winlogbeat> Invoke-WebRequest -Method Put -InFile winlogbeat.template.json -Uri http://IP_address_elk-server:9200/_template/winlogbeat?pretty 

Есть есть проблемы такого метода, то можно сделать следующее:

Создаём на сервере файл индекса winlogbeat.template.json
sudo vi ~/ELK/releases/beats/winlogbeat/winlogbeat.template.json. На клиенте Windows открываем файл C:\winlogbeat\winlogbeat.template.json и копируем его содержимое в файл ~/ELK/releases/beats/winlogbeat/winlogbeat.template.json.

{   "mappings": {     "_default_": {       "_all": {         "enabled": true,         "norms": {           "enabled": false         }       },       "dynamic_templates": [         {           "template1": {             "mapping": {               "doc_values": true,               "ignore_above": 1024,               "index": "not_analyzed",               "type": "{dynamic_type}"             },             "match": "*"           }         }       ],       "properties": {         "@timestamp": {           "type": "date"         },         "message": {           "index": "analyzed",           "type": "string"         }       }     }   },   "settings": {     "index.refresh_interval": "5s"   },   "template": "winlogbeat-*" }  

Далее (на сервере) загружаем этот индекс на elasticsearch, для того чтобы он смог верно проанализировать информацию и предоставить её привычном формате:
Переходим в каталог где у нас лежит созданный файл winlogbeat.template.json.

cd ~/ELK/releases/beats/winlogbeat ll итого 12 drwxr-xr-x 2 root root 4096 февр.  8 23:10 ./ drwxr-xr-x 7 root root 4096 февр.  8 16:00 ../ -rw-r--r-- 1 root root  729 февр.  8 23:10 winlogbeat.template.json # Загружаем индекс sudo curl -XPUT 'http://localhost:9200/_template/winlogbeat' -d@winlogbeat.template.json 

На выходе должно быть:

{"acknowledged":true}

Идём на клиент и запускаем сервис winlogbeat. После это начинаем мониторить данные через Kibana, определяя представление по загруженным индексам:

Смотрим дашборды: