ELK Stack

Установка и настройка Squid proxy

Сначала устанавливаем squid для дальнейшего использования в качестве прокси-сервера с помощью следующей команды:

sudo apt install squid 

После установки, squid необходимо настроить. Для этого открываем файл .conf с помощью следующей команды:

sudo nano /etc/squid/squid.conf 

В открытом файле необходимо нажимаем Ctrl+W для того, чтобы чтобы найти необходимое место и прописать:

include /etc/squid/conf.d/* 

В найденном месте ниже добавим строчки и поле сохраняем измененный файл:

auth_param basic program /usr/lib/squid3/basic_ncsa_auth /etc/squid/passwords` auth_param basic realm proxy` acl authenticated proxy_auth REQUIRED` acl localnet src  176.59.142.172 http_access allow authenticated 

176.59.142.172 — ip адрес локальной машины.

Установка Apache

Устанавливаем Apache для дальнейшего осуществления передачи данных при запросе и настраиваем аутентификацию по паролю

sudo apt install apache2-utils sudo htpasswd -c /etc/squid/passwords *squid_username* 

Запуск сервера

По умолчанию squid слушает 3128 порт

sudo systemctl start squid sudo systemctl enable squid sudo ufw allow 3128 

Видим, что прокси успешно работает:

Elasticsearch

Установка Java

Установим Java с помощью следующих команд:

sudo apt update sudo apt install default-jre sudo apt install default-jdk 

Установка Elasticsearch

Elasticsearch используется для хранения, анализа, поиска по логам.
Для начала используем cURL, инструмент командной строки для передачи данных с помощью URL, для импорта открытого ключа Elasticsearch GPG в APT. Так же используем аргументы -fsSL для подавления всех текущих и возможных ошибок (кроме сбоя сервера), а также, чтобы разрешить cURL подать запрос на другой локации при переадресации. Выводим результаты команды cURL в программу apt-key, которая добавит открытый ключ GPG в APT

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - 

Добавим список источников Elastic в каталог sources.list.d, где APT будет искать новые источники:

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list 

Обновляем список пакетов, чтобы APT мог прочитать новый источник Elastic и устанавливаем Elasticksearch с помощью следующей команды:

sudo apt update sudo apt install elasticsearch 

Настройка Elasticsearch

Для настройки Elasticsearch мы отредактируем файлы конфигурации. В Elasticsearch имеется три файла конфигурации:

• elasticsearch.yml для настройки Elasticsearch, главный файл конфигурации

• jvm.options для настройки виртуальной машины Elasticsearch Java Virtual Machine (JVM)

• log4j2.properties для настройки журнала Elasticsearch

Открываем файл elasticsearch.yml для изменения конфигураций. Файл elasticsearch.yml предоставляет варианты конфигурации для кластера, узла, пути, памяти, сети, обнаружения и шлюза. Нам необходимо изменить настройки только для хоста сети.

sudo nano /etc/elasticsearch/elasticsearch.yml 

Для ограничения доступа и повышения безопасности находим строку с указанием network.host и убираем с нее значок комментария, после чего заменяем значение на 0.0.0.0, чтобы она выглядела следующим образом: «network.host: 0.0.0.0».
Elasticsearch формирует одноузловой кластер: discovery.type: single-node.
Включаем функции безопасности Elasticsearch на узле: xpack.security.enabled: true.

Запуск Elasticsearch

Запускаем Elasticsearch с помощью следующих команд:

sudo systemctl start elasticsearch sudo systemctl enable elasticsearch 

Создание пользователей

sudo -u root /usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto 

Сохраняем вывод

Changed password for user apm_system PASSWORD apm_system = Ff7GWmJSS4X45NewBNZN  Changed password for user kibana_system PASSWORD kibana_system = OZ7w09XTeHBg3rfihAsm  Changed password for user kibana PASSWORD kibana = OZ7w09XTeHBg3rfihAsm  Changed password for user logstash_system PASSWORD logstash_system = AKtK2rmOmkAwWfL17jCh  Changed password for user beats_system PASSWORD beats_system = ymq4MVVHCdDIVBohH5l7  Changed password for user remote_monitoring_user PASSWORD remote_monitoring_user = RbkSKKbivgZOoq02plda  Changed password for user elastic PASSWORD elastic = nrRO28jYIplnaEP3JBou 

Kibana

Установка Kibana

Установим Kibana, которая представляет собой удобную и красивую web панель для работы с логами, с помощью следующей команды:

sudo apt install kibana 

Настройка Kibana

Откроем файл конфигурации:

sudo nano /etc/kibana/kibana.yml 

Настроим username и укажем, что Elasticsearch должна работать на порту 9200, а Kibana на 5601:

elasticsearch.username: "kibana_system" elasticsearch.host: "0.0.0.0:9200" kibana.port: 5601 

Запуск Kibana

Запустим Kibana с помощью следующих команд:

sudo systemctl start kibana sudo systemctl enable kibana 

Добавление пароля

sudo -u root /usr/share/kibana/bin/kibana-keystore create sudo -u root /usr/share/kibana/bin/kibana-keystore add elasticsearch.password 

Вписываем пароль, который получили при создании пользователей

Changed password for user kibana_system PASSWORD kibana_system = OZ7w09XTeHBg3rfihAsm 

Заходим в Elasticsearch, создаем суперпользователя

Logstash

Установка Logstash

Устанавливаем Logstash- сервис для сбора логов и отправки их в Elasticsearch.

sudo apt install logstash 

Настройка Logstash

Открываем файл конфигураций:

sudo nano /etc/logstash/conf.d/logstash.conf 

Указываем, что принимаем информацию на 5044 порт, формируем функцию, где в дальнейшем будут находиться правила, описываем передачу данных в Elasticsearch и сохраняем.

input {      beats {          port => 5044      } }  filter {   **Место для правил Grok** }  output {   elasticsearch {     hosts => ["139.59.247.231:9200"]     manage_template => false      index => "%{[@metadata][beat]}-%{[@metadata[version]}-%{+YYYY.MM.dd}"     user => "user"     password => "password"   } }  

Проверяем синтаксис, чтобы в дальнейшем не появились ошибки

sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t 

Запуск Logstash

Запускаем Logstash с помощью следующих команд:

sudo systemctl start logstash sudo systemctl enable logstash 

Filebeat

Установка Filebeat — клиент для передачи логов в logstash

Заходим на прокси сервер

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list sudo apt install filebeat 

Настройка Filebeat

Изменяем файл конфигураций:

sudo filebeat modules enable system sudo nano /etc/filebeat/filebeat.yml 

Комментируем строчки «output.elasticsearch» и «hosts: [«localhost:9200″]»

Раскомментируем строчки «output.logstash» и «hosts: [«localhost:5044″]»

Изменим localhost на ip нашего сервера с ELK

Проверяем конфигурацию «sudo filebeat -e test output»
Так как мы отправляем события в Logstash, то необходимо вручную загрузить конвейеры загрузки. Для этого запустим команду:

sudo filebeat setup --pipelines --modules system 

Установим index templates для Elasticsearch вручную.

Чтобы загрузить шаблон индекса вручную, запустим команду установки. Требуется подключение к Elasticsearch, но т.к. включен другой вывод, необходимо временно отключить этот вывод и включить Elasticsearch с помощью параметра -E. Отключаем выходные данные Logstash.

sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["139.59.247.231:9200"]' -E 'output.elasticsearch.username="dasha"' -E 'output.elasticsearch.password="123456"' sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["139.59.247.231:9200"]' -E 'output.elasticsearch.username="dasha"' -E 'output.elasticsearch.password="123456"' -E setup.kibana.host=139.59.247.231:5601 

139.59.247.231 elk ip

Запуск Filebeat

Запускаем Filebeat с помощью следующих команд:

sudo systemctl start filebeat sudo systemctl enable filebeat curl -u dasha:123456 -XGET 'http://139.59.247.231:9200/filebeat-*/_search?pretty' 

GROK

Grok-это фильтр внутри Logstash, который используется для разбора неструктурированных данных на что-то структурированное и подлежащее запросу. Он находится поверх регулярного выражения (regex) и использует текстовые шаблоны для сопоставления строк в файлах журналов.

Правило 1

Полученные логи

{   "fields" : {     "message": [         "May  1 10:01:37 proxy sshd[87897]: Failed password for root from 49.88.112.76 port 14398 ssh2"       ]   } } 

Grok

%{SYSLOGTIMESTAMP} %{WORD:server_name} %{WORD:service_name}\[%{NUMBER:pid}\]: Failed password for %{WORD:user_name} from %{IP:source_ip} port %{NUMBER:port} 

Новые полученные логи

{   "fields": {     "server_name": [       "proxy"     ],     "user_name": [       "root"     ],     "pid": [       "87897"     ],     "source_ip": [       "49.88.112.76"     ],     "service_name": [       "sshd"     ],     "message": [       "May  1 10:01:37 proxy sshd[87897]: Failed password for root from 49.88.112.76 port 14398 ssh2"     ],     "tags": [       "beats_input_codec_plain_applied"     ],     "port": [       "14398"     ]   } } 

Правило 2

Полученные логи

{   "fields": {     "message": [       "Apr 27 02:13:09 proxy sshd[5803]: Received disconnect from 124.156.222.134 port 46278:11: Bye Bye [preauth]"     ]   } } 

Grok

%{SYSLOGTIMESTAMP} %{WORD:server_name} sshd\[%{NUMBER}\]: Received disconnect from %{IP:source_ip} port %{NUMBER:port}:%{DATA}: %{GREEDYDATA:msg} 

Новые полученные логи

{   "fields": {     "msg": [       "Bye Bye [preauth]"     ],     "server_name": [       "proxy"     ],     "source_ip": [       "14.224.148.16"     ],     "message": [       "May  1 10:25:28 proxy sshd[88097]: Received disconnect from 14.224.148.16 port 36408:11: Bye Bye [preauth]"     ],     "tags": [       "beats_input_codec_plain_applied"     ],     "port": [       "36408"     ]   } } 

Правило 3

Полученные логи

{   "fields": {     "message": [       "May  1 10:31:28 proxy sshd[88184]: Disconnected from authenticating user root 165.22.63.216 port 33010 [preauth]"     ]   } } 

Grok

%{SYSLOGTIMESTAMP} %{WORD:server_name} sshd\[%{NUMBER}\]: %{WORD:status} from authenticating user %{WORD:user_name} %{IP:source_ip} port %{NUMBER:port} 

Новые полученные логи

{   "fields": {     "server_name": [       "proxy"     ],     "user_name": [       "root"     ],     "source_ip": [       "124.194.74.203"     ],     "message": [       "May  1 10:39:30 proxy sshd[88242]: Disconnected from authenticating user root 124.194.74.203 port 40918 [preauth]"     ],     "tags": [       "beats_input_codec_plain_applied"     ],     "port": [       "40918"     ],     "status": [       "Disconnected"     ]   } }