{"id":408046,"date":"2024-06-29T19:55:31","date_gmt":"2024-06-29T19:55:31","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=408046"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=408046","title":{"rendered":"\u041f\u0438\u0448\u0435\u043c \u043b\u043e\u0433\u0438 \u0438\u0437 Container Optimized Image \u0432 Yandex Cloud Logging \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Fluent Bit<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n
<\/figcaption><\/figure>\n

\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u043f\u043e\u0441\u0442\u0435<\/a> \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b, \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u043e\u0433\u0438 \u0438\u0437 systemd. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f, \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n

\u0428\u0430\u0433 1. \u041f\u0438\u0448\u0435\u043c \u043b\u043e\u0433\u0438<\/h2>\n

\u041d\u0443 \u0447\u0442\u043e \u0436, \u043e\u043f\u044f\u0442\u044c \u043d\u0430\u0447\u043d\u0451\u043c \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0430\u0431\u0440\u043e\u0441\u0430\u0435\u043c \u0434\u0435\u043c\u043e\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0438\u0442\u043e\u043d\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043b\u044f \u043d\u0430\u0441 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u043b\u043e\u0433\u043e\u0432: logs.py.<\/p>\n

import logging import random import sys import time  # \u041f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u0431\u0443\u0434\u0435\u043c \u0432 STDOUT. \u0420\u0430\u0437\u0431\u0438\u0432\u0430\u0442\u044c \u043f\u043e severity \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u0432 Fluent-bit import uuid  logger = logging.getLogger(__name__)  # \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435\u0440 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0437\u0436\u0435 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0436\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u0443 \u043f\u0430\u0440\u0441\u0438\u0442\u044c \u043b\u043e\u0433\u0438. formatter = logging.Formatter(     '[req_id=%(req_id)s] [%(levelname)s] %(code)d %(message)s' )  handler = logging.StreamHandler(stream=sys.stdout) handler.setFormatter(formatter)  logger.addHandler(handler)  # \u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e logger.setLevel(logging.DEBUG)  # \u041c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b, \u043d\u043e \u044f \u0440\u0435\u0448\u0438\u043b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c URL-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. PATHS = [     '\/',     '\/admin',     '\/hello',     '\/docs', ]  PARAMS = [     'foo',     'bar',     'query',     'search',     None ]  def fake_url():     path = random.choice(PATHS)     param = random.choice(PARAMS)     if param:         val = random.randint(0, 100)         param += '=%s' % val     code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]     return '?'.join(filter(None, [path, param])), code  if __name__ == '__main__':     while True:         req_id = uuid.uuid4()         # \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u0430\u0440\u0443 \u043a\u043e\u0434 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 URL         path, code = fake_url()         extra = {\"code\": code, \"req_id\": req_id}         # \u0415\u0441\u043b\u0438 \u043a\u043e\u0434 200, \u0442\u043e \u043f\u0438\u0448\u0435\u043c \u0432  \u043b\u043e\u0433 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c Info         if code == 200:             logger.info(                 'Path: %s',                 path,                 extra=extra,             )         # \u0418\u043d\u0430\u0447\u0435 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c Error         else:             logger.error(                 'Error: %s',                 path,                 extra=extra,             )         # \u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0433\u0440\u0435\u043f\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 request id \u0432 30% \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0431\u0443\u0434\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0442\u043e\u0440\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c         # \u0432 \u043b\u043e\u0433 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c Debug.         if random.random() > 0.7:             logger.debug(\"some additional debug log record %f\", random.random(), extra=extra)          # \u0416\u0434\u0435\u043c 1 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u043b\u0438\u0448\u043d\u0435 \u043d\u0435 \u0437\u0430\u0441\u043e\u0440\u044f\u0442\u044c \u0436\u0443\u0440\u043d\u0430\u043b         time.sleep(1)<\/code><\/pre>\n
\u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u0432\u0441\u0451 \u043f\u0440\u043e\u0441\u0442\u043e \u0438 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u043d\u043e \u044f \u043f\u0440\u043e\u0439\u0434\u0443\u0441\u044c \u0435\u0449\u0451 \u0440\u0430\u0437 \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043f\u0443\u043d\u043a\u0442\u0430\u043c.<\/p>\n
\u041b\u043e\u0433\u0438 Docker-\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0432\u043e\u0434 STDOUT \u0438 STDERR. \u0412 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u044f \u0440\u0435\u0448\u0438\u043b \u043d\u0435 \u0434\u0435\u043b\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043f\u043e \u0434\u0432\u0443\u043c \u044d\u0442\u0438\u043c \u043f\u043e\u0442\u043e\u043a\u0430\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0430\u043b\u0435\u0435 \u0432 \u043f\u0430\u0440\u0441\u0435\u0440\u0435 Fluent Bit \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0441\u0442\u0440\u043e\u0447\u043a\u0443 \u043b\u043e\u0433\u0430 \u0438 \u0432\u044b\u0447\u043b\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u044b\u043b\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c.<\/p>\n
\u0424\u043e\u0440\u043c\u0430\u0442 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043b\u043e\u0433\u0430 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043d\u0435 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0430\u0442\u044c, \u0432\u044b\u0432\u0435\u043b \u043b\u0438\u0448\u044c \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0438\u043f\u0430 \u043a\u043e\u0434\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438 id \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n
\u0428\u0430\u0433 2. \u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435 COI VM<\/h2>\n
\u0422\u0430\u043a \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u0432\u0430 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 (\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u0441 \u043d\u0430\u0448\u0438\u043c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u0438 \u043b\u043e\u0433\u0435\u0440-\u0430\u0433\u0435\u043d\u0442 Fluent Bit), \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e COI \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439 Docker Compose. \u041e\u043f\u0438\u0448\u0435\u043c \u0432 \u0444\u0430\u0439\u043b\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b. \u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0441 \u043c\u043e\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0441\u0432\u043e\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 spec.yml.<\/p>\n
version: '3.7' services:   logs:     container_name: logs-app     image: cr.yandex\/crpk28lsfu91rns28316\/dockerlogtest:2021.10.17-6166ecb     restart: always     depends_on:       - fluentbit     logging:       # Fluent-bit \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u043e\u0433\u0438 \u0432 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435       driver: fluentd       options:         # \u043a\u0443\u0434\u0430 \u043f\u043e\u0441\u044b\u043b\u0430\u0442\u044c \u043b\u043e\u0433-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0447\u0442\u043e \u0431\u044b \u0430\u0434\u0440\u0435\u0441         # \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u0430 forward         fluentd-address: localhost:24224         # \u0442\u0435\u0433\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u043e\u0433-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0442\u0435\u043c\u0430         # \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 \u043d\u0438\u0436\u0435         tag: app.logs    fluentbit:     container_name: fluentbit     image: cr.yandex\/yc\/fluent-bit-plugin-yandex:v1.0.3-fluent-bit-1.8.6     ports:       - 24224:24224       - 24224:24224\/udp     restart: always     environment:       YC_GROUP_ID: e23j5q1nhth94apeduuh     volumes:       - \/etc\/fluentbit\/fluentbit.conf:\/fluent-bit\/etc\/fluent-bit.conf       - \/etc\/fluentbit\/parsers.conf:\/fluent-bit\/etc\/parsers.conf<\/code><\/pre>\n
\u0412 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Fluent Bit \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f\u00a0YC_GROUP_ID<\/strong>. \u041e\u043d\u0430 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043d\u0430\u043c \u0434\u043b\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u0430\u00a0yc-logging<\/strong>, \u0441\u043a\u0430\u0436\u0435\u0442 \u0435\u043c\u0443, \u043a\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u043b\u043e\u0433\u0438, \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 id<\/strong> \u0433\u0440\u0443\u043f\u043f\u044b \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n
\u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u0435\u0441\u0442\u0438 \u043d\u0430 \u0412\u041c \u043a\u043e\u043d\u0444\u0438\u0433\u0438. \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u043f\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438<\/a>, \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u0441\u0451 \u043f\u0440\u043e\u0449\u0435 \u0438 KMS \u043d\u0430\u043c \u043d\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f.<\/p>\n
\u0428\u0430\u0433 3. \u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0447\u0442\u0435\u043d\u0438\u0435 \u043b\u043e\u0433\u043e\u0432 \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430<\/h2>\n
#cloud-config write_files:   - content: |       [SERVICE]           Flush         1           Log_File      \/var\/log\/fluentbit.log           Log_Level     error           Daemon        off           Parsers_File  \/fluent-bit\/etc\/parsers.conf        [FILTER]           Name parser           Match app.logs           Key_Name log           Parser app_log_parser           Reserve_Data On        [INPUT]           Name              forward           Listen            0.0.0.0           Port              24224           Buffer_Chunk_Size 1M           Buffer_Max_Size   6M        [OUTPUT]           Name            yc-logging           Match           *           group_id        ${YC_GROUP_ID}           message_key     text           level_key       severity           default_level   WARN           authorization   instance-service-account     path: \/etc\/fluentbit\/fluentbit.conf   - content: |       [PARSER]           Name   app_log_parser           Format regex           Regex  ^\\[req_id=(?<req_id>[0-9a-fA-F\\-]+)\\] \\[(?<severity>.*)\\] (?<code>\\d+) (?<text>.*)$           Types  code:integer     path: \/etc\/fluentbit\/parsers.conf  users:   - name: username     groups: sudo     shell: \/bin\/bash     sudo: [ 'ALL=(ALL) NOPASSWD:ALL' ]     ssh-authorized-keys:       - ssh-rsa AAAA<\/code><\/pre>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u0442\u043e\u043c, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0430 user-data.yaml, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435. \u0412 \u0441\u0435\u043a\u0446\u0438\u0438\u00a0SERVICE<\/strong>\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f Fluent Bit (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0435\u0440\u0438\u043e\u0434, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043b\u043e\u0433\u0438). \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/u><\/a>.<\/p>\n
[SERVICE]     Flush         1     Log_File      \/var\/log\/fluentbit.log     Log_Level     error     Daemon        off     Parsers_File  \/fluent-bit\/etc\/parsers.conf<\/code><\/pre>\n
\u0412 \u0441\u0435\u043a\u0446\u0438\u0438\u00a0INPUT<\/strong>\u00a0\u043e\u043f\u0438\u0441\u0430\u043d\u043e, \u043e\u0442\u043a\u0443\u0434\u0430 \u0438 \u043a\u0430\u043a \u0437\u0430\u0431\u0438\u0440\u0430\u0442\u044c \u043b\u043e\u0433\u0438.<\/p>\n
[INPUT]     Name              forward     Listen            0.0.0.0     Port              24224     Buffer_Chunk_Size 1M     Buffer_Max_Size   6M<\/code><\/pre>\n
\u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Fluentd \u0438 Fluent Bit \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u043f\u0443\u0442 \u0441 \u0442\u0438\u043f\u043e\u043c\u00a0forward<\/a>. \u041e \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0438\u043f\u0430\u0445 \u0438\u043d\u043f\u0443\u0442\u043e\u0432 \u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a>. \u0410 \u0442\u0430\u043a\u0436\u0435 \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u00a0systemd<\/a>\u00a0\u00a0\u0438\u043d\u043f\u0443\u0442\u043e\u043c Fluent Bit.<\/p>\n
\u0422\u0443\u0442 \u0432\u0440\u043e\u0434\u0435 \u0432\u0441\u0451 \u043f\u043e\u043d\u044f\u0442\u043d\u043e: Fluent Bit \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u043b\u043e\u0433\u0438 \u043d\u0430\u00a0\u043f\u043e\u0440\u0442\u0443 24224<\/strong>. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0443\u0434\u0430 \u043c\u044b \u0432\u0435\u043b\u0435\u043b\u0438 Docker Compose\u00a0\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0432\u044b\u0448\u0435.<\/p>\n
\u0422\u0430\u043a\u0436\u0435 \u0432 \u0442\u043e\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u043c\u044b \u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0443 \u043f\u043e\u043c\u0435\u0447\u0430\u0442\u044c \u0432\u0441\u0435 \u0437\u0430\u043f\u0438\u0441\u0438 \u0442\u0435\u0433\u043e\u043c\u00a0app.logs<\/strong>. \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u043d\u0435\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u043b\u043e\u0433\u043e\u0432.<\/p>\n
\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432 \u0444\u0430\u0439\u043b\u0435\u00a0parsers.conf\u00a0\u043c\u044b \u043e\u043f\u0438\u0448\u0435\u043c \u043f\u0430\u0440\u0441\u0435\u0440.<\/p>\n
[PARSER]     Name   app_log_parser     Format regex     Regex  ^\\[req_id=(?<req_id>[0-9a-fA-F\\-]+)\\] \\[(?<severity>.*)\\] (?<code>\\d+) (?<text>.*)$     Types  code:integer<\/code><\/pre>\n
\u041c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043f\u0430\u0440\u0441\u0435\u0440\u043e\u043c regex. \u0414\u043b\u044f \u0435\u0433\u043e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0434\u0438\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043b\u043e\u0433\u0430. \u0418\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043c\u044b \u0438\u0437\u0432\u043b\u0435\u0447\u0451\u043c \u043f\u043e\u043b\u044f:\u00a0req_id<\/strong>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043b\u0430\u043b\u0438 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 id<\/strong> \u0437\u0430\u043f\u0440\u043e\u0441\u0430,\u00a0severity<\/strong>\u00a0\u2014 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f,\u00a0code<\/strong>\u00a0\u2014 HTTP-\u043a\u043e\u0434 \u043e\u0442\u0432\u0435\u0442\u0430, text<\/strong>\u00a0\u2014 \u0432\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442.<\/p>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043b\u043e\u0433\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0441\u0435\u043a\u0446\u0438\u044e\u00a0FILTER<\/strong>.<\/p>\n
[FILTER]     Name parser     Match app.logs     Key_Name log     Parser app_log_parser     Reserve_Data On<\/code><\/pre>\n
\u0422\u0443\u0442 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043c, \u0447\u0442\u043e \u0438\u0449\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u043e\u0433\u0438, \u0442\u0435\u0433 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0app.logs<\/strong>, \u0431\u0435\u0440\u0451\u043c \u0438\u0437 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u043b\u0435\u00a0log<\/strong>, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043a \u043d\u0435\u043c\u0443 \u043d\u0430\u0448 \u043f\u0430\u0440\u0441\u0435\u0440\u00a0app_log_parser<\/strong>, \u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044f \u043b\u043e\u0433\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c (Reserve_Data On<\/strong>).<\/p>\n
\u0428\u0430\u0433 4. \u041e\u0442\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 Cloud Logging<\/h2>\n
\u041d\u0443 \u0432\u043e\u0442 \u043c\u044b \u0438 \u043f\u043e\u0434\u043e\u0448\u043b\u0438 \u043a \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0435 \u043b\u043e\u0433\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u043a\u043e. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Fluent Bit \u0438\u0437 \u043e\u0431\u0440\u0430\u0437\u0430, \u043a\u0443\u0434\u0430 \u0443\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u00a0\u043f\u043b\u0430\u0433\u0438\u043d Yandex Cloud Logging<\/a>, \u043d\u0443\u0436\u043d\u043e \u043b\u0438\u0448\u044c \u0441\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043a\u0446\u0438\u044e\u00a0OUTPUT<\/strong>.<\/p>\n
[OUTPUT]     Name            yc-logging     Match           *     group_id        ${YC_GROUP_ID}     message_key     text     level_key       severity     default_level   WARN     authorization   instance-service-account<\/code><\/pre>\n
\u0414\u043b\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u043b\u043e\u0433\u043e\u0432 \u043d\u0443\u0436\u043d\u0430 \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f. \u041c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u043f\u0440\u0438\u0432\u044f\u0436\u0435\u043c \u043a \u0412\u041c \u0441\u0435\u0440\u0432\u0438\u0441\u043d\u044b\u0439 \u0430\u043a\u043a\u0430\u0443\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0432\u044b\u0434\u0430\u0434\u0438\u043c \u0440\u043e\u043b\u044c, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043b\u043e\u0433\u043e\u0432\u00a0logging.writer<\/strong>, \u0438\u043b\u0438\u00a0\u0432\u044b\u0448\u0435<\/a>.<\/p>\n
\u041e\u0442\u043b\u0438\u0447\u043d\u043e, \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0412\u041c \u0441 \u044d\u0442\u0438\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438.<\/p>\n
\u041d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f id image<\/strong>, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0442\u044c \u0412\u041c:<\/p>\n
IMAGE_ID=$(yc compute image get-latest-from-family container-optimized-image --folder-id standard-images --format=json | jq -r .id)<\/code><\/pre>\n
\u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0433\u043e \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0412\u041c:<\/p>\n
yc compute instance create \\     --name coi-vm \\     --zone=ru-central1-a \\     --network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4 \\     --metadata-from-file user-data=user-data.yaml,docker-compose=spec.yaml \\     --create-boot-disk image-id=$IMAGE_ID \\     --service-account-name service-account<\/code><\/pre>\n
\u041a\u043e\u0433\u0434\u0430 \u0412\u041c \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0451\u0442\u0441\u044f \u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u043d\u0430 \u043d\u0435\u0439 \u0437\u0430\u043f\u0443\u0441\u0442\u044f\u0442\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u0432 Cloud Logging \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043b\u043e\u0433\u0438:<\/p>\n
<\/figcaption><\/figure>\n
\u0415\u0441\u043b\u0438 \u043a\u043b\u0438\u043a\u043d\u0443\u0442\u044c \u043d\u0430 \u0438\u043a\u043e\u043d\u043a\u0443 \u0433\u043b\u0430\u0437\u0430, \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<\/p>\n
<\/figcaption><\/figure>\n
\u041f\u043e \u043d\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043f\u0440\u043e\u0441 json_payload.code >= 400 \u043d\u0430\u0439\u0434\u0451\u0442 \u0432\u0441\u0435 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043b\u043e\u0433\u043e\u0432, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0432\u0448\u0438\u043c\u0438 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n
<\/figcaption><\/figure>\n
\u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043e\u0442\u043d\u043e\u0441\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0435\u0441\u043b\u0438 \u043f\u043e\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e json_payload.req_id.<\/p>\n
\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u044f\u0437\u044b\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a>. \u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 GitHub<\/a>.<\/p>\n
P.\u00a0S.<\/strong>\u00a0Yandex Cloud Logging \u2014 \u044d\u0442\u043e serverless-\u0441\u0435\u0440\u0432\u0438\u0441 \u0432 Yandex.Cloud. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 Serverless-\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0432\u0441\u0435, \u0447\u0442\u043e \u0441 \u044d\u0442\u0438\u043c \u0441\u0432\u044f\u0437\u0430\u043d\u043e, \u0437\u0430\u0445\u043e\u0434\u0438\u0442\u0435 \u0432\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0432 Telegram<\/a>, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c serverless \u0432 \u0446\u0435\u043b\u043e\u043c.<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n

 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/articles\/587424\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
<\/div>\n
\n
\n
\n
\n
<\/figcaption><\/figure>\n
\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u043f\u043e\u0441\u0442\u0435<\/a> \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b, \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043b\u043e\u0433\u0438 \u0438\u0437 systemd. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f, \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n
\u0428\u0430\u0433 1. \u041f\u0438\u0448\u0435\u043c \u043b\u043e\u0433\u0438<\/h2>\n
\u041d\u0443 \u0447\u0442\u043e \u0436, \u043e\u043f\u044f\u0442\u044c \u043d\u0430\u0447\u043d\u0451\u043c \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0430\u0431\u0440\u043e\u0441\u0430\u0435\u043c \u0434\u0435\u043c\u043e\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0438\u0442\u043e\u043d\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u043b\u044f \u043d\u0430\u0441 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u043b\u043e\u0433\u043e\u0432: logs.py.<\/p>\n
import logging import random import sys import time  # \u041f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u0431\u0443\u0434\u0435\u043c \u0432 STDOUT. \u0420\u0430\u0437\u0431\u0438\u0432\u0430\u0442\u044c \u043f\u043e severity \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u0432 Fluent-bit import uuid  logger = logging.getLogger(__name__)  # \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435\u0440 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0437\u0436\u0435 \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0436\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u0443 \u043f\u0430\u0440\u0441\u0438\u0442\u044c \u043b\u043e\u0433\u0438. formatter = logging.Formatter(     '[req_id=%(req_id)s] [%(levelname)s] %(code)d %(message)s' )  handler = logging.StreamHandler(stream=sys.stdout) handler.setFormatter(formatter)  logger.addHandler(handler)  # \u041e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e logger.setLevel(logging.DEBUG)  # \u041c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b, \u043d\u043e \u044f \u0440\u0435\u0448\u0438\u043b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c URL-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. PATHS = [     '\/',     '\/admin',     '\/hello',     '\/docs', ]  PARAMS = [     'foo',     'bar',     'query',     'search',     None ]  def fake_url():     path = random.choice(PATHS)     param = random.choice(PARAMS)     if param:         val = random.randint(0, 100)         param += '=%s' % val     code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]     return '?'.join(filter(None, [path, param])), code  if __name__ == '__main__':     while True:         req_id = uuid.uuid4()         # \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u0430\u0440\u0443 \u043a\u043e\u0434 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 URL         path, code = fake_url()         extra = {\"code\": code, \"req_id\": req_id}         # \u0415\u0441\u043b\u0438 \u043a\u043e\u0434 200, \u0442\u043e \u043f\u0438\u0448\u0435\u043c \u0432  \u043b\u043e\u0433 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c Info         if code == 200:             logger.info(                 'Path: %s',                 path,                 extra=extra,             )         # \u0418\u043d\u0430\u0447\u0435 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c Error         else:             logger.error(                 'Error: %s',                 path,                 extra=extra,             )         # \u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0433\u0440\u0435\u043f\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 request id \u0432 30% \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0431\u0443\u0434\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0442\u043e\u0440\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c         # \u0432 \u043b\u043e\u0433 \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c Debug.         if random.random() > 0.7:             logger.debug(\"some additional debug log record %f\", random.random(), extra=extra)          # \u0416\u0434\u0435\u043c 1 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u043b\u0438\u0448\u043d\u0435 \u043d\u0435 \u0437\u0430\u0441\u043e\u0440\u044f\u0442\u044c \u0436\u0443\u0440\u043d\u0430\u043b         time.sleep(1)<\/code><\/pre>\n
\u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u0432\u0441\u0451 \u043f\u0440\u043e\u0441\u0442\u043e \u0438 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438, \u043d\u043e \u044f \u043f\u0440\u043e\u0439\u0434\u0443\u0441\u044c \u0435\u0449\u0451 \u0440\u0430\u0437 \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043f\u0443\u043d\u043a\u0442\u0430\u043c.<\/p>\n
\u041b\u043e\u0433\u0438 Docker-\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0432\u043e\u0434 STDOUT \u0438 STDERR. \u0412 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u044f \u0440\u0435\u0448\u0438\u043b \u043d\u0435 \u0434\u0435\u043b\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043f\u043e \u0434\u0432\u0443\u043c \u044d\u0442\u0438\u043c \u043f\u043e\u0442\u043e\u043a\u0430\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0430\u043b\u0435\u0435 \u0432 \u043f\u0430\u0440\u0441\u0435\u0440\u0435 Fluent Bit \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0441\u0442\u0440\u043e\u0447\u043a\u0443 \u043b\u043e\u0433\u0430 \u0438 \u0432\u044b\u0447\u043b\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u044b\u043b\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c.<\/p>\n
\u0424\u043e\u0440\u043c\u0430\u0442 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043b\u043e\u0433\u0430 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043d\u0435 \u043f\u0435\u0440\u0435\u0433\u0440\u0443\u0436\u0430\u0442\u044c, \u0432\u044b\u0432\u0435\u043b \u043b\u0438\u0448\u044c \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0438\u043f\u0430 \u043a\u043e\u0434\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 \u0438 id \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n
\u0428\u0430\u0433 2. \u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u0432\u0451\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435 COI VM<\/h2>\n
\u0422\u0430\u043a \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u0432\u0430 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430 (\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 \u0441 \u043d\u0430\u0448\u0438\u043c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u0438 \u043b\u043e\u0433\u0435\u0440-\u0430\u0433\u0435\u043d\u0442 Fluent Bit), \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e COI \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439 Docker Compose. \u041e\u043f\u0438\u0448\u0435\u043c \u0432 \u0444\u0430\u0439\u043b\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b. \u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0441 \u043c\u043e\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439\u00a0\u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0441\u0432\u043e\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 spec.yml.<\/p>\n
version: '3.7' services:   logs:     container_name: logs-app     image: cr.yandex\/crpk28lsfu91rns28316\/dockerlogtest:2021.10.17-6166ecb     restart: always     depends_on:       - fluentbit     logging:       # Fluent-bit \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u043e\u0433\u0438 \u0432 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435       driver: fluentd       options:         # \u043a\u0443\u0434\u0430 \u043f\u043e\u0441\u044b\u043b\u0430\u0442\u044c \u043b\u043e\u0433-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0447\u0442\u043e \u0431\u044b \u0430\u0434\u0440\u0435\u0441         # \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b \u0441 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u043c\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u0430 forward         fluentd-address: localhost:24224         # \u0442\u0435\u0433\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u043e\u0433-\u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439, \u0442\u0435\u043c\u0430         # \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 \u043d\u0438\u0436\u0435         tag: app.logs    fluentbit:     container_name: fluentbit     image: cr.yandex\/yc\/fluent-bit-plugin-yandex:v1.0.3-fluent-bit-1.8.6     ports:       - 24224:24224       - 24224:24224\/udp     restart: always     environment:       YC_GROUP_ID: e23j5q1nhth94apeduuh     volumes:       - \/etc\/fluentbit\/fluentbit.conf:\/fluent-bit\/etc\/fluent-bit.conf       - \/etc\/fluentbit\/parsers.conf:\/fluent-bit\/etc\/parsers.conf<\/code><\/pre>\n
\u0412 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Fluent Bit \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f\u00a0YC_GROUP_ID<\/strong>. \u041e\u043d\u0430 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043d\u0430\u043c \u0434\u043b\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u0430\u00a0yc-logging<\/strong>, \u0441\u043a\u0430\u0436\u0435\u0442 \u0435\u043c\u0443, \u043a\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u043b\u043e\u0433\u0438, \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 id<\/strong> \u0433\u0440\u0443\u043f\u043f\u044b \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n
\u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u0435\u0441\u0442\u0438 \u043d\u0430 \u0412\u041c \u043a\u043e\u043d\u0444\u0438\u0433\u0438. \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u043f\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438<\/a>, \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u0441\u0451 \u043f\u0440\u043e\u0449\u0435 \u0438 KMS \u043d\u0430\u043c \u043d\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f.<\/p>\n
\u0428\u0430\u0433 3. \u041d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c \u0447\u0442\u0435\u043d\u0438\u0435 \u043b\u043e\u0433\u043e\u0432 \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430<\/h2>\n
#cloud-config write_files:   - content: |       [SERVICE]           Flush         1           Log_File      \/var\/log\/fluentbit.log           Log_Level     error           Daemon        off           Parsers_File  \/fluent-bit\/etc\/parsers.conf        [FILTER]           Name parser           Match app.logs           Key_Name log           Parser app_log_parser           Reserve_Data On        [INPUT]           Name              forward           Listen            0.0.0.0           Port              24224           Buffer_Chunk_Size 1M           Buffer_Max_Size   6M        [OUTPUT]           Name            yc-logging           Match           *           group_id        ${YC_GROUP_ID}           message_key     text           level_key       severity           default_level   WARN           authorization   instance-service-account     path: \/etc\/fluentbit\/fluentbit.conf   - content: |       [PARSER]           Name   app_log_parser           Format regex           Regex  ^\\[req_id=(?<req_id>[0-9a-fA-F\\-]+)\\] \\[(?<severity>.*)\\] (?<code>\\d+) (?<text>.*)$           Types  code:integer     path: \/etc\/fluentbit\/parsers.conf  users:   - name: username     groups: sudo     shell: \/bin\/bash     sudo: [ 'ALL=(ALL) NOPASSWD:ALL' ]     ssh-authorized-keys:       - ssh-rsa AAAA<\/code><\/pre>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u0442\u043e\u043c, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0430 user-data.yaml, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435. \u0412 \u0441\u0435\u043a\u0446\u0438\u0438\u00a0SERVICE<\/strong>\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f Fluent Bit (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0435\u0440\u0438\u043e\u0434, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043b\u043e\u0433\u0438). \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/u><\/a>.<\/p>\n
[SERVICE]     Flush         1     Log_File      \/var\/log\/fluentbit.log     Log_Level     error     Daemon        off     Parsers_File  \/fluent-bit\/etc\/parsers.conf<\/code><\/pre>\n
\u0412 \u0441\u0435\u043a\u0446\u0438\u0438\u00a0INPUT<\/strong>\u00a0\u043e\u043f\u0438\u0441\u0430\u043d\u043e, \u043e\u0442\u043a\u0443\u0434\u0430 \u0438 \u043a\u0430\u043a \u0437\u0430\u0431\u0438\u0440\u0430\u0442\u044c \u043b\u043e\u0433\u0438.<\/p>\n
[INPUT]     Name              forward     Listen            0.0.0.0     Port              24224     Buffer_Chunk_Size 1M     Buffer_Max_Size   6M<\/code><\/pre>\n
\u0414\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Fluentd \u0438 Fluent Bit \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u043f\u0443\u0442 \u0441 \u0442\u0438\u043f\u043e\u043c\u00a0forward<\/a>. \u041e \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0438\u043f\u0430\u0445 \u0438\u043d\u043f\u0443\u0442\u043e\u0432 \u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a>. \u0410 \u0442\u0430\u043a\u0436\u0435 \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u00a0systemd<\/a>\u00a0\u00a0\u0438\u043d\u043f\u0443\u0442\u043e\u043c Fluent Bit.<\/p>\n
\u0422\u0443\u0442 \u0432\u0440\u043e\u0434\u0435 \u0432\u0441\u0451 \u043f\u043e\u043d\u044f\u0442\u043d\u043e: Fluent Bit \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u043b\u043e\u0433\u0438 \u043d\u0430\u00a0\u043f\u043e\u0440\u0442\u0443 24224<\/strong>. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0443\u0434\u0430 \u043c\u044b \u0432\u0435\u043b\u0435\u043b\u0438 Docker Compose\u00a0\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0432\u044b\u0448\u0435.<\/p>\n
\u0422\u0430\u043a\u0436\u0435 \u0432 \u0442\u043e\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u043c\u044b \u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0443 \u043f\u043e\u043c\u0435\u0447\u0430\u0442\u044c \u0432\u0441\u0435 \u0437\u0430\u043f\u0438\u0441\u0438 \u0442\u0435\u0433\u043e\u043c\u00a0app.logs<\/strong>. \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u043d\u0435\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u043b\u043e\u0433\u043e\u0432.<\/p>\n
\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432 \u0444\u0430\u0439\u043b\u0435\u00a0parsers.conf\u00a0\u043c\u044b \u043e\u043f\u0438\u0448\u0435\u043c \u043f\u0430\u0440\u0441\u0435\u0440.<\/p>\n
[PARSER]     Name   app_log_parser     Format regex     Regex  ^\\[req_id=(?<req_id>[0-9a-fA-F\\-]+)\\] \\[(?<severity>.*)\\] (?<code>\\d+) (?<text>.*)$     Types  code:integer<\/code><\/pre>\n
\u041c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043f\u0430\u0440\u0441\u0435\u0440\u043e\u043c regex. \u0414\u043b\u044f \u0435\u0433\u043e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0434\u0438\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043b\u043e\u0433\u0430. \u0418\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043c\u044b \u0438\u0437\u0432\u043b\u0435\u0447\u0451\u043c \u043f\u043e\u043b\u044f:\u00a0req_id<\/strong>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043b\u0430\u043b\u0438 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0439 id<\/strong> \u0437\u0430\u043f\u0440\u043e\u0441\u0430,\u00a0severity<\/strong>\u00a0\u2014 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f,\u00a0code<\/strong>\u00a0\u2014 HTTP-\u043a\u043e\u0434 \u043e\u0442\u0432\u0435\u0442\u0430, text<\/strong>\u00a0\u2014 \u0432\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u043a\u0441\u0442.<\/p>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043b\u043e\u0433\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0441\u0435\u043a\u0446\u0438\u044e\u00a0FILTER<\/strong>.<\/p>\n
[FILTER]     Name parser     Match app.logs     Key_Name log     Parser app_log_parser     Reserve_Data On<\/code><\/pre>\n
\u0422\u0443\u0442 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043c, \u0447\u0442\u043e \u0438\u0449\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u043e\u0433\u0438, \u0442\u0435\u0433 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0app.logs<\/strong>, \u0431\u0435\u0440\u0451\u043c \u0438\u0437 \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u043b\u0435\u00a0log<\/strong>, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043a \u043d\u0435\u043c\u0443 \u043d\u0430\u0448 \u043f\u0430\u0440\u0441\u0435\u0440\u00a0app_log_parser<\/strong>, \u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044f \u043b\u043e\u0433\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c (Reserve_Data On<\/strong>).<\/p>\n
\u0428\u0430\u0433 4. \u041e\u0442\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 Cloud Logging<\/h2>\n
\u041d\u0443 \u0432\u043e\u0442 \u043c\u044b \u0438 \u043f\u043e\u0434\u043e\u0448\u043b\u0438 \u043a \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0435 \u043b\u043e\u0433\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u043a\u043e. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 Fluent Bit \u0438\u0437 \u043e\u0431\u0440\u0430\u0437\u0430, \u043a\u0443\u0434\u0430 \u0443\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u00a0\u043f\u043b\u0430\u0433\u0438\u043d Yandex Cloud Logging<\/a>, \u043d\u0443\u0436\u043d\u043e \u043b\u0438\u0448\u044c \u0441\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u043a\u0446\u0438\u044e\u00a0OUTPUT<\/strong>.<\/p>\n
[OUTPUT]     Name            yc-logging     Match           *     group_id        ${YC_GROUP_ID}     message_key     text     level_key       severity     default_level   WARN     authorization   instance-service-account<\/code><\/pre>\n
\u0414\u043b\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0438 \u043b\u043e\u0433\u043e\u0432 \u043d\u0443\u0436\u043d\u0430 \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f. \u041c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u043f\u0440\u0438\u0432\u044f\u0436\u0435\u043c \u043a \u0412\u041c \u0441\u0435\u0440\u0432\u0438\u0441\u043d\u044b\u0439 \u0430\u043a\u043a\u0430\u0443\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0432\u044b\u0434\u0430\u0434\u0438\u043c \u0440\u043e\u043b\u044c, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043b\u043e\u0433\u043e\u0432\u00a0logging.writer<\/strong>, \u0438\u043b\u0438\u00a0\u0432\u044b\u0448\u0435<\/a>.<\/p>\n
\u041e\u0442\u043b\u0438\u0447\u043d\u043e, \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0412\u041c \u0441 \u044d\u0442\u0438\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438.<\/p>\n
\u041d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f id image<\/strong>, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0442\u044c \u0412\u041c:<\/p>\n
IMAGE_ID=$(yc compute image get-latest-from-family container-optimized-image --folder-id standard-images --format=json | jq -r .id)<\/code><\/pre>\n
\u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0433\u043e \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0412\u041c:<\/p>\n
yc compute instance create \\     --name coi-vm \\     --zone=ru-central1-a \\     --network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4 \\     --metadata-from-file user-data=user-data.yaml,docker-compose=spec.yaml \\     --create-boot-disk image-id=$IMAGE_ID \\     --service-account-name service-account<\/code><\/pre>\n
\u041a\u043e\u0433\u0434\u0430 \u0412\u041c \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0451\u0442\u0441\u044f \u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u043d\u0430 \u043d\u0435\u0439 \u0437\u0430\u043f\u0443\u0441\u0442\u044f\u0442\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u0432 Cloud Logging \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043b\u043e\u0433\u0438:<\/p>\n
<\/figcaption><\/figure>\n
\u0415\u0441\u043b\u0438 \u043a\u043b\u0438\u043a\u043d\u0443\u0442\u044c \u043d\u0430 \u0438\u043a\u043e\u043d\u043a\u0443 \u0433\u043b\u0430\u0437\u0430, \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<\/p>\n
<\/figcaption><\/figure>\n
\u041f\u043e \u043d\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043f\u0440\u043e\u0441 json_payload.code >= 400 \u043d\u0430\u0439\u0434\u0451\u0442 \u0432\u0441\u0435 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043b\u043e\u0433\u043e\u0432, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0432\u0448\u0438\u043c\u0438 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n
<\/figcaption><\/figure>\n
\u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432\u0441\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u043e\u0442\u043d\u043e\u0441\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0435\u0441\u043b\u0438 \u043f\u043e\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e json_payload.req_id.<\/p>\n
\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u044f\u0437\u044b\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/a>. \u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 GitHub<\/a>.<\/p>\n
P.\u00a0S.<\/strong>\u00a0Yandex Cloud Logging \u2014 \u044d\u0442\u043e serverless-\u0441\u0435\u0440\u0432\u0438\u0441 \u0432 Yandex.Cloud. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 Serverless-\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0432\u0441\u0435, \u0447\u0442\u043e \u0441 \u044d\u0442\u0438\u043c \u0441\u0432\u044f\u0437\u0430\u043d\u043e, \u0437\u0430\u0445\u043e\u0434\u0438\u0442\u0435 \u0432\u00a0\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e \u0432 Telegram<\/a>, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c serverless \u0432 \u0446\u0435\u043b\u043e\u043c.<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n

 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/articles\/587424\/<\/a>
<\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-408046","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/408046","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=408046"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/408046\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=408046"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=408046"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=408046"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}