{"id":298889,"date":"2020-02-18T15:00:47","date_gmt":"2020-02-18T15:00:47","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=298889"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=298889","title":{"rendered":"\u0427\u0442\u043e \u043c\u044b \u0443\u0437\u043d\u0430\u043b\u0438 \u043e SRE, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u0435 150 \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d-\u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432"},"content":{"rendered":"\n<div class=\"post__text post__text-html\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/oleg-bunin\/blog\/480628\/\">\u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0441\u0442\u0438\u0447\u044c. \u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u044f\u0442, \u0438\u0437-\u0437\u0430 \u0441\u0431\u043e\u0435\u0432 \u043f\u043e\u0441\u0440\u0435\u0434\u043d\u0438\u043a\u043e\u0432 \u2014 \u0441\u043e\u0442\u043e\u0432\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u043d\u0443\u0442\u0441\u044f \u0431\u0435\u0437 \u043d\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043d\u044f\u0442\u044b \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0442\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u044b \u043a\u043b\u0438\u0435\u043d\u0442\u044b, \u0431\u0438\u0437\u043d\u0435\u0441 \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0441 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c\u0438. \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f Site Reliability Engineering. \u0415\u0435 \u0432\u0432\u0435\u043b Google \u0432 2003 \u0433\u043e\u0434\u0443 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0435\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u00ab\u0444\u0443\u0442\u0431\u043e\u043b\u00bb \u0441 \u0431\u0430\u0433\u0430\u043c\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0438 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0435\u0439.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dp\/em\/pv\/dpempvbthpsma4q6vvt19ii1yjq.jpeg\"><\/p>\n<p>  \u041a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f SRE \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043d\u043e\u0433\u043e \u00ab\u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0449\u0435\u0439\u00bb. \u0412 SRE \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0438\u0448\u0443\u0442 \u043a\u043e\u0434, \u043d\u043e \u0438 \u0441\u043b\u0435\u0434\u044f\u0442 \u0437\u0430 \u0442\u0435\u043c, \u043a\u0430\u043a \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d\u0435. \u0414\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u0441\u0430\u0439\u0442\u043e\u0432 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0432 \u0432\u0438\u0434\u0435 \u0447\u0435\u0442\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438. \u0415\u0449\u0435 \u0432 SRE \u0435\u0441\u0442\u044c \u00ab\u043f\u0440\u0430\u0432\u043e \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0443\u00bb \u0438\u043b\u0438 Error Budget. \u041a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u00ab\u043f\u0440\u0430\u0432\u043e\u00bb \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u043e, \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435\u043c \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u043d\u0435\u0442 \u2014 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u0434 \u043d\u043e\u0432\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438.<\/p>\n<p>  \u041e\u0431\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 <strong>\u041c\u0430\u0442\u0432\u0435\u0439 \u041a\u0443\u043a\u0443\u0439<\/strong>. SLI, SLO \u0438 Error Budget, \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0438 \u0438\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u043d\u0430\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0432 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0435 \u2014 \u043e\u0431\u043e \u044d\u0442\u043e\u043c \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u043a\u0435\u0439\u0441\u044b \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438.<\/p>\n<div class=\"oembed\">\n<div>\n<div style=\"left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.2493%;\"><iframe src=\"https:\/\/www.youtube.com\/embed\/ryqCifwOmPc?rel=0&amp;showinfo=1&amp;hl=en-US\" style=\"border: 0; top: 0; left: 0; width: 100%; height: 100%; position: absolute;\" allowfullscreen scrolling=\"no\"><\/iframe><\/div>\n<\/div>\n<\/div>\n<p><a name=\"habracut\"><\/a><br \/>  <a href=\"https:\/\/www.facebook.com\/matkuk\">\u041c\u0430\u0442\u0432\u0435\u0439 \u041a\u0443\u043a\u0443\u0439<\/a> (<a href=\"https:\/\/habr.com\/ru\/users\/matvey-kuk\/\" class=\"user_link\">Matvey-Kuk<\/a>) CEO \u0438 \u0441\u043e\u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Amixr.IO. \u0420\u0430\u0431\u043e\u0442\u0430\u043b \u0432 Kaspersky, CTO \u0432 HuskyJam \u0438 \u0432 Cisco. \u041f\u0435\u0440\u0435\u0434 Amixr.IO \u043f\u0435\u0440\u0435\u0448\u0435\u043b \u0432 \u0441\u0442\u0430\u0440\u0442\u0430\u043f Constructor IO. \u0421\u0442\u0430\u0440\u0442\u0430\u043f \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0438\u0437 7 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0440\u043e\u0438\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0443 Algolia \u0441\u043e \u0448\u0442\u0430\u0442\u043e\u043c \u0432 150. \u0412 Constructor IO \u041c\u0430\u0442\u0432\u0435\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u043b \u0437\u0430 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438 \u0440\u0435\u0430\u043a\u0446\u0438\u044e \u043d\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0438\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f \u0432\u0441\u0435, \u0447\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0436\u043d\u043e.<\/p>\n<h2>Amixr Inc.<\/h2>\n<p>  Amixr \u2014 \u044d\u0442\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c\u0438. \u041e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0431 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u0445 \u043e\u0442 \u0441\u0438\u0441\u0442\u0435\u043c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u043d\u0435 \u0438\u0445 \u043a\u043e\u043d\u0442\u0443\u0440\u043e\u0432. \u041a\u043e\u0433\u0434\u0430 Amixr \u0432\u0438\u0434\u0438\u0442 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442, \u043e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 Slack, Telegram \u0438\u043b\u0438 \u043f\u043e SMS. \u041a\u0430\u043a Amixr \u0431\u0443\u0434\u0435\u0442 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u0430: \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443. \u041f\u0440\u0438\u0447\u0435\u043c \u0418\u0418 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u0431\u043b\u044e\u0434\u0430\u0442\u044c \u0431\u0430\u043b\u0430\u043d\u0441: \u0438 \u0447\u0442\u043e\u0431\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u043d\u0435 \u0432\u044b\u0433\u043e\u0440\u0435\u043b\u0438, \u0438 \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d \u043d\u0435 \u043b\u0435\u0436\u0430\u043b \u0434\u043e\u043b\u0433\u043e.<\/p>\n<p>  \u041a\u043b\u0438\u0435\u043d\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u0432 Amixr \u0447\u0435\u0440\u0435\u0437 API.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yz\/po\/nj\/yzponjqccp6i95vxg3fghswdkd0.png\"><\/p>\n<p>  \u0421\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b Amixr \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0434\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u043b\u043e \u043a \u043d\u0430\u043c \u0441\u0432\u043e\u0438 Grafana, Alertmanager, Sentry.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/kl\/2o\/3r\/kl2o3rlsv8nanvl8bomzm3xsf9c.png\"><\/p>\n<p>  \u041d\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043a\u043e\u043c\u0430\u043d\u0434, \u0430 \u043d\u0435 \u0438\u0437\u043d\u0443\u0442\u0440\u0438 \u2014 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u044c\u044e\u0438\u0440\u0443\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0443 \u043d\u0438\u0445 \u0438 \u043a\u0430\u043a. \u0412 \u0441\u0432\u043e\u0435\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0435 \u044f \u043e\u043f\u0438\u0440\u0430\u044e\u0441\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<h3>\u0427\u0442\u043e \u0445\u043e\u0442\u044f\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u044b<\/h3>\n<p>  <strong>\u00ab\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435\u00bb \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432<\/strong>. \u041d\u0438\u0447\u0435\u0433\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442, \u043d\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u043e\u0447\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0436\u0435\u0441\u0442\u043a\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e.<\/p>\n<p>  <strong>\u0418\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u043d\u0435 \u0445\u043e\u0442\u044f\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f<\/strong>. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u0434\u0435\u0436\u0443\u0440\u044f\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043b\u044e\u0434\u0438, \u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 SRE \u0438\u043b\u0438 DevOps-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432.<\/p>\n<p>  <strong>\u0427\u0438\u0441\u043b\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u044b<\/strong> \u0438, \u0432 \u0438\u0434\u0435\u0430\u043b\u0435, \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439.<\/p>\n<h2>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432<\/h2>\n<p>  \u0414\u043b\u044f \u0441\u0435\u0431\u044f \u043c\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u043c 4 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432. \u0421\u0430\u043c\u044b\u0435 \u044f\u0440\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u0438 \u0438\u0437 \u043d\u0438\u0445: Grafana, Alertmanager, Crashlytics \u0438 \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/y5\/tz\/ex\/y5tzexcf_nli5ujgshlex1_ubjc.jpeg\"><\/p>\n<h3>Grafana<\/h3>\n<p>  \u0421\u0430\u043c\u0430\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0443 \u043d\u0430\u0441. \u041e\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043b\u0438 Grafana, \u0432 \u0430\u043f\u0440\u0435\u043b\u0435 2019 \u043c\u044b \u043f\u0440\u0438\u043d\u044f\u043b\u0438 <strong>30 \u0442\u044b\u0441\u044f\u0447<\/strong> \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432, \u0430 \u0432 \u0430\u0432\u0433\u0443\u0441\u0442\u0435 \u0443\u0436\u0435 <strong>120 \u0442\u044b\u0441\u044f\u0447<\/strong>.<\/p>\n<p>  \u0423 Grafana \u0435\u0441\u0442\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c. \u041e\u043d\u0430 \u043d\u0435 \u0432\u0441\u0435\u043c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430, \u0445\u043e\u0442\u044f \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u043d\u0430. Grafana \u0443\u043c\u0435\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0430\u043b\u0435\u0440\u0442\u044b (\u044d\u0442\u043e \u043d\u0435 \u043d\u043e\u0432\u043e\u0441\u0442\u044c). \u041d\u043e Grafana \u0443\u043c\u0435\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u00ab\u041e\u041a\u00bb.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ou\/jk\/7y\/oujk7ywv-zs0v6qszayyxwojjfq.png\"><\/p>\n<p>  \u0415\u0441\u043b\u0438 \u043a\u043e\u043f\u043d\u0435\u043c \u0441\u0432\u043e\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u0447\u0430\u0441\u0442\u043e \u0432\u0438\u0434\u0438\u043c \u044d\u0442\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2g\/5j\/q3\/2g5jq3xq4rvqut7kl59dxcdf0fi.jpeg\"><\/p>\n<p>  \u041e\u0434\u0438\u043d \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0446\u0435\u043f\u043e\u0447\u0435\u043a \u0438\u0437 \u00ab\u041e\u041a\u00bb \u0438 \u0430\u043b\u0435\u0440\u0442\u043e\u0432.<\/p>\n<p>  <i> \u2014 \u0427\u0442\u043e-\u0442\u043e \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c?<br \/>   \u2014 \u041d\u0435\u0442, \u0432\u0441\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. <br \/>   \u2014 \u0427\u0442\u043e-\u0442\u043e \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c?<br \/>   \u2014 \u041d\u0435\u0442, \u0432\u0441\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e.<\/i><\/p>\n<p>  \u0426\u0435\u043f\u043e\u0447\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043f\u0438\u0442\u044c\u0441\u044f \u0434\u043d\u044f\u043c\u0438 \u0438 \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438. \u042d\u0442\u043e \u043d\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0442\u0430\u043a \u0441\u0435\u0431\u044f \u0432\u0435\u0434\u0435\u0442. \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u0445 \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0441\u0440\u0435\u0434\u044b: \u0440\u0430\u0441\u0442\u0435\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430, \u0434\u0435\u043f\u043b\u043e\u0439 \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043a \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430\u043c.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nx\/ip\/gr\/nxipgry5bzy1vpt8mnnfzgwwxlk.png\"><\/p>\n<p>  \u0421\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043d\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u0430, \u043d\u043e \u043e\u0442\u0432\u043b\u0435\u043a\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0434\u0435\u043d\u0435\u0433. \u0421 \u044d\u0442\u0438\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u0440\u043e\u0442\u044c\u0441\u044f.  <\/p>\n<blockquote><p>Grafana \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u0430.<\/p><\/blockquote>\n<p>\u041f\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u043d\u0430\u0448\u0435\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b, 20% \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 (\u043c\u0435\u0442\u0440\u0438\u043a \u0432 Grafana) \u043d\u0430 \u043e\u0434\u043d\u043e \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0435 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 5 \u0430\u043b\u0435\u0440\u0442\u043e\u0432 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<h3>Alertmanager<\/h3>\n<p>  \u041c\u043e\u0439 \u043b\u044e\u0431\u0438\u043c\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0447\u0438\u0432\u044b\u0439. \u041e\u043d \u0443\u043c\u0435\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430, \u0447\u0435\u043c \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043d\u0435\u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043d\u0430\u0448\u0438\u043c \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c.<\/p>\n<p>  \u0412 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 Alertmanager \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u0441\u0442\u043e\u0438\u0442 \u043f\u0430\u0440\u0430\u0433\u0440\u0430\u0444 \u043e \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rj\/er\/ht\/rjerhtslq3ci9ppqu6vuwroqzoc.png\"><\/p>\n<p>  \u0413\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0432 Alertmanager \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a.<\/p>\n<ul>\n<li><code>group_by: ['instance', 'job']<\/code> \u2014 \u043c\u043e\u0436\u043d\u043e \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0435\u0440\u0442\u044b \u043f\u043e \u043b\u0435\u0439\u0431\u043b\u0430\u043c.<\/li>\n<li><code>group_wait: 45s<\/code>. \u042d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430 \u0438 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 AlertManager \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u0442, \u0434\u0435\u0440\u0436\u0438\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442 \u0432\u043e \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a.<\/li>\n<li><code>group_interval: 2m # Usually ~5 mins or more<\/code> \u2014 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u043d\u043e\u0432\u043e\u0433\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430. \u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430\u0445 \u043e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0435 2 \u043c\u0438\u043d\u0443\u0442\u044b.<\/li>\n<\/ul>\n<p>  \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044e \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0421\u0442\u044b\u043a \u043c\u0435\u0436\u0434\u0443 \u0437\u0435\u043b\u0435\u043d\u043e\u0439 \u0438 \u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u2014 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430. \u0427\u0435\u0440\u0435\u0437 45 \u0441 \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0435\u0440\u0432\u044b\u0439 \u0430\u043b\u0435\u0440\u0442, \u0430 \u0447\u0435\u0440\u0435\u0437 2 \u043c\u0438\u043d\u0443\u0442\u044b \u0435\u0449\u0435 \u043e\u0434\u0438\u043d. 4 \u0447\u0430\u0441\u0430 \u2014 \u044d\u0442\u043e repeat-\u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0440\u0435\u043c\u044f, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 Alertmanager \u043f\u0435\u0440\u0435\u0434\u0430\u0441\u0442 \u0432\u0441\u0435 \u0430\u043b\u0435\u0440\u0442\u044b \u0437\u0430\u043d\u043e\u0432\u043e.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ox\/cw\/z7\/oxcwz7xk5e-nq1sw71c45mx-xww.png\"><\/p>\n<p>  \u041a\u0430\u043a \u0432\u0441\u0435 \u0432\u0438\u0434\u044f\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xs\/qy\/qz\/xsqyqzkk9djgmoza5g0po9yqqs4.png\"><\/p>\n<p>  \u042d\u0442\u043e \u0441\u043a\u0440\u0438\u043d\u0448\u043e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u043f\u043e\u0442\u043e\u043a\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0432 \u0447\u0430\u0441. \u041a\u043e\u0433\u0434\u0430 \u043e\u043d\u0438 \u0443\u0436\u0435 \u0443\u0437\u043d\u0430\u043b\u0438 \u043e\u0431 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0435, \u043a\u0430\u0436\u0434\u044b\u0435 3 \u043c\u0438\u043d\u0443\u0442\u044b \u0438\u043b\u0438 \u0447\u0430\u0449\u0435, \u043e\u043d\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0430\u043b\u0435\u0440\u0442\u044b: \u0432 Slack, Telegram, \u043a\u0442\u043e-\u0442\u043e \u0437\u0432\u043e\u043d\u0438\u0442 \u0441\u0435\u0431\u0435 \u043d\u0430 \u0442\u0435\u043b\u0435\u0444\u043e\u043d \u0438\u0437 Twilio. \u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0430 \u043a\u0430\u0436\u0434\u044b\u0435 2 \u043c\u0438\u043d\u0443\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0437\u0432\u043e\u043d\u043e\u043a.  <\/p>\n<blockquote><p>Alertmanager \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u043e\u043f\u043e\u0432\u0435\u0449\u0435\u043d\u0438\u0439.<\/p><\/blockquote>\n<p>  <\/p>\n<h3>Crashlytics\/fabric<\/h3>\n<p>  \u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438 \u0442\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 (\u043d\u0438\u0436\u0435) \u0443 fabric \u0438 Sentry, \u043d\u0430\u043c \u0431\u044b\u043b\u043e \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043f\u043e\u0447\u0435\u043c\u0443 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u044b\u0436\u043e\u043a, \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0437\u0440\u044b\u0432 \u0438 \u0443 \u0432\u0441\u0435\u0445 \u043e\u0434\u0438\u043d \u043f\u0430\u0442\u0442\u0435\u0440\u043d.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/98\/db\/tu\/98dbtuljatnnq01ppn5mf1kqya0.jpeg\"><br \/>  <em>\u0413\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u044c \u044d\u0442\u043e \u0434\u0430\u0442\u0430: \u043e\u0434\u0438\u043d \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u2014 \u043e\u0434\u0438\u043d \u0434\u0435\u043d\u044c. \u041f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0441\u0438 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043b\u0435\u0440\u0442\u043e\u0432. \u0412\u0435\u0440\u0445\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u2014 100 \u0430\u043b\u0435\u0440\u0442\u043e\u0432 \u0434\u0435\u043d\u044c.<\/em><\/p>\n<p>  \u041c\u044b \u0440\u0430\u0441\u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442. \u0412\u043e\u0442, \u0447\u0442\u043e \u043c\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438.<\/p>\n<ul>\n<li><strong>\u0414\u0435\u043f\u043b\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438<\/strong> \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 (exception).<\/li>\n<li>\u041f\u043e\u0441\u043b\u0435 \u0434\u0435\u043f\u043b\u043e\u044f \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u043d\u0430\u0435\u0442 \u043e \u0441\u0432\u043e\u0438\u0445 \u0431\u0430\u0433\u0430\u0445 \u0438 <strong>\u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442<\/strong> \u043d\u0430\u0441, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u0437\u0430\u0432\u0430\u043b\u0438\u0432\u0430\u043b\u043e \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u2014 \u043e\u043d\u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/li>\n<li><strong>\u041d\u043e \u0431\u0435\u0437 \u0430\u043b\u0435\u0440\u0442\u043e\u0432 \u0441\u0442\u0440\u0430\u0448\u043d\u043e<\/strong> \u0438 \u043d\u0430\u0441 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e.<\/li>\n<\/ul>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/o3\/k5\/7a\/o3k57aeoa8ue1q5jygymfx-zav0.jpeg\"><\/p>\n<p>  \u041a\u043e\u043c\u0430\u043d\u0434\u044b \u00ab\u043e\u0442\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u00bb \u0440\u0435\u0436\u0438\u043c \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044b\u043c\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u043c\u0438. \u0423 \u0442\u0430\u043a\u0438\u0445 \u043a\u043e\u043c\u0430\u043d\u0434 \u043d\u0435\u0442 \u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0431\u0430\u0433\u043e\u0432 \u043f\u043e \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e, \u0447\u0442\u043e \u0438\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u044b\u043c. \u0421\u0432\u0435\u0436\u0438\u043c\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043e\u043d\u0438 \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u2014 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043d\u043e\u0432\u044b\u0445 \u0431\u0430\u0433\u043e\u0432 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442.<\/p>\n<h3>\u0421\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0435<\/h3>\n<p>  \u0414\u043b\u044f \u043c\u0435\u043d\u044f \u044d\u0442\u043e \u0441\u0430\u043c\u044b\u0435 \u0438\u043d\u0442\u0440\u0438\u0433\u0443\u044e\u0449\u0438\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438. \u0421\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043d\u043e\u0433\u043e \u0432 \u043b\u044e\u0431\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0435 \u043a\u0430\u043a \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435.<\/p>\n<p>  <strong>\u0421\u043f\u0430\u043c\u044f\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u0430\u043a Alertmanager<\/strong>. \u042d\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e: \u043e\u043d\u0438 \u043e\u0431\u044b\u0447\u043d\u043e stateless, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u043d\u0430 Cron. \u0427\u0430\u0449\u0435 \u044d\u0442\u043e \u043c\u0430\u0448\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 Kafka, \u0430 \u043f\u043e\u0442\u043e\u043c \u0436\u0434\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u043e \u043f\u0440\u0438\u0434\u0435\u0442 \u0432 \u0411\u0414.<\/p>\n<p>  <strong>\u041c\u0435\u043d\u044f\u044e\u0442 \u043c\u043d\u0435\u043d\u0438\u0435, \u043a\u0430\u043a Grafana<\/strong>, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043a\u0440\u0443\u0442\u044f\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u043e\u0432.<\/p>\n<p>  \u041d\u043e \u0443 \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0435\u0441\u0442\u044c \u0431\u043e\u043d\u0443\u0441 \u2014 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0443 \u043d\u0438\u0445 \u043d\u0435\u0442 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430. \u041e\u0431\u044b\u0447\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0443\u0436\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043e\u043d\u0430 \u043d\u0435 \u0434\u0443\u043c\u0430\u0435\u0442, \u043a\u0430\u043a \u0435\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b <strong>\u0442\u0438\u0445\u043e \u043f\u0430\u0434\u0430\u044e\u0442<\/strong>. \u041f\u0430\u0434\u0435\u043d\u0438\u044f \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e. \u0415\u0441\u043b\u0438 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0448\u0443\u043c\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0430\u043b\u0435\u0440\u0442\u043e\u0432 \u0437\u0430\u043c\u043e\u043b\u0447\u0430\u043b\u0438, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043e\u043d\u0438 \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0435.<\/p>\n<h2>\u041f\u043b\u0430\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439<\/h2>\n<p>  \u041e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0443\u043d\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443:<\/p>\n<ul>\n<li>\u0441\u043d\u0438\u0436\u0430\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432;<\/li>\n<li>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u043f\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c;<\/li>\n<li>\u043f\u043e\u0432\u044b\u0448\u0430\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c;<\/li>\n<li>\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c.<\/li>\n<\/ul>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435.<\/p>\n<h2>\u0421\u043d\u0438\u0436\u0430\u0435\u043c \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0443<\/h2>\n<p>  \u0417\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f, \u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>  <em>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435. \u0414\u0430\u043b\u044c\u0448\u0435 \u044f \u0431\u0443\u0434\u0443 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0438\u0437 \u043a\u043d\u0438\u0433\u0438 Site Reliability Engineering. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u044d\u0442\u043e <\/em><strong><em>SLI<\/em><\/strong><em> (Service Level Indicator) \u2014 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438. \u042d\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0438\u0437\u043d\u0435\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.<\/em><\/p>\n<h3>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/h3>\n<p>  \u042d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433 \u2014 \u043f\u043e\u043d\u044f\u0442\u044c \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0441 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c\u044e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u0432\u044b\u0432\u043e\u0434\u0438\u043c \u0432 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 Grafana (\u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430) \u0433\u0440\u0430\u0444\u0438\u043a\u0438. \u041f\u0440\u043e\u0434\u0430\u043a\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0438\u0445, \u0432\u0438\u0434\u0438\u0442: \u00ab\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u0432 9 \u0441\u0435\u043a\u0443\u043d\u0434 \u2014 \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u043e!\u00bb \u0438 \u0441\u0442\u0430\u0432\u0438\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 Jira.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/zz\/qz\/w-\/zzqzw-vjg60sw_zerc3cqbxymuq.png\"><\/p>\n<p>  \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0438 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e\u0442 \u0436\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u0443\u0436\u0435 \u0438\u043d\u0430\u0447\u0435. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/km\/bb\/nc\/kmbbnchegwcb8nhbgz15fywvi1g.png\"><\/p>\n<p>  \u042d\u0442\u043e \u0447\u0430\u0441\u0442\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u0432\u0438\u0434\u044f\u0442 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445.<\/p>\n<h3>SLO<\/h3>\n<p>  \u041f\u0440\u043e\u0434\u0430\u043a\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 \u0441\u043e\u0431\u0440\u0430\u043b \u043c\u0438\u0442\u0438\u043d\u0433 \u0432\u0441\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0435\u0434\u0438\u043d\u044b\u043c\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u043c\u0438. \u0412\u0441\u0435 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u043d\u0430 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u043e\u0442\u0441\u0435\u0447\u043a\u0443. \u0414\u0430\u043b\u044c\u0448\u0435 \u0440\u0435\u0448\u0430\u044e\u0442, \u0447\u0442\u043e \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432 95 \u043f\u0435\u0440\u0446\u0435\u043d\u0442\u0438\u043b\u0435 \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 300 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u0440\u044b\u043d\u043a\u0443. \u041d\u043e \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u044d\u0442\u0438\u043c\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u043c\u0438 \u2014 \u043f\u0440\u0435\u0432\u044b\u0448\u0435\u043d\u0438\u044f\u043c\u0438 <strong>SLO<\/strong> (Service Level Objective)?<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/b4\/d8\/8v\/b4d88vxkqqufvwmzlk-j295-w1s.png\"><\/p>\n<p>  <strong>Service Level Objective<\/strong> \u2014 <strong>\u044d\u0442\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u0432 \u0432\u0438\u0434\u0435<\/strong><strong>\u043a\u0440\u0430\u0441\u043d\u043e-\u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u043f\u043e\u043b\u043e\u0441\u044b<\/strong>, \u043a\u043e\u0433\u0434\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043b\u0438\u0431\u043e \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442 \u043d\u0430\u0448\u0438\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c, \u043b\u0438\u0431\u043e \u043d\u0435 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442.  <\/p>\n<blockquote><p>\u041d\u0438\u0447\u0442\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 100% \u043d\u0430\u0434\u0435\u0436\u043d\u043e.<\/p><\/blockquote>\n<p>\u0415\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c 100% \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u043b\u044e\u0431\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0438 \u043d\u043e\u0432\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<p>  \u0418\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0439 \u0438\u0434\u0435\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0443\u0440\u043e\u0432\u0435\u043d\u044c SLO, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f. SLO \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u043c \u0441\u0435\u0431\u0435 \u0431\u044b\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b. \u042d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>Error Budget<\/strong>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0433\u0434\u0430 SLO \u2014 99%, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0430\u0434\u0430\u0442\u044c \u0432 1% \u0441\u043b\u0443\u0447\u0430\u0435\u0432. \u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e Error Budget.<\/p>\n<h3>\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0440\u0443\u043a\u0430\u043c\u0438<\/h3>\n<p>  \u041a\u043e\u0433\u0434\u0430 SLO \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043a \u043d\u0430\u0448\u0438\u043c \u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c, \u0432\u0441\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0437\u0430\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442 \u0430\u043b\u0435\u0440\u0442\u0430\u043c\u0438. \u0412\u0441\u0435 \u0431\u0435\u0440\u0443\u0442 \u043a\u0438\u0440\u043a\u0438 \u0438 \u00ab\u043b\u0430\u0442\u0430\u044e\u0442 \u0434\u044b\u0440\u044b\u00bb \u0440\u0443\u043a\u0430\u043c\u0438.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/8i\/_b\/sb\/8i_bsbblkuxyw8sxdqzg7zyr_py.jpeg\"><\/p>\n<p>  \u0420\u0430\u0431\u043e\u0442\u0430 \u043d\u0435\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0438 \u0441\u043a\u0443\u0447\u043d\u0430\u044f \u2014 \u043d\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043d\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0438 \u0443\u0447\u0438\u043b\u0430 Kubernetes, \u0447\u0442\u043e\u0431\u044b \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c \u043d\u043e\u0434\u044b \u0438 \u0444\u0430\u0439\u043b\u0438\u043a\u0438 \u043f\u043e FTTP. \u042d\u0442\u043e \u043d\u0438\u043a\u0447\u0435\u043c\u043d\u0430\u044f \u0438 \u043d\u0435\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430, \u043d\u043e \u0431\u0435\u0437 \u043d\u0435\u0435 \u043d\u0435 \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c. \u042d\u0442\u0443 \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 SRE \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 Toil &amp; Toil \u2014 \u00ab\u0442\u044f\u0436\u0435\u043b\u044b\u0439 \u0442\u0440\u0443\u0434\u00bb.<\/p>\n<p>  <strong>Toil Budget<\/strong>. \u041a\u0440\u043e\u043c\u0435 \u043c\u0435\u0442\u0440\u0438\u043a \u0438 SLO \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u043c \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0430 Toil &amp; Toil. \u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0432\u0441\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u0438 \u0440\u0435\u0448\u0430\u0435\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e \u043d\u0430 \u0440\u0443\u0447\u043d\u043e\u0439 \u0442\u0440\u0443\u0434 \u0443\u0434\u0435\u043b\u044f\u0435\u043c 10 \u0447\u0430\u0441\u043e\u0432 \u2014 \u044d\u0442\u043e \u043d\u0430\u0448 <strong>Toil Budget.<\/strong> \u0415\u0441\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u2014 \u043d\u0430\u043c \u0441\u043b\u043e\u0436\u043d\u043e \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0447\u0438\u043d\u0438\u0442\u044c, \u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e. \u041f\u0438\u0448\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e.<\/p>\n<pre><code class=\"bash\">if toil_used &gt; toil_budget:     automate(toil)<\/code><\/pre>\n<p>  \u0420\u0430\u0441\u0448\u0438\u0444\u0440\u0443\u044e: \u0435\u0441\u043b\u0438 \u0440\u0443\u0447\u043d\u043e\u0433\u043e \u0442\u0440\u0443\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u043e \u0432 \u0431\u044e\u0434\u0436\u0435\u0442\u0435, \u0442\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0438 \u0434\u0435\u043f\u043b\u043e\u0438. \u041f\u0440\u0430\u0432\u0438\u043b\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u043f\u0440\u043e\u0434\u0430\u043a\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u044b, \u043f\u0440\u043e\u0434\u0436\u0435\u043a\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u044b \u0438 \u0442\u0438\u043c\u043b\u0438\u0434\u044b \u043f\u0440\u0438\u043c\u0443\u0442 \u044d\u0442\u043e\u0442 \u0434\u043e\u0433\u043e\u0432\u043e\u0440.<\/p>\n<p>  \u0423 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0435\u0441\u0442\u044c \u0431\u043e\u043d\u0443\u0441.<\/p>\n<pre><code class=\"bash\">if toil_used &gt; toil_budget:     automate(toil)  else:     do smth else!<\/code><\/pre>\n<p>  \u0420\u0430\u0441\u0448\u0438\u0444\u0440\u0443\u044e: \u0435\u0441\u043b\u0438 \u0440\u0443\u0447\u043d\u043e\u0433\u043e \u0442\u0440\u0443\u0434\u0430 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0437\u0430\u043b\u043e\u0436\u0435\u043d\u043e \u0432 \u0431\u044e\u0434\u0436\u0435\u0442\u0435, \u0442\u043e \u043d\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u2014 \u0443 \u0432\u0430\u0441 \u0432\u0441\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e.<\/p>\n<h2>\u0411\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u043c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b<\/h2>\n<p>  \u041c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u0441\u043d\u0438\u0437\u0438\u043b\u0438 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0443. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0435 \u0441\u0430\u043c\u043e \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f: \u043a\u043e\u0433\u0434\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e, <strong>toil budget<\/strong> \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442\u0441\u044f \u0438 \u0434\u0435\u043f\u043b\u043e\u0438 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f. \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0431\u0430\u043b\u0430\u043d\u0441 \u2014 5 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0432 \u0434\u0435\u043d\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u043e 10-30 \u043c\u0438\u043d\u0443\u0442, \u0447\u0442\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e.<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e<strong> \u0440\u0430\u0437\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0435\u0440\u0442\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b<\/strong>. \u042d\u0442\u043e \u0440\u0435\u0434\u043a\u043e\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0440\u0430\u0437\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 enterprise-\u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u0438\u043b\u0438 \u0432 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430\u0445, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043b\u044e\u0434\u0438 \u0438\u0437 enterprise \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<p>  \u041e\u0431\u044a\u044f\u0441\u043d\u044e, \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>  \u041a\u043e\u0433\u0434\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0430\u043b\u0435\u0440\u0442 \u043e\u0431 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0435, \u043e\u043d \u0442\u0440\u0430\u0442\u0438\u0442 \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c 30 \u043c\u0438\u043d\u0443\u0442. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043d \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0439 \u0430\u043b\u0435\u0440\u0442 \u0438\u043b\u0438 \u043d\u0435\u0442, \u043f\u043e\u0442\u043e\u043c \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442, \u0430 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u2014 \u044d\u0442\u043e \u0436\u0435 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d.<\/p>\n<p>  5 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0432 \u0434\u0435\u043d\u044c \u043f\u043e 30 \u043c\u0438\u043d\u0443\u0442 (0,5 \u0447\u0430\u0441\u0430) \u044d\u0442\u043e 600 \u043c\u0438\u043d\u0443\u0442. \u0415\u0441\u043b\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f <strong>\u0432 \u043e\u0431\u0449\u0438\u0439<\/strong> Slack-\u043a\u0430\u043d\u0430\u043b, \u0433\u0434\u0435 \u0441\u0438\u0434\u0438\u0442 15 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u0442\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f 37, 5 \u0447\u0430\u0441\u043e\u0432 \u0432 \u043d\u0435\u0434\u0435\u043b\u044e: <code>0,5 * 5 * 15 = 37,5<\/code>.<\/p>\n<p>  \u041a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u044d\u0442\u0430 \u0446\u0438\u0444\u0440\u0430 \u0448\u043e\u043a\u0438\u0440\u0443\u0435\u0442. \u041d\u043e \u0435\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435: <code>0,5 * 5 = 2,5<\/code> \u0447\u0430\u0441\u0430<\/p>\n<p>  \u041a\u0430\u043a\u043e\u0439 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434?  <\/p>\n<blockquote><p>\u0412 \u043e\u0434\u0438\u043d \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0447\u0435\u043b\u043e\u0432\u0435\u043a.<\/p><\/blockquote>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432: \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f.<\/p>\n<h3>\u0420\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435<\/h3>\n<p>  \u0421 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c, \u0432 \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0435\u0436\u0443\u0440\u043d\u044b\u0439 \u0434\u043b\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/q1\/mk\/8c\/q1mk8cs60vngt9bhoirbt9wpv-g.png\"><\/p>\n<p>  \u0420\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u041f\u041e. \u0415\u0441\u043b\u0438 \u0432\u0440\u0443\u0447\u043d\u0443\u044e, \u0442\u043e \u044d\u0442\u043e \u0430\u0434: \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u0434\u043d\u044f \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0432 Excel, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0441\u0432\u043e\u0435 \u0434\u0435\u0436\u0443\u0440\u0441\u0442\u0432\u043e, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0432 Slack-\u043a\u0430\u043d\u0430\u043b\u0435. \u041d\u0435 \u043d\u0430\u0434\u043e \u0442\u0430\u043a.<\/p>\n<h3>\u041c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>  \u041f\u043e \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u043c \u0437\u043e\u043d\u0430\u043c: \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0443 \u0441\u0432\u043e\u0435 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e \u0411\u0414 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0430\u043b\u0435\u0440\u0442\u044b \u0438\u0437 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0437\u044b.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xw\/zv\/rb\/xwzvrbh0yayrcldhp93wwmoge6u.png\"><\/p>\n<p>  \u0423\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u0435 \u0443 \u043d\u0430\u0441 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a. \u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0437\u043e\u0432\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0432 Slack: \u00ab\u041c\u0430\u0442\u0432\u0435\u0439, \u0440\u0435\u0448\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0438\u043d\u0430\u0447\u0435 \u044f \u0442\u0435\u0431\u0435 \u043f\u043e\u0437\u0432\u043e\u043d\u044e\u00bb.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fj\/34\/mz\/fj34mz8omoettd_dkviwgzeu53k.png\"><\/p>\n<h2>\u041f\u043e\u0432\u044b\u0448\u0430\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u044f<\/h2>\n<p>  \u042d\u0442\u043e \u0440\u0435\u0434\u043a\u0438\u0439 \u043f\u0443\u043d\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0430\u0437\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0438\u043b\u0438 \u043d\u0435 \u043d\u0430\u043f\u0440\u044f\u0433\u0430\u0442\u044c \u0431\u0435\u0434\u043d\u044b\u0439 \u043c\u043e\u0437\u0433 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d \u043d\u0430\u0447\u043d\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u043c.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/cz\/yv\/0z\/czyv0zw6a84fsme_w2nqs2kjtru.jpeg\"><\/p>\n<h3>Runbooks<\/h3>\n<p>  \u042d\u0442\u043e \u00ab\u0432\u043e\u043b\u0448\u0435\u0431\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0435\u0442\u043a\u0430\u00bb, \u043d\u043e \u043c\u044b \u0437\u0430\u043c\u0435\u0447\u0430\u0435\u043c \u0438\u0445 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 5% \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  <strong>Runbook \u2014 \u044d\u0442\u043e \u0441\u0441\u044b\u043b\u043a\u0430 \u0432 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0435<\/strong>. \u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u043f\u043e\u0432\u0435\u0449\u0435\u043d\u0438\u0435, \u043d\u0430\u0436\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0441\u0441\u044b\u043b\u043a\u0443 \u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e. \u0412 \u043d\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u0430\u043a \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442 \u0438 \u043a\u0430\u043a \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c. <\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ji\/qd\/zs\/jiqdzsh0rfeimgb00w2r1rktbpq.png\"><\/p>\n<p>  Runbook \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0443 \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n<p>  \u041c\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u0435\u0449\u0435 \u0438 <strong>post mortem<\/strong> \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0443\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0435\u0442 \u0441\u043d\u043e\u0432\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/i1\/to\/vm\/i1tovmvlxaznxr91i9kcxdpfnso.png\"><\/p>\n<h3>\u0414\u0435\u0436\u0443\u0440\u0441\u0442\u0432\u043e \u0441 software-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438<\/h3>\n<p>  \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u2014 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u043a on call \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430 ( \u043d\u0435 DevOps \u0438 \u043d\u0435 SRE). \u0414\u043d\u0435\u043c \u043d\u0430 \u043d\u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u043f\u0430\u0440\u0443 \u0447\u0430\u0441\u043e\u0432 \u0434\u0435\u0436\u0443\u0440\u0441\u0442\u0432\u0430. \u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u0431\u044b\u043b \u043f\u0435\u0440\u0432\u044b\u043c, \u043a\u0442\u043e \u0443\u0437\u043d\u0430\u0435\u0442 \u043e\u0431 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0435 \u0438 \u043d\u0430\u0431\u0440\u0430\u043b \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.<\/p>\n<p>  \u042f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0442\u0430\u043a\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0438\u0437 15 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043c\u0435\u043d\u044f \u0443\u0434\u0438\u0432\u0438\u043b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0442 \u043f\u0438\u0448\u0435\u0442 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443 \u0438 \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u041d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043d\u0438\u043a \u043d\u0430\u0447\u043d\u0435\u0442\u0441\u044f \u0441\u043c\u0435\u043d\u0430 \u0438 \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0437\u0430 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d, \u0432\u0435\u0441\u044c \u043f\u043e\u043d\u0435\u0434\u0435\u043b\u044c\u043d\u0438\u043a \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437\u0443\u0447\u0430\u0435\u0442 \u0441\u0432\u043e\u044e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u0430\u043a \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u2026<\/p>\n<p>  \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u044f \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 bus factor.<\/p>\n<p>  \u0417\u0430 \u0434\u0435\u0436\u0443\u0440\u0441\u0442\u0432\u0430 \u043d\u0443\u0436\u043d\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u044c. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0434\u0435\u0436\u0443\u0440\u0438\u0442 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b. \u0413\u0440\u0430\u0444\u0438\u043a \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0436\u0443\u0440\u0441\u0442\u0432 \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0437 SLO.<\/p>\n<h2>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c<\/h2>\n<p>  \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u043f\u0440\u043e\u0447\u043b\u0438 \u043a\u043d\u0438\u0433\u0443 \u043e SRE \u0438 \u0432\u0441\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u044b \u043f\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c. \u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0441\u0435\u0445 \u0432 \u043f\u0435\u0440\u0435\u0433\u043e\u0432\u043e\u0440\u043a\u0435 \u0438 \u0434\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u043e SLI \u0438 SLO. \u0412\u0441\u0435 \u00ab\u043f\u0440\u043e\u0441\u0432\u0435\u0442\u043b\u0438\u043b\u0438\u0441\u044c\u00bb, \u0440\u0430\u0437\u043e\u0448\u043b\u0438\u0441\u044c, \u043d\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043d\u0430\u0447\u0430\u043b \u0434\u0435\u043b\u0430\u0442\u044c. \u041f\u043e\u0447\u0435\u043c\u0443?<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/it\/tp\/_d\/ittp_dlcgwohv1syqxa890rwzuw.jpeg\"><\/p>\n<p>  \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u0432 <strong>\u0434\u0440\u0435\u0439\u0444\u0430\u0445<\/strong>, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0438\u043b\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0439.<\/p>\n<h3>\u0414\u0440\u0435\u0439\u0444 \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/h3>\n<p>  \u041f\u0435\u0440\u0432\u044b\u0439 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0434\u0440\u0435\u0439\u0444. \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0439 \u043a\u043e\u0434 \u0438 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Grafana \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043a \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c, \u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0438 \u0448\u0443\u043c\u044f\u0442, \u043b\u0438\u0431\u043e \u043c\u043e\u043b\u0447\u0430\u0442.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nx\/ip\/gr\/nxipgry5bzy1vpt8mnnfzgwwxlk.png\"><\/p>\n<p>  \u042d\u0442\u043e\u0442 \u0434\u0440\u0435\u0439\u0444 \u043c\u044b \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c \u0443 \u0432\u0441\u0435\u0445. \u041e\u043d \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 1-2 \u043d\u0435\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u043c\u0435\u0441\u044f\u0446\u0430\u043c\u0438.<\/p>\n<p>  \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440 \u044d\u0442\u043e\u0433\u043e \u0434\u0440\u0435\u0439\u0444\u0430. \u0415\u0441\u043b\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u0433\u043e \u043c\u043e\u043b\u0447\u0438\u0442 \u0438\u043b\u0438 \u043c\u043d\u043e\u0433\u043e \u0448\u043b\u0435\u0442, \u043c\u044b \u043f\u0438\u0448\u0435\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043e\u0431\u0440\u0430\u0442\u0438\u043b\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ur\/ff\/4e\/urff4e4hhijlmbkajvk26lnzld8.png\"><\/p>\n<h3>\u0414\u0440\u0435\u0439\u0444 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432<\/h3>\n<p>  \u0421\u0430\u043c\u044b\u0439 \u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0434\u0440\u0435\u0439\u0444. \u041f\u0440\u0438\u0447\u0438\u043d\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0432 \u043f\u0441\u0438\u0445\u043e\u043b\u043e\u0433\u0438\u0438: \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0431\u0440\u0430\u0442\u044c \u043d\u0430 \u0441\u0435\u0431\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043d\u0435 \u0434\u0435\u0436\u0443\u0440\u044f\u0442. \u0414\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u044d\u0442\u043e \u0432\u0438\u0434\u044f\u0442 \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u044e\u0442 \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0438 \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u2014 \u0437\u0430\u0447\u0435\u043c, \u0435\u0441\u0442\u044c \u0436\u0435 \u00ab\u0441\u0430\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043d\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0443\u0432\u0435\u0434\u043e\u043c\u043b\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0434\u0438\u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0443 \u2014 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0437\u0430\u043d\u044f\u0442\u044b \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c\u0438, \u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0432\u043e\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u043c\u0438.<\/p>\n<p>  \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0440\u0435\u0439\u0444\u0430 \u0443 \u043d\u0430\u0441 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440. \u0427\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u043f\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u043c\u044b \u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0435\u0441\u0442\u044c \u00ab\u0433\u0435\u0440\u043e\u0439\u00bb, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0435\u0440\u0435\u0442 \u0432\u0441\u044e \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0441\u0435\u0431\u044f, \u0432\u0441\u0442\u0430\u0435\u0442 \u043d\u043e\u0447\u044c\u044e \u043d\u0435 \u0432 \u0441\u0432\u043e\u044e \u0441\u043c\u0435\u043d\u0443 \u0438 \u0432\u044b\u0433\u043e\u0440\u0430\u0435\u0442.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/6q\/r0\/u5\/6qr0u564ug_5jtpxxjcty2s-q2s.png\"><\/p>\n<h3>\u0414\u0440\u0435\u0439\u0444 \u0437\u043d\u0430\u043d\u0438\u0439 \u043e\u0431 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>  \u042d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b, \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u043b\u0433\u043e\u0433\u043e \u043e\u0442\u043f\u0443\u0441\u043a\u0430 \u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c\u0438, \u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u0447\u0435\u043c-\u0442\u043e \u043d\u043e\u0432\u044b\u043c \u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0443\u0436\u0435 \u0432\u0441\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0443, \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/o4\/fu\/t_\/o4fut_qy99hez7aflqlcpa_gxcs.png\"><\/p>\n<p>  \u041a\u0440\u043e\u043c\u0435 \u043e\u0442\u043f\u0443\u0441\u043a\u0430, \u0435\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435;<\/li>\n<li>\u043d\u043e\u0432\u0430\u044f \u0434\u043e\u043c\u0435\u043d\u043d\u0430\u044f \u0437\u043e\u043d\u0430;<\/li>\n<li>\u043d\u043e\u0432\u043e\u0435 \u041f\u041e.<\/li>\n<\/ul>\n<p>  \u042d\u0442\u043e \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0430\u0448\u0438\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0417\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0442\u044c \u0432\u0441\u0435\u043c \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432\u043e\u043c, \u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0430. \u041f\u0443\u0441\u0442\u044c \u043d\u0430\u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b, \u0438\u043d\u0430\u0447\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0442\u0438\u0432 \u0431\u0443\u0434\u0435\u0442 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043e\u0442\u0432\u043b\u0435\u043a\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043e\u0434\u043d\u043e\u043c\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443.<\/p>\n<h3>Production meeting<\/h3>\n<p>  \u0427\u0442\u043e\u0431\u044b \u0441\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u0438\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Production Meeting. \u041d\u0435 \u044f \u0435\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b \u2014 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u044c Site Reliability Engineering. \u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0440\u0430\u0441\u0442\u0443\u0449\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u0442\u043e\u043a \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  \u041d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0441\u0442\u0435\u043d\u0434\u0430\u043f\u0430\u0445 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0434 \u0447\u0435\u043c \u0438 \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0430. \u041d\u0430 Production Meeting \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u0437\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438: \u0432\u0441\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u0430\u0448\u0431\u043e\u0440\u0434 \u0438 \u0447\u0430\u0441\u0442\u043e \u0432\u0438\u0434\u0438\u0442 \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/aj\/rz\/mr\/ajrzmrzc4rj_lb2llw1hhnum2ui.png\"><\/p>\n<p>  \u0418\u0437\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442 \u0432 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c: \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0432\u0441\u043f\u043b\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u043b\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>  \u041d\u0430 Production Meeting \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u043b\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0443, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043f\u0438\u043b\u0438\u0441\u044c. \u041f\u043e\u0442\u043e\u043c \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u043f\u043b\u0430\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (action items). \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0441\u0442\u0435\u043d\u0434\u0430\u043f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442\u0443.<\/p>\n<h2>\u0412\u0441\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0440\u0430\u0437\u043d\u044b\u0435<\/h2>\n<p>  \u041c\u044b \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0441 \u0441\u043e\u0442\u043d\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443: \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0421\u0428\u0410 \u0438 \u0415\u0432\u0440\u043e\u043f\u0435. \u042d\u0442\u043e \u0431\u044b\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435, \u0434\u0430\u0436\u0435 \u0444\u0440\u0438\u043b\u0430\u043d\u0441-\u0433\u0440\u0443\u043f\u043f\u044b, \u043d\u043e \u0441\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u043d\u0435 \u0431\u044b\u043b\u043e \u0434\u0432\u0443\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434.<\/p>\n<p>  \u0427\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e \u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438?<\/p>\n<p>  <strong>\u0412\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430\u043c\u0438 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443<\/strong>. \u0415\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0432\u044b\u043d\u043e\u0441\u044f\u0442 \u043c\u043e\u0437\u0433 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442. \u0415\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442, \u0447\u0442\u043e \u0438\u0445 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d \u0432\u0430\u0436\u0435\u043d, \u0430 \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443 \u043d\u0438\u0445 \u043d\u0435\u0442 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432. \u041e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f serverless \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 \u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u0438\u0445 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b.<\/p>\n<p>  <strong>\u0418\u043d\u0446\u0438\u0434\u0435\u043d\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u043d\u0435 \u0434\u0440\u0435\u0439\u0444\u0443\u0435\u0442 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445 \u043c\u0435\u043d\u044c\u0448\u0435 3 \u0447\u0435\u043b\u043e\u0432\u0435\u043a<\/strong>. \u042d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u2014 \u0434\u0432\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043a\u0440\u0443\u0442\u044f\u0442\u0441\u044f, \u0443 \u043d\u0438\u0445 \u0432\u0441\u0435 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>  <strong>\u0412 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445 \u043e\u0442 10 \u0434\u043e 30 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u043d\u0435\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f<\/strong>. \u0412 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u043c\u0435\u0441\u0442\u043e \u0434\u043b\u044f \u0443\u0445\u043e\u0434\u0430 \u0432 \u0442\u0435\u043d\u044c, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u2014 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b. \u0412 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0447\u0435\u043c-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u043c, \u043d\u0435\u0442 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b.<\/p>\n<p>  <strong>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 enterprise-\u043f\u0440\u043e\u0435\u043a\u0442 \u2014 \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c<\/strong>. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u043b\u044e\u0434\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430 \u0441\u0432\u043e\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435: \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0437\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0437\u0430 post mortem \u0438 runbooks.<\/p>\n<p>  <strong>\u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u0437\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0448\u0442\u0430\u0442\u043d\u044b\u0439 \u0434\u0435\u0436\u0443\u0440\u043d\u044b\u0439<\/strong>. \u042d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0434\u043e\u043b\u0436\u043d\u043e\u0441\u0442\u044c \u0441 \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 &mdash;&nbsp;\u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u044b. \u0412 \u0442\u0430\u043a\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u0435\u0436\u0443\u0440\u043d\u044b\u0439 \u0441\u0438\u0434\u0438\u0442 \u0437\u0430 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043e\u043c, \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u043e\u0442\u043e\u043a \u043f\u0438\u0441\u0435\u043c, \u0430 \u0432 6 \u0432\u0435\u0447\u0435\u0440\u0430 \u0435\u0433\u043e \u0441\u043c\u0435\u043d\u044f\u044e\u0442. \u0418\u043c \u043d\u0443\u0436\u043d\u044b \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0443 \u043d\u0438\u0445 \u0432\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<blockquote><p>\u041c\u044b \u0443\u0434\u0435\u043b\u044f\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u0435\u043c\u0435 SRE \u043d\u0430 <a href=\"https:\/\/devopsconf.io\/moscow\/2020\">DevOpsConf<\/a>. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u043e\u043f\u044b\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0432\u044b \u0433\u043e\u0442\u043e\u0432\u044b \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f, <a href=\"https:\/\/conf.ontico.ru\/lectures\/propose?conference=dc2020-moscow&amp;amp;roistat_visit=317246\">\u043f\u0440\u0438\u0441\u044b\u043b\u0430\u0439\u0442\u0435 \u0437\u0430\u044f\u0432\u043a\u0443<\/a> \u043d\u0430 \u0434\u043e\u043a\u043b\u0430\u0434. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f \u0432 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u0435, \u043c\u044b \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u043d\u0430\u0434 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u0438 \u043d\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0437\u0430\u044f\u0432\u043a\u0443 \u0431\u0435\u0437 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0410 \u0435\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0442\u0435\u043c\u0430 \u0431\u043b\u0438\u0436\u0435 \u043a \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439, \u0447\u0442\u043e\u0431\u044b <a href=\"https:\/\/conf.ontico.ru\/lectures\/propose?conference=hl2020-spb\">\u043f\u043e\u0434\u0430\u0442\u044c \u0434\u043e\u043a\u043b\u0430\u0434<\/a> \u043d\u0430 <a href=\"https:\/\/www.highload.ru\/spb\/2020\">Saint HighLoad++<\/a>.<br \/>  \u041f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0439\u0442\u0435\u0441\u044c \u043d\u0430 <a href=\"http:\/\/eepurl.com\/bN_0E1\">\u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0443<\/a> \u0438\u043b\u0438 <a href=\"https:\/\/t.me\/DevOpsConfChannel\">telegram-\u043a\u0430\u043d\u0430\u043b<\/a>, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u0442\u044c \u0432 \u043a\u0443\u0440\u0441\u0435 \u0434\u0435\u0434\u043b\u0430\u0439\u043d\u043e\u0432 \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438.<\/p><\/blockquote>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/oleg-bunin\/blog\/480628\/\"> https:\/\/habr.com\/ru\/company\/oleg-bunin\/blog\/480628\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/company\/oleg-bunin\/blog\/480628\/\">\u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0441\u0442\u0438\u0447\u044c. \u0412 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u044f\u0442, \u0438\u0437-\u0437\u0430 \u0441\u0431\u043e\u0435\u0432 \u043f\u043e\u0441\u0440\u0435\u0434\u043d\u0438\u043a\u043e\u0432 \u2014 \u0441\u043e\u0442\u043e\u0432\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u043d\u0443\u0442\u0441\u044f \u0431\u0435\u0437 \u043d\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043d\u044f\u0442\u044b \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0442\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u044b \u043a\u043b\u0438\u0435\u043d\u0442\u044b, \u0431\u0438\u0437\u043d\u0435\u0441 \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0441 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c\u0438. \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f Site Reliability Engineering. \u0415\u0435 \u0432\u0432\u0435\u043b Google \u0432 2003 \u0433\u043e\u0434\u0443 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0435\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u00ab\u0444\u0443\u0442\u0431\u043e\u043b\u00bb \u0441 \u0431\u0430\u0433\u0430\u043c\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0438 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0435\u0439.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dp\/em\/pv\/dpempvbthpsma4q6vvt19ii1yjq.jpeg\"><\/p>\n<p>  \u041a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f SRE \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043d\u043e\u0433\u043e \u00ab\u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0449\u0435\u0439\u00bb. \u0412 SRE \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0438\u0448\u0443\u0442 \u043a\u043e\u0434, \u043d\u043e \u0438 \u0441\u043b\u0435\u0434\u044f\u0442 \u0437\u0430 \u0442\u0435\u043c, \u043a\u0430\u043a \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d\u0435. \u0414\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0438 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0438 \u0441\u0430\u0439\u0442\u043e\u0432 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0432 \u0432\u0438\u0434\u0435 \u0447\u0435\u0442\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438. \u0415\u0449\u0435 \u0432 SRE \u0435\u0441\u0442\u044c \u00ab\u043f\u0440\u0430\u0432\u043e \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0443\u00bb \u0438\u043b\u0438 Error Budget. \u041a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u00ab\u043f\u0440\u0430\u0432\u043e\u00bb \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u043e, \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435\u043c \u043d\u0430\u0434\u0435\u0436\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u043d\u0435\u0442 \u2014 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u0434 \u043d\u043e\u0432\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438.<\/p>\n<p>  \u041e\u0431\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 <strong>\u041c\u0430\u0442\u0432\u0435\u0439 \u041a\u0443\u043a\u0443\u0439<\/strong>. SLI, SLO \u0438 Error Budget, \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0438 \u0438\u0445 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043f\u043e \u043d\u0430\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0432 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0435 \u2014 \u043e\u0431\u043e \u044d\u0442\u043e\u043c \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u0447\u0435\u0440\u0435\u0437 \u043a\u0435\u0439\u0441\u044b \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438.<\/p>\n<div class=\"oembed\">\n<div>\n<div style=\"left: 0; width: 100%; height: 0; position: relative; padding-bottom: 56.2493%;\"><iframe src=\"https:\/\/www.youtube.com\/embed\/ryqCifwOmPc?rel=0&amp;showinfo=1&amp;hl=en-US\" style=\"border: 0; top: 0; left: 0; width: 100%; height: 100%; position: absolute;\" allowfullscreen scrolling=\"no\"><\/iframe><\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-298889","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/298889","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=298889"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/298889\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=298889"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=298889"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=298889"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}