{"id":317188,"date":"2021-01-29T15:01:18","date_gmt":"2021-01-29T15:01:18","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=317188"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=317188","title":{"rendered":"\u0412\u044b\u0436\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c: Cloud Composer \u043a\u0430\u043a fully-managed \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f Airflow"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442,&nbsp;\u0425\u0430\u0431\u0440! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0421\u0435\u0440\u0433\u0435\u0439, \u044f&nbsp;Lead&nbsp;Software&nbsp;Engineer\/Sream&nbsp;Lead&nbsp;\u0432 \u0415\u0420\u0410\u041c,&nbsp;\u0441\u0435\u0440\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439&nbsp;Google&nbsp;Cloud&nbsp;\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440. \u0423\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 10&nbsp;\u043b\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445&nbsp;\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445&nbsp;\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439,&nbsp;\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0441 \u0444\u043e\u043a\u0443\u0441\u043e\u043c \u043d\u0430&nbsp;\u0431\u044d\u043a\u0435\u043d\u0434.&nbsp;\u0410 \u0435\u0449\u0435 \u044f&nbsp;\u043e\u0447\u0435\u043d\u044c \u043b\u044e\u0431\u043b\u044e \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u044f\u043c\u0438.&nbsp;\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e&nbsp;Apache&nbsp;Airflow, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u043c&nbsp;\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f&nbsp;\u0432\u0430\u0448\u0438\u0445&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432.&nbsp;&nbsp;<\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u043f\u043b\u0430\u043d? <\/p>\n<ul>\n<li>\n<p>\u0412 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445&nbsp;\u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443&nbsp;\u043f\u0440\u043e&nbsp;Airflow \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0435\u0449\u0435&nbsp;\u0441 \u043d\u0438\u043c&nbsp;\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b.&nbsp;\u0412\u0441\u0435&nbsp;\u044d\u0442\u043e&nbsp;\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e&nbsp;\u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0430\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430,&nbsp;\u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0439\u0434\u0443\u0441\u044c&nbsp;\u043b\u0438\u0448\u044c&nbsp;\u043f\u043e&nbsp;\u0431\u0430\u0437\u043e\u0432\u044b\u043c&nbsp;\u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f\u043c.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435&nbsp;<a href=\"#GCC\">Google&nbsp;Cloud&nbsp;Composer<\/a>, \u043a\u0430\u043a \u043e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442&nbsp;Airflow&nbsp;\u0438&nbsp;\u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443&nbsp;\u043d\u0430&nbsp;\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430<a href=\"#dd\">&nbsp;development&nbsp;\u0438&nbsp;deployment&nbsp;\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438<\/a>&nbsp;\u0432 \u0440\u0430\u043c\u043a\u0430\u0445&nbsp;Google&nbsp;Cloud&nbsp;Composer,&nbsp;\u0430 \u0442\u0430\u043a\u0436\u0435&nbsp;\u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438&nbsp;\u0438&nbsp;\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f,&nbsp;\u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f&nbsp;\u0432\u043e \u0432\u0440\u0435\u043c\u044f&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430&nbsp;Airflow&nbsp;\u0432&nbsp;Cloud&nbsp;Composer.<\/p>\n<\/li>\n<li>\n<p>\u0418, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u044f \u043f\u043e\u0434\u0435\u043b\u044e\u0441\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438&nbsp;<a href=\"#instr\">\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438<\/a>,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c&nbsp;\u0432&nbsp;\u0440\u0430\u0431\u043e\u0442\u0435.&nbsp;&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p><strong>Airflow&nbsp;\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0430\u0431\u0437\u0430\u0446\u0430\u0445<\/strong>&nbsp;<\/p>\n<p>\u0418\u0442\u0430\u043a, \u044d\u0442\u043e&nbsp;\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442&nbsp;\u0434\u043b\u044f \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043d\u0430&nbsp;Python.&nbsp;\u0415\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f&nbsp;\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440&nbsp;Luigi. \u041d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430\u0445&nbsp;Airflow:&nbsp;&nbsp;<\/p>\n<ol>\n<li>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e&nbsp;\u0445\u043e\u0440\u043e\u0448&nbsp;\u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432. \u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0433\u043e \u0443&nbsp;\u043d\u0435\u0433\u043e&nbsp;\u0441\u0442\u043e\u0438\u0442&nbsp;\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439&nbsp;\u0430\u0446\u0438\u043a\u043b\u0438\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0444, \u043a\u043e\u0442\u043e\u0440\u044b\u0439&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c&nbsp;\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435&nbsp;\u0438\u043b\u0438&nbsp;\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447, \u0430 \u0435\u0449\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c&nbsp;\u0438\u0445&nbsp;\u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c&nbsp;\u0438&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044f\u043c\u0438.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c.&nbsp;\u0421\u0435\u0433\u043e\u0434\u043d\u044f&nbsp;\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442&nbsp;\u043c\u043d\u043e\u0433\u043e&nbsp;open-sourse&nbsp;\u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043b\u0438\u0431\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e&nbsp;\u043a \u043d\u0435\u043c\u0443&nbsp;\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441: \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0438 \u0443\u0434\u043e\u0431\u043d\u044b\u0439.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0418\u0434\u0435\u0442 \u0432 \u043f\u0430\u0447\u043a\u0435 \u0441&nbsp;REST API, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b&nbsp;\u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c&nbsp;\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e&nbsp;\u043e&nbsp;\u0438\u0445&nbsp;\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438&nbsp;\u043c\u044b \u043c\u043e\u0436\u0435\u043c&nbsp;\u0441&nbsp;\u043f\u043e\u043c\u043e\u0449\u044c\u044e&nbsp;API.&nbsp;<\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c&nbsp;ETL-pipeline&nbsp;\u0438\u0437 \u201c\u0436\u0438\u0432\u043e\u0433\u043e\u201d&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u0432 GCS&nbsp;\u0431\u0430\u043a\u0435\u0442\u0435. \u0418\u0445 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435, \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430&nbsp;\u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u0443\u0441\u0430 \u0441\u0435\u0440\u0432\u0438\u0441\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u0445.&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/758\/a83\/57b\/758a8357b88971c3ef076c45a1e1cb28.png\" width=\"1266\" height=\"427\"><figcaption><\/figcaption><\/figure>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441\u043e&nbsp;\u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438&nbsp;\u0431\u043b\u043e\u043a\u0430\u043c\u0438&nbsp;Airflow.&nbsp;\u041f\u0435\u0440\u0432\u044b\u043c \u0438\u0434\u0435\u0442&nbsp;<strong>DAG&nbsp;(Directed&nbsp;Acyclic&nbsp;Graph)<\/strong>&nbsp;\u2014&nbsp;\u0430\u0446\u0438\u043a\u043b\u0438\u0447\u043d\u044b\u0439 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439&nbsp;\u0433\u0440\u0430\u0444,&nbsp;\u043e\u0441\u043d\u043e\u0432\u0430&nbsp;Airflow. \u0412 \u0446\u0435\u043b\u043e\u043c \u044d\u0442\u043e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0437\u0430\u0434\u0430\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c. \u041e\u043d\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,&nbsp;\u043c\u043e\u0433\u0443\u0442&nbsp;\u0438\u043c\u0435\u0442\u044c&nbsp;\u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.&nbsp;&nbsp;<\/p>\n<p><strong>Tasks&nbsp;<\/strong>\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0440\u0430\u0431\u043e\u0442\u044b DAG \u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u044b \u043a\u0430\u043a \u0435\u0433\u043e \u0443\u0437\u043b\u044b.&nbsp;\u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0449\u0435, \u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438&nbsp;\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442,&nbsp;<em>\u0447\u0442\u043e<\/em>&nbsp;\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c.&nbsp;\u0410&nbsp;<strong>Operators<\/strong>&nbsp;\u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442,&nbsp;<em>\u043a\u0430\u043a&nbsp;<\/em>\u043c\u044b \u0445\u043e\u0442\u0438\u043c \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f&nbsp;\u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0437\u0430\u0434\u0430\u0447\u0438.&nbsp;\u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435&nbsp;\u0445\u043e\u0440\u043e\u0448\u043e&nbsp;\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u044d\u0442\u043e \u0443\u0437\u043b\u044b&nbsp;DAG-\u0430. \u041e\u043d\u0438&nbsp;\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438&nbsp;\u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432&nbsp;\u2014&nbsp;DataLoadOperator,&nbsp;GoogleCloudStorageListOperator&nbsp;\u0438&nbsp;UpdateStatusOperator&nbsp;\u2014&nbsp;\u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043a\u0443\u044e \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u043b\u043e\u0433\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c.&nbsp;\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0432\u044b\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u0432&nbsp;DAG-\u0435, \u043c\u043e\u0433\u0443\u0442&nbsp;\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u0412\u0441\u0435&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442&nbsp;\u0442\u0438\u043f\u0430&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044f&nbsp;\u0437\u0430\u0434\u0430\u0447&nbsp;\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432.&nbsp;&nbsp;<\/p>\n<p>E\u0449\u0435<strong>&nbsp;<\/strong>\u0435\u0441\u0442\u044c<strong>&nbsp;DAGs&nbsp;Run&nbsp;<\/strong>\u0438&nbsp;<strong>Tasks&nbsp;Instances.&nbsp;<\/strong>DAGs&nbsp;Run&nbsp;\u2014 \u044d\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u0441\u0430\u043c\u043e\u0433\u043e&nbsp;DAG\u0430,&nbsp;\u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0439&nbsp;\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0434\u0430\u0442\u0443.&nbsp;Tasks&nbsp;Instance&nbsp;\u2014 \u043e\u0431\u044a\u0435\u043a\u0442 \u0437\u0430\u0434\u0430\u0447\u0438,&nbsp;\u0430\u0441\u0441\u043e\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439&nbsp;\u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c&nbsp;DAG&nbsp;Run.&nbsp;\u0410 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u0442\u0430 \u0438 \u0432\u0440\u0435\u043c\u044f \u0434\u043b\u044f&nbsp;DAG&nbsp;Run&nbsp;\u0438 \u0435\u0433\u043e&nbsp;Tasks&nbsp;Instances&nbsp;\u2014 \u044d\u0442\u043e&nbsp;<strong>execution&nbsp;date.&nbsp;<\/strong>&nbsp;&nbsp;<\/p>\n<p>\u041a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b&nbsp;\u0432&nbsp;DAG \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043f\u0438\u0441\u043a\u0438&nbsp;\u0438&nbsp;\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u0434\u0430\u0447, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u0435 \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0435&nbsp;pipeline-\u044b.&nbsp;&nbsp;<\/p>\n<p>\u041f\u043b\u0430\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a&nbsp;\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442&nbsp;\u0432 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Airflow:&nbsp;&nbsp;<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a&nbsp;<\/strong>(Scheduler)&nbsp;\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442 \u0432\u0441\u0435&nbsp;DAG-\u0438,&nbsp;\u0437\u0430\u0434\u0430\u0447\u0438 \u0438&nbsp;\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442&nbsp;\u0437\u0430&nbsp;\u0438\u0445&nbsp;\u0441\u0432\u043e\u0435\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a&nbsp;\u0438&nbsp;\u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u0438&nbsp;<\/strong>(\u0438\u043b\u0438&nbsp;Executor)&nbsp;\u2014&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f&nbsp;\u0441\u043b\u0435\u0434\u0438\u0442&nbsp;\u0437\u0430&nbsp;\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0435\u0439&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f&nbsp;\u0437\u0430\u0434\u0430\u0447.&nbsp;\u041e\u043d\u0438 \u0431\u044b\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435:&nbsp;SequentialExecutor,&nbsp;CeleryExecutor&nbsp;\u0438 \u0434\u0440. \u0410 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u0438\u0437 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;CeleryExecutor&nbsp;\u0442\u0440\u0435\u0431\u0443\u0435\u0442&nbsp;Queue&nbsp;Broker.&nbsp;<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u043e\u0440\u043a\u0435\u0440\u044b<\/strong>&nbsp;(Workers)&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u043d\u0430\u0448\u0438 \u0437\u0430\u0434\u0430\u0447\u0438&nbsp;(\u043f\u043e\u0434\u043e\u0431\u043d\u043e&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c&nbsp;Celery).&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440<\/strong>&nbsp;\u043d\u0443\u0436\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u0442\u0435\u0445 \u0436\u0435&nbsp;HTTP-\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043f\u043e&nbsp;DAG-\u0430\u043c&nbsp;\u0438&nbsp;\u0437\u0430\u0434\u0430\u0447\u0430\u043c.&nbsp;\u041e\u043d&nbsp;\u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441 \u0431\u0430\u0437\u043e\u0439,&nbsp;\u0433\u0434\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f&nbsp;\u0434\u0430\u043d\u043d\u044b\u0435&nbsp;\u043e \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0437\u0430\u0434\u0430\u0447, \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445&nbsp;Airflow,&nbsp;DAG-\u0430\u0445, \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f\u0445 \u0438&nbsp;\u0442. \u0434.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u044f&nbsp;\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f&nbsp;\u043f\u0440\u043e&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435&nbsp;\u0437\u0430\u0434\u0430\u0447&nbsp;\u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0432&nbsp;<strong>Logs<\/strong>.&nbsp;\u041b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435&nbsp;\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442&nbsp;\u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0438\u0437 \u0441\u0430\u043c\u043e\u0433\u043e \u043a\u043e\u0434\u0430,&nbsp;\u0430 \u0442\u0430\u043a\u0436\u0435&nbsp;\u043f\u0438\u0448\u0443\u0442\u0441\u044f&nbsp;\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435&nbsp;\u043b\u043e\u0433\u0438&nbsp;Airflow.&nbsp;\u041c\u0435\u0441\u0442\u043e\u043c&nbsp;\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043b\u043e\u0433\u043e\u0432&nbsp;\u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0430\u0439\u043b\u044b, \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043b\u0438\u0431\u043e \u043a\u0430\u043a\u043e\u0435-\u043d\u0438\u0431\u0443\u0434\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0442&nbsp;\u0441loud-\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432&nbsp;Stackdriver&nbsp;\u0438\u043b\u0438&nbsp;\u0432&nbsp;GCS&nbsp;bucket&nbsp;. &nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e<strong>&nbsp;Admin&nbsp;Panel<\/strong>&nbsp;\u043c\u044b&nbsp;\u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c\/\u0434\u0435\u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c&nbsp;\u0438&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c&nbsp;DAG-\u0438,&nbsp;\u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c&nbsp;\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435,&nbsp;\u0441\u043c\u043e\u0442\u0440\u0438\u043c&nbsp;\u043b\u043e\u0433\u0438,&nbsp;\u043d\u0430\u0445\u043e\u0434\u0438\u043c&nbsp;\u043f\u0440\u0438\u0447\u0438\u043d\u044b&nbsp;\u043f\u0440\u043e\u0431\u043b\u0435\u043c&nbsp;(\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0447\u0435\u043c\u0443&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b&nbsp;\u201c\u0443\u043f\u0430\u043b\u0438\u201d).<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u0432\u0441\u0435&nbsp;\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u043c\u0435\u0441\u0442\u0435?&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/14f\/09d\/cd2\/14f09dcd2694a12446624b51eee51bd9.jpg\" width=\"1198\" height=\"450\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c&nbsp;Airflow&nbsp;\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u0431\u0430\u0437\u044b&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0437\u0430\u0434\u0430\u0447\u0430\u0445&nbsp;\u0438&nbsp;DAG-\u0430\u0445. \u041f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a&nbsp;\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0430&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u044b&nbsp;\u043f\u043e \u043c\u0435\u0440\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u0440\u0443\u0442 \u0438&nbsp;\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442&nbsp;\u0438\u0445.&nbsp;\u0412\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440&nbsp;\u043e\u0431\u044b\u0447\u043d\u043e&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f&nbsp;\u043d\u0430 \u0442\u043e\u0439 \u0436\u0435&nbsp;\u043c\u0430\u0448\u0438\u043d\u0435, \u0433\u0434\u0435 \u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a.&nbsp;\u041e\u043d&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442&nbsp;\u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f&nbsp;\u0440\u0435\u043d\u0434\u0435\u0440\u0430&nbsp;\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f&nbsp;\u0437\u0430\u0434\u0430\u0447,&nbsp;\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f&nbsp;task&nbsp;execution&nbsp;\u043b\u043e\u0433\u043e\u0432, \u0430&nbsp;\u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u0442&nbsp;\u0437\u0430\u043f\u0440\u043e\u0441\u044b&nbsp;Admin&nbsp;Panel. \u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 \u043e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445. \u0422\u043e \u0435\u0441\u0442\u044c&nbsp;\u044d\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e&nbsp;\u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u0442\u044c&nbsp;\u0438\u0445&nbsp;\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0438\u043b\u0438 \u0443\u0437\u043b\u0430\u0445 \u0432&nbsp;\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c&nbsp;\u0432\u0438\u0434\u0435, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438&nbsp;deployment-\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438.&nbsp;<\/p>\n<\/p>\n<p><strong>Google&nbsp;Cloud&nbsp;Composer&nbsp;\u0438\u0437\u043d\u0443\u0442\u0440\u0438<\/strong>&nbsp;<\/p>\n<p><a class=\"anchor\" name=\"GCC\" id=\"GCC\"><\/a><\/p>\n<p>Google&nbsp;Cloud&nbsp;Composer&nbsp;\u0438\u043b\u0438&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e&nbsp;Composer&nbsp;\u2014 \u044d\u0442\u043e&nbsp;fully&nbsp;managed&nbsp;\u0441\u0435\u0440\u0432\u0438\u0441&nbsp;\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c, \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c&nbsp;\u0432\u0430\u0448\u0438&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d&nbsp; \u0432&nbsp;&nbsp;cloud.&nbsp;&nbsp;<\/p>\n<p>\u0421\u0440\u0430\u0437\u0443&nbsp;\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u0438 \u043a\u043b\u0430\u0441\u0441\u043d\u043e.&nbsp;\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c,&nbsp;\u0443 \u043d\u0430\u0441&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043a\u043b\u0438\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u043e\u0447\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0439&nbsp;\u043f\u0435\u0440\u0435\u043d\u043e\u0441&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437&nbsp;storage&nbsp;A \u0432&nbsp;storage&nbsp;B.&nbsp;\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043d\u0430\u043f\u0438\u0448\u0435\u043c&nbsp;Airflow&nbsp;DAG,&nbsp;\u0437\u0430\u0434\u0435\u043f\u043b\u043e\u0438\u043c&nbsp;\u0435\u0433\u043e \u0432&nbsp;Composer&nbsp;\u0438&nbsp;\u0431\u0443\u0434\u0435\u043c&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c&nbsp;\u043d\u0430\u0448&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d&nbsp;\u0432&nbsp;\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432\u0440\u0435\u043c\u0435\u043d\u0438.&nbsp;\u0417\u0430\u0434\u0430\u0447\u0438&nbsp;\u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e,&nbsp;\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c&nbsp;\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435&nbsp;\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e.&nbsp;\u0415\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0447\u0442\u043e-\u0442\u043e \u0443\u043f\u0430\u0434\u0435\u0442, \u0442\u043e&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c&nbsp;retry, \u043a\u043e\u0442\u043e\u0440\u044b\u0439&nbsp;\u043f\u043e\u0434\u043d\u0438\u043c\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0438&nbsp;\u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u0442&nbsp;\u0437\u0430\u043d\u043e\u0432\u043e&nbsp;\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u044c.&nbsp;\u0412 \u043e\u0431\u0449\u0435\u043c, \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0437\u0430\u0434\u0430\u0447\u0438.&nbsp;\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c&nbsp;cron&nbsp;jobs, \u0441\u0442\u0440\u043e\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c 100 \u0440\u0430\u0437\u043d\u044b\u0445&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432,&nbsp;\u2014&nbsp;\u0431\u0435\u0437 \u043f\u043e\u043c\u043e\u0449\u0438&nbsp;Airflow&nbsp;\u0438&nbsp;Composer&nbsp;\u043e\u043f\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0437\u0430\u043f\u0443\u0441\u043a \u0438 \u043e\u0442\u043b\u0430\u0434\u043a\u0430 \u0434\u0430\u043b\u0438\u0441\u044c \u0431\u044b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0442\u0440\u0443\u0434\u043d\u0435\u0435.&nbsp;&nbsp;<\/p>\n<p>\u0418 \u0435\u0449\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e \u043f\u043b\u044e\u0441\u0430\u0445&nbsp;Composer:&nbsp;&nbsp;<\/p>\n<ul>\n<li>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445,&nbsp;\u0441 \u043d\u0438\u043c&nbsp;\u043b\u0435\u0433\u043a\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438&nbsp;\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u044c.&nbsp;Composer&nbsp;\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e\u0432\u0435\u0440\u0445&nbsp;Airflow&nbsp;\u0438&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Google&nbsp;Console&nbsp;\u0432\u0435\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439 UI \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d, \u0447\u0442\u043e\u0431\u044b&nbsp;\u0431\u044b\u043b\u043e&nbsp;\u0443\u0434\u043e\u0431\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c,&nbsp;\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f&nbsp;\u0438&nbsp;\u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b&nbsp;DAG-\u043e\u0432&nbsp;\u0441 \u043b\u0435\u0433\u043a\u043e\u0441\u0442\u044c\u044e. \u0422\u0430\u043c&nbsp;\u0443\u0436\u0435&nbsp;\u0432\u0441\u0435 \u0435\u0441\u0442\u044c, \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u043c&nbsp;\u0444\u0430\u0439\u043b\u044b&nbsp;DAG-\u043e\u0432,&nbsp;\u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432&nbsp;\u0438&nbsp;\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u0441\u043c\u043e\u0441\u0442\u0438, \u0430 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u044b\u0439&nbsp;Composer&nbsp;bucket&nbsp;\u0432&nbsp;GCS.&nbsp;\u0414\u0430\u043b\u044c\u0448\u0435&nbsp;\u0444\u0430\u0439\u043b\u044b \u0438\u0437 \u0431\u0430\u043a\u0435\u0442\u0430 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0432&nbsp;\u0443\u0437\u043b\u0430\u0445&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445,&nbsp;\u0443&nbsp;Composer&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c&nbsp;\u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u043f\u0440\u0438\u0447\u0435\u043c&nbsp;\u0432\u0441\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 UI.&nbsp;\u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c&nbsp;\u043d\u0443\u0436\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439&nbsp;\u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438&nbsp;\u0438&nbsp;\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438&nbsp;Airflow, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0442\u044c\u0441\u044f.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445,&nbsp;Composer&nbsp;\u0442\u0435\u0441\u043d\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u0441&nbsp;security-\u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0435\u0441\u0442\u044c \u0432&nbsp;Google&nbsp;Cloud. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;Private&nbsp;IPs,&nbsp;Authorization&nbsp;\u0438&nbsp;\u0442. \u0434.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412-\u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0445,&nbsp;Composer&nbsp;Console&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043c\u0435\u0442\u0440\u0438\u043a&nbsp;\u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439.&nbsp;&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435&nbsp;\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c&nbsp;\u043d\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b&nbsp;Composer.&nbsp;\u041d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435&nbsp;<em>\u201c\u0417\u0430\u0447\u0435\u043c, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e&nbsp;fully&nbsp;managed&nbsp;\u0441\u0435\u0440\u0432\u0438\u0441 \u0438 \u0432 \u043d\u0435\u043c \u0432\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u201c\u043d\u0430\u043a\u043b\u0438\u043a\u0430\u0442\u044c\u201d?\u201d&nbsp;<\/em>\u0441\u0440\u0430\u0437\u0443 \u0441\u043a\u0430\u0436\u0443,&nbsp;\u0447\u0442\u043e&nbsp;\u0437\u043d\u0430\u043d\u0438\u0435&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438 \u0441\u043b\u0430\u0431\u044b\u0445 \u0441\u0442\u043e\u0440\u043e\u043d&nbsp;\u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439.&nbsp;\u0418\u0442\u0430\u043a,&nbsp;\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b:&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/695\/ff6\/a6f\/695ff6a6f6182d29d2f1976e991bd0e5.jpg\" width=\"1125\" height=\"868\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u043e\u0439\u0434\u0435\u043c\u0441\u044f \u043f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c&nbsp;(<em>\u0434\u0435\u0440\u0436\u0438\u043c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435, \u0447\u0442\u043e&nbsp;Composer&nbsp;\u0432\u0441\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u0430\u043c<\/em>).&nbsp;\u041d\u0430&nbsp;\u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u0438\u0434\u0438\u043c&nbsp;Tenant&nbsp;Project&nbsp;\u2014 \u044d\u0442\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;Identity&nbsp;Access&nbsp;Management. \u041f\u0440\u043e\u0441\u0442\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438.&nbsp;AppEngine&nbsp;Flexible&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f&nbsp;\u0434\u043b\u044f \u0432\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440\u0430,&nbsp;Cloud&nbsp;SQL&nbsp;\u2014&nbsp;\u043a\u0430\u043a \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445&nbsp;Airflow.&nbsp;\u0423&nbsp;Cloud&nbsp;SQL&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u043b\u044e\u0441\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u043e\u043d \u0434\u0430\u0435\u0442&nbsp;\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0434\u043b\u044f \u0441\u0435\u0440\u0432\u0438\u0441-\u0430\u043a\u043a\u0430\u0443\u043d\u0442\u0430, \u0430 \u0435\u0449\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0431\u044d\u043a\u0430\u043f\u044b.&nbsp;\u0412\u043d\u0443\u0442\u0440\u0438&nbsp;Cloud&nbsp;Storage&nbsp;Composer&nbsp;\u0441\u043e\u0437\u0434\u0430\u0435\u0442&nbsp;bucket, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c\/\u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c&nbsp;DAG-\u0438,&nbsp;\u043f\u043b\u0430\u0433\u0438\u043d\u044b \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043a \u043d\u0438\u043c. \u0424\u0430\u0439\u043b\u044b \u0438\u0437&nbsp;\u0431\u0430\u043a\u0435\u0442\u0430&nbsp;\u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435\u043c\u0438&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438, \u043f\u043e\u0434\u043d\u044f\u0442\u044b\u043c\u0438&nbsp;\u0432&nbsp;Kubernetes&nbsp;\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435.&nbsp;Core-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a&nbsp;\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a,&nbsp;worker-\u043d\u043e\u0434\u044b&nbsp;\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;Redis, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f&nbsp;\u0434\u043b\u044f&nbsp;CeleryExecutor,&nbsp;\u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Google&nbsp;Kubernetes&nbsp;Engine.&nbsp;\u0412\u0441\u0435 \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e:&nbsp;\u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u043c&nbsp;\u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f&nbsp;Kubernetes&nbsp;\u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u043d\u043e\u0434\u043e\u0432,&nbsp;\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e&nbsp;\u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u044b&nbsp;\u0438&nbsp;Redis.&nbsp;\u041a\u0441\u0442\u0430\u0442\u0438,&nbsp;Redis&nbsp;\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u0442&nbsp;\u043e\u0447\u0435\u0440\u0435\u0434\u044c&nbsp;\u0437\u0430\u0434\u0430\u0447&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Airflow, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0443\u0436\u0435\u043d&nbsp;\u043a\u0430\u043a \u043f\u0435\u0440\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430\u043c\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Kubernetes&nbsp;Engine.&nbsp;\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043b\u044e\u0441, \u0447\u0442\u043e&nbsp;Composer&nbsp;\u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u043e&nbsp;Stackdriver&nbsp;\u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0438&nbsp;\u043b\u043e\u0433\u0433\u0438\u043d\u0433\u0430&nbsp;\u2014 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0435&nbsp;\u043b\u043e\u0433\u0438&nbsp;\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438&nbsp;\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c&nbsp;\u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435.&nbsp;\u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 100 \u0443\u0437\u043b\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0430 \u0442\u043e \u0438 \u0431\u043e\u043b\u044c\u0448\u0435.&nbsp;&nbsp;<\/p>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c, \u0437\u0434\u043e\u0440\u043e\u0432\u043e, \u0447\u0442\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u0437\u0430 \u043d\u0430\u0441 \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d.&nbsp;\u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0434\u0435\u0440\u0436\u0430\u043b\u0438 \u044d\u0442\u043e \u0432\u0441\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0442\u043e, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0431\u044b&nbsp;DevOps-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0433\u0430\u043b&nbsp;\u0431\u044b \u0438&nbsp;\u0434\u0443\u043c\u0430\u043b,&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0431\u044b \u0431\u0430\u0437\u0430 \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430\u0441\u044c,&nbsp;\u043a\u0430\u043a \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435&nbsp;\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438&nbsp;\u0442. \u0434.&nbsp;<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u0432\u043e\u0442&nbsp;\u043a\u0430\u043a&nbsp;\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442&nbsp;\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f:&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/735\/0af\/fa7\/7350affa77f2bf0cd0e9b2e73f2ec027.jpg\" width=\"952\" height=\"518\"><figcaption><\/figcaption><\/figure>\n<p>\u0412\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432&nbsp;Tenant&nbsp;Project, \u0438 \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445&nbsp;\u0432&nbsp;Cloud&nbsp;SQL&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e.&nbsp;\u0410&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u044b&nbsp;\u2014&nbsp;\u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e.&nbsp;\u0412\u043e&nbsp;\u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438\u043b\u0438&nbsp;\u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445&nbsp;\u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0433\u043e&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043c\u044b&nbsp;\u043c\u043e\u0436\u0435\u043c \u043b\u0438\u0431\u043e&nbsp;\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c,&nbsp;\u043b\u0438\u0431\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e&nbsp;\u0438&nbsp;\u0447\u0438\u0441\u043b\u043e&nbsp;\u0443\u0437\u043b\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435.&nbsp;<\/p>\n<\/p>\n<p><strong>Deployment&nbsp;\u0438&nbsp;development, \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/strong>&nbsp;<\/p>\n<p><a class=\"anchor\" name=\"dd\" id=\"dd\"><\/a><\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0445\u043e\u0447\u0435\u0442\u0441\u044f&nbsp;\u0441\u043a\u0430\u0437\u0430\u0442\u044c&nbsp;\u043f\u0440\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443&nbsp;\u043a\u043e\u0434\u0430&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u0430&nbsp;\u2014&nbsp;\u043e\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430 \u0434\u043b\u044f&nbsp;\u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432&nbsp;\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435,&nbsp;\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435&nbsp;\u0438&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438.&nbsp;\u041f\u0440\u0438\u0432\u0435\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438:&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/73d\/fce\/017\/73dfce017d5c9720a85af3a2a17a0167.jpg\" width=\"744\" height=\"500\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043a\u043e\u0434 \u0440\u0430\u0437\u0431\u0438\u0442 \u043f\u043e&nbsp;\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c&nbsp;\u0432\u0435\u043d\u0434\u043e\u0440\u043e\u0432 \u043b\u0438\u0431\u043e&nbsp;\u043f\u043e&nbsp;\u0434\u043e\u043c\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u043c&nbsp;\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430. \u0410 \u0435\u0449\u0435&nbsp;Airflow&nbsp;\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435&nbsp;<em>DAGS_FOLDER<\/em>&nbsp;\u0438&nbsp;<em>PLUGINS_FOLDER<\/em>&nbsp;\u0432&nbsp;<em>sys.path<\/em>&nbsp;\u0438 \u043f\u043e\u0442\u043e\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u0442&nbsp;\u0444\u0430\u0439\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043d\u0438\u0445 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f.&nbsp;\u0422\u0443\u0442&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e: \u0432&nbsp;<em>DAGS_FOLDER<\/em>&nbsp;\u0438\u0449\u0435\u043c<em>&nbsp;<\/em>DAG-\u0438, \u0430 \u0432&nbsp;<em>PLUGINS_FOLDER<\/em>&nbsp;\u2014&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432 \u0434\u043b\u044f&nbsp;Airflow.&nbsp;&nbsp;<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u0441\u0435 \u043d\u0430 \u043f\u0430\u043f\u043a\u0438 \u0432\u0435\u043d\u0434\u043e\u0440\u043e\u0432, \u043a\u0430\u0436\u0434\u0430\u044f&nbsp;\u0438\u0437&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;\u043f\u043e\u0434\u043f\u0430\u043f\u043a\u0443 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a&nbsp;<em>libs&nbsp;<\/em>\u0438\u043b\u0438&nbsp;<em>utils<\/em>. \u0412\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e,&nbsp;\u043a\u0430\u043a&nbsp;\u0432\u0430\u043c \u0431\u0443\u0434\u0435\u0442&nbsp;\u0443\u0434\u043e\u0431\u043d\u0435\u0435&nbsp;\u0434\u0435\u0440\u0436\u0430\u0442\u044c&nbsp;\u0432\u043c\u0435\u0441\u0442\u0435 \u0444\u0430\u0439\u043b\u044b.&nbsp;\u041f\u043e\u0434\u043f\u0430\u043f\u043a\u0438 \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;<em>plugins&nbsp;<\/em>\u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a&nbsp;Airflow&nbsp;PLUGINS,&nbsp;\u0438\u0445 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430&nbsp;\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u043e\u043d\u0432\u0435\u043d\u0446\u0438\u0438 \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432 \u0432&nbsp;Airflow.&nbsp;\u042f \u0438\u043c\u0435\u044e \u0432 \u0432\u0438\u0434\u0443&nbsp;<em>operators<\/em>,&nbsp;<em>hooks<\/em>,&nbsp;<em>macros<\/em>&nbsp;\u2014&nbsp;\u0432\u0441\u0435, \u0447\u0442\u043e&nbsp;Airflow&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d.&nbsp;&nbsp;<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430.&nbsp;\u042f&nbsp;\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c&nbsp;pip&nbsp;\u0438&nbsp;requirements.txt&nbsp;\u0444\u0430\u0439\u043b&nbsp;\u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0447\u0430\u0449\u0435.&nbsp;\u0415\u0441\u043b\u0438&nbsp;\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0432&nbsp;Composer,&nbsp;\u0442\u043e&nbsp;\u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 UI,&nbsp;\u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u043a\u0435\u0442\u044b \u0438 \u0432\u0435\u0440\u0441\u0438\u0438&nbsp;\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e&nbsp;\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c&nbsp;\u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043e\u0432. \u0418\u043b\u0438,&nbsp;\u0435\u0441\u043b\u0438 \u0432\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0432\u0430\u0448\u0438\u0445 CI\/CD&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432, \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u0443&nbsp;<em>gcloud<\/em>.&nbsp;\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e&nbsp;pip&nbsp;\u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438&nbsp;<a href=\"https:\/\/cloud.google.com\/composer\/docs\/how-to\/using\/installing-python-dependencies\"><u>Composer<\/u><\/a>.&nbsp;<\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a&nbsp;Airflow&nbsp;\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;<em>DAGS_FOLDER<\/em>&nbsp;\u0438&nbsp;<em>PLUGINS_FOLDER<\/em>&nbsp;\u0432&nbsp;<em>sys.path<\/em>,&nbsp;\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e,&nbsp;\u043f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438,&nbsp;\u0434\u0435\u0440\u0436\u0430\u0442\u044c&nbsp;\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432&nbsp;<em>DAGS_FOLDER<\/em>, \u0430 \u043d\u0435 \u0432&nbsp;<em>PLUGINS_FOLDER<\/em>.&nbsp;\u0412\u0441\u0435 \u0434\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442&nbsp;Airflow,&nbsp;\u0438&nbsp;\u0432&nbsp;\u0435\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430\u0445&nbsp;\u043f\u043e\u0438\u0441\u043a\u0430, \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f&nbsp;\u0438 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f&nbsp;\u044d\u0442\u0438\u0445&nbsp;\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0439.&nbsp;\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u0432&nbsp;Airflow&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043a\u0430\u0437\u0430\u0442\u044c, \u0441 \u043a\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u044e&nbsp;\u0440\u0435\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u043f\u0430\u043f\u043a\u0443 \u0441&nbsp;DAG-\u0430\u043c\u0438. \u0410&nbsp;\u0432&nbsp;<em>PLUGINS_FOLDER<\/em>&nbsp;\u0432\u0441\u0435&nbsp;\u0433\u043e\u0440\u0430\u0437\u0434\u043e&nbsp;\u0441\u043b\u043e\u0436\u043d\u0435\u0435.&nbsp;\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442&nbsp;\u043f\u043e\u043c\u0435\u0449\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u043e\u0433\u043e \u043a\u043e\u0434\u0430&nbsp;\u0438\u043b\u0438&nbsp;\u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0432\u043d\u0443\u0442\u0440\u044c&nbsp;plugins&nbsp;\u2014&nbsp;\u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c&nbsp;\u0440\u0435\u0441\u043a\u0430\u043d\u0435&nbsp;\u0438\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u0432\u0441\u0435 \u0444\u0430\u0439\u043b\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c\u0441\u044f.&nbsp;\u0410 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u0441\u0442\u0438 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b.&nbsp;\u0412\u043e\u043e\u0431\u0449\u0435 \u043c\u043d\u043e\u0433\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0442\u0430\u043a \u0434\u043e\u043b\u0433\u043e, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438&nbsp;\u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0432\u0438\u0441\u0430\u044e\u0442 \u0438&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f.&nbsp;&nbsp;<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442\u044c&nbsp;\u0441\u043a\u0430\u0437\u0430\u0442\u044c&nbsp;\u043f\u0440\u043e&nbsp;\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a&nbsp;Airflow:&nbsp;\u0438\u0445 \u043d\u0435 \u0432\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c.&nbsp;Composer&nbsp;\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0437\u0430 \u0441\u043e\u0431\u043e\u0439&nbsp;\u043f\u0440\u0430\u0432\u043e&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0440\u0435\u0436\u0438\u043c\u0435&nbsp;read-only. \u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0437\u0430\u0449\u0438\u0449\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c&nbsp;<a href=\"https:\/\/cloud.google.com\/composer\/docs\/concepts\/airflow-configurations\"><u>\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/u><\/a>.&nbsp;<\/p>\n<p>\u042f&nbsp;\u0431\u044b&nbsp;\u0435\u0449\u0435&nbsp;\u043f\u043e\u0441\u043e\u0432\u0435\u0442\u043e\u0432\u0430\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c&nbsp;.airflowignore&nbsp;\u0444\u0430\u0439\u043b. \u041e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a&nbsp;.gitignore&nbsp;\u0444\u0430\u0439\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043c\u0435\u0449\u0430\u0442\u044c \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043b\u0438\u0431\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u043c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430\u043c\u0438&nbsp;Airflow&nbsp;\u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0438\u0437 \u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u0442\u0438 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438&nbsp;\u0438\u043b\u0438&nbsp;\u0442\u0438\u043f\u044b \u0444\u0430\u0439\u043b\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u0434\u043e\u0431\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <em>PLUGINS_FOLDER<\/em> \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430,&nbsp;\u0430&nbsp;\u043d\u0430\u043c&nbsp;\u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0440\u044f\u0434\u043e\u043c \u0441 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438.&nbsp;\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f&nbsp;.airflowignore&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438&nbsp;\u0431\u0443\u0434\u0443\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Python&nbsp;\u043a\u043e\u0434\u0430, \u043d\u043e&nbsp;\u0441\u0430\u043c \u0441\u043a\u0430\u043d\u0435\u0440 \u0438\u0445 \u043f\u0440\u043e\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442.&nbsp;<\/p>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e \u043f\u043b\u0430\u0433\u0438\u043d\u044b \u0432&nbsp;Airflow.&nbsp;\u042f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e&nbsp;\u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439&nbsp;\u0432&nbsp;Airflow&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c&nbsp;\u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432, \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e&nbsp;\u0434\u043b\u044f UI-\u0432\u0435\u0449\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f&nbsp;View.&nbsp;\u0410 \u0434\u043b\u044f&nbsp;operators,&nbsp;hooks&nbsp;\u0438\u043b\u0438&nbsp;\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u0449\u0435\u0439 \u043b\u043e\u0433\u0438\u043a\u0438 \u044f \u0431\u044b&nbsp;\u0432\u0437\u044f\u043b&nbsp;\u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b.&nbsp;\u0417\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e&nbsp;Airflow&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;<em>PLUGINS_FOLDER<\/em> \u0432&nbsp;<em>sys.path<\/em>, \u043c\u043e\u0436\u043d\u043e&nbsp;\u0431\u0435\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c&nbsp;\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0438\u043c\u043f\u043e\u0440\u0442, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;from&nbsp;<em>vnd.operators.my_operator<\/em>. \u0422\u0430\u043a&nbsp;\u043c\u044b \u043d\u0435&nbsp;\u0431\u0443\u0434\u0435\u043c&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c&nbsp;\u043d\u0438\u043a\u0430\u043a\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438,&nbsp;\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443&nbsp;\u0438\u043b\u0438&nbsp;\u043d\u0435\u0439\u043c\u0438\u043d\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0430\u043c&nbsp;Airflow. \u041f\u0440\u0438\u043c\u0435\u0440, \u043a\u0430\u043a \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043d \u0438\u043c\u043f\u043e\u0440\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0443\u043b\u0435\u0439:<\/p>\n<pre><code>from vnd.operators.my_operator import MyOperator from vnd.sensors.my_sensor import MySensor<\/code><\/pre>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e,&nbsp;\u0431\u044b\u043b\u043e \u0431\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0438 \u0445\u0443\u043a\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0430\u043a \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443. \u0415\u0441\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435&nbsp;\u043d\u0435\u0439\u043c\u0438\u043d\u0433\u043e\u0432\u044b\u0435&nbsp;\u043a\u043e\u043d\u0432\u0435\u043d\u0446\u0438\u0438, \u043f\u0443\u0441\u043a\u0430\u0439&nbsp;\u043e\u043d\u0438&nbsp;\u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 \u0445\u0443\u043a\u0430\u043c\u0438, \u043d\u043e \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438&nbsp;Airflow&nbsp;plugins&nbsp;\u0438 \u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0442&nbsp;AirflowPlugin&nbsp;\u043a\u043b\u0430\u0441\u0441\u0430.&nbsp;&nbsp;<\/p>\n<p>\u0415\u0449\u0435 \u0441\u043e\u0432\u0435\u0442:&nbsp;\u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c, \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e,&nbsp;callable-\u043a\u043e\u0434\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043c\u043e\u0434\u0443\u043b\u0435\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c&nbsp;lazy&nbsp;\u043f\u043e\u0434\u0445\u043e\u0434. \u042d\u0442\u043e \u0432 \u0446\u0435\u043b\u043e\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0438 \u043a \u043f\u043b\u0430\u0433\u0438\u043d\u0430\u043c, \u0438 \u043a&nbsp;DAG-\u0430\u043c. \u0417\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e&nbsp;\u0440\u0435\u0441\u043a\u0430\u043d&nbsp;\u0438\u0434\u0435\u0442&nbsp;\u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c&nbsp;\u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u043c, \u043a\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f&nbsp;\u0442\u043e\u0436\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437.&nbsp;\u042d\u0442\u043e&nbsp;\u043c\u043e\u0436\u0435\u0442&nbsp;\u043f\u043e\u0432\u043b\u0435\u0447\u044c&nbsp;\u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0438&nbsp;\u0432&nbsp;\u043c\u043e\u043c\u0435\u043d\u0442&nbsp;\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f&nbsp;\u0441\u0430\u043c\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f.&nbsp;\u0418\u043d\u043e\u0433\u0434\u0430&nbsp;\u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0435\u0439\u0441\u044b,&nbsp;\u043a\u043e\u0433\u0434\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043d\u0430&nbsp;\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u043c&nbsp;\u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0442\u0430\u043a\u043e\u0439&nbsp;\u043a\u043e\u0434,&nbsp;\u0433\u0434\u0435&nbsp;\u043c\u044b \u0445\u043e\u0434\u0438\u043c \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u043e\u0441\u0442\u0430\u0435\u043c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u0438,&nbsp;\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043c&nbsp;\u0438 \u043f\u043e\u0442\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u044d\u0442\u0438&nbsp;\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435&nbsp;\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445&nbsp;\u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043c\u0435\u0441\u0442\u0435. \u042d\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0431\u0443\u0434\u0443\u0442&nbsp;\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f&nbsp;\u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437:&nbsp;\u043c\u044b \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0431\u0443\u0434\u0435\u043c&nbsp;\u0440\u0435\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u043d\u0430\u0448\u0443 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0441&nbsp;DAG-\u0430\u043c\u0438&nbsp;\u0438&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u044d\u0442\u043e\u0442 \u043a\u043e\u0434.&nbsp;&nbsp;<\/p>\n<p>CI\/\u0421D \u043f\u043e\u0434\u0445\u043e\u0434&nbsp;\u2014&nbsp;\u0442\u0443\u0442 \u043d\u0435\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0442\u0435 \u0436\u0435 \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b&nbsp;\u0441&nbsp;linters,&nbsp;isorts&nbsp;\u0434\u043b\u044f&nbsp;Gitlab&nbsp;CI\/CD&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432.&nbsp;\u0412 \u0446\u0435\u043b\u043e\u043c&nbsp;\u043c\u043e\u0436\u043d\u043e&nbsp;\u0431\u0440\u0430\u0442\u044c \u043b\u044e\u0431\u043e\u0439 CI\/\u0421D&nbsp;\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442&nbsp;\u043d\u0430 \u0432\u0430\u0448\u0435 \u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u0435, \u0432\u0435\u0434\u044c&nbsp;\u0432\u0441\u0435 \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e:&nbsp;Jenkins,&nbsp;Gitlab&nbsp;pipeline,&nbsp;Spinnaker.&nbsp;&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08e\/974\/10d\/08e97410d526f094c8477c7bced7fe7d.jpg\" width=\"920\" height=\"182\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u043c\u044b&nbsp;\u0432 \u0441\u0432\u043e\u0435\u043c&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u0435&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c&nbsp;linters,&nbsp;\u043f\u043e\u0442\u043e\u043c&nbsp;\u0438\u0434\u0435\u0442 \u0448\u0430\u0433&nbsp;unit&nbsp;\u0442\u0435\u0441\u0442\u043e\u0432,&nbsp;\u0434\u0430\u043b\u044c\u0448\u0435&nbsp;\u2014&nbsp;\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445.&nbsp;\u0427\u0442\u043e\u0431\u044b \u0434\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u043e \u0432&nbsp;Composer,&nbsp;\u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c&nbsp;<em>gcloud&nbsp;rsync<\/em>.&nbsp;&nbsp;<\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0432\u0435\u0441\u044c \u043a\u043e\u0434 \u0432&nbsp;Composer&nbsp;\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u0441\u044f&nbsp;\u0432&nbsp;\u0431\u0430\u043a\u0435\u0442,&nbsp;\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0434\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438&nbsp;\u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438&nbsp;<em>rsync<\/em>,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438&nbsp;Airflow.&nbsp;\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e&nbsp;\u0432\u0437\u044f\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443&nbsp;<em>gcloud&nbsp;composer,<\/em>&nbsp;\u0441&nbsp;\u0435\u0435 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435&nbsp;DAG-\u0438,&nbsp;\u043f\u043b\u0430\u0433\u0438\u043d\u044b&nbsp;\u0438 \u0438\u0437 \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u0441\u0432\u043e\u0438\u0445 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0432\u0441\u0435 \u0431\u0443\u0434\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0432&nbsp;\u043d\u0443\u0436\u043d\u044b\u0439&nbsp;\u0431\u0430\u043a\u0435\u0442. \u041d\u043e,&nbsp;\u043d\u0430&nbsp;\u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u044d\u0442\u043e&nbsp;\u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442&nbsp;\u043a\u0430\u043a-\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0445\u043e\u0440\u043e\u0448\u043e \u0431\u044b \u0438\u043c\u0435\u0442\u044c \u0441\u0432\u043e\u0439&nbsp;rsync, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c&nbsp;\u043b\u0438\u0431\u043e&nbsp;\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b,&nbsp;\u043b\u0438\u0431\u043e \u0432\u0441\u0435 \u0444\u0430\u043b\u044b \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0432&nbsp;\u0431\u0430\u043a\u0435\u0442&nbsp;\u043e\u0434\u043d\u0438\u043c&nbsp;\u043e\u0431\u0449\u0438\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c\/\u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c.&nbsp;&nbsp;<\/p>\n<\/p>\n<p><strong>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/strong>&nbsp;<\/p>\n<p><a class=\"anchor\" name=\"instr\" id=\"instr\"><\/a><\/p>\n<p>\u041a\u0430\u043a \u0438 \u043b\u044e\u0431\u0430\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430,&nbsp;Airflow&nbsp;\u043f\u043e\u043e\u0449\u0440\u044f\u0435\u0442 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0439. \u041e\u043d\u0438 \u043b\u0435\u0433\u043a\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f,&nbsp;\u043f\u0438\u0448\u0443\u0442\u0441\u044f,&nbsp;\u0441\u0435\u0433\u043e\u0434\u043d\u044f&nbsp;\u0438\u0445&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432 \u043f\u043b\u0430\u043d\u0435 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432.&nbsp;\u041d\u043e, \u043a&nbsp;\u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e,&nbsp;\u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0441\u0430\u043c\u043e\u043c\u0443&nbsp;Airflow. \u041e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u044f \u043c\u043e\u0433\u0443 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438. \u042d\u0442\u043e&nbsp;<a href=\"https:\/\/github.com\/qubole\/afctl\"><u>afctl<\/u><\/a>&nbsp;\u2014&nbsp;\u0443\u0442\u0438\u043b\u0438\u0442\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438&nbsp;\u0438\u043b\u0438&nbsp;CLI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c&nbsp;Airflow&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c \u0438\u0437 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438. \u0423 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c&nbsp;\u0441\u0432\u043e\u0438&nbsp;\u0431\u043e\u0439\u043b\u0435\u0440\u043f\u043b\u0435\u0439\u0442\u044b&nbsp;\u0438\u043b\u0438&nbsp;\u0448\u0430\u0431\u043b\u043e\u043d\u044b, \u043d\u0430 \u0431\u0430\u0437\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0443\u043b\u0438,&nbsp;DAG-\u0438&nbsp;\u0438&nbsp;\u0434\u0440. \u041f\u0440\u0438\u0447\u0435\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439&nbsp;afctl&nbsp;\u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438,&nbsp;\u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0430&nbsp;\u043d\u0430 \u0442\u0443,&nbsp;\u0447\u0442\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432 \u0441\u0432\u043e\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 (\u044f&nbsp;\u0447\u0443\u0442\u044c \u0432\u044b\u0448\u0435&nbsp;\u043e\u0442\u043c\u0435\u0447\u0430\u043b&nbsp;\u0435\u0435 \u043a\u0430\u043a \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u0443\u044e).&nbsp;&nbsp;&nbsp;<\/p>\n<p>\u0410 \u0435\u0449\u0435&nbsp;\u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0439, \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u0438 \u0445\u043e\u0440\u043e\u0448\u0438\u0445,&nbsp;\u0434\u043b\u044f&nbsp;Airflow.&nbsp;\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;Google&nbsp;Cloud&nbsp;Platform,&nbsp;AWS,&nbsp;Azure, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435&nbsp;\u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u044b \u043a&nbsp;\u0431\u0430\u0437\u0430\u043c&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445.&nbsp;\u0418\u0445 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438&nbsp;\u0432 \u043f\u0430\u043f\u043a\u0435&nbsp;providers&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0430\u043a\u0435\u0442\u0430&nbsp;Airflow.&nbsp;<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u0436\u0435&nbsp;\u0437\u0430\u0439\u0442\u0438 \u043d\u0430&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442&nbsp;<a href=\"https:\/\/github.com\/airflow-plugins\/\"><u>Airflow&nbsp;Plugins<\/u><\/a>&nbsp;\u2014&nbsp;\u043d\u0430\u0439\u0434\u0435\u0442\u0435&nbsp;\u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043f\u043b\u0430\u0433\u0438\u043d\u044b, \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u044b \u043a CRM&nbsp;\u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c, \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0435\u0442\u044f\u043c&nbsp;\u0438&nbsp;\u0442. \u0434.&nbsp;\u041d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435&nbsp;\u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u043f\u043e\u0438\u0441\u043a&nbsp;GitHub: \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c&nbsp;Airflow&nbsp;\u0438&nbsp;\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u043e&nbsp;\u0440\u0430\u0441\u0442\u0443\u0442,&nbsp;\u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e&nbsp;\u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c.&nbsp;&nbsp;<\/p>\n<hr>\n<p><strong>\u0421\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u0438 \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u0443\u0435\u043c:<\/strong>&nbsp;<\/p>\n<p>\u0412\u0441\u0435, \u0447\u0442\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a&nbsp;Airflow&nbsp;\u0438 \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c&nbsp;\u0432&nbsp;self-service, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f&nbsp;\u0432&nbsp;Cloud&nbsp;Composer.&nbsp;&nbsp;<\/p>\n<p>Cloud&nbsp;Composer, \u043a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043d\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u201c\u043d\u043e\u043b\u044c\u201d&nbsp;(scaling&nbsp;to&nbsp;zero). \u0422\u043e&nbsp;\u0435\u0441\u0442\u044c,&nbsp;\u0441\u043e\u0437\u0434\u0430\u0432&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0437\u0430 \u043d\u0435\u0433\u043e \u0434\u0435\u043d\u044c\u0433\u0438. \u041d\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e&nbsp;\u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c&nbsp;Composer&nbsp;\u0438\u043d\u0432\u0430\u0439\u0440\u043e\u043d\u043c\u0435\u043d\u0442\u043e\u043c:&nbsp;\u0441\u0442\u0440\u043e\u0438\u0442\u044c&nbsp;\u043d\u043e\u0432\u044b\u0439,&nbsp;\u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c&nbsp;A\/B-\u0442\u0435\u0441\u0442\u044b, \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0443 \u0438&nbsp;\u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0435\u0433\u043e. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e,&nbsp;\u0435\u0441\u043b\u0438&nbsp;\u043d\u0435\u0442 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439&nbsp;\u0438&nbsp;\u043f\u043e\u0434\u043d\u044f\u0442\u043e\u0433\u043e&nbsp;GKE \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, \u0442\u043e&nbsp;\u043c\u044b \u043d\u0438 \u0437\u0430 \u0447\u0442\u043e \u043d\u0435 \u043f\u043b\u0430\u0442\u0438\u043c.&nbsp;<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Composer, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;Prod\/Dev\/Staging.&nbsp;\u0418&nbsp;\u0435\u0449\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0438\u0445 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438.&nbsp;\u0412&nbsp;Composer&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0441\u0438\u044f&nbsp;Airflow,&nbsp;\u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043f\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043d\u0438\u043c,&nbsp;\u0430&nbsp;\u043a\u043e\u043c\u0430\u043d\u0434\u0430&nbsp;Google&nbsp;\u0442\u043e\u0436\u0435&nbsp;\u0430\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0441\u0432\u043e\u0438 \u0432\u0435\u0440\u0441\u0438\u0438&nbsp;Airflow.&nbsp;\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u044f \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438&nbsp;Composer&nbsp;\u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442&nbsp;\u0430\u043f\u0434\u0435\u0439\u0442\u043d\u0443\u0442\u044c&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435:&nbsp;\u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043d\u043e\u043f\u043a\u0430,&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f&nbsp;\u043d\u043e\u0432\u044b\u0439&nbsp;image, \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b \u0438 \u0432\u0430\u0448&nbsp;\u0438\u043d\u0432\u0430\u0439\u0440\u043e\u043d\u043c\u0435\u043d\u0442&nbsp;\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u0441\u044f&nbsp;\u0432&nbsp;\u043d\u043e\u0432\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e&nbsp;Airflow.&nbsp;&nbsp;<\/p>\n<p>\u041d\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0439\u0442\u0435&nbsp;\u043b\u043e\u0433\u0438\u043a\u0443 \u0432\u043d\u0443\u0442\u0440\u0438 \u0444\u0430\u0439\u043b\u043e\u0432&nbsp;DAG&nbsp;\u2014&nbsp;\u043b\u0443\u0447\u0448\u0435&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u0442\u043e\u043c&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f&nbsp;\u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0438.&nbsp;\u041e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c&nbsp;\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438,&nbsp;\u043b\u0438\u0431\u043e&nbsp;\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0447\u0435\u0440\u0435\u0437&nbsp;pip.&nbsp;&nbsp;&nbsp;<\/p>\n<p>\u041e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u043e&nbsp;\u0434\u0435\u0440\u0436\u0430\u0442\u044c&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442 \u0432&nbsp;\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439&nbsp;\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u043d\u043e\u0439&nbsp;\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e,<em>&nbsp;\u0447\u0442\u043e<\/em>&nbsp;\u0438&nbsp;<em>\u043e\u0442\u043a\u0443\u0434\u0430<\/em>. \u0420\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c&nbsp;\u043a\u043e\u0434&nbsp;\u043c\u0435\u0436\u0434\u0443 \u0434\u043e\u043c\u0435\u043d\u0430\u043c\u0438&nbsp;\u0438&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438, \u0432\u0435\u043d\u0434\u043e\u0440\u0430\u043c\u0438 \u0438&nbsp;\u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0435\u0440\u0430\u043c\u0438&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u0430.&nbsp;<\/p>\n<p>\u041f\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c&nbsp;AirflowPlugin&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438&nbsp;\u2014&nbsp;\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f&nbsp;UI \u0432\u0435\u0449\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;Airflow. \u041d\u043e \u0434\u043b\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u044f \u0431\u044b \u043d\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043b.&nbsp;&nbsp;<\/p>\n<p>\u041f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f&nbsp;.airflowignore&nbsp;\u0444\u0430\u0439\u043b\u043e\u043c, \u0447\u0442\u043e\u0431\u044b&nbsp;\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c&nbsp;\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435&nbsp;\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442&nbsp;\u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043a\u0430\u043d\u0435\u0440\u0430&nbsp;Airflow. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043c .airflowignore&nbsp;\u0444\u0430\u0439\u043b \u0432 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e&nbsp;DAG-\u043e\u0432&nbsp;\u0441&nbsp;\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u043c\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044f\u043c\u0438, \u0442\u043e&nbsp;Airflow&nbsp;\u043d\u0430\u0439\u0434\u0435\u0442 \u0432\u0441\u0435 \u043d\u0430\u0448\u0438&nbsp;DAG-\u0438&nbsp;\u0438 DAG-\u0444\u0430\u0439\u043b\u044b. \u041d\u043e&nbsp;\u043e\u043d&nbsp;\u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c&nbsp;DAG-\u0430&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u0438,&nbsp;\u0433\u0434\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u043e\u0432.&nbsp;&nbsp;<\/p>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c&nbsp;\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438&nbsp;DAG-\u043e\u0432&nbsp;\u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Cloud&nbsp;Composer. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0441\u0435 \u043d\u0430\u0448\u0438&nbsp;DAG-\u0438&nbsp;\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432&nbsp;\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c&nbsp;\u0432\u0438\u0434\u0435. \u0422\u0435\u043f\u0435\u0440\u044c&nbsp;\u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b&nbsp;\u2014&nbsp;\u043c\u043e\u0436\u043d\u043e&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u044c \u0438\u0445&nbsp;\u0438\u0437&nbsp;\u201c\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u201d.&nbsp;&nbsp;&nbsp;<\/p>\n<p>\u041f\u0440\u0438\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435\u0441\u044c \u043a \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f\u043c \u0434\u043b\u044f&nbsp;Airflow.&nbsp;\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;<em>GoogleCloudStorageListOperator<\/em>&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u043c \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u044c&nbsp;\u0431\u0430\u043a\u0435\u0442\u044b, \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b, \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0442\u044c&nbsp;\u0438&nbsp;\u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c&nbsp;\u0438\u0445.&nbsp;\u0415\u0449\u0435 \u0435\u0441\u0442\u044c&nbsp;\u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f-\u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u044b&nbsp;\u043a\u043e&nbsp;\u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c&nbsp;\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u043c, \u0431\u0430\u0437\u0430\u043c&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445&nbsp;\u0438&nbsp;\u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435&nbsp;KubernetesPodOperator&nbsp;\u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u0438 \u0443\u0442\u0438\u043b\u0438\u0442, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u043d\u0430&nbsp;Python. \u0422\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u0432\u0441\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0432&nbsp;\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435&nbsp;Kubernetes,&nbsp;Airflow&nbsp;\u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0438\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438&nbsp;\u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c&nbsp;Pod-\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043d\u043e\u0434\u044b \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u044b\u0435 Composer-\u043e\u043c.<\/p>\n<p>\u041f\u043e\u043c\u043d\u0438\u0442\u0435 \u043f\u0440\u043e&nbsp;\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435&nbsp;Composer, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e&nbsp;read-only&nbsp;\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438&nbsp;Airflow.&nbsp;\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0437\u0430\u0449\u0438\u0449\u0435\u043d\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c&nbsp;<a href=\"https:\/\/cloud.google.com\/composer\/docs\/concepts\/airflow-configurations\"><u>\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438<\/u><\/a>.&nbsp;&nbsp;<\/p>\n<\/p>\n<p>\u0423\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u043d\u044b, \u0430 Airflow \u0438 Composer \u0441\u0442\u0430\u043d\u0443\u0442 \u0432 \u044d\u0442\u043e\u043c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0430\u043c\u0438 \ud83d\ude42<\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/epam_systems\/blog\/539866\/\"> https:\/\/habr.com\/ru\/company\/epam_systems\/blog\/539866\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442,&nbsp;\u0425\u0430\u0431\u0440! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0421\u0435\u0440\u0433\u0435\u0439, \u044f&nbsp;Lead&nbsp;Software&nbsp;Engineer\/Sream&nbsp;Lead&nbsp;\u0432 \u0415\u0420\u0410\u041c,&nbsp;\u0441\u0435\u0440\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439&nbsp;Google&nbsp;Cloud&nbsp;\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440. \u0423\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 10&nbsp;\u043b\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445&nbsp;\u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445&nbsp;\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439,&nbsp;\u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0441 \u0444\u043e\u043a\u0443\u0441\u043e\u043c \u043d\u0430&nbsp;\u0431\u044d\u043a\u0435\u043d\u0434.&nbsp;\u0410 \u0435\u0449\u0435 \u044f&nbsp;\u043e\u0447\u0435\u043d\u044c \u043b\u044e\u0431\u043b\u044e \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u044f\u043c\u0438.&nbsp;\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e&nbsp;Apache&nbsp;Airflow, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u043c&nbsp;\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f&nbsp;\u0432\u0430\u0448\u0438\u0445&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432.&nbsp;&nbsp;<\/p>\n<p>\u041a\u0430\u043a\u043e\u0439 \u043f\u043b\u0430\u043d? <\/p>\n<ul>\n<li>\n<p>\u0412 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445&nbsp;\u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443&nbsp;\u043f\u0440\u043e&nbsp;Airflow \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0435\u0449\u0435&nbsp;\u0441 \u043d\u0438\u043c&nbsp;\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b.&nbsp;\u0412\u0441\u0435&nbsp;\u044d\u0442\u043e&nbsp;\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e&nbsp;\u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0430\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430,&nbsp;\u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u043e\u0439\u0434\u0443\u0441\u044c&nbsp;\u043b\u0438\u0448\u044c&nbsp;\u043f\u043e&nbsp;\u0431\u0430\u0437\u043e\u0432\u044b\u043c&nbsp;\u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f\u043c.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435&nbsp;<a href=\"#GCC\">Google&nbsp;Cloud&nbsp;Composer<\/a>, \u043a\u0430\u043a \u043e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442&nbsp;Airflow&nbsp;\u0438&nbsp;\u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443&nbsp;\u043d\u0430&nbsp;\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430<a href=\"#dd\">&nbsp;development&nbsp;\u0438&nbsp;deployment&nbsp;\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438<\/a>&nbsp;\u0432 \u0440\u0430\u043c\u043a\u0430\u0445&nbsp;Google&nbsp;Cloud&nbsp;Composer,&nbsp;\u0430 \u0442\u0430\u043a\u0436\u0435&nbsp;\u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438&nbsp;\u0438&nbsp;\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f,&nbsp;\u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f&nbsp;\u0432\u043e \u0432\u0440\u0435\u043c\u044f&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430&nbsp;Airflow&nbsp;\u0432&nbsp;Cloud&nbsp;Composer.<\/p>\n<\/li>\n<li>\n<p>\u0418, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u044f \u043f\u043e\u0434\u0435\u043b\u044e\u0441\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438&nbsp;<a href=\"#instr\">\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438<\/a>,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c&nbsp;\u0432&nbsp;\u0440\u0430\u0431\u043e\u0442\u0435.&nbsp;&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p><strong>Airflow&nbsp;\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0430\u0431\u0437\u0430\u0446\u0430\u0445<\/strong>&nbsp;<\/p>\n<p>\u0418\u0442\u0430\u043a, \u044d\u0442\u043e&nbsp;\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442&nbsp;\u0434\u043b\u044f \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043d\u0430&nbsp;Python.&nbsp;\u0415\u0441\u0442\u044c \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f&nbsp;\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440&nbsp;Luigi. \u041d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430\u0445&nbsp;Airflow:&nbsp;&nbsp;<\/p>\n<ol>\n<li>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e&nbsp;\u0445\u043e\u0440\u043e\u0448&nbsp;\u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432. \u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0433\u043e \u0443&nbsp;\u043d\u0435\u0433\u043e&nbsp;\u0441\u0442\u043e\u0438\u0442&nbsp;\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439&nbsp;\u0430\u0446\u0438\u043a\u043b\u0438\u0447\u043d\u044b\u0439 \u0433\u0440\u0430\u0444, \u043a\u043e\u0442\u043e\u0440\u044b\u0439&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c&nbsp;\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435&nbsp;\u0438\u043b\u0438&nbsp;\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447, \u0430 \u0435\u0449\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c&nbsp;\u0438\u0445&nbsp;\u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c&nbsp;\u0438&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044f\u043c\u0438.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c.&nbsp;\u0421\u0435\u0433\u043e\u0434\u043d\u044f&nbsp;\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442&nbsp;\u043c\u043d\u043e\u0433\u043e&nbsp;open-sourse&nbsp;\u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043b\u0438\u0431\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e&nbsp;\u043a \u043d\u0435\u043c\u0443&nbsp;\u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441: \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0438 \u0443\u0434\u043e\u0431\u043d\u044b\u0439.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0418\u0434\u0435\u0442 \u0432 \u043f\u0430\u0447\u043a\u0435 \u0441&nbsp;REST API, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b&nbsp;\u0438\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c&nbsp;\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e&nbsp;\u043e&nbsp;\u0438\u0445&nbsp;\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438&nbsp;\u043c\u044b \u043c\u043e\u0436\u0435\u043c&nbsp;\u0441&nbsp;\u043f\u043e\u043c\u043e\u0449\u044c\u044e&nbsp;API.&nbsp;<\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c&nbsp;ETL-pipeline&nbsp;\u0438\u0437 \u201c\u0436\u0438\u0432\u043e\u0433\u043e\u201d&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u0432 GCS&nbsp;\u0431\u0430\u043a\u0435\u0442\u0435. \u0418\u0445 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435, \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430&nbsp;\u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u0443\u0441\u0430 \u0441\u0435\u0440\u0432\u0438\u0441\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u0445.&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441\u043e&nbsp;\u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438&nbsp;\u0431\u043b\u043e\u043a\u0430\u043c\u0438&nbsp;Airflow.&nbsp;\u041f\u0435\u0440\u0432\u044b\u043c \u0438\u0434\u0435\u0442&nbsp;<strong>DAG&nbsp;(Directed&nbsp;Acyclic&nbsp;Graph)<\/strong>&nbsp;\u2014&nbsp;\u0430\u0446\u0438\u043a\u043b\u0438\u0447\u043d\u044b\u0439 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439&nbsp;\u0433\u0440\u0430\u0444,&nbsp;\u043e\u0441\u043d\u043e\u0432\u0430&nbsp;Airflow. \u0412 \u0446\u0435\u043b\u043e\u043c \u044d\u0442\u043e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0437\u0430\u0434\u0430\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c. \u041e\u043d\u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,&nbsp;\u043c\u043e\u0433\u0443\u0442&nbsp;\u0438\u043c\u0435\u0442\u044c&nbsp;\u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.&nbsp;&nbsp;<\/p>\n<p><strong>Tasks&nbsp;<\/strong>\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0440\u0430\u0431\u043e\u0442\u044b DAG \u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u044b \u043a\u0430\u043a \u0435\u0433\u043e \u0443\u0437\u043b\u044b.&nbsp;\u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0449\u0435, \u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438&nbsp;\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442,&nbsp;<em>\u0447\u0442\u043e<\/em>&nbsp;\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c.&nbsp;\u0410&nbsp;<strong>Operators<\/strong>&nbsp;\u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442,&nbsp;<em>\u043a\u0430\u043a&nbsp;<\/em>\u043c\u044b \u0445\u043e\u0442\u0438\u043c \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f&nbsp;\u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0437\u0430\u0434\u0430\u0447\u0438.&nbsp;\u041d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435&nbsp;\u0445\u043e\u0440\u043e\u0448\u043e&nbsp;\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u044d\u0442\u043e \u0443\u0437\u043b\u044b&nbsp;DAG-\u0430. \u041e\u043d\u0438&nbsp;\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438&nbsp;\u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432&nbsp;\u2014&nbsp;DataLoadOperator,&nbsp;GoogleCloudStorageListOperator&nbsp;\u0438&nbsp;UpdateStatusOperator&nbsp;\u2014&nbsp;\u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043a\u0443\u044e \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u043b\u043e\u0433\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c.&nbsp;\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0432\u044b\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u0432&nbsp;DAG-\u0435, \u043c\u043e\u0433\u0443\u0442&nbsp;\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u0412\u0441\u0435&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442&nbsp;\u0442\u0438\u043f\u0430&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044f&nbsp;\u0437\u0430\u0434\u0430\u0447&nbsp;\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432.&nbsp;&nbsp;<\/p>\n<p>E\u0449\u0435<strong>&nbsp;<\/strong>\u0435\u0441\u0442\u044c<strong>&nbsp;DAGs&nbsp;Run&nbsp;<\/strong>\u0438&nbsp;<strong>Tasks&nbsp;Instances.&nbsp;<\/strong>DAGs&nbsp;Run&nbsp;\u2014 \u044d\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u0441\u0430\u043c\u043e\u0433\u043e&nbsp;DAG\u0430,&nbsp;\u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0439&nbsp;\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0434\u0430\u0442\u0443.&nbsp;Tasks&nbsp;Instance&nbsp;\u2014 \u043e\u0431\u044a\u0435\u043a\u0442 \u0437\u0430\u0434\u0430\u0447\u0438,&nbsp;\u0430\u0441\u0441\u043e\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439&nbsp;\u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c&nbsp;DAG&nbsp;Run.&nbsp;\u0410 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u0442\u0430 \u0438 \u0432\u0440\u0435\u043c\u044f \u0434\u043b\u044f&nbsp;DAG&nbsp;Run&nbsp;\u0438 \u0435\u0433\u043e&nbsp;Tasks&nbsp;Instances&nbsp;\u2014 \u044d\u0442\u043e&nbsp;<strong>execution&nbsp;date.&nbsp;<\/strong>&nbsp;&nbsp;<\/p>\n<p>\u041a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b&nbsp;\u0432&nbsp;DAG \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u043f\u0438\u0441\u043a\u0438&nbsp;\u0438&nbsp;\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u0434\u0430\u0447, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u0435 \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0435&nbsp;pipeline-\u044b.&nbsp;&nbsp;<\/p>\n<p>\u041f\u043b\u0430\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a&nbsp;\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442&nbsp;\u0432 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Airflow:&nbsp;&nbsp;<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a&nbsp;<\/strong>(Scheduler)&nbsp;\u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442 \u0432\u0441\u0435&nbsp;DAG-\u0438,&nbsp;\u0437\u0430\u0434\u0430\u0447\u0438 \u0438&nbsp;\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442&nbsp;\u0437\u0430&nbsp;\u0438\u0445&nbsp;\u0441\u0432\u043e\u0435\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a&nbsp;\u0438&nbsp;\u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u0438&nbsp;<\/strong>(\u0438\u043b\u0438&nbsp;Executor)&nbsp;\u2014&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f&nbsp;\u0441\u043b\u0435\u0434\u0438\u0442&nbsp;\u0437\u0430&nbsp;\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0435\u0439&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f&nbsp;\u0437\u0430\u0434\u0430\u0447.&nbsp;\u041e\u043d\u0438 \u0431\u044b\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435:&nbsp;SequentialExecutor,&nbsp;CeleryExecutor&nbsp;\u0438 \u0434\u0440. \u0410 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u0438\u0437 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;CeleryExecutor&nbsp;\u0442\u0440\u0435\u0431\u0443\u0435\u0442&nbsp;Queue&nbsp;Broker.&nbsp;<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u043e\u0440\u043a\u0435\u0440\u044b<\/strong>&nbsp;(Workers)&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u043d\u0430\u0448\u0438 \u0437\u0430\u0434\u0430\u0447\u0438&nbsp;(\u043f\u043e\u0434\u043e\u0431\u043d\u043e&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c&nbsp;Celery).&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440<\/strong>&nbsp;\u043d\u0443\u0436\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u0442\u0435\u0445 \u0436\u0435&nbsp;HTTP-\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043f\u043e&nbsp;DAG-\u0430\u043c&nbsp;\u0438&nbsp;\u0437\u0430\u0434\u0430\u0447\u0430\u043c.&nbsp;\u041e\u043d&nbsp;\u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441 \u0431\u0430\u0437\u043e\u0439,&nbsp;\u0433\u0434\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f&nbsp;\u0434\u0430\u043d\u043d\u044b\u0435&nbsp;\u043e \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0437\u0430\u0434\u0430\u0447, \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445&nbsp;Airflow,&nbsp;DAG-\u0430\u0445, \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f\u0445 \u0438&nbsp;\u0442. \u0434.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u044f&nbsp;\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f&nbsp;\u043f\u0440\u043e&nbsp;\u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435&nbsp;\u0437\u0430\u0434\u0430\u0447&nbsp;\u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0432&nbsp;<strong>Logs<\/strong>.&nbsp;\u041b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435&nbsp;\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442&nbsp;\u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0438\u0437 \u0441\u0430\u043c\u043e\u0433\u043e \u043a\u043e\u0434\u0430,&nbsp;\u0430 \u0442\u0430\u043a\u0436\u0435&nbsp;\u043f\u0438\u0448\u0443\u0442\u0441\u044f&nbsp;\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435&nbsp;\u043b\u043e\u0433\u0438&nbsp;Airflow.&nbsp;\u041c\u0435\u0441\u0442\u043e\u043c&nbsp;\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043b\u043e\u0433\u043e\u0432&nbsp;\u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0430\u0439\u043b\u044b, \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043b\u0438\u0431\u043e \u043a\u0430\u043a\u043e\u0435-\u043d\u0438\u0431\u0443\u0434\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0442&nbsp;\u0441loud-\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u043c\u043e\u0436\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u0432&nbsp;Stackdriver&nbsp;\u0438\u043b\u0438&nbsp;\u0432&nbsp;GCS&nbsp;bucket&nbsp;. &nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e<strong>&nbsp;Admin&nbsp;Panel<\/strong>&nbsp;\u043c\u044b&nbsp;\u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c\/\u0434\u0435\u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u043c&nbsp;\u0438&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c&nbsp;DAG-\u0438,&nbsp;\u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c&nbsp;\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435,&nbsp;\u0441\u043c\u043e\u0442\u0440\u0438\u043c&nbsp;\u043b\u043e\u0433\u0438,&nbsp;\u043d\u0430\u0445\u043e\u0434\u0438\u043c&nbsp;\u043f\u0440\u0438\u0447\u0438\u043d\u044b&nbsp;\u043f\u0440\u043e\u0431\u043b\u0435\u043c&nbsp;(\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0447\u0435\u043c\u0443&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b&nbsp;\u201c\u0443\u043f\u0430\u043b\u0438\u201d).<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u0432\u0441\u0435&nbsp;\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u043c\u0435\u0441\u0442\u0435?&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c&nbsp;Airflow&nbsp;\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445 \u0431\u0430\u0437\u044b&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0437\u0430\u0434\u0430\u0447\u0430\u0445&nbsp;\u0438&nbsp;DAG-\u0430\u0445. \u041f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a&nbsp;\u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0430&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u044b&nbsp;\u043f\u043e \u043c\u0435\u0440\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0431\u0435\u0440\u0443\u0442 \u0438&nbsp;\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442&nbsp;\u0438\u0445.&nbsp;\u0412\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440&nbsp;\u043e\u0431\u044b\u0447\u043d\u043e&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f&nbsp;\u043d\u0430 \u0442\u043e\u0439 \u0436\u0435&nbsp;\u043c\u0430\u0448\u0438\u043d\u0435, \u0433\u0434\u0435 \u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a.&nbsp;\u041e\u043d&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442&nbsp;\u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f&nbsp;\u0440\u0435\u043d\u0434\u0435\u0440\u0430&nbsp;\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f&nbsp;\u0437\u0430\u0434\u0430\u0447,&nbsp;\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f&nbsp;task&nbsp;execution&nbsp;\u043b\u043e\u0433\u043e\u0432, \u0430&nbsp;\u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u0442&nbsp;\u0437\u0430\u043f\u0440\u043e\u0441\u044b&nbsp;Admin&nbsp;Panel. \u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 \u043e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445. \u0422\u043e \u0435\u0441\u0442\u044c&nbsp;\u044d\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e&nbsp;\u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u0442\u044c&nbsp;\u0438\u0445&nbsp;\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0438\u043b\u0438 \u0443\u0437\u043b\u0430\u0445 \u0432&nbsp;\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c&nbsp;\u0432\u0438\u0434\u0435, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438&nbsp;deployment-\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438.&nbsp;<\/p>\n<\/p>\n<p><strong>Google&nbsp;Cloud&nbsp;Composer&nbsp;\u0438\u0437\u043d\u0443\u0442\u0440\u0438<\/strong>&nbsp;<\/p>\n<p><a class=\"anchor\" name=\"GCC\" id=\"GCC\"><\/a><\/p>\n<p>Google&nbsp;Cloud&nbsp;Composer&nbsp;\u0438\u043b\u0438&nbsp;\u043f\u0440\u043e\u0441\u0442\u043e&nbsp;Composer&nbsp;\u2014 \u044d\u0442\u043e&nbsp;fully&nbsp;managed&nbsp;\u0441\u0435\u0440\u0432\u0438\u0441&nbsp;\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c, \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c&nbsp;\u0432\u0430\u0448\u0438&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d&nbsp; \u0432&nbsp;&nbsp;cloud.&nbsp;&nbsp;<\/p>\n<p>\u0421\u0440\u0430\u0437\u0443&nbsp;\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u0438 \u043a\u043b\u0430\u0441\u0441\u043d\u043e.&nbsp;\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c,&nbsp;\u0443 \u043d\u0430\u0441&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043a\u043b\u0438\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u043e\u0447\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0439&nbsp;\u043f\u0435\u0440\u0435\u043d\u043e\u0441&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437&nbsp;storage&nbsp;A \u0432&nbsp;storage&nbsp;B.&nbsp;\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043d\u0430\u043f\u0438\u0448\u0435\u043c&nbsp;Airflow&nbsp;DAG,&nbsp;\u0437\u0430\u0434\u0435\u043f\u043b\u043e\u0438\u043c&nbsp;\u0435\u0433\u043e \u0432&nbsp;Composer&nbsp;\u0438&nbsp;\u0431\u0443\u0434\u0435\u043c&nbsp;\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c&nbsp;\u043d\u0430\u0448&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d&nbsp;\u0432&nbsp;\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432\u0440\u0435\u043c\u0435\u043d\u0438.&nbsp;\u0417\u0430\u0434\u0430\u0447\u0438&nbsp;\u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e,&nbsp;\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c&nbsp;\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435&nbsp;\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e.&nbsp;\u0415\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0447\u0442\u043e-\u0442\u043e \u0443\u043f\u0430\u0434\u0435\u0442, \u0442\u043e&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c&nbsp;retry, \u043a\u043e\u0442\u043e\u0440\u044b\u0439&nbsp;\u043f\u043e\u0434\u043d\u0438\u043c\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0438&nbsp;\u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u0442&nbsp;\u0437\u0430\u043d\u043e\u0432\u043e&nbsp;\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u044c.&nbsp;\u0412 \u043e\u0431\u0449\u0435\u043c, \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0437\u0430\u0434\u0430\u0447\u0438.&nbsp;\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c&nbsp;cron&nbsp;jobs, \u0441\u0442\u0440\u043e\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c 100 \u0440\u0430\u0437\u043d\u044b\u0445&nbsp;\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432,&nbsp;\u2014&nbsp;\u0431\u0435\u0437 \u043f\u043e\u043c\u043e\u0449\u0438&nbsp;Airflow&nbsp;\u0438&nbsp;Composer&nbsp;\u043e\u043f\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0437\u0430\u043f\u0443\u0441\u043a \u0438 \u043e\u0442\u043b\u0430\u0434\u043a\u0430 \u0434\u0430\u043b\u0438\u0441\u044c \u0431\u044b \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0442\u0440\u0443\u0434\u043d\u0435\u0435.&nbsp;&nbsp;<\/p>\n<p>\u0418 \u0435\u0449\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e \u043f\u043b\u044e\u0441\u0430\u0445&nbsp;Composer:&nbsp;&nbsp;<\/p>\n<ul>\n<li>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445,&nbsp;\u0441 \u043d\u0438\u043c&nbsp;\u043b\u0435\u0433\u043a\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438&nbsp;\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u044c.&nbsp;Composer&nbsp;\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e\u0432\u0435\u0440\u0445&nbsp;Airflow&nbsp;\u0438&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Google&nbsp;Console&nbsp;\u0432\u0435\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439 UI \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d, \u0447\u0442\u043e\u0431\u044b&nbsp;\u0431\u044b\u043b\u043e&nbsp;\u0443\u0434\u043e\u0431\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c,&nbsp;\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f&nbsp;\u0438&nbsp;\u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0444\u0430\u0439\u043b\u044b&nbsp;DAG-\u043e\u0432&nbsp;\u0441 \u043b\u0435\u0433\u043a\u043e\u0441\u0442\u044c\u044e. \u0422\u0430\u043c&nbsp;\u0443\u0436\u0435&nbsp;\u0432\u0441\u0435 \u0435\u0441\u0442\u044c, \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u043c&nbsp;\u0444\u0430\u0439\u043b\u044b&nbsp;DAG-\u043e\u0432,&nbsp;\u043f\u043b\u0430\u0433\u0438\u043d\u043e\u0432&nbsp;\u0438&nbsp;\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435&nbsp;\u0437\u0430\u0432\u0438\u0441\u0438\u0441\u043c\u043e\u0441\u0442\u0438, \u0430 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u044b\u0439&nbsp;Composer&nbsp;bucket&nbsp;\u0432&nbsp;GCS.&nbsp;\u0414\u0430\u043b\u044c\u0448\u0435&nbsp;\u0444\u0430\u0439\u043b\u044b \u0438\u0437 \u0431\u0430\u043a\u0435\u0442\u0430 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0432&nbsp;\u0443\u0437\u043b\u0430\u0445&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445,&nbsp;\u0443&nbsp;Composer&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c&nbsp;\u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u043f\u0440\u0438\u0447\u0435\u043c&nbsp;\u0432\u0441\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 UI.&nbsp;\u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c&nbsp;\u043d\u0443\u0436\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439&nbsp;\u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438&nbsp;\u0438&nbsp;\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438&nbsp;Airflow, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0442\u044c\u0441\u044f.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445,&nbsp;Composer&nbsp;\u0442\u0435\u0441\u043d\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u0441&nbsp;security-\u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0435\u0441\u0442\u044c \u0432&nbsp;Google&nbsp;Cloud. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;Private&nbsp;IPs,&nbsp;Authorization&nbsp;\u0438&nbsp;\u0442. \u0434.&nbsp;&nbsp;<\/p>\n<\/li>\n<li>\n<p>\u0412-\u0447\u0435\u0442\u0432\u0435\u0440\u0442\u044b\u0445,&nbsp;Composer&nbsp;Console&nbsp;\u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0443 \u043c\u0435\u0442\u0440\u0438\u043a&nbsp;\u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0445&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439.&nbsp;&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435&nbsp;\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c&nbsp;\u043d\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b&nbsp;Composer.&nbsp;\u041d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435&nbsp;<em>\u201c\u0417\u0430\u0447\u0435\u043c, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e&nbsp;fully&nbsp;managed&nbsp;\u0441\u0435\u0440\u0432\u0438\u0441 \u0438 \u0432 \u043d\u0435\u043c \u0432\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u201c\u043d\u0430\u043a\u043b\u0438\u043a\u0430\u0442\u044c\u201d?\u201d&nbsp;<\/em>\u0441\u0440\u0430\u0437\u0443 \u0441\u043a\u0430\u0436\u0443,&nbsp;\u0447\u0442\u043e&nbsp;\u0437\u043d\u0430\u043d\u0438\u0435&nbsp;\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u0438 \u0441\u043b\u0430\u0431\u044b\u0445 \u0441\u0442\u043e\u0440\u043e\u043d&nbsp;\u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439.&nbsp;\u0418\u0442\u0430\u043a,&nbsp;\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b:&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u043e\u0439\u0434\u0435\u043c\u0441\u044f \u043f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c&nbsp;(<em>\u0434\u0435\u0440\u0436\u0438\u043c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435, \u0447\u0442\u043e&nbsp;Composer&nbsp;\u0432\u0441\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u0430\u043c<\/em>).&nbsp;\u041d\u0430&nbsp;\u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u0438\u0434\u0438\u043c&nbsp;Tenant&nbsp;Project&nbsp;\u2014 \u044d\u0442\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;Identity&nbsp;Access&nbsp;Management. \u041f\u0440\u043e\u0441\u0442\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438.&nbsp;AppEngine&nbsp;Flexible&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f&nbsp;\u0434\u043b\u044f \u0432\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440\u0430,&nbsp;Cloud&nbsp;SQL&nbsp;\u2014&nbsp;\u043a\u0430\u043a \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445&nbsp;Airflow.&nbsp;\u0423&nbsp;Cloud&nbsp;SQL&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u043b\u044e\u0441\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u043e\u043d \u0434\u0430\u0435\u0442&nbsp;\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0434\u043b\u044f \u0441\u0435\u0440\u0432\u0438\u0441-\u0430\u043a\u043a\u0430\u0443\u043d\u0442\u0430, \u0430 \u0435\u0449\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0431\u044d\u043a\u0430\u043f\u044b.&nbsp;\u0412\u043d\u0443\u0442\u0440\u0438&nbsp;Cloud&nbsp;Storage&nbsp;Composer&nbsp;\u0441\u043e\u0437\u0434\u0430\u0435\u0442&nbsp;bucket, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c\/\u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c&nbsp;DAG-\u0438,&nbsp;\u043f\u043b\u0430\u0433\u0438\u043d\u044b \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043a \u043d\u0438\u043c. \u0424\u0430\u0439\u043b\u044b \u0438\u0437&nbsp;\u0431\u0430\u043a\u0435\u0442\u0430&nbsp;\u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435\u043c\u0438&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438, \u043f\u043e\u0434\u043d\u044f\u0442\u044b\u043c\u0438&nbsp;\u0432&nbsp;Kubernetes&nbsp;\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435.&nbsp;Core-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a&nbsp;\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a,&nbsp;worker-\u043d\u043e\u0434\u044b&nbsp;\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;Redis, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f&nbsp;\u0434\u043b\u044f&nbsp;CeleryExecutor,&nbsp;\u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Google&nbsp;Kubernetes&nbsp;Engine.&nbsp;\u0412\u0441\u0435 \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e:&nbsp;\u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435\u043c&nbsp;\u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f&nbsp;Kubernetes&nbsp;\u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u043d\u043e\u0434\u043e\u0432,&nbsp;\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e&nbsp;\u043f\u043e\u0434\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u044b&nbsp;\u0438&nbsp;Redis.&nbsp;\u041a\u0441\u0442\u0430\u0442\u0438,&nbsp;Redis&nbsp;\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u0442&nbsp;\u043e\u0447\u0435\u0440\u0435\u0434\u044c&nbsp;\u0437\u0430\u0434\u0430\u0447&nbsp;\u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Airflow, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0443\u0436\u0435\u043d&nbsp;\u043a\u0430\u043a \u043f\u0435\u0440\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430\u043c\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438&nbsp;Kubernetes&nbsp;Engine.&nbsp;\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043b\u044e\u0441, \u0447\u0442\u043e&nbsp;Composer&nbsp;\u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u043e&nbsp;Stackdriver&nbsp;\u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0438&nbsp;\u043b\u043e\u0433\u0433\u0438\u043d\u0433\u0430&nbsp;\u2014 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0435&nbsp;\u043b\u043e\u0433\u0438&nbsp;\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438&nbsp;\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c&nbsp;\u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435.&nbsp;\u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 100 \u0443\u0437\u043b\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0430 \u0442\u043e \u0438 \u0431\u043e\u043b\u044c\u0448\u0435.&nbsp;&nbsp;<\/p>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c, \u0437\u0434\u043e\u0440\u043e\u0432\u043e, \u0447\u0442\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u0437\u0430 \u043d\u0430\u0441 \u201c\u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438\u201d.&nbsp;\u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0434\u0435\u0440\u0436\u0430\u043b\u0438 \u044d\u0442\u043e \u0432\u0441\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u0442\u043e, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0431\u044b&nbsp;DevOps-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0433\u0430\u043b&nbsp;\u0431\u044b \u0438&nbsp;\u0434\u0443\u043c\u0430\u043b,&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0431\u044b \u0431\u0430\u0437\u0430 \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430\u0441\u044c,&nbsp;\u043a\u0430\u043a \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435&nbsp;\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438&nbsp;\u0442. \u0434.&nbsp;<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u0432\u043e\u0442&nbsp;\u043a\u0430\u043a&nbsp;\u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442&nbsp;\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f:&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0412\u0435\u0431-\u0441\u0435\u0440\u0432\u0435\u0440,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432&nbsp;Tenant&nbsp;Project, \u0438 \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445&nbsp;\u0432&nbsp;Cloud&nbsp;SQL&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u044c\u043d\u043e.&nbsp;\u0410&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u044b&nbsp;\u2014&nbsp;\u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e.&nbsp;\u0412\u043e&nbsp;\u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438\u043b\u0438&nbsp;\u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445&nbsp;\u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0433\u043e&nbsp;\u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043c\u044b&nbsp;\u043c\u043e\u0436\u0435\u043c \u043b\u0438\u0431\u043e&nbsp;\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c,&nbsp;\u043b\u0438\u0431\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e&nbsp;\u0438&nbsp;\u0447\u0438\u0441\u043b\u043e&nbsp;\u0443\u0437\u043b\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435.&nbsp;<\/p>\n<\/p>\n<p><strong>Deployment&nbsp;\u0438&nbsp;development, \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/strong>&nbsp;<\/p>\n<p><a class=\"anchor\" name=\"dd\" id=\"dd\"><\/a><\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0445\u043e\u0447\u0435\u0442\u0441\u044f&nbsp;\u0441\u043a\u0430\u0437\u0430\u0442\u044c&nbsp;\u043f\u0440\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443&nbsp;\u043a\u043e\u0434\u0430&nbsp;\u043f\u0440\u043e\u0435\u043a\u0442\u0430&nbsp;\u2014&nbsp;\u043e\u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430 \u0434\u043b\u044f&nbsp;\u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432&nbsp;\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435,&nbsp;\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435&nbsp;\u0438&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0438.&nbsp;\u041f\u0440\u0438\u0432\u0435\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438:&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043a\u043e\u0434 \u0440\u0430\u0437\u0431\u0438\u0442 \u043f\u043e&nbsp;\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c&nbsp;\u0432\u0435\u043d\u0434\u043e\u0440\u043e\u0432 \u043b\u0438\u0431\u043e&nbsp;\u043f\u043e&nbsp;\u0434\u043e\u043c\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u043c&nbsp;\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430. \u0410 \u0435\u0449\u0435&nbsp;Airflow&nbsp;\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442&nbsp;\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435&nbsp;<em>DAGS_FOLDER<\/em>&nbsp;\u0438&nbsp;<em>PLUGINS_FOLDER<\/em>&nbsp;\u0432&nbsp;<em>sys.path<\/em>&nbsp;\u0438 \u043f\u043e\u0442\u043e\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u0442&nbsp;\u0444\u0430\u0439\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043d\u0438\u0445 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f.&nbsp;\u0422<\/p>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-317188","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/317188","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=317188"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/317188\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=317188"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=317188"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=317188"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}