{"id":353182,"date":"2024-05-20T22:22:56","date_gmt":"2024-05-20T22:22:56","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=353182"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=353182","title":{"rendered":"<span>\u0422\u0430\u0431\u043b\u0438\u0446\u0430-\u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a \u2013 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 DAG? \u0410 \u0447\u0442\u043e \u0442\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e?<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5e7\/4e1\/b6c\/5e74e1b6c2d6b146829a3e1c7fb2fa7b.jpeg\" width=\"1024\" height=\"1024\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e7\/4e1\/b6c\/5e74e1b6c2d6b146829a3e1c7fb2fa7b.jpeg\" data-blurred=\"true\"\/><\/figure>\n<h2>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/h2>\n<ol>\n<li>\n<p><a href=\"#%D0%9F%D1%80%D0%B5%D0%B4%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%98%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8\" rel=\"noopener noreferrer nofollow\">\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%9F%D0%BE%D0%B4%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BA%D0%B0%D0%A1%D1%82%D0%B5%D0%BD%D0%B4%D0%B0\" rel=\"noopener noreferrer nofollow\">\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u0442\u0435\u043d\u0434\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%BE%D1%82%D0%BE%D0%B2%D0%BE%D0%94%D0%BB%D1%8F%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0451 \u0433\u043e\u0442\u043e\u0432\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%A2%D0%B0%D0%B1%D0%BB%D0%B8%D1%86%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8FDAG%D1%87%D0%B5%D1%80%D0%B5%D0%B7SCD\" rel=\"noopener noreferrer nofollow\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f DAG \u0447\u0435\u0440\u0435\u0437 SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%97%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/a><\/p>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"%D0%9F%D1%80%D0%B5%D0%B4%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F\" id=\"\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f\"><\/a><\/p>\n<h3>\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f<\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0441\u0451 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043f\u0440\u043e \u0431\u0438\u0437\u043d\u0435\u0441-\u043a\u0435\u0439\u0441, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0442\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438 \u0441\u0440\u0430\u0437\u0443 \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443 \ud83d\ude42<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u0440\u043e\u0441\u0442\u043e, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442 \u0441\u0443\u0442\u044c \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442.<\/p>\n<p>\u0422\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u043a: MAU, DAU, \u0441\u0443\u043c\u043c\u0430 \u043f\u0440\u043e\u0434\u0430\u0436 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435 \u0434\u0430\u044e\u0442 \u0441\u0442\u0435\u0439\u043a\u0445\u043e\u043b\u0434\u0435\u0440\u043e\u043c \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0441 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u043c.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u0442\u0430-\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430 \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a: \u0434\u0430\u0442\u0430, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0441\u0435\u043c\u044c \u043a\u0440\u0443\u0433\u043e\u0432 \u0430\u0434\u0430: \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430, \u043e\u0447\u0438\u0441\u0442\u043a\u0430, \u043e\u0431\u043e\u0433\u0430\u0449\u0435\u043d\u0438\u0435, \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f, \u0440\u0430\u0441\u0447\u0435\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0438, \u0441\u043d\u043e\u0432\u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f, \u043e\u043f\u044f\u0442\u044c \u043e\u0447\u0438\u0441\u0442\u043a\u0430 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0433\u043e\u0442\u043e\u0432\u0430 \u043f\u043e\u043f\u0430\u0441\u0442\u044c &#171;\u043d\u0430 \u0441\u0442\u043e\u043b&#187;. (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0440\u0443\u0433\u043e\u0432 \u0430\u0434\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043a \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0438 \u043e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0441\u0443\u0442\u044c \u0432\u044b \u043f\u043e\u043d\u044f\u043b\u0438 :))<\/p>\n<p>\u042f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u044b\u0442\u0430\u044e\u0441\u044c \u043a\u0430\u043a-\u0442\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0436\u0438\u0437\u043d\u044c \u0438 \u0441\u0435\u0431\u0435, \u0438 \u043b\u044e\u0434\u044f\u043c.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0448\u0430\u043d\u0441 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<p>\u041f\u0440\u0438\u0448\u0435\u043b \u0431\u0438\u0437\u043d\u0435\u0441 \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c: &#171;\u0423 \u043d\u0430\u0441 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432\u0438\u0434: \u0434\u0430\u0442\u0430, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u041c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0443\u043a\u0430\u043c\u0438, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043a\u0430\u043a\u0438\u043c\u0438-\u0442\u043e \u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438 \u0438 \u0443 \u044d\u0442\u043e\u0433\u043e \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u044b. \u0410 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u0441\u0451 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435. \u041d\u0443 \u0438 \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2013 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0441\u0432\u043e\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u044b \u0437\u043d\u0430\u043b\u0438 \u043a\u043e\u0433\u0434\u0430, \u0437\u0430\u0447\u0435\u043c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0442\u0430 \u0438\u043b\u0438 \u0438\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430&#187; \u2013 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u044d\u0442\u043e\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u0437\u0432\u0443\u0447\u0430\u043b \u0442\u0430\u043a: &#171;\u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u0437\u043d\u0430\u0442\u044c \u043a\u043e\u0433\u0434\u0430, \u0447\u0442\u043e \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0441 \u043d\u0438\u043c\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u043b\u043e&#187; \ud83d\ude42<\/p>\n<p>\u0418 \u044f \u043d\u0430\u0447\u0430\u043b \u0434\u0443\u043c\u0430\u0442\u044c.<\/p>\n<p>\u041d\u0430 \u0443\u043c \u043f\u0440\u0438\u0448\u043b\u0430 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0438\u0434\u0435\u044f \u2013 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9C%D0%B5%D0%B4%D0%BB%D0%B5%D0%BD%D0%BD%D0%BE_%D0%BC%D0%B5%D0%BD%D1%8F%D1%8E%D1%89%D0%B5%D0%B5%D1%81%D1%8F_%D0%B8%D0%B7%D0%BC%D0%B5%D1%80%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">SCD<\/a>. <\/p>\n<p>\u0421\u0440\u0430\u0437\u0443 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441 \u0442\u0438\u043f\u043e\u043c &#171;II&#187;, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043b\u043e\u0433\u0438\u043a\u0430, \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435. \u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u0442\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f, \u0434\u0430\u0442\u0430 &#171;\u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f&#187;.<\/p>\n<p>\u0410 \u0435\u0449\u0451 \u044f \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0442\u0435\u043b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u043d\u043e \u0438 \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c DAG \u0447\u0435\u0440\u0435\u0437 \u044d\u0442\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/p>\n<p>\u0418 \u044f \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b.<\/p>\n<p>\u041e\u0431 \u044d\u0442\u043e\u043c \u0438 \u043f\u043e\u0439\u0434\u0435\u0442 \u0434\u0430\u043b\u044c\u0448\u0435 \u0440\u0435\u0447\u044c.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0442\u043e, \u0442\u043e  \u0432\u0435\u0441\u044c \u043a\u043e\u0434, \u0432\u0441\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u044b \u0438 \u043f\u0440\u043e\u0447\u0435\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0434\u0430\u043d\u043d\u043e\u043c <a href=\"https:\/\/github.com\/k0rsakov\/scd_dag_factory\" rel=\"noopener noreferrer nofollow\">git-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%98%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8\" id=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435\u0422\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438\"><\/a><\/p>\n<h3>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438:<\/h3>\n<ul>\n<li>\n<p>MacBook Air (M1, 2020)<\/p>\n<ul>\n<li>\n<p>\u041e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c 16 Gb<\/p>\n<\/li>\n<li>\n<p>macOS Monterey 12.6<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>Docker 4.22.0<\/p>\n<ul>\n<li>\n<p>Docker resources:<\/p>\n<ul>\n<li>\n<p>CPUs: 2<\/p>\n<\/li>\n<li>\n<p>Memory: 4 Gb<\/p>\n<\/li>\n<li>\n<p>Swap: 4 Gb<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>Python3.11<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"%D0%9F%D0%BE%D0%B4%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BA%D0%B0%D0%A1%D1%82%D0%B5%D0%BD%D0%B4%D0%B0\" id=\"\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430\u0421\u0442\u0435\u043d\u0434\u0430\"><\/a><\/p>\n<h3>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u0442\u0435\u043d\u0434\u0430<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043a\u0430\u0447\u0430\u0435\u043c \u0441\u0435\u0431\u0435 <code>docker-compose.yaml<\/code> \u0441 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0430\u0439\u0442 Airflow:<\/p>\n<pre><code class=\"bash\">curl -LfO 'https:\/\/airflow.apache.org\/docs\/apache-airflow\/2.6.3\/docker-compose.yaml'<\/code><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c, \u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u043c Python3.7. \u041d\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0435\u0431\u0435 Python3.11. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c Dockerfile \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<pre><code class=\"yaml\">FROM apache\/airflow:2.6.3-python3.11<\/code><\/pre>\n<p>\u0417\u0430\u0442\u0435\u043c \u0432 <code>docker-compose.yaml<\/code> \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u043d\u0430 \u043d\u0430\u0448 (\u0441\u0442\u0440\u043e\u043a\u0430 53):<\/p>\n<pre><code>  # image: ${AIRFLOW_IMAGE_NAME:-apache\/airflow:2.6.3}   build: .<\/code><\/pre>\n<p>\u0412\u0441\u0451, \u0433\u043e\u0442\u043e\u0432\u043e. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u0448 \u043f\u0440\u043e\u0435\u043a\u0442. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code class=\"bash\">docker-compose up -d<\/code><\/pre>\n<p>* \u0415\u0441\u043b\u0438 \u0432\u044b \u0443\u0436\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 <code>docker-compose up -d<\/code>, \u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 <code>docker-compose build<\/code> \u0438 \u0437\u0430\u0442\u0435\u043c \u0441\u043d\u043e\u0432\u0430 <code>docker-compose up -d<\/code>.<\/p>\n<p>\u0416\u0434\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u0441\u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u043e\u0431\u0440\u0430\u0437\u044b \u0438 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f \u0432\u0441\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b. \u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 Airflow \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043f\u043e \u0430\u0434\u0440\u0435\u0441\u0443 <a href=\"http:\/\/0.0.0.0:8080\/home\" rel=\"noopener noreferrer nofollow\">http:\/\/0.0.0.0:8080\/home<\/a><\/p>\n<h4>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f<\/h4>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u043a\u0430 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0430 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0432\u0441\u0435 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438.<\/h3>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code class=\"bash\">python3.11 -m venv venv &amp;&amp; \\                                                                                                                                                     ~\/_code\/github\/scd_dag_factory   source venv\/bin\/activate &amp;&amp; \\ pip install --upgrade pip &amp;&amp; \\ pip install -r requirements.txt<\/code><\/pre>\n<p>\u0412 \u043d\u0430\u0448\u0435 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0432\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430.<\/p>\n<h4>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0441 \u0431\u0430\u0437\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 docker-compose<\/h4>\n<p>\u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0411\u0414). \u042f \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0435 \u0432\u044b\u0431\u0440\u0430\u043b PostgreSQL (\u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0431\u044b\u043b \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442 \u0438\u043d\u0441\u0442\u0430\u043d\u0441 GreenPlum 6).<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0411\u0414 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432 \u043a\u043e\u043d\u0435\u0446 <code>docker-compose.yaml<\/code> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code class=\"yaml\">  test_db:     image: postgres     restart: always     ports:       - \"1:5432\"     environment:       POSTGRES_USER: postgres       POSTGRES_PASSWORD: postgres<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043d\u043e\u0432\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0431\u043e\u0440\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<pre><code class=\"bash\">docker-compose up -d<\/code><\/pre>\n<p><a class=\"anchor\" name=\"%D0%93%D0%BE%D1%82%D0%BE%D0%B2%D0%BE%D0%94%D0%BB%D1%8F%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%B0\" id=\"\u0413\u043e\u0442\u043e\u0432\u043e\u0414\u043b\u044f\u041f\u0440\u043e\u0435\u043a\u0442\u0430\"><\/a><\/p>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0451 \u0433\u043e\u0442\u043e\u0432\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u0430 \u043a \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0411\u0414.<\/p>\n<details class=\"spoiler\">\n<summary>DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u043e\u043d\u043d\u0435\u043a\u0442 \u043a \u0411\u0414 \u0432 docker-\u0441\u0431\u043e\u0440\u043a\u0435<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from datetime import datetime, timedelta  import pendulum  from airflow import DAG  from airflow.operators.empty import EmptyOperator from airflow.operators.python import PythonOperator  from airflow.providers.postgres.hooks.postgres import PostgresHook  # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f DAG OWNER = 'korsak0v' DAG_ID = 'check_pg' LOCAL_TZ = pendulum.timezone('Europe\/Moscow')  # \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043a\u043b\u044e\u0447\u0435\u0439 \u0434\u043b\u044f default_args # https:\/\/github.com\/apache\/airflow\/blob\/343d38af380afad2b202838317a47a7b1687f14f\/airflow\/example_dags\/tutorial.py#L39 args = {     'owner': OWNER,     'start_date': datetime(2023, 1, 1, tzinfo=LOCAL_TZ),     'catchup': True,     'retries': 3,     'retry_delay': timedelta(hours=1), }   def check_pg_connect(**context):     \"\"\"\"\"\"     pg = PostgresHook('test_db')      df = pg.get_pandas_df('SELECT 1 AS one')      if len(df) == 1:         print(True)  with DAG(         dag_id=DAG_ID,         schedule_interval='10 0 * * *',         default_args=args,         tags=['check_pg_connect', 'test'],         concurrency=1,         max_active_tasks=1,         max_active_runs=1, ) as dag:      start = EmptyOperator(         task_id='start',     )      check_pg_connect = PythonOperator(         task_id='check_pg_connect',         python_callable=check_pg_connect,     )      end = EmptyOperator(         task_id='end',     )      start >> check_pg_connect >> end <\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0435\u0433\u043e \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043d\u0435\u0433\u043e. \u0415\u0441\u043b\u0438 \u0440\u0430\u043d\u044b \u0433\u043e\u0440\u044f\u0442 \u0437\u0435\u043b\u0435\u043d\u044b\u043c, \u0442\u043e \u0432\u0441\u0451 \u0438\u0434\u0435\u0442 \u043f\u043e \u043f\u043b\u0430\u043d\u0443.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448 \u0442\u0438\u043f\u043e\u0432\u043e\u0439 DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e \u0442\u0438\u043f\u0443: \u0434\u0430\u0442\u0430, \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p><a class=\"anchor\" name=\"simple_dag\" id=\"simple_dag\"><\/a><\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0438\u043f\u043e\u0432\u043e\u0439 DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 (simple_dag)<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from datetime import datetime, timedelta  import pendulum  from airflow import DAG  from airflow.operators.empty import EmptyOperator from airflow.providers.postgres.operators.postgres import PostgresOperator   # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f DAG OWNER = 'korsak0v' DAG_ID = 'simple_dag' LOCAL_TZ = pendulum.timezone('Europe\/Moscow')  # \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043a PG PG_CONNECT = 'test_db'  # \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 DAG PG_TARGET_SCHEMA = 'dm' PG_TARGET_TABLE = 'fct_sales' PG_TMP_SCHEMA = 'stg' PG_TMP_TABLE = f'tmp_{PG_TARGET_TABLE}_{{{{ data_interval_start.format(\"YYYY_MM_DD\") }}}}' INDEX_KPI = 1  sql_query = ''' SELECT  ('2023-'||((random()*11+1)::int)::varchar||'-'||((random()*27+1)::int)::varchar)::date AS date, (random()*100)::int AS value, 1 AS kpi_id '''  LONG_DESCRIPTION = '# LONG_DESCRIPTION'  SHORT_DESCRIPTION = 'SHORT_DESCRIPTION'   args = {     'owner': OWNER,     'start_date': datetime(2023, 1, 1, tzinfo=LOCAL_TZ),     'catchup': True,     'retries': 3,     'retry_delay': timedelta(hours=1), }  with DAG(         dag_id=DAG_ID,         schedule_interval='10 0 * * *',         default_args=args,         tags=['dm'],         description=SHORT_DESCRIPTION,         concurrency=1,         max_active_tasks=1,         max_active_runs=1, ) as dag:     dag.doc_md = LONG_DESCRIPTION      start = EmptyOperator(         task_id='start',     )      drop_tmp_before = PostgresOperator(         task_id='drop_tmp_before',         sql=f'''DROP TABLE IF EXISTS {PG_TMP_SCHEMA}.{PG_TMP_TABLE}''',         postgres_conn_id=PG_CONNECT     )      create_tmp = PostgresOperator(         task_id='create_tmp',         sql=f'''         CREATE TABLE {PG_TMP_SCHEMA}.{PG_TMP_TABLE} AS         {             sql_query.format(                 start_date=\"{{ data_interval_start.format('YYYY-MM-DD') }}\",                 end_date=\"{{ data_interval_end.format('YYYY-MM-DD') }}\"             )         };         ''',         postgres_conn_id=PG_CONNECT     )      delete_from_target = PostgresOperator(         task_id='delete_from_target',         sql=f'''         DELETE FROM {PG_TARGET_SCHEMA}.{PG_TARGET_TABLE}         WHERE              date IN (                 SELECT                      date                  FROM                      {PG_TMP_SCHEMA}.{PG_TMP_TABLE}                 )         ''',         postgres_conn_id=PG_CONNECT     )      insert_from_tmp_to_target = PostgresOperator(         task_id='insert_from_tmp_to_target',         sql=f'''         INSERT INTO {PG_TARGET_SCHEMA}.{PG_TARGET_TABLE}(\"date\", value, kpi_id)         SELECT              \"date\",              value,             kpi_id         FROM              {PG_TMP_SCHEMA}.{PG_TMP_TABLE}         ''',         postgres_conn_id=PG_CONNECT     )      drop_tmp_after = PostgresOperator(         task_id='drop_tmp_after',         sql=f'''DROP TABLE IF EXISTS {PG_TMP_SCHEMA}.{PG_TMP_TABLE}''',         postgres_conn_id=PG_CONNECT     )      end = EmptyOperator(         task_id='end',     )      start >> drop_tmp_before >> create_tmp >> delete_from_target >> insert_from_tmp_to_target >> drop_tmp_after >> end     <\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0412 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0435\u0441\u0442\u044c \u0443\u0436\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0430 <code>kpi_id<\/code>. \u041f\u043e\u043a\u0430 \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u043c \u043d\u0430 \u043d\u0435\u0451 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u041e \u043d\u0435\u0439 \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c DAG \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0443\u0442 \u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>DDL \u043a\u043e\u0434 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0444\u0430\u043a\u0442\u043e\u0432<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"sql\">CREATE SCHEMA dm;  CREATE SCHEMA stg;  DROP TABLE IF EXISTS dm.fct_sales;  CREATE TABLE dm.fct_sales ( id bigserial PRIMARY KEY, \"date\" date NOT NULL, kpi_id int2 NOT NULL, value int4 NOT NULL );<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c DAG \u0438 \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/420\/913\/961\/420913961380f79fdacfeb0923c547ee.png\" width=\"862\" height=\"814\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/420\/913\/961\/420913961380f79fdacfeb0923c547ee.png\"\/><\/figure>\n<p>\u0423\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. \u041c\u044b, \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0438\u043c\u0435\u0435\u043c DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 (\u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u043c \u0437\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u0445\u043e\u0442\u044c \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e\u0433\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f).<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p><a class=\"anchor\" name=\"%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%A2%D0%B0%D0%B1%D0%BB%D0%B8%D1%86%D1%8B\" id=\"\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435SCD\u0422\u0430\u0431\u043b\u0438\u0446\u044b\"><\/a><\/p>\n<h3>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/h3>\n<p>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044e\u0441\u044c, \u044f \u0445\u043e\u0447\u0443 \u0432 \u044d\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432\u0441\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0432\u0435\u043d\u043d\u043e \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0438\u043c\u0435\u0442\u044c \u043f\u043e\u043b\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043d\u0435\u0439: \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435, \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0443, \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432, \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435. <\/p>\n<p>\u0410 \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2013 \u044f \u0445\u043e\u0447\u0443 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c DAG, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0443\u0441\u0442\u044b\u043c\u0438 (<code>NOT NULL<\/code>).<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u043a\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u043c:<\/p>\n<details class=\"spoiler\">\n<summary>DDL \u043a\u043e\u0434 \u0434\u043b\u044f SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"sql\">CREATE TABLE public.dim_kpi_dag_gen_config ( id serial4 NOT NULL, kpi_id int4 NOT NULL, dag_id varchar(255) NOT NULL, \"owner\" varchar(30) NOT NULL, start_date varchar(40) NOT NULL, metric_name_en varchar(255) NOT NULL, sql_query text NOT NULL, short_description_md varchar(255) NULL, long_description_md text NULL, cron varchar(50) NOT NULL, sensors varchar(255) NULL, tags varchar(255) NOT NULL, metric_line varchar(255) NULL, \"source\" varchar(255) NULL, bi_logic varchar(255) NULL, comment_pa text NULL, comment_de text NULL, is_actual bool NULL DEFAULT TRUE, created_at timestamptz NULL DEFAULT now(), changed_at timestamptz NULL, pg_environment varchar(10) NOT NULL DEFAULT 'prod'::character varying, airflow_environment varchar(10) NOT NULL DEFAULT 'dev'::character varying, CONSTRAINT dim_kpi_dag_gen_config_pkey PRIMARY KEY (id) )<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0418 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0443\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438:<\/p>\n<details class=\"spoiler\">\n<summary>DDL \u043a\u043e\u0434 \u0434\u043b\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0444\u0430\u043a\u0442\u043e\u0432 (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a)<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"sql\">CREATE TABLE public.fct_dm_kpi ( \"date\" date NULL, value float8 NULL, kpi_id int4 NULL );<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0\" id=\"\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435SCD\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\"><\/a><\/p>\n<h3>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/h3>\n<p>\u041d\u0438\u0436\u0435 \u044f \u043f\u043e\u043a\u0430\u0436\u0443 MVP-\u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u0443. \u041d\u0430 \u0441\u0432\u043e\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043c\u044b \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u043b\u0438 \u043a \u043d\u0435\u043c\u0443 \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441.<\/p>\n<details class=\"spoiler\">\n<summary>SCD-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0430\u043a\u0442\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from connectors_to_databases import PostgreSQL   pg = PostgreSQL(     port=1 )   TABLE = 'dim_kpi_dag_gen_config'   def gen_insert_sql_for_kpi_id(dict_kpi: dict = None) -> str:     \"\"\"     \u0413\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 SCD.      \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0435\u0441\u0442\u044c \u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u043a\u043b\u044e\u0447.     \u0415\u0441\u043b\u0438 \u043d\u0435\u0442, \u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u0441 \u043d\u0443\u0436\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 dict_kpi.     \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c, \u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u0441 \u043d\u0443\u0436\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 dict_kpi \u0438 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u0442\u0440\u043e\u043a.      @param dict_kpi: \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c kpi.     @return: \u0421\u0442\u0440\u043e\u043a\u0443 \u0434\u043b\u044f \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432 SCD.     \"\"\"      # \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u044f kpi_id \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435     df_check = pg.execute_to_df(f'''     SELECT         kpi_id     FROM         {TABLE}     WHERE         kpi_id = {dict_kpi['kpi_id']}     ''')      # \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0435\u0441\u0442\u044c \u043b\u0438 \u0442\u0430\u043a\u043e\u0439 kpi_id \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435     if len(df_check) >= 1:         # \u0412 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u0442\u0435 \u043f\u043e\u043b\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 `DEFAULT`         query = f'''             SELECT                  column_name              FROM                  information_schema.columns              WHERE                  table_name = '{TABLE}'                 AND column_name NOT IN (                     'id', 'created_at', 'changed_at', 'is_actual',                      {', '.join(f\"'{i}'\" for i in dict_kpi)}                 )         '''          df = pg.execute_to_df(query)  # noqa: PD901          insert_sql_column_current = ', '.join(value for value in df.column_name)         insert_sql_column_modified = insert_sql_column_current + f''', {', '.join(i for i in dict_kpi)}'''          list_values = []          for value in dict_kpi.values():             # \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043e\u0434\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u043a\u0430\u0432\u044b\u0447\u0435\u043a \u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445. \u041e\u043d\u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0438 \u0434\u0430\u0442.             if \"'\" in str(value):                 value = value.replace(\"'\", \"''\")                 list_values.append(f\"'{value}'\")             elif value is None:                 list_values.append('NULL')             else:                 list_values.append(f\"'{value}'\")          insert_sql_column_values = insert_sql_column_current + f''', {', '.join(list_values)}'''          sql_insert = f'''         INSERT INTO {TABLE}         (             {insert_sql_column_modified}         )         SELECT              {insert_sql_column_values}          FROM              {TABLE}         WHERE             is_actual IS TRUE             AND kpi_id = {dict_kpi['kpi_id']};         '''     else:         # \u0415\u0441\u043b\u0438 \u043d\u0435\u0442 \u0442\u0430\u043a\u043e\u0433\u043e kpi_id \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0438\u0437 \u0441\u043b\u043e\u0432\u0430\u0440\u044f         columns = ', '.join(value for value in dict_kpi)          list_values = []          for value in dict_kpi.values():             if \"'\" in str(value):                 value = value.replace(\"'\", \"''\")                 list_values.append(f\"'{value}'\")             elif value is None:                 list_values.append('NULL')             else:                 list_values.append(f\"'{value}'\")          values = ', '.join(list_values)          sql_insert = f'''             INSERT INTO {TABLE}({columns})             VALUES ({values});             '''      return sql_insert   def scd_dim_kpi(dict_kpi: dict = None) -> None:     \"\"\"     \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c kpi.      \u041a\u0430\u0436\u0434\u044b\u0439 \u043a\u043b\u044e\u0447 \u2013 \u044d\u0442\u043e \u043f\u043e\u043b\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 SCD.     \u041a\u0430\u0436\u0434\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u2013 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044f \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 SCD.      @param dict_kpi: \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c kpi \u043f\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c.     @return: \u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 SQL-\u0441\u043a\u0440\u0438\u043f\u0442 \u043d\u0430 \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 SCD.     \"\"\"      # \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 changed_at \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438     update_changed_at_for_kpi_id = f'''     UPDATE {TABLE}      SET          changed_at = NOW()      WHERE          kpi_id = {dict_kpi['kpi_id']}          AND is_actual IS TRUE;     '''      # \u0412\u0441\u0442\u0430\u0432\u043a\u0430 \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438 \u0441 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u043e\u043b\u0435\u0439     insert_new_values_for_kpi_id = gen_insert_sql_for_kpi_id(dict_kpi=dict_kpi)      # \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 is_actual \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e kpi_id     update_is_actual_for_kpi_id = f'''     UPDATE {TABLE}      SET          is_actual = false      WHERE          kpi_id = {dict_kpi['kpi_id']}          AND id &lt;> (             SELECT MAX(id)              FROM {TABLE}              WHERE kpi_id = {dict_kpi['kpi_id']}         );     '''      # \u0421\u043e\u0431\u0438\u0440\u0430\u0435\u043c SQL-\u0441\u043a\u0440\u0438\u043f\u0442 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043f\u0440\u043e\u0448\u0435\u043b \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438     sql_query = update_changed_at_for_kpi_id + insert_new_values_for_kpi_id + update_is_actual_for_kpi_id      print(sql_query)  # noqa: T201     pg.execute_script(sql_query)<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0418 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u044b\u0437\u043e\u0432\u0435\u043c \u043d\u0430\u0448\u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <code>scd_dim_kpi<\/code>, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<pre><code class=\"python\"># \u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f new_values = {     'kpi_id': 1,     'dag_id': 'test_1',     'metric_name_en': 'test_1',     'owner': 'korsak0v',     'start_date': '2021-01-01',     'cron': '10 0 * * *',     'tags': '''['dm', 'pg', 'gen_dag', 'from_pg']''',     'sql_query': '''     SELECT         date,         count(values) AS value     FROM         fct_some_table_with_random_values     WHERE         date BETWEEN '{start_date}' AND '{end_date}'     GROUP BY         1     ''', }   # \u0412\u044b\u0437\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 scd_dim_kpi(     dict_kpi=new_values )<\/code><\/pre>\n<p> \u0412\u043e\u0442 \u0447\u0442\u043e \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0432 \u0411\u0414:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1e2\/843\/e2d\/1e2843e2da30de67b36e19b60fa020f6.png\" alt=\"\u041f\u0435\u0440\u0432\u0430\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0411\u0414\" title=\"\u041f\u0435\u0440\u0432\u0430\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0411\u0414\" width=\"2278\" height=\"1220\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e2\/843\/e2d\/1e2843e2da30de67b36e19b60fa020f6.png\"\/><\/p>\n<div><figcaption>\u041f\u0435\u0440\u0432\u0430\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0411\u0414<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e, \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0411\u0414 \u0438 \u0441 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0435\u0451 \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u041a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0411\u0414 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u043e\u0439 \u0438 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043e\u0442\u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0432\u0441\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u043c \u043f\u043e\u043b\u0435 <code>comment_de<\/code>:<\/p>\n<pre><code class=\"python\">new_values = {     'kpi_id': 1,     'comment_de': '\u0421\u0434\u0435\u043b\u0430\u043b\u0438 \u0442\u0430\u043a, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0442\u043e\u043c\u0443' }  # \u0412\u044b\u0437\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 scd_dim_kpi(     dict_kpi=new_values )<\/code><\/pre>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0432 \u0411\u0414 \u0442\u0430\u043a\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e: <code>kpi_id<\/code> \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f, \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432 <code>dim_kpi_dag_gen_config<\/code> \u0438 \u0442\u0430\u043a\u0436\u0435 \u0432\u0438\u0434\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0431\u044b\u043b\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043d\u0443 \u0438 \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2013 \u0444\u043b\u0430\u0433 <code>is_actual<\/code> \u043f\u0435\u0440\u0435\u043c\u0435\u0441\u0442\u0438\u043b\u0441\u044f \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u043f\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 <code>kpi_id<\/code>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4d4\/be5\/006\/4d4be5006b043c70b4a1be885e54ed72.png\" width=\"2006\" height=\"382\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d4\/be5\/006\/4d4be5006b043c70b4a1be885e54ed72.png\"\/><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0433\u043e\u0442\u043e\u0432\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c DAG \u0438\u0437 \u044d\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b.<\/p>\n<p><a class=\"anchor\" name=\"%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8FDAG%D1%87%D0%B5%D1%80%D0%B5%D0%B7SCD\" id=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044fDAG\u0447\u0435\u0440\u0435\u0437SCD\"><\/a><\/p>\n<h3>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f DAG \u0447\u0435\u0440\u0435\u0437 SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/h3>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u043c <a href=\"#simple_dag\" rel=\"noopener noreferrer nofollow\">simple_dag<\/a> \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u043d\u043e \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0435\u0433\u043e \u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u0438 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0438\u0437 \u043d\u0435\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c DAG \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432.<\/p>\n<details class=\"spoiler\">\n<summary>DAG \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 DAG<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from datetime import datetime, timedelta  import pendulum  from airflow import DAG  from airflow.sensors.external_task import ExternalTaskSensor  from airflow.operators.empty import EmptyOperator from airflow.providers.postgres.operators.postgres import PostgresOperator  from airflow.providers.postgres.hooks.postgres import PostgresHook   def create_kpi_of_dag(         owner: str = None,         dag_id: str = None,         pg_target_schema: str = None,         pg_target_table: str = None,         index_kpi: str = None,         pg_environment: str = None,         airflow_environment: str = None,         long_description: str = None,         short_description: str = None,         start_date: str = None,         cron_expression: str = None,         tags: str = None,         sensors: str = None,         sql_query: str = None, ) -> DAG:     \"\"\"     \u0424\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u0438\u043f\u043e\u0432\u043e\u0439 DAG \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438.      \u0412\u0441\u044f \u043b\u043e\u0433\u0438\u043a\u0430 \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0438 \u043f\u0440\u043e\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.      \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0436\u0435\u043b\u0430\u0435\u043c\u044b\u0439     \u044d\u0444\u0444\u0435\u043a\u0442.      @param owner: \u0412\u043b\u0430\u0434\u0435\u043b\u0435\u0446 DAG.     @param dag_id: \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 DAG.     @param pg_target_schema: \u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0432 PostgreSQL.     @param pg_target_table: \u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0432 PostgreSQL.     @param index_kpi: ID \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f.     @param pg_environment: \u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 PostgreSQL.     @param airflow_environment: \u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 Airflow.     @param long_description: \u041f\u043e\u043b\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043e\u0442\u0447\u0435\u0442\u0430.     @param short_description: \u041a\u043e\u0440\u043e\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043e\u0442\u0447\u0435\u0442\u0430.     @param start_date: \u0414\u0430\u0442\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0431\u043e\u0442\u044b DAG.     @param cron_expression: Cron.     @param tags: Tags.     @param sensors: Sensors.     @param sql_query: SQL-\u0437\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438.     @return: \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 DAG.     \"\"\"     # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f DAG     local_tz = pendulum.timezone('Europe\/Moscow')      # \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 DAG     pg_target_schema = pg_target_schema     pg_target_table = pg_target_table     pg_tmp_schema = 'stg'     pg_tmp_table = f'tmp_{dag_id}_{{{{ data_interval_start.format(\"YYYY_MM_DD\") }}}}'      # \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043a GP     pg_connect = 'test_db_dev' if pg_environment == 'dev' else 'test_db'      # \u0421\u0434\u0435\u043b\u0430\u043d\u0430 \u0437\u0430\u0433\u043b\u0443\u0448\u043a\u0430 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f     airflow_environment = airflow_environment      # \u0414\u0430\u0442\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 str \u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0430\u0442\u0443 \u0438 \u043b\u044e\u0431\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0434\u0430\u0442\u044b     parse_date = pendulum.parse(start_date)      args = {         'owner': owner,         'start_date': datetime(parse_date.year, parse_date.month, parse_date.day, tzinfo=local_tz),         'catchup': True,         'depends_on_past': True,         'retries': 3,         'retry_delay': timedelta(hours=1),     }      # Tags \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0432 str \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \"\u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\" \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432 list     raw_tags = list(tags.split(','))     tags_ = []      for i in raw_tags:         tags_.append(  # noqa: PERF401             i.replace(\"'\", \"\")             .replace(\" \", '')             .replace(\"[\", \"\")             .replace(\"]\", \"\")         )      # Sensors \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0432 str \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0438\u0445 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \"\u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\" \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432 list     if sensors:         raw_sensors = list(sensors.split(','))         sensors_ = []         for i in raw_sensors:             sensors_.append(  # noqa: PERF401                 i.replace(\"'\", \"\")                 .replace(' ', '')                 .replace(\"[\", \"\")                 .replace(\"]\", \"\")             )     else:         sensors_ = None      with DAG(             dag_id=dag_id,             schedule_interval=cron_expression,             default_args=args,             tags=tags_,             description=short_description,             concurrency=1,             max_active_tasks=1,             max_active_runs=1,     ) as dag:         dag.doc_md = long_description          start = EmptyOperator(             task_id='start',         )          # \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c sensors, \u0442\u043e \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u0441\u0435\u043d\u0441\u043e\u0440\u0430\u043c\u0438, \u0438\u043d\u0430\u0447\u0435 \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043e\u0434\u043d\u0443 \u043f\u0443\u0441\u0442\u044b\u0448\u043a\u0443         if sensors_:             sensors_task = [                 ExternalTaskSensor(                     task_id=f'sensor_{dag}',                     external_dag_id=dag,                     allowed_states=['success'],                     mode='reschedule',                     timeout=360000,  # \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0435\u043d\u0441\u043e\u0440\u0430                     poke_interval=600  # \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438                 ) for dag in sensors_             ]         else:             sensors_task = [EmptyOperator(task_id=f'empty_{value}') for value in range(1)]          drop_tmp_before = PostgresOperator(             task_id='drop_tmp_before',             sql=f'''DROP TABLE IF EXISTS {pg_tmp_schema}.{pg_tmp_table}''',             postgres_conn_id=pg_connect         )          create_tmp = PostgresOperator(             task_id='create_tmp',             sql=f'''             CREATE TABLE {pg_tmp_schema}.{pg_tmp_table} AS             {                 sql_query.format(                     start_date=\"{{ data_interval_start.format('YYYY-MM-DD') }}\",                     end_date=\"{{ data_interval_end.format('YYYY-MM-DD') }}\"                 )             };             ''',             postgres_conn_id=pg_connect         )          delete_from_target = PostgresOperator(             task_id='delete_from_target',             sql=f'''             DELETE FROM {pg_target_schema}.{pg_target_table}             WHERE                  date IN (                     SELECT                          date                      FROM                          {pg_tmp_schema}.{pg_tmp_table}                     WHERE                         kpi_id = {index_kpi}                     )             AND kpi_id = {index_kpi}             ''',             postgres_conn_id=pg_connect         )          insert_from_tmp_to_target = PostgresOperator(             task_id='insert_from_tmp_to_target',             sql=f'''             INSERT INTO {pg_target_schema}.{pg_target_table}(\"date\", value, kpi_id)             SELECT                  \"date\",                  value,                  {index_kpi} AS kpi_id              FROM                  {pg_tmp_schema}.{pg_tmp_table}             ''',             postgres_conn_id=pg_connect         )          drop_tmp_after = PostgresOperator(             task_id='drop_tmp_after',             sql=f'''DROP TABLE IF EXISTS {pg_tmp_schema}.{pg_tmp_table}''',             postgres_conn_id=pg_connect         )          end = EmptyOperator(             task_id='end',         )          start >> sensors_task >> drop_tmp_before >> create_tmp >> delete_from_target >>\\         insert_from_tmp_to_target >> drop_tmp_after >> end      return dag   # build a dag from dag config def generator_of_morning_kpi_dag_to_gp() -> None:     \"\"\"     \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0441\u043f\u0438\u0441\u043e\u043a config \u0438\u0437 \u0411\u0414 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 DAG's \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 `create_kpi_of_dag`.      \u0418\u0442\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e config \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e `create_kpi_of_dag`, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 DAG.      @return: None     \"\"\"     pg_hook = PostgresHook(postgres_conn_id='test_db')      df = pg_hook.get_pandas_df(  # noqa: PD901         '''         SELECT              kpi_id,             dag_id,             \"owner\",             sql_query,             start_date,             pg_environment,             airflow_environment,             short_description_md,             long_description_md,             cron,             sensors,             tags         FROM              dim_kpi_dag_gen_config         WHERE              is_actual IS TRUE          ORDER BY              id;         '''     )      for i in range(len(df)):         create_kpi_of_dag(             owner=df.iloc[i].owner,             dag_id=df.iloc[i].dag_id,             pg_target_schema='public',             pg_target_table='fct_dm_kpi',             index_kpi=df.iloc[i].kpi_id,             pg_environment=df.iloc[i].pg_environment,             airflow_environment=df.iloc[i].airflow_environment,             long_description=df.iloc[i].long_description_md,             short_description=df.iloc[i].short_description_md,             start_date=df.iloc[i].start_date,             cron_expression=df.iloc[i].cron,             tags=df.iloc[i].tags,             sensors=df.iloc[i].sensors,             sql_query=df.iloc[i].sql_query,         )   generator_of_morning_kpi_dag_to_gp() <\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e DAG \u043c\u044b \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0432\u0438\u0434\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2013 \u0432 \u043d\u0430\u0448\u0435\u043c \u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f DAG \u0441 \u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cd0\/81c\/740\/cd081c740ece4c2fcd272c6b3d092dd9.png\" width=\"3328\" height=\"876\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd0\/81c\/740\/cd081c740ece4c2fcd272c6b3d092dd9.png\"\/><\/figure>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430\u0448 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 DAG \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u0435\u043c SQL-\u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u0434 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439 \u043d\u0430\u043c \u0444\u043e\u0440\u043c\u0430\u0442.<\/p>\n<details class=\"spoiler\">\n<summary>\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 sql_query \u0434\u043b\u044f DAG test_1<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">new_values = {     'kpi_id': 1,     'sql_query': '''     SELECT          ('2023-'||((random()*11+1)::int)::varchar||'-'||((random()*27+1)::int)::varchar)::date AS date,         (random()*100)::int AS value     ''', }   # \u0412\u044b\u0437\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 scd_dim_kpi(     dict_kpi=new_values ) <\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0412\u0441\u0451, DAG \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u0447\u0442\u043e-\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0435\u0449\u0451 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e DAG.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/048\/98a\/610\/04898a61069c3a36204afb6669660957.png\" width=\"1930\" height=\"990\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/048\/98a\/610\/04898a61069c3a36204afb6669660957.png\"\/><\/figure>\n<p>\u042f \u0441\u043e\u0437\u0434\u0430\u043b \u043f\u044f\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 DAG \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0431\u043b\u043e\u043d\u0443 (\u0434\u043b\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438):<\/p>\n<details class=\"spoiler\">\n<summary>Hidden text<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\"># \u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f new_values = {     'kpi_id': 6,     'dag_id': 'test_6',     'metric_name_en': 'test_6',     'owner': 'korsak0v',     'start_date': '2000-01-01',     'cron': '15 14 1 * *',     'tags': '''['dm', 'pg', 'gen_dag', 'from_pg']''',     'sql_query': '''     SELECT          ('2023-'||((random()*11+1)::int)::varchar||'-'||((random()*27+1)::int)::varchar)::date AS date,         (random()*100)::int AS value     ''', }   # \u0412\u044b\u0437\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 scd_dim_kpi(     dict_kpi=new_values )<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0412\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e. \u0412 \u0411\u0414 \u0437\u0430\u043f\u0438\u0441\u0438 \u0435\u0441\u0442\u044c:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ab9\/a3f\/305\/ab9a3f305cddbdb6c9f23654a7ae251c.png\" width=\"1842\" height=\"1178\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab9\/a3f\/305\/ab9a3f305cddbdb6c9f23654a7ae251c.png\"\/><\/figure>\n<p>\u0412 Airflow DAG \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442\u0441\u044f \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fd0\/727\/dd6\/fd0727dd693996f730e64c941aa1c7ab.png\" width=\"3310\" height=\"1324\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd0\/727\/dd6\/fd0727dd693996f730e64c941aa1c7ab.png\"\/><\/figure>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0435\u0449\u0451 \u0441\u0435\u043d\u0441\u043e\u0440\u044b \u0434\u043b\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0438. \u042f \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u043d\u043e\u0432\u044b\u0439 DAG \u0438 \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0435\u0433\u043e \u0433\u0440\u0430\u0444, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c <code>EmptyOperator<\/code> \u2013 <code>empty_0<\/code>. \u0421\u0435\u0439\u0447\u0430\u0441 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0433\u043b\u0443\u0448\u043a\u0430 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0435\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u0441\u0435\u043d\u0441\u043e\u0440\u043e\u0432 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 DAG. \u041f\u0440\u0438 \u0434\u0430\u0433\u0440\u0430\u043d\u0435 \u043e\u043d \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438 \u043d\u0430\u0448 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d3d\/e61\/3e4\/d3de613e4c38472d3ba45ab897294a4d.png\" width=\"3304\" height=\"814\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3d\/e61\/3e4\/d3de613e4c38472d3ba45ab897294a4d.png\"\/><\/figure>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0435\u043d\u0441\u043e\u0440\u043e\u0432:<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0438\u0441\u043a\u0430 \u0441\u0435\u043d\u0441\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0444\u0430 DAG test_7<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">new_values = {     'kpi_id': 7,     'sensors': '''['test_1', 'test_2', 'test_3', 'test_4', 'test_5', 'test_6']''', }   # \u0412\u044b\u0437\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 scd_dim_kpi(     dict_kpi=new_values )<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0418 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0444. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0433\u043b\u0443\u0448\u043a\u0438 \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0435\u043d\u0441\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043b\u0438 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e DAG \u0438\u043b\u0438 \u043d\u0435\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ef8\/b19\/de5\/ef8b19de5d57af91d853bf13cbd92044.png\" width=\"3318\" height=\"1572\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef8\/b19\/de5\/ef8b19de5d57af91d853bf13cbd92044.png\"\/><\/figure>\n<p>\u041d\u0443, \u0438 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u043d\u0430\u0448\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 DAG:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/935\/b90\/d50\/935b90d5014b699eda29721866ef4204.png\" width=\"718\" height=\"770\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/935\/b90\/d50\/935b90d5014b699eda29721866ef4204.png\"\/><\/figure>\n<p>\u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c JOIN \u043c\u0435\u0436\u0434\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0444\u0430\u043a\u0442\u043e\u0432 \u0438 \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043c\u0435\u0442\u0440\u0438\u043a.<\/p>\n<p><a class=\"anchor\" name=\"%D0%97%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\"><\/a><\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u042f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0441\u0432\u043e\u0439 \u043a\u0435\u0439\u0441. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043e\u043d \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0437\u043a\u043e\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c, \u043d\u043e \u0442\u0443\u0442 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u043e\u0431 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0435 DAG.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u044f \u043d\u0435 \u043e\u0442\u0440\u0438\u0446\u0430\u044e, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e, \u043d\u043e \u0438 \u0438\u0434\u0435\u0430\u043b\u0430 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \ud83d\ude09<\/p>\n<p>\u041c\u043e\u0433 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0443\u043f\u0443\u0441\u0442\u0438\u0442\u044c\/\u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c\/\u043d\u0435 \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e. \u0417\u0430 \u0432\u0441\u0435\u043c \u044d\u0442\u0438\u043c \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438.<\/p>\n<p>\u0412\u0430\u0436\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435:\u00a0<\/p>\n<ol>\n<li>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0444\u0430\u0439\u043b, \u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e \u0432\u0441\u0435\u0445 DAG \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430\u0448\u0435\u0433\u043e DAG, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u044b\u0435 DAG, \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u043e\u044e <a href=\"https:\/\/habr.com\/ru\/articles\/722688\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0442\u043e \u0441\u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 DAG. \u0415\u0441\u043b\u0438 \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0430\u0442\u044b \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0441\u0442\u0440\u043e\u043a\u0430, \u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0435 \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043d\u0438 \u043e\u0434\u0438\u043d DAG \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u043d. \u041d\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u0438 \u043f\u0440\u043e\u0447\u0435\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 <code>kpi_id<\/code> \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e. \u0412 \u043c\u043e\u0435\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043d\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0430\u0432\u0442\u043e\u0438\u043d\u043a\u0440\u0435\u043c\u0435\u043d\u0442. \u041d\u043e \u043a\u0430\u043a \u044f \u0433\u043e\u0432\u043e\u0440\u0438\u043b \u0440\u0430\u043d\u0435\u0435 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0438  \u0434\u0440\u0443\u0433\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0430 \u0443\u0436\u0435 \u044d\u0442\u043e \u043d\u0430 backend.<\/p>\n<\/li>\n<li>\n<p>\u042f \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0430\u043c\u0443\u044e \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u043f\u043e\u0434 \u0441\u0435\u0431\u044f, \u0441 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u044b\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0438 \u043f\u0440\u043e\u0447\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a\u0438, \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u0442\u044c ORM-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e backend, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u044d\u0442\u043e \u0440\u0443\u043a\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u043c DAG \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430\u043c\u0438 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u044d\u0442\u043e \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u043d\u0443\u0436\u0434\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0439 \u043a\u0435\u0439\u0441 \u0440\u0435\u0448\u0430\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0443\u044e \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0443. \u0411\u0438\u0437\u043d\u0435\u0441 \u0440\u0430\u0434 \u0438 \u044f \u0440\u0430\u0434 \ud83d\ude42<\/p>\n<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/756978\/\"> https:\/\/habr.com\/ru\/articles\/756978\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<h2>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/h2>\n<ol>\n<li>\n<p><a href=\"#%D0%9F%D1%80%D0%B5%D0%B4%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%98%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8\" rel=\"noopener noreferrer nofollow\">\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%9F%D0%BE%D0%B4%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BA%D0%B0%D0%A1%D1%82%D0%B5%D0%BD%D0%B4%D0%B0\" rel=\"noopener noreferrer nofollow\">\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u0442\u0435\u043d\u0434\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%BE%D1%82%D0%BE%D0%B2%D0%BE%D0%94%D0%BB%D1%8F%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0451 \u0433\u043e\u0442\u043e\u0432\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%A2%D0%B0%D0%B1%D0%BB%D0%B8%D1%86%D1%8B\" rel=\"noopener noreferrer nofollow\">\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%98%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8FDAG%D1%87%D0%B5%D1%80%D0%B5%D0%B7SCD\" rel=\"noopener noreferrer nofollow\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f DAG \u0447\u0435\u0440\u0435\u0437 SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%97%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/a><\/p>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"%D0%9F%D1%80%D0%B5%D0%B4%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F\" id=\"\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f\">\u0442\u043e\u0440\u0438\u044f&#187;<\/a><\/p>\n<h3>\u041f\u0440\u0435\u0434\u0438\u0441\u0442\u043e\u0440\u0438\u044f<\/h3>\n<p>\u0417\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u0441\u0451 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043f\u0440\u043e \u0431\u0438\u0437\u043d\u0435\u0441-\u043a\u0435\u0439\u0441, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0442\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438 \u0441\u0440\u0430\u0437\u0443 \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443 \ud83d\ude42<\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u0440\u043e\u0441\u0442\u043e, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442 \u0441\u0443\u0442\u044c \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442.<\/p>\n<p>\u0422\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u043a: MAU, DAU, \u0441\u0443\u043c\u043c\u0430 \u043f\u0440\u043e\u0434\u0430\u0436 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435 \u0434\u0430\u044e\u0442 \u0441\u0442\u0435\u0439\u043a\u0445\u043e\u043b\u0434\u0435\u0440\u043e\u043c \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u0441 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u043c.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u0442\u0430-\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430 \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a: \u0434\u0430\u0442\u0430, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0414\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0441\u0435\u043c\u044c \u043a\u0440\u0443\u0433\u043e\u0432 \u0430\u0434\u0430: \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430, \u043e\u0447\u0438\u0441\u0442\u043a\u0430, \u043e\u0431\u043e\u0433\u0430\u0449\u0435\u043d\u0438\u0435, \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f, \u0440\u0430\u0441\u0447\u0435\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0438, \u0441\u043d\u043e\u0432\u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f, \u043e\u043f\u044f\u0442\u044c \u043e\u0447\u0438\u0441\u0442\u043a\u0430 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0433\u043e\u0442\u043e\u0432\u0430 \u043f\u043e\u043f\u0430\u0441\u0442\u044c &#171;\u043d\u0430 \u0441\u0442\u043e\u043b&#187;. (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0440\u0443\u0433\u043e\u0432 \u0430\u0434\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043a \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0438 \u043e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0441\u0443\u0442\u044c \u0432\u044b \u043f\u043e\u043d\u044f\u043b\u0438 :))<\/p>\n<p>\u042f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u044b\u0442\u0430\u044e\u0441\u044c \u043a\u0430\u043a-\u0442\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0436\u0438\u0437\u043d\u044c \u0438 \u0441\u0435\u0431\u0435, \u0438 \u043b\u044e\u0434\u044f\u043c.<\/p>\n<p>\u0418 \u0442\u0443\u0442 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0448\u0430\u043d\u0441 \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<p>\u041f\u0440\u0438\u0448\u0435\u043b \u0431\u0438\u0437\u043d\u0435\u0441 \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c: &#171;\u0423 \u043d\u0430\u0441 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432\u0438\u0434: \u0434\u0430\u0442\u0430, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u041c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u044d\u0442\u043e \u0432\u0441\u0451 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0443\u043a\u0430\u043c\u0438, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043a\u0430\u043a\u0438\u043c\u0438-\u0442\u043e \u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438 \u0438 \u0443 \u044d\u0442\u043e\u0433\u043e \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u044b. \u0410 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u0441\u0451 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435. \u041d\u0443 \u0438 \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2013 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0441\u0432\u043e\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u044b \u0437\u043d\u0430\u043b\u0438 \u043a\u043e\u0433\u0434\u0430, \u0437\u0430\u0447\u0435\u043c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0442\u0430 \u0438\u043b\u0438 \u0438\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430&#187; \u2013 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u044d\u0442\u043e\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u0437\u0432\u0443\u0447\u0430\u043b \u0442\u0430\u043a: &#171;\u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u0437\u043d\u0430\u0442\u044c \u043a\u043e\u0433\u0434\u0430, \u0447\u0442\u043e \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0441 \u043d\u0438\u043c\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u043b\u043e&#187; \ud83d\ude42<\/p>\n<p>\u0418 \u044f \u043d\u0430\u0447\u0430\u043b \u0434\u0443\u043c\u0430\u0442\u044c.<\/p>\n<p>\u041d\u0430 \u0443\u043c \u043f\u0440\u0438\u0448\u043b\u0430 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0438\u0434\u0435\u044f \u2013 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9C%D0%B5%D0%B4%D0%BB%D0%B5%D0%BD%D0%BD%D0%BE_%D0%BC%D0%B5%D0%BD%D1%8F%D1%8E%D1%89%D0%B5%D0%B5%D1%81%D1%8F_%D0%B8%D0%B7%D0%BC%D0%B5%D1%80%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\">SCD<\/a>. <\/p>\n<p>\u0421\u0440\u0430\u0437\u0443 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441 \u0442\u0438\u043f\u043e\u043c &#171;II&#187;, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043b\u043e\u0433\u0438\u043a\u0430, \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435. \u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u0442\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f, \u0434\u0430\u0442\u0430 &#171;\u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f&#187;.<\/p>\n<p>\u0410 \u0435\u0449\u0451 \u044f \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0442\u0435\u043b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u043d\u043e \u0438 \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c DAG \u0447\u0435\u0440\u0435\u0437 \u044d\u0442\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u0443<\/p>\n<p>\u0418 \u044f \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b.<\/p>\n<p>\u041e\u0431 \u044d\u0442\u043e\u043c \u0438 \u043f\u043e\u0439\u0434\u0435\u0442 \u0434\u0430\u043b\u044c\u0448\u0435 \u0440\u0435\u0447\u044c.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0442\u043e, \u0442\u043e  \u0432\u0435\u0441\u044c \u043a\u043e\u0434, \u0432\u0441\u0435 \u043a\u043e\u043c\u043c\u0438\u0442\u044b \u0438 \u043f\u0440\u043e\u0447\u0435\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0434\u0430\u043d\u043d\u043e\u043c <a href=\"https:\/\/github.com\/k0rsakov\/scd_dag_factory\" rel=\"noopener noreferrer nofollow\">git-\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%98%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%B5%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8\" id=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435\u0422\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438\">\u0422\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438&#187;><\/a><\/p>\n<h3>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438:<\/h3>\n<ul>\n<li>\n<p>MacBook Air (M1, 2020)<\/p>\n<ul>\n<li>\n<p>\u041e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c 16 Gb<\/p>\n<\/li>\n<li>\n<p>macOS Monterey 12.6<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>Docker 4.22.0<\/p>\n<ul>\n<li>\n<p>Docker resources:<\/p>\n<ul>\n<li>\n<p>CPUs: 2<\/p>\n<\/li>\n<li>\n<p>Memory: 4 Gb<\/p>\n<\/li>\n<li>\n<p>Swap: 4 Gb<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>Python3.11<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"%D0%9F%D0%BE%D0%B4%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BA%D0%B0%D0%A1%D1%82%D0%B5%D0%BD%D0%B4%D0%B0\" id=\"\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430\u0421\u0442\u0435\u043d\u0434\u0430\">\u0430\u0421\u0442\u0435\u043d\u0434\u0430&#187;><\/a><\/p>\n<h3>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0441\u0442\u0435\u043d\u0434\u0430<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043a\u0430\u0447\u0430\u0435\u043c \u0441\u0435\u0431\u0435 <code>docker-compose.yaml<\/code> \u0441 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0430\u0439\u0442 Airflow:<\/p>\n<pre><code class=\"bash\">curl -LfO 'https:\/\/airflow.apache.org\/docs\/apache-airflow\/2.6.3\/docker-compose.yaml'<\/code><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u0435\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c, \u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u043c Python3.7. \u041d\u043e \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0435\u0431\u0435 Python3.11. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c Dockerfile \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<pre><code class=\"yaml\">FROM apache\/airflow:2.6.3-python3.11<\/code><\/pre>\n<p>\u0417\u0430\u0442\u0435\u043c \u0432 <code>docker-compose.yaml<\/code> \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u043d\u0430 \u043d\u0430\u0448 (\u0441\u0442\u0440\u043e\u043a\u0430 53):<\/p>\n<pre><code>  # image: ${AIRFLOW_IMAGE_NAME:-apache\/airflow:2.6.3}   build: .<\/code><\/pre>\n<p>\u0412\u0441\u0451, \u0433\u043e\u0442\u043e\u0432\u043e. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u0448 \u043f\u0440\u043e\u0435\u043a\u0442. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code class=\"bash\">docker-compose up -d<\/code><\/pre>\n<p>* \u0415\u0441\u043b\u0438 \u0432\u044b \u0443\u0436\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 <code>docker-compose up -d<\/code>, \u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 <code>docker-compose build<\/code> \u0438 \u0437\u0430\u0442\u0435\u043c \u0441\u043d\u043e\u0432\u0430 <code>docker-compose up -d<\/code>.<\/p>\n<p>\u0416\u0434\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u0441\u043a\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u043e\u0431\u0440\u0430\u0437\u044b \u0438 \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f \u0432\u0441\u0435 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u044b. \u041f\u043e\u0441\u043b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438 Airflow \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043f\u043e \u0430\u0434\u0440\u0435\u0441\u0443 <a href=\"http:\/\/0.0.0.0:8080\/home\" rel=\"noopener noreferrer nofollow\">http:\/\/0.0.0.0:8080\/home<\/a><\/p>\n<h4>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f<\/h4>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u043a\u0430 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0430 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0432\u0441\u0435 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438.<\/h3>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code class=\"bash\">python3.11 -m venv venv &amp;&amp; \\                                                                                                                                                     ~\/_code\/github\/scd_dag_factory   source venv\/bin\/activate &amp;&amp; \\ pip install --upgrade pip &amp;&amp; \\ pip install -r requirements.txt<\/code><\/pre>\n<p>\u0412 \u043d\u0430\u0448\u0435 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0432\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430.<\/p>\n<h4>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0441 \u0431\u0430\u0437\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 docker-compose<\/h4>\n<p>\u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0411\u0414). \u042f \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0435 \u0432\u044b\u0431\u0440\u0430\u043b PostgreSQL (\u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0431\u044b\u043b \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442 \u0438\u043d\u0441\u0442\u0430\u043d\u0441 GreenPlum 6).<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0411\u0414 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432 \u043a\u043e\u043d\u0435\u0446 <code>docker-compose.yaml<\/code> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code class=\"yaml\">  test_db:     image: postgres     restart: always     ports:       - \"1:5432\"     environment:       POSTGRES_USER: postgres       POSTGRES_PASSWORD: postgres<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043d\u043e\u0432\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u0431\u043e\u0440\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439:<\/p>\n<pre><code class=\"bash\">docker-compose up -d<\/code><\/pre>\n<p><a class=\"anchor\" name=\"%D0%93%D0%BE%D1%82%D0%BE%D0%B2%D0%BE%D0%94%D0%BB%D1%8F%D0%9F%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D0%B0\" id=\"\u0413\u043e\u0442\u043e\u0432\u043e\u0414\u043b\u044f\u041f\u0440\u043e\u0435\u043a\u0442\u0430\">\u041f\u0440\u043e\u0435\u043a\u0442\u0430&#187;><\/a><\/p>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0451 \u0433\u043e\u0442\u043e\u0432\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u0430 \u043a \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u043d\u0435\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u0411\u0414.<\/p>\n<details class=\"spoiler\">\n<summary>DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u043e\u043d\u043d\u0435\u043a\u0442 \u043a \u0411\u0414 \u0432 docker-\u0441\u0431\u043e\u0440\u043a\u0435<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from datetime import datetime, timedelta  import pendulum  from airflow import DAG  from airflow.operators.empty import EmptyOperator from airflow.operators.python import PythonOperator  from airflow.providers.postgres.hooks.postgres import PostgresHook  # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f DAG OWNER = 'korsak0v' DAG_ID = 'check_pg' LOCAL_TZ = pendulum.timezone('Europe\/Moscow')  # \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043a\u043b\u044e\u0447\u0435\u0439 \u0434\u043b\u044f default_args # https:\/\/github.com\/apache\/airflow\/blob\/343d38af380afad2b202838317a47a7b1687f14f\/airflow\/example_dags\/tutorial.py#L39 args = {     'owner': OWNER,     'start_date': datetime(2023, 1, 1, tzinfo=LOCAL_TZ),     'catchup': True,     'retries': 3,     'retry_delay': timedelta(hours=1), }   def check_pg_connect(**context):     \"\"\"\"\"\"     pg = PostgresHook('test_db')      df = pg.get_pandas_df('SELECT 1 AS one')      if len(df) == 1:         print(True)  with DAG(         dag_id=DAG_ID,         schedule_interval='10 0 * * *',         default_args=args,         tags=['check_pg_connect', 'test'],         concurrency=1,         max_active_tasks=1,         max_active_runs=1, ) as dag:      start = EmptyOperator(         task_id='start',     )      check_pg_connect = PythonOperator(         task_id='check_pg_connect',         python_callable=check_pg_connect,     )      end = EmptyOperator(         task_id='end',     )      start >> check_pg_connect >> end <\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0435\u0433\u043e \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043d\u0435\u0433\u043e. \u0415\u0441\u043b\u0438 \u0440\u0430\u043d\u044b \u0433\u043e\u0440\u044f\u0442 \u0437\u0435\u043b\u0435\u043d\u044b\u043c, \u0442\u043e \u0432\u0441\u0451 \u0438\u0434\u0435\u0442 \u043f\u043e \u043f\u043b\u0430\u043d\u0443.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448 \u0442\u0438\u043f\u043e\u0432\u043e\u0439 DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e \u0442\u0438\u043f\u0443: \u0434\u0430\u0442\u0430, \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p><a class=\"anchor\" name=\"simple_dag\" id=\"simple_dag\"><\/a><\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0438\u043f\u043e\u0432\u043e\u0439 DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 (simple_dag)<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">from datetime import datetime, timedelta  import pendulum  from airflow import DAG  from airflow.operators.empty import EmptyOperator from airflow.providers.postgres.operators.postgres import PostgresOperator   # \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f DAG OWNER = 'korsak0v' DAG_ID = 'simple_dag' LOCAL_TZ = pendulum.timezone('Europe\/Moscow')  # \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043a PG PG_CONNECT = 'test_db'  # \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 DAG PG_TARGET_SCHEMA = 'dm' PG_TARGET_TABLE = 'fct_sales' PG_TMP_SCHEMA = 'stg' PG_TMP_TABLE = f'tmp_{PG_TARGET_TABLE}_{{{{ data_interval_start.format(\"YYYY_MM_DD\") }}}}' INDEX_KPI = 1  sql_query = ''' SELECT  ('2023-'||((random()*11+1)::int)::varchar||'-'||((random()*27+1)::int)::varchar)::date AS date, (random()*100)::int AS value, 1 AS kpi_id '''  LONG_DESCRIPTION = '# LONG_DESCRIPTION'  SHORT_DESCRIPTION = 'SHORT_DESCRIPTION'   args = {     'owner': OWNER,     'start_date': datetime(2023, 1, 1, tzinfo=LOCAL_TZ),     'catchup': True,     'retries': 3,     'retry_delay': timedelta(hours=1), }  with DAG(         dag_id=DAG_ID,         schedule_interval='10 0 * * *',         default_args=args,         tags=['dm'],         description=SHORT_DESCRIPTION,         concurrency=1,         max_active_tasks=1,         max_active_runs=1, ) as dag:     dag.doc_md = LONG_DESCRIPTION      start = EmptyOperator(         task_id='start',     )      drop_tmp_before = PostgresOperator(         task_id='drop_tmp_before',         sql=f'''DROP TABLE IF EXISTS {PG_TMP_SCHEMA}.{PG_TMP_TABLE}''',         postgres_conn_id=PG_CONNECT     )      create_tmp = PostgresOperator(         task_id='create_tmp',         sql=f'''         CREATE TABLE {PG_TMP_SCHEMA}.{PG_TMP_TABLE} AS         {             sql_query.format(                 start_date=\"{{ data_interval_start.format('YYYY-MM-DD') }}\",                 end_date=\"{{ data_interval_end.format('YYYY-MM-DD') }}\"             )         };         ''',         postgres_conn_id=PG_CONNECT     )      delete_from_target = PostgresOperator(         task_id='delete_from_target',         sql=f'''         DELETE FROM {PG_TARGET_SCHEMA}.{PG_TARGET_TABLE}         WHERE              date IN (                 SELECT                      date                  FROM                      {PG_TMP_SCHEMA}.{PG_TMP_TABLE}                 )         ''',         postgres_conn_id=PG_CONNECT     )      insert_from_tmp_to_target = PostgresOperator(         task_id='insert_from_tmp_to_target',         sql=f'''         INSERT INTO {PG_TARGET_SCHEMA}.{PG_TARGET_TABLE}(\"date\", value, kpi_id)         SELECT              \"date\",              value,             kpi_id         FROM              {PG_TMP_SCHEMA}.{PG_TMP_TABLE}         ''',         postgres_conn_id=PG_CONNECT     )      drop_tmp_after = PostgresOperator(         task_id='drop_tmp_after',         sql=f'''DROP TABLE IF EXISTS {PG_TMP_SCHEMA}.{PG_TMP_TABLE}''',         postgres_conn_id=PG_CONNECT     )      end = EmptyOperator(         task_id='end',     )      start >> drop_tmp_before >> create_tmp >> delete_from_target >> insert_from_tmp_to_target >> drop_tmp_after >> end     <\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0412 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0435\u0441\u0442\u044c \u0443\u0436\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0430 <code>kpi_id<\/code>. \u041f\u043e\u043a\u0430 \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u043c \u043d\u0430 \u043d\u0435\u0451 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u041e \u043d\u0435\u0439 \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0434 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c DAG \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0443\u0442 \u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>DDL \u043a\u043e\u0434 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0444\u0430\u043a\u0442\u043e\u0432<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"sql\">CREATE SCHEMA dm;  CREATE SCHEMA stg;  DROP TABLE IF EXISTS dm.fct_sales;  CREATE TABLE dm.fct_sales ( id bigserial PRIMARY KEY, \"date\" date NOT NULL, kpi_id int2 NOT NULL, value int4 NOT NULL );<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c DAG \u0438 \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u043a\u0430\u043a \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0423\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e. \u041c\u044b, \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0438\u043c\u0435\u0435\u043c DAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 (\u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u043c \u0437\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u0445\u043e\u0442\u044c \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e\u0433\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f).<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e SCD-\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p><a class=\"anchor\" name=\"%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5SCD%D0%A2%D0%B0%D0%B1%D0%BB%D0%B8%D1%86%D1%8B\" id=\"\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435SCD\u0422\u0430\u0431\u043b\u0438\u0446\u044b\">\u0422\u0430\u0431\u043b\u0438\u0446\u044b&#187;<\/a><\/p>\n<h3>\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 <\/h><\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-353182","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/353182","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=353182"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/353182\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=353182"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=353182"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=353182"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}