{"id":419756,"date":"2024-06-30T03:03:01","date_gmt":"2024-06-30T03:03:01","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=419756"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=419756","title":{"rendered":"<span>\u041e \u0447\u0435\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442 \u043d\u0430 SmartData 2023<\/span>"},"content":{"rendered":"<div><!--[--><img loading=\"lazy\" decoding=\"async\" height=\"1\" src=\"https:\/\/www.facebook.com\/tr?id=2610199939046212&amp;ev=PageView&amp;noscript=1\" style=\"display:none;\" width=\"1\"><img loading=\"lazy\" decoding=\"async\" height=\"1\" src=\"https:\/\/vk.com\/rtrg?p=VK-RTRG-258673-3Wkrc\" style=\"display:none;\" width=\"1\"><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5eb\/1c9\/65c\/5eb1c965c584bf3a4c909d42bfc0d000.png\" width=\"1920\" height=\"1078\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5eb\/1c9\/65c\/5eb1c965c584bf3a4c909d42bfc0d000.png\"\/><\/figure>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e \u043e\u0441\u0435\u043d\u044c\u044e \u043b\u044e\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0437\u0451\u0440\u0430\u2026 \u043d\u0430 \u043e\u0437\u0451\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e \u043d\u0438\u0445 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u043f\u0438\u043a\u0435\u0440 \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u041e\u0437\u0435\u0440\u043e\u0432. \u0412 \u043e\u0431\u0449\u0435\u043c, \u044d\u0442\u043e\u0439 \u043e\u0441\u0435\u043d\u044c\u044e, \u043a\u0430\u043a \u0438 \u0440\u0430\u043d\u044c\u0448\u0435, \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044e <a href=\"https:\/\/smartdataconf.ru\/?utm_source=habr&amp;utm_medium=749378\"><u>SmartData<\/u><\/a> \u043e\u0431\u043e \u0432\u0441\u0451\u043c, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0432 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0435: \u043e\u0442 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u0434\u043e MLOps.<\/p>\n<p>6-7 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f \u043f\u0440\u043e\u0439\u0434\u0451\u0442 \u043e\u043d\u043b\u0430\u0439\u043d-\u0447\u0430\u0441\u0442\u044c, \u0430 13-14 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043c\u0441\u044f \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 (\u043d\u043e \u0432\u0441\u0435, \u043a\u0442\u043e \u043d\u0435 \u0433\u043e\u0442\u043e\u0432 \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043c\u043e\u0441\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0443, \u0441\u043c\u043e\u0433\u0443\u0442 \u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e\u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e).\u00a0\u00a0<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 \u0442\u0435\u043c \u2014\u00a0\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c, \u0438 \u00ab\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438\u00bb \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0441\u0442\u0440\u0438\u043c\u0438\u043d\u0433, \u0438 DataOps, \u0438 \u0434\u0430\u0436\u0435 \u043f\u0430\u0440\u0430 \u00ab\u043a\u043e\u0441\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445\u00bb (\u0432 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435) \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432. \u0410 \u0441\u0440\u0435\u0434\u0438 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0435\u0441\u0442\u044c \u0442\u0435, \u0447\u044c\u0438 \u0434\u043e\u043a\u043b\u0430\u0434\u044b \u0443\u0436\u0435 \u0445\u0432\u0430\u043b\u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 SmartData \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u041c\u0430\u043a\u0441\u0438\u043c \u0411\u0430\u0431\u0435\u043d\u043a\u043e, \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0410\u043d\u043e\u0448\u0438\u043d, \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0415\u0440\u043c\u0430\u043a\u043e\u0432 \u0438 \u041c\u0430\u043a\u0441\u0438\u043c \u0421\u0442\u0430\u0446\u0435\u043d\u043a\u043e. \u0412\u0441\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u2014 \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c.<\/p>\n<h3>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435  <\/h3>\n<ul>\n<li>\n<p><a href=\"#tools\">\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#arch\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#int\">\u0411\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u00ab\u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c\u00bb<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#usecase\">Use cases<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#stream\">\u0421\u0442\u0440\u0438\u043c\u0438\u043d\u0433<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#mgmt\">\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#dataops\">DataOps<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#cosmos\">\u041a\u043e\u0441\u043c\u043e\u0441<\/a><\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a class=\"anchor\" name=\"tools\" id=\"tools\"><\/a><\/p>\n<h3>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4eb784531eeb4f4a88d688d871081fd2\/?utm_source=habr&amp;utm_medium=749378\"><u>dbt \u2014 \u044f\u0434\u0440\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/u><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/436\/016\/0bf\/4360160bff615b699432fc6c07ae4a2f.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/436\/016\/0bf\/4360160bff615b699432fc6c07ae4a2f.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0415\u0440\u043c\u0430\u043a\u043e\u0432<\/h5>\n<p>Toloka Ai Inc<\/p>\n<\/div>\n<p>dbt \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0441\u0444\u0435\u0440\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c \u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0434\u043a\u0443\u043f\u0438\u043b\u043e \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 Toloka.ai \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043d\u043e\u0432\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u043e \u0441\u0435\u0440\u0435\u0431\u0440\u044f\u043d\u044b\u0445 \u043f\u0443\u043b\u044c \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442: \u043a\u0430\u043a \u0438 \u0432 \u043b\u044e\u0431\u043e\u043c open source-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u043d\u0435 \u043e\u0431\u043e\u0448\u043b\u043e\u0441\u044c \u0431\u0435\u0437 \u00ab\u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u043d\u0430\u043f\u0438\u043b\u044c\u043d\u0438\u043a\u043e\u043c\u00bb. \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0438\u0445 \u043e\u043f\u044b\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f dbt \u0438 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/b41cdb8657284cccb8f647c95c03ac03\/?utm_source=habr&amp;utm_medium=749378\"><u>\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u0447\u0430\u0442-\u0431\u043e\u0442\u0430 Microsoft Teams, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Apache Airflow<\/u><\/a>  <\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/0e8\/db4\/e1a\/0e8db4e1aa1798ee2446d020e135877c.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0e8\/db4\/e1a\/0e8db4e1aa1798ee2446d020e135877c.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0442\u0430\u043d\u0438\u0441\u043b\u0430\u0432 \u0413\u043e\u0440\u0447\u0430\u043a\u043e\u0432<\/h5>\n<p>\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442<\/p>\n<\/div>\n<p>\u0412\u044b\u0433\u0440\u0443\u0437\u043a\u0430 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u044e \u0434\u043b\u044f DE, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c. \u041d\u043e \u0432\u0441\u0442\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0441\u0430\u043c\u0438\u043c \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0435 \u043e\u0442\u0447\u0435\u0442\u044b \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u0434\u0435\u0440\u0433\u0430\u0442\u044c DE?<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043a\u0435\u0439\u0441 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u0433\u0440\u0443\u0437\u043e\u043a \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c Microsoft Teams \u0438 Apache Airflow. \u041d\u0430\u0440\u0430\u0432\u043d\u0435 \u0441 \u044d\u0442\u0438\u043c \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u0441\u0432\u044f\u0437\u043a\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4a8aa356cafa44abbc4f6c8b647f34e4\/?utm_source=habr&amp;utm_medium=749378\">Apache Flink \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c: distributed, stateful, realtime<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/586\/017\/ad7\/586017ad7793225bb394efd937d7e34c.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/586\/017\/ad7\/586017ad7793225bb394efd937d7e34c.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u041f\u0440\u0435\u0434\u0442\u0435\u0447\u0435\u043d\u0441\u043a\u0430\u044f  <\/h5>\n<p>\u0410\u0432\u0438\u0442\u043e  <\/p>\n<\/div>\n<p>Apache Flink \u2014 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0438 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 stateful-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0410\u0432\u0438\u0442\u043e \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u043b\u044f realtime-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0442\u043e\u043a\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0438\u0445 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430. \u0417\u0430 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0438\u043c \u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u0438 \u0435\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u043d\u0435\u044f\u0432\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 Flink \u0438 \u043e\u0441\u043e\u0437\u043d\u0430\u043b\u0438, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c. \u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u0444\u0438\u0447 Apache Flink \u0438 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441 \u043d\u0438\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/295ca5c002ac4e2ab38214fab714b5b7\/?utm_source=habr&amp;utm_medium=749378\">CDC. \u041e\u0442 \u0431\u0430\u0437\u0437\u0432\u043e\u0440\u0434\u0430 \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 Data Transfer<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/775\/cd6\/2d2\/775cd62d2cd19a330fd8007c467530e8.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/775\/cd6\/2d2\/775cd62d2cd19a330fd8007c467530e8.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0422\u0438\u043c\u043e\u0444\u0435\u0439 \u0411\u0440\u0443\u043d\u044c\u043a\u043e<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441<\/p>\n<\/div>\n<p>CDC (Change data capture) \u2014 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<\/p>\n<p>\u0422\u0438\u043c\u043e\u0444\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0435\u0433\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0440\u044b\u043d\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u0432\u044b\u0437\u043e\u0432\u0430\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0441\u0435\u0440\u0432\u0438\u0441\u0435 Data Transfer \u0432 \u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/f01f5a716313470c97b29c99648e0677\/?utm_source=habr&amp;utm_medium=749378\">\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u0430 \u043b\u0438 \u0436\u0438\u0437\u043d\u044c \u0441 open source BI \u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/f57\/b8a\/d30\/f57b8ad302dd7295368ad35ddf518af4.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f57\/b8a\/d30\/f57b8ad302dd7295368ad35ddf518af4.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u043b\u044c\u044f \u0410\u043d\u0438\u043a\u0438\u043d<\/h5>\n<p>\u0410\u0432\u0438\u0442\u043e  <\/p>\n<\/div>\n<p>\u0411\u043e\u043b\u044c\u043d\u043e \u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0438\u0439\u0441\u044f \u0433\u043e\u0434\u0430\u043c\u0438 BI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043d\u0430 \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435, \u0434\u0430 \u0435\u0449\u0435 \u0438 open source? \u0418\u043b\u044c\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0438 \u043a\u0430\u043a \u043d\u0430 \u0432\u0441\u0435 \u044d\u0442\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438. \u041e\u043d \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0434\u043e\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c open source-\u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u0444\u0438\u0447\u0438 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0421\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u043e\u0432\u043e\u0435 BI \u0434\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u043d\u044b \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u043d\u043e \u043a\u0430\u043a\u043e\u0439 \u0446\u0435\u043d\u043e\u0439\u2026<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/5a392b297a1d4490be170221b1a96533\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u0430\u0448\u0435\u043c\u0443 Apache NiFi \u0431\u044b\u043b\u043e \u043f\u043b\u043e\u0445\u043e<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/764\/873\/598\/764873598e955c70baf78ca4cd2b97af.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/764\/873\/598\/764873598e955c70baf78ca4cd2b97af.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0411\u0440\u043e\u043d\u0438\u0441\u043b\u0430\u0432 \u0416\u0438\u0442\u043d\u0438\u043a\u043e\u0432<\/h5>\n<p>\u0422\u0438\u043d\u044c\u043a\u043e\u0444\u0444  <\/p>\n<\/div>\n<p>NiFi \u2014 \u043e\u0447\u0435\u043d\u044c \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0438 \u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0441\u043f\u0435\u043a\u0442\u0440 \u0437\u0430\u0434\u0430\u0447. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 NiFi \u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u0431\u044f \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e. \u0411\u0440\u043e\u043d\u0438\u0441\u043b\u0430\u0432 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u0432\u0437\u0433\u043b\u044f\u0434\u043e\u043c \u043d\u0430 \u0442\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/945d93e74e724da98333aee44e80f201\/?utm_source=habr&amp;utm_medium=749378\">\u0420\u0430\u0437\u0433\u043e\u043d\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b: \u043a\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c ClickHouse<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/c46\/10b\/aba\/c4610baba35acfd1ba7144382ccd17a7.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c46\/10b\/aba\/c4610baba35acfd1ba7144382ccd17a7.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041a\u0443\u0437\u044c\u043c\u0430 \u041b\u0435\u0448\u0430\u043a\u043e\u0432<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u043e<\/p>\n<\/div>\n<p>\u041e\u0434\u043d\u0430 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0441\u0435\u0433\u043e\u0434\u043d\u044f OLAP open-source \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u044d\u0442\u043e Clickhouse. \u0412 \u043d\u0435\u0439 \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u00ab\u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u044c \u0432 \u043d\u043e\u0433\u0443\u00bb \u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u043e\u0433\u043e, \u0437\u0430\u0447\u0435\u043c \u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u2014 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a\u0443\u0437\u044c\u043c\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 4 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043e \u043d\u0438\u0445 \u0438\u0437 \u043e\u043f\u044b\u0442\u0430 \u0442\u0440\u0430\u0431\u043b\u0448\u0443\u0442\u0438\u043d\u0433\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u0430. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0436\u0435\u043b\u0435\u0437\u0430 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/f146080da84d471fa2bf9b3babcc9f77\/?utm_source=habr&amp;utm_medium=749378\">Apache Flink \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a5b\/f28\/119\/a5bf28119ff968ef8a4b44d6c7ba2e41.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5b\/f28\/119\/a5bf28119ff968ef8a4b44d6c7ba2e41.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u043e\u0431\u0440\u044f\u043a\u043e\u0432<\/h5>\n<p>\u041c\u0422\u0421 \u0414\u0438\u0434\u0436\u0438\u0442\u0430\u043b<\/p>\n<\/div>\n<p>\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 Apache Flink. \u0412\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435 \u043e\u0431 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 Flink \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0442\u043e\u043a\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0442\u0435\u043c\u0430 \u2014 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f Flink-\u0437\u0430\u0434\u0430\u0447, \u0438\u0445 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u0411\u0443\u0434\u0443\u0442 \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u0442\u044b \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044e \u043a\u043e\u0434\u0430 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u044f\u0437\u044b\u043a\u0430 Java, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f High Availability, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/eadc31a75e784c3f82d9029eefbb0594\/?utm_source=habr&amp;utm_medium=749378\">Mage: \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/772\/5c5\/28c\/7725c528cccea3abc321ac68dcb65ad9.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/772\/5c5\/28c\/7725c528cccea3abc321ac68dcb65ad9.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d \u041f\u0430\u043d\u043e\u0432\u0441\u043a\u0438\u0439<\/h5>\n<p>more.tv  <\/p>\n<\/div>\n<p>\u0421 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u043e\u0432\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0440\u0435\u0448\u0438\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0442\u0435\u043a \u043b\u0443\u0447\u0448\u0435 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0438\u043b\u0438 \u0436\u0435 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 \u0441 legacy-\u043a\u043e\u043d\u0442\u0443\u0440\u0430. \u0414\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u0437\u043d\u0430\u0442\u044c \u043e \u043d\u043e\u0432\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u0445 \u0438 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445.<\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0442\u0430\u043a\u0438\u0445 \u043d\u043e\u0432\u044b\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438 <a href=\"https:\/\/www.mage.ai\/\"><u>Mage<\/u><\/a>, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435. \u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0435\u0437\u0434\u0430 \u0441 legacy-\u0441\u0442\u0435\u043a\u0430 \u043f\u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/0a8309facbd7458d9c6bcff722ada374\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u043e\u0438\u0441\u043a \u0431\u0435\u0437 \u0433\u0440\u0430\u043d\u0438\u0446. \u041f\u0443\u0442\u044c \u043a \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a\u0443 \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/403\/627\/444\/403627444cbbbb5553d65a3ca4201c17.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/403\/627\/444\/403627444cbbbb5553d65a3ca4201c17.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u0432\u0430\u043d \u041a\u0430\u043d\u0430\u0448\u043e\u0432<\/h5>\n<p>\u0422\u0438\u043d\u044c\u043a\u043e\u0444\u0444<\/p>\n<\/div>\n<p>\u0418\u0432\u0430\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442:<\/p>\n<ul>\n<li>\n<p>\u043a\u0430\u043a \u0432 \u0438\u0445 data-\u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u0432\u043d\u0435\u0434\u0440\u044f\u043b\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a ElasticSearch\/OpenSearch \u043d\u0430 \u0437\u0430\u043c\u0435\u043d\u0443 \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0443\u044e \u0432\u044b\u0434\u0430\u0447\u0443 \u043e\u043d\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0443\u0434\u0430 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e\u0442 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/5029103c27c643f29874a9b18964e0d8\/?utm_source=habr&amp;utm_medium=749378\">\u0420\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438 DataOps BI \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 open source<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img persona=\"true\" class=\"image persona__image\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041f\u0430\u0432\u0435\u043b \u0428\u0435\u0441\u0442\u0430\u043a\u043e\u0432<\/h5>\n<p>\u041c\u0422\u0421  <\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u043e\u0431 \u0438\u0434\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f open source BI, \u043f\u0440\u043e \u043f\u0438\u043b\u043e\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0441\u0431\u043e\u0440 \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u043e\u0432\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u043a\u043e\u043c\u0430\u043d\u0434, \u043c\u0438\u0433\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0438\u0437 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u043e\u0433\u043e \u041f\u041e (Tableau, Power BI). \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/0b5abadd526c481c90a60cbb08a2cfdf\/?utm_source=habr&amp;utm_medium=749378\">Kafka Connect: \u0447\u0442\u043e \u0437\u0430 \u0437\u0432\u0435\u0440\u044c \u044d\u0442\u043e\u0442 \u0432\u0430\u0448 Single Message Transform?<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/929\/18f\/853\/92918f853b57b29d4ef9b1036e6baf4e.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/929\/18f\/853\/92918f853b57b29d4ef9b1036e6baf4e.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u0430\u043d\u0438\u044d\u043b \u0420\u0430\u0447\u0438\u0447<\/h5>\n<\/p>\n<\/div>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 Single Message Transformations (SMT) \u0432 Kafka Connect \u0432 \u043e\u0431\u0449\u0435\u043c, \u0438 \u0432 Debezium \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u0414\u0430\u043d\u0438\u044d\u043b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 SMT, \u043a\u0430\u043a \u044d\u0442\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0434\u0430. \u041e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445, \u043e\u0431\u0441\u0443\u0434\u0438\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/e7e0404d9b4744aca012d86579be84bd\/?utm_source=habr&amp;utm_medium=749378\">\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u043b\u044f ELT-\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0432 DWH<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/bbc\/4da\/7ea\/bbc4da7ea4d2624101708bb4ae364b4b.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bbc\/4da\/7ea\/bbc4da7ea4d2624101708bb4ae364b4b.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0438\u0442\u0430\u043b\u0438\u0439 \u0411\u043e\u0434\u0440\u0435\u043d\u043a\u043e\u0432<\/h5>\n<p>\u0421\u0431\u0435\u0440\u041c\u0430\u0440\u043a\u0435\u0442<\/p>\n<\/div>\n<p>\u0412\u0438\u0442\u0430\u043b\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0441\u0432\u043e\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f dbt, \u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439, DDL-\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0435 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/e8e94fdfd06345ac9815bdfce9df4096\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043f\u0430\u0440\u0430\u0437\u0438\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 GreenPlum<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/29d\/97a\/021\/29d97a02144b1c25b1859bb15cf919b8.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/29d\/97a\/021\/29d97a02144b1c25b1859bb15cf919b8.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u0440\u043a \u041b\u0435\u0431\u0435\u0434\u0435\u0432<\/h5>\n<p>Data Sapience<\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435 \u043f\u0430\u0440\u0430\u0437\u0438\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 GreenPlum \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u0445 \u0435\u0435 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041c\u0430\u0440\u043a \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"arch\" id=\"arch\"><\/a><\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/b67b1336d7b641dc800463dce1adda11\/?utm_source=habr&amp;utm_medium=749378\">\u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0435\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/6e1\/fe7\/468\/6e1fe74689175679332c488efc57bc98.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e1\/fe7\/468\/6e1fe74689175679332c488efc57bc98.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0413\u043e\u043b\u043e\u0432<\/h5>\n<p>ManyChat<\/p>\n<\/div>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0432\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043f\u043e\u0442\u043e\u043a\u043e\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. \u0418\u0445 \u0441\u043e\u0442\u043d\u0438 \u0438 \u0442\u044b\u0441\u044f\u0447\u0438, \u0444\u043e\u0440\u043c\u0430\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0438 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u0435\u0442. \u041a\u0430\u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0443\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u043d\u044e\u0430\u043d\u0441\u0430\u0445?\u00a0<\/p>\n<p>\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u043e\u043f\u0438\u0448\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0443\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0438\u0445 \u043f\u043b\u044e\u0441\u044b \u0438 \u043c\u0438\u043d\u0443\u0441\u044b \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0438\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 Snowflake \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/27e7be5bf88e4861879f51febce97658\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0443\u043a\u0442: \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/663\/04d\/803\/66304d803150547d5e2380fe87b51ecb.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/663\/04d\/803\/66304d803150547d5e2380fe87b51ecb.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0430\u0434\u0436\u0438\u043c \u041c\u043e\u0445\u0430\u043c\u043c\u0430\u0434<\/h5>\n<p>\u041c\u0422\u0421  <\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a46\/70e\/4fe\/a4670e4fe71e94479a605843007e85d4.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a46\/70e\/4fe\/a4670e4fe71e94479a605843007e85d4.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0411\u043e\u0434\u0438\u043d<\/h5>\n<p>\u041c\u0422\u0421 \u0414\u0438\u0434\u0436\u0438\u0442\u0430\u043b<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/983\/a5b\/7c8\/983a5b7c8401b936bc5b8c1c72f1d4d2.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/983\/a5b\/7c8\/983a5b7c8401b936bc5b8c1c72f1d4d2.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u043a\u0441\u0438\u043c \u0411\u0430\u0440\u0442\u0435\u043d\u0435\u0432<\/h5>\n<p>\u041c\u0422\u0421 Digital<\/p>\n<\/div>\n<p>\u0412\u0441\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0442\u0440\u0435\u043d\u0434 \u0432\u0441\u0435\u0445 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u0430\u0440\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u043d\u0430 \u0440\u044b\u043d\u043e\u043a \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0442\u0440\u0430\u0442\u044b. \u041d\u043e \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u0432 \u0441\u0432\u0435\u0442\u043b\u043e\u0435 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 Time2Market \u0437\u0430 000,1 \u0441\u0435\u043a, \u0432\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441\u0442\u043e\u043b\u043a\u043d\u0435\u0442\u0435\u0441\u044c \u0441 \u0434\u043e\u043b\u0433\u043e\u0439 \u0431\u0443\u043a\u0441\u0443\u044e\u0449\u0435\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439, \u0430 \u043f\u043e\u0442\u043e\u043c \u0438 \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044e \u043e\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0432\u044b \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435 \u043f\u0440\u043e \u043e\u043f\u044b\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u041c\u0422\u0421: \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0435 \u0432 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0438 \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u0447\u0430\u0441\u0442\u043b\u0438\u0432\u044b\u043c\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/a43941480d3b4c7d8c41332c84791e16\/?utm_source=habr&amp;utm_medium=749378\">ML System Design<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ce8\/80d\/827\/ce880d82719951cd64728ab133c68b7b.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce8\/80d\/827\/ce880d82719951cd64728ab133c68b7b.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041f\u0430\u0432\u0435\u043b \u0424\u0438\u043b\u043e\u043d\u043e\u0432<\/h5>\n<p>\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442<\/p>\n<\/div>\n<p>\u041d\u0430\u043d\u0438\u043c\u0430\u044f DE \u0438\u043b\u0438 MLE, \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u0435\u043a\u0446\u0438\u044e \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c ML System Design. \u041e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u0441\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043d\u0430\u0432\u044b\u043a\u0438 \u043f\u043e \u0434\u0438\u0437\u0430\u0439\u043d\u0443 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b ML-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0434 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f. \u0411\u043e\u043b\u044c\u0448\u0438\u043c \u043f\u043e\u0434\u0441\u043f\u043e\u0440\u044c\u0435\u043c \u0432 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0435 \u043a \u0442\u0430\u043a\u043e\u0439 \u0441\u0435\u043a\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u0435 \u0441 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u0438 \u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440.<\/p>\n<p>\u041f\u0430\u0432\u0435\u043b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u0442 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0445 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c, \u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0437\u0430\u0440\u0430\u043d\u0435\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/617284585d0047d6b9e7024bf43abc18\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u0441\u0442\u0440\u043e\u0438\u043b\u0430\u0441\u044c \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 ML \u0432 \u0411\u0430\u043d\u043a\u0435<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/724\/ca2\/745\/724ca274555f1b8963957ff3fedcad54.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/724\/ca2\/745\/724ca274555f1b8963957ff3fedcad54.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043d\u0434\u0440\u0435\u0439 \u041a\u0430\u0447\u0435\u0442\u043e\u0432<\/h5>\n<p>\u0410\u043b\u044c\u0444\u0430-\u0411\u0430\u043d\u043a<\/p>\n<\/div>\n<p>\u0410\u043d\u0434\u0440\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 MLOps \u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u043a \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0432\u044b\u0432\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0443\u044e \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e: \u043a\u0430\u043a \u043e\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438 \u0447\u0442\u043e \u0443\u043c\u0435\u0435\u0442.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/d2953dfa5b8944b885bf20c7bce67504\/?utm_source=habr&amp;utm_medium=749378\">\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 DWH \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u044b\u0441\u0442\u0440\u043e<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/fce\/911\/faf\/fce911faf870899043c0821670fa0af7.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fce\/911\/faf\/fce911faf870899043c0821670fa0af7.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0424\u0438\u043b\u0430\u0442\u043e\u0432<\/h5>\n<p>\u0410\u0432\u0438\u0442\u043e  <\/p>\n<\/div>\n<p>\u0412\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0438\u0442\u0440\u0438\u043d\u044b \u0438 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u0447\u0442\u043e \u0445\u043e\u0442\u0435\u043b\u0438 \u2014 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0440\u0430\u0441\u0442\u0435\u0442, \u043a\u0430\u043a \u043d\u0430 \u0434\u0440\u043e\u0436\u0436\u0430\u0445. \u041a\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u0441 \u044d\u0442\u0438\u043c \u0436\u0438\u0442\u044c? \u0423\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438 \u0438 \u0434\u0430\u0432\u0430\u0442\u044c \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u0441\u043b\u043e\u0436\u043d\u0435\u0435: \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0438 \u0431\u043e\u0440\u044c\u0431\u0430 \u0437\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043f\u043e\u0434 \u043e\u0431\u0449\u0435\u0439 \u043a\u0440\u044b\u0448\u0435\u0439 \u043c\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e.\u00a0<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0440\u043e\u0441\u0442\u0430 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0410\u0432\u0438\u0442\u043e\u00a0\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u0440\u0438\u0448\u043b\u0438 \u043a \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u043a\u0430\u043a \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u044b\u043c. \u0418\u0445 \u043e\u043f\u044b\u0442 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u0434\u0435\u0446\u0435\u043d\u0442\u0440\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0443 \u0438 \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u0442.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4f141d7027fc48d0b1443ac081c5b2ab\/?utm_source=habr&amp;utm_medium=749378\">\u042f \u0438\u0437\u043c\u0435\u043d\u044e \u0432\u0430\u0448 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430 30 \u043c\u0438\u043d\u0443\u0442<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/29f\/e49\/61c\/29fe4961c919f206f37f76ae1ce9dd97.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/29f\/e49\/61c\/29fe4961c919f206f37f76ae1ce9dd97.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u043a\u0441\u0438\u043c \u0421\u0442\u0430\u0446\u0435\u043d\u043a\u043e<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441  <\/p>\n<\/div>\n<p>\u0412\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0442\u0430\u0432\u043a\u0443 \u043d\u0430 \u043d\u0430\u0448\u0438 DWH, Data Lake, LakeHouse \u0438 \u0442. \u0434. \u043f\u043e \u043e\u0431\u0440\u0430\u0437\u0443 \u0438 \u043f\u043e\u0434\u043e\u0431\u0438\u044e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u043e\u0441\u044c \u0432 OLAP-\u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445 \u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434. \u041d\u043e \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0442\u0435\u0445 \u043f\u043e\u0440 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c, \u0438 \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0432 \u043a\u043e\u0440\u043d\u0435 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0438\u0445 \u043f\u0440\u0438\u0440\u043e\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u0440\u0443\u0433\u0430\u044f, \u0447\u0435\u043c \u0431\u044b\u043b\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434.<\/p>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e:<\/p>\n<ul>\n<li>\n<p>\u0442\u043e, \u0447\u0435\u043c \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0431\u0438\u0437\u043d\u0435\u0441\u0430\u0445;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 Google \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 2015 \u0433\u043e\u0434\u0430;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0435\u0448\u0430\u0435\u0442;<\/p>\n<\/li>\n<li>\n<p>\u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d \u0441\u043e\u0437\u0434\u0430\u0435\u0442, \u0438 \u0447\u0442\u043e \u0441 \u043d\u0438\u043c\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0435\u0439\u0447\u0430\u0441.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/6da1eb637a944201816064315789ad6e\/?utm_source=habr&amp;utm_medium=749378\">\u041c\u0435\u0442\u043e\u0434\u044b \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/f9a\/a05\/472\/f9aa0547214886e63dca3519e22bf821.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f9a\/a05\/472\/f9aa0547214886e63dca3519e22bf821.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0414\u0430\u043d\u044c\u0448\u0438\u043d<\/h5>\n<p>Neoflex  <\/p>\n<\/div>\n<p>\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0438\u0441\u043a\u043e\u0432, \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u0438 \u0438 \u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0434\u043b\u044f \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f Spark \u0438 Python.<\/p>\n<hr\/>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/b39\/fbc\/ad3\/b39fbcad3063e34d18b0ec9b3421dd0f.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b39\/fbc\/ad3\/b39fbcad3063e34d18b0ec9b3421dd0f.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u043a\u0441\u0438\u043c \u0417\u0438\u043d\u0430\u043b\u044c<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u043e<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/609\/29f\/ab2\/60929fab2cb7a576c568a17d9bf78c61.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/609\/29f\/ab2\/60929fab2cb7a576c568a17d9bf78c61.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0420\u044b\u0431\u0430\u043b\u043a\u043e<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u043e<\/p>\n<\/div>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u044e\u0442 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 Spark, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0431\u043e\u0440 end-to-end \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u0445 Spark-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c. \u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u043e \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0442\u0435\u043a \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Spark.<\/p>\n<p>\u0418\u0437 \u0434\u043e\u043a\u043b\u0430\u0434\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435:<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043e\u0431\u043b\u0430\u043a\u0430 (DataProc \u0438 DataSphere), \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0441\u043e Spark-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u0447\u0435\u0440\u0435\u0437 Jupyter-\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0438 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 managed-\u0441\u0435\u0440\u0432\u0438\u0441\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043f\u043e\u0434 \u0432\u0430\u0441 \u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d \u043d\u0443\u0436\u0435\u043d, \u0438 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043d\u0430 \u044d\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0421 \u043a\u0430\u043a\u0438\u043c\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043f\u0440\u0438 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438, \u0438 \u043a\u0430\u043a\u0438\u0435 \u043f\u0443\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043e\u043d\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0435\u0441\u0442\u044c \u0443 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a \u0447\u0435\u043c\u0443 \u043d\u0430\u0434\u043e \u0431\u044b\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u043c \u0438 \u043a\u0430\u043a\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0430\u043a\u0446\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u043d \u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 Spark.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/2cb40afe8ee840e79913d58f9a74eefc\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u043d\u0430\u0432\u0435\u0441\u0442\u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/46e\/324\/a4d\/46e324a4dc1e5064eb1dbd8a2149ddf4.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46e\/324\/a4d\/46e324a4dc1e5064eb1dbd8a2149ddf4.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0411\u0430\u043b\u0435\u0445\u043e\u0432<\/h5>\n<p>\u041e\u043a\u043a\u043e<\/p>\n<\/div>\n<p>\u0412 \u041e\u043a\u043a\u043e 4 \u0444\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u0430, \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c\u0438. \u041a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 20 \u0442\u0438\u043f\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u041d\u0438 \u043e\u0434\u0438\u043d \u043d\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e \u0442\u0430\u043a, \u043a\u0430\u043a \u0445\u043e\u0442\u0435\u043b\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438. \u041f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432\u0441\u043f\u043b\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0438 \u043a\u043e\u043f\u044f\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u043d\u0435\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u0442\u0438\u043a\u0435\u0442\u043e\u0432. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u2014 \u043d\u0435\u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0437\u0430\u0432\u044f\u0437\u0430\u043d \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u0435.\u00a0<\/p>\n<p>\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/a9ac6358d6b6435ab0e0c13d64c01721\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043e\u043a\u0440\u0443\u0433 YTsaurus<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/4cb\/9c7\/c9b\/4cb9c7c9b4961b8c77fdcac6d0fd8645.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cb\/9c7\/c9b\/4cb9c7c9b4961b8c77fdcac6d0fd8645.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u0412\u0435\u0440\u0441\u0442\u043e\u0432<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441 Go<\/p>\n<\/div>\n<p>\u0412 2023 \u0432\u044b\u0448\u043b\u0430 \u0432 \u043e\u043f\u0435\u043d\u0441\u043e\u0440\u0441 YTsaurus \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e YT \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u044f\u0434\u0440\u043e \u0438 \u0441\u0435\u0440\u0434\u0446\u0435 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u042f\u043d\u0434\u0435\u043a\u0441\u0435.<\/p>\n<p>\u0412 \u0422\u0430\u043a\u0441\u0438, \u0415\u0434\u0435, \u041b\u0430\u0432\u043a\u0435 \u0438 \u0414\u043e\u0441\u0442\u0430\u0432\u043a\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a \u0431\u044b\u0441\u0442\u0440\u043e \u043c\u0435\u043d\u044f\u044e\u0449\u0438\u043c\u0441\u044f \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c. \u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445. \u0418 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0433\u043e\u0434\u044b \u0442\u043e\u043b\u044c\u043a\u043e YT \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0437\u0430\u043b\u043e\u0433\u043e\u043c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u0441\u0442\u0432\u0430. \u041e\u043d \u0431\u044b\u043b \u0432 2016 \u0438 \u0435\u0441\u0442\u044c \u0432 2023. \u0413\u0434\u0435-\u0442\u043e \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435-\u043a\u043e\u043d\u0446\u0435 2019 \u043a \u043d\u0435\u043c\u0443 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043b\u0438 Spark, \u0430 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0442\u0430 \u0436\u0435 \u0443\u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0441\u0442\u0438\u0433\u043b\u0430 \u0438 Flink.<\/p>\n<p>\u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043e\u043a\u0440\u0443\u0433 YT, \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u0433\u0434\u0435 \u043e\u043d \u0445\u043e\u0440\u043e\u0448, \u0430 \u0433\u0434\u0435 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u043c\u0438 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438. \u042d\u0442\u0430 \u0442\u0435\u043c\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0438 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u043e\u0432\u043e\u0435 DWH \u0438\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0438\u043c\u0435\u044e\u0449\u0435\u0433\u043e\u0441\u044f, \u0438 \u0441\u0442\u043e\u044f\u0442 \u043f\u0435\u0440\u0435\u0434 \u0442\u044f\u0436\u0435\u043b\u044b\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0430 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u0438\u0437 \u043c\u0438\u0440\u0430 Open Source.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"int\" id=\"int\"><\/a><\/p>\n<h3>\u0411\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u00ab\u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c\u00bb<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4ea723aa063743abbf850571446f9695\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0437\u0430\u0434\u0430\u0447 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5df\/1c4\/3dc\/5df1c43dc71f54e7ad3c772ebd638eff.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5df\/1c4\/3dc\/5df1c43dc71f54e7ad3c772ebd638eff.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u0433\u043d\u0430\u0442 \u041a\u043e\u043b\u0435\u0441\u043d\u0438\u0447\u0435\u043d\u043a\u043e  <\/h5>\n<p>YTsaurus  <\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/18b\/051\/fab\/18b051fabb5d3835e98d232ae02cd6d7.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/18b\/051\/fab\/18b051fabb5d3835e98d232ae02cd6d7.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0433\u043e\u0440 \u0429\u0435\u0440\u0431\u0438\u043d<\/h5>\n<p>YTsaurus  <\/p>\n<\/div>\n<p>\u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u0434\u043e\u043a\u043b\u0430\u0434 \u043f\u0440\u043e YTsaurus. \u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. \u041d\u0430 \u0442\u0430\u043a\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u0435\u0439 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0437\u0430\u0434\u0430\u0447 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0438\u0437 10 000 \u0445\u043e\u0441\u0442\u043e\u0432.<\/p>\n<p>\u0418\u0433\u043d\u0430\u0442 \u0438 \u0415\u0433\u043e\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 YTsaurus: \u043a\u0430\u043a \u043e\u043d \u0438\u0437 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0441\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0431 \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u044f\u0445 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432 \u0432\u044b\u0441\u043e\u043a\u043e\u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441.<\/p>\n<p>\u0412\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435 \u043e \u0432\u044b\u0437\u043e\u0432\u0430\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0431 \u0438\u0434\u0435\u044f\u0445 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0434\u043b\u044f \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/532fb316659b4dd097e1e213fd46819a\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u043c\u044b \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b YTsaurus \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0431\u043b\u043e\u0431\u043e\u0432<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ccc\/fc0\/10d\/cccfc010d636c436b056bd52ee5a1c17.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ccc\/fc0\/10d\/cccfc010d636c436b056bd52ee5a1c17.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u043a\u0441\u0438\u043c \u0411\u0430\u0431\u0435\u043d\u043a\u043e<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441  <\/p>\n<\/div>\n<p>YTsaurus, \u043a\u0430\u043a \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u0435\u0445\u043d\u0438\u043a\u0443 LSM (log-structured merge tree) \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 KV-\u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445. \u041f\u0440\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043e\u0434\u043d\u0430\u043a\u043e, \u043e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u043d\u0435 \u0441 \u043b\u0443\u0447\u0448\u0435\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432 \u044f\u0447\u0435\u0439\u043a\u0430\u0445 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0431\u043b\u043e\u0431\u044b \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0440\u0443\u043f\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0442\u043e \u0444\u043e\u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b compaction \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0438\u0445, \u0442\u0440\u0430\u0442\u044f \u0432\u043f\u0443\u0441\u0442\u0443\u044e \u0441\u0435\u0442\u044c, CPU \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0430 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0431\u043b\u043e\u0431\u044b \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u00ab\u043e\u0431\u044b\u0447\u043d\u044b\u0445\u00bb \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043e\u0441\u043e\u0431\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b compaction, \u0447\u0442\u043e\u0431\u044b, \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0443\u043c\u0435\u0442\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u00ab\u043c\u0443\u0441\u043e\u0440\u00bb \u0441\u0440\u0435\u0434\u0438 \u0431\u043b\u043e\u0431\u043e\u0432 \u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0442\u0440\u0435\u0439\u0434\u043e\u0444\u0444 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u044b\u043c \u043c\u0435\u0441\u0442\u043e\u043c \u043d\u0430 \u0434\u0438\u0441\u043a\u0435 (space amplification) \u0438 \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (write amplification).<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u043e\u043d\u0443\u0441\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043b\u044f \u0440\u044f\u0434\u0430 \u0442\u0430\u0431\u043b\u0438\u0446, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u0447\u0442\u0435\u043d\u0438\u044f, \u0431\u044b\u043b\u0438 \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u044b \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 RAM. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u043d\u0435\u0441\u0442\u0438 (\u043f\u043e\u0434 \u0432\u0438\u0434\u043e\u043c \u0431\u043b\u043e\u0431\u043e\u0432!) \u0447\u0430\u0441\u0442\u044c \u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0434\u0438\u0441\u043a\u0438 \u0438 \u0432 \u0440\u0430\u0437\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 RAM, \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0438\u0437\u043a\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u044f\u0445. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c IO-\u0441\u0442\u0435\u043a, \u043f\u0435\u0440\u0435\u0439\u0434\u044f \u043d\u0430 io_uring, \u0438 \u0441\u043b\u043e\u0439 \u0431\u043b\u043e\u0431-\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0432 \u043d\u0435\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c consistent hashing \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0440\u0435\u043f\u043b\u0438\u043a \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/61bd40cd4c314846bae726c334ee9ecc\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0430\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/0c7\/442\/557\/0c7442557626b4275a01ad13561270a6.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c7\/442\/557\/0c7442557626b4275a01ad13561270a6.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u043e\u0440\u0433\u0430\u0440\u0434\u0442<\/h5>\n<p>duckstax.com<\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0430\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0410\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u0433\u0434\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445, \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0445 \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0435\u0434\u0438\u043d\u0438\u0446 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430\u0434 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0442\u0430\u043a\u0438\u0445 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u044b\u043c \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u043c \u0434\u043b\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043e\u0432.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/0dc27c16a4a343849ac6f37fc1baf43a\/?utm_source=habr&amp;utm_medium=749378\">ACID-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 \u0432 Apache Cassandra 5.0<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f84\/d1d\/04f\/f84d1d04f49b4109c8ee529c91cd8394.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f84\/d1d\/04f\/f84d1d04f49b4109c8ee529c91cd8394.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0412\u043e\u043b\u043e\u0447\u043d\u0435\u0432<\/h5>\n<p>Datastax  <\/p>\n<\/div>\n<p>\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f ACID-\u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0439 \u0432 Apache Cassandra 5.0. \u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0442\u0435\u043c, \u043a\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0441\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u043c\u0438 \u0432 \u044d\u0442\u043e\u0439 \u043e\u0442\u0440\u0430\u0441\u043b\u0438. \u0412\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u0445 \u0432 Apache Cassandra \u0438 \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a\u0438\u0435 \u043d\u043e\u0432\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u0434\u0435\u0446\u0435\u043d\u0442\u0440\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0421\u0423\u0411\u0414.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/c0e2c63e93c443379d75649dc28f86e2\/?utm_source=habr&amp;utm_medium=749378\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e SQL-\u0434\u0432\u0438\u0436\u043a\u0430 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/b6f\/cd1\/b55\/b6fcd1b55b3bcd1ab96f0f907424bf6a.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b6f\/cd1\/b55\/b6fcd1b55b3bcd1ab96f0f907424bf6a.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u041e\u0437\u0435\u0440\u0438\u0446\u043a\u0438\u0439<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441  <\/p>\n<\/div>\n<p>\u0421\u0435\u0440\u0432\u0438\u0441 YQL \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SQL-\u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0430. \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e SQL-\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u043b\u0438\u0441\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Map\/Reduce \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 YTsaurus.<\/p>\n<p>\u042d\u0442\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0438 \u043d\u0430\u0434\u0435\u0436\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0438\u043c\u0435\u0435\u0442 \u0440\u044f\u0434 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0432\u0435\u043b\u0438 \u043a \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 YQL.<\/p>\n<p>\u0414\u0432\u0438\u0436\u043e\u043a \u0434\u0435\u043b\u0438\u0442 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 \u0441\u0442\u0430\u0434\u0438\u0438, \u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0430\u0434\u0438\u044e \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u0437\u043b\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u0417\u0430\u0434\u0430\u0447\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0443 \u043f\u043e \u0441\u0435\u0442\u0438. \u0414\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 Map\/Reduce-\u043f\u043e\u0434\u0445\u043e\u0434\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043f\u0430\u043c\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a. \u0418\u0437 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u0432\u0438\u0436\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u043a\u0440\u043e\u0441\u0441\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u044b\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 ClickHouse \u0438 YTSaurus), \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0414\u0432\u0438\u0436\u043e\u043a \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0432 \u0432\u0438\u0434\u0435 open source-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 YDB Platform. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 AST-\u0434\u0435\u0440\u0435\u0432\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0434\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435. \u041d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0442\u0440\u0435\u0445 \u0438\u043d\u0441\u0442\u0430\u043b\u043b\u044f\u0446\u0438\u0439: \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 YQL-\u0441\u0435\u0440\u0432\u0438\u0441, YDB \u0432 Yandex Cloud \u0438 Yandex Query \u0432 Yandex Cloud.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/ecfccddf389f438fa27fd456bb913f94\/?utm_source=habr&amp;utm_medium=749378\">\u0411\u044b\u0441\u0442\u0440\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Data Lake \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Trino \u0438 CedrusData<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/4d8\/d2e\/8b7\/4d8d2e8b7acd71b32f3266a492cfbcb7.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d8\/d2e\/8b7\/4d8d2e8b7acd71b32f3266a492cfbcb7.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u041e\u0437\u0435\u0440\u043e\u0432<\/h5>\n<p>Querify Labs<\/p>\n<\/div>\n<p>Trino \u2014 \u044d\u0442\u043e \u043c\u0430\u0441\u0441\u0438\u0432\u043d\u043e-\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0439 SQL-\u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u0430 CedrusData \u2014 \u044d\u0442\u043e \u0444\u043e\u0440\u043a Trino \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Trino \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u043e\u0437\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a \u043a\u0430\u043a \u0443\u0437\u043b\u044b Trino \u043d\u0435 \u0445\u0440\u0430\u043d\u044f\u0442 \u0434\u0430\u043d\u043d\u044b\u0435, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0445\u0440\u0430\u043d\u044f\u0449\u0435\u0439\u0441\u044f \u043d\u0430 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438? \u0418 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445?<\/p>\n<p>\u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 Trino \u0438 CedrusData \u0431\u044b\u0441\u0442\u0440\u043e \u00ab\u043f\u0435\u0440\u0435\u043c\u0430\u043b\u044b\u0432\u0430\u0442\u044c\u00bb \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u043e\u0437\u0435\u0440\u0430: \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445 Parquet \u0438 ORC \u0434\u043b\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0437\u0430\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (project\/filter\/aggregate pushdown), \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f (runtime filtering), \u043f\u043e\u0437\u0434\u043d\u044f\u044f \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u043e\u043b\u043e\u043d\u043e\u043a (late materialization), \u0430 \u0442\u0430\u043a \u0436\u0435 \u0446\u0435\u043b\u044b\u0445 \u0442\u0440\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u044d\u0448\u0430: \u043a\u044d\u0448 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u044d\u0448 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u044d\u0448 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/6d4feaeb7bcd4f66aa631e3bfbf3e565\/?utm_source=habr&amp;utm_medium=749378\">\u0421\u0436\u0430\u0442\u0438\u0435, \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e: \u043c\u0435\u043d\u044f\u0435\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5c9\/7dc\/b78\/5c97dcb78df70d96e1b572f1b3b719e9.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c9\/7dc\/b78\/5c97dcb78df70d96e1b572f1b3b719e9.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043d\u0442\u043e\u043d \u0412\u0438\u043d\u043e\u0433\u0440\u0430\u0434\u043e\u0432<\/h5>\n<p>Apache Software Foundation<\/p>\n<\/div>\n<p>\u0412 Apache Ignite \u0434\u0435-\u0444\u0430\u043a\u0442\u043e \u0435\u0441\u0442\u044c 3 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0441\u0436\u0430\u0442\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0432\u0441\u0435 \u043d\u0443\u0436\u043d\u044b\u0435. \u041c\u043e\u0433\u043b\u043e \u0431\u044b\u0442\u044c \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432 \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043b\u044e\u0431\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0432\u0438\u0434\u0430 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u043a \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u0440\u0430\u0437\u0440\u0435\u0437\u0435 \u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0436\u0430\u0442\u0438\u044f.<\/p>\n<p>\u0421\u0436\u0438\u043c\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435, \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u043c \u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c\u044b\u043c \u043f\u043b\u0430\u0433\u0438\u043d\u043e\u043c. \u0426\u0435\u043b\u044c\u044e \u0441\u0436\u0430\u0442\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 SLA.<\/p>\n<p>\u041d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0441 \u0432\u044b\u0432\u043e\u0434\u0430\u043c\u0438, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445, \u043e\u0446\u0435\u043d\u0438\u043c \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u043e\u0441\u043b\u0435\u0434\u0438\u043c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u044b. \u0420\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0435 \u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0438 open source-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432.<\/p>\n<hr\/>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/769\/2c5\/688\/7692c5688c7e5e399d1955f7b2e7074b.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/769\/2c5\/688\/7692c5688c7e5e399d1955f7b2e7074b.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0414\u043c\u0438\u0442\u0440\u0438\u0435\u0432<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441  <\/p>\n<\/div>\n<p>\u0418\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f OLTP- \u0438 OLAP-\u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0431\u0430\u0440\u044c\u0435\u0440\u043e\u0432 \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c OLTP \u0438 OLAP \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u2014 YDB (Yandex Database). \u041e\u043d \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0441\u0440\u0430\u0432\u043d\u0438\u0442 \u0435\u0433\u043e \u0441 ClickHouse \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/2dcfc9a8f9cd40fdb97c3e42ee4451e4\/?utm_source=habr&amp;utm_medium=749378\">\u0427\u0435\u0433\u043e \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0435 \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/087\/e26\/834\/087e268343389b224e1f1342be29e8ed.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/087\/e26\/834\/087e268343389b224e1f1342be29e8ed.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0435\u0440\u0433\u0435\u0439 \u041f\u0435\u0442\u0440\u0435\u043d\u043a\u043e<\/h5>\n<p>Tarantool<\/p>\n<\/div>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0435\u0431\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u0437 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438. \u0420\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0431\u043e\u0435\u0432 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 (\u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0438 \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c) \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0443\u0437\u043b\u0430\u043c\u0438.<\/p>\n<p>\u0412\u0441\u0435 \u044d\u0442\u0438 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0438\u043c\u0435\u044e\u0442 \u0441\u0432\u043e\u044e \u0446\u0435\u043d\u0443: \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0438 \u043f\u0440\u0438 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0438 \u0431\u0430\u0437\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0443\u0437\u043b\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u0435\u043d\u0438\u0435 \u0441 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0441\u0442\u0430\u0440\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043d\u0430 \u043b\u0438\u0434\u0435\u0440\u0435 \u0431\u044b\u043b\u0430 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043d\u043e\u0432\u0430\u044f, \u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0443\u0437\u043b\u0430\u043c\u0438 \u0432 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430\u043c.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0442\u0430\u043a\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0435\u0439, \u043d\u043e \u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0440\u043e\u0433\u0438\u0445 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439.<\/p>\n<p>\u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043a\u043e\u043d\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 linearizable \u043f\u0440\u0438\u0437\u0432\u0430\u043d \u0441\u043f\u0440\u044f\u0442\u0430\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u0438 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u043c\u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0443\u0437\u043b\u0430\u0445 \u0438 \u043d\u0435 \u0431\u0435\u0441\u043f\u043e\u043a\u043e\u0438\u0442\u044c\u0441\u044f \u043e\u0431 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u044f\u0445, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0445 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435.<\/p>\n<p>\u0421\u0435\u0440\u0433\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u0443\u0440\u043e\u0432\u0435\u043d\u044c linearizable \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0421\u0423\u0411\u0414 Tarantool \u0438 \u043a\u0430\u043a\u0438\u0435 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u0432\u043b\u0435\u0447\u0435\u0442 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/67119a418f404d66968ff5ab29b0a4ea\/?utm_source=habr&amp;utm_medium=749378days%2F#topic5\">\u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 TLA+ \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/4f2\/54a\/e84\/4f254ae84068f82830b7ffc741b70ec0.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f2\/54a\/e84\/4f254ae84068f82830b7ffc741b70ec0.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u0438\u0442\u0430 \u0421\u0438\u043d\u044f\u0447\u0435\u043d\u043a\u043e<\/h5>\n<p>\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435  <\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8a6\/7aa\/d5f\/8a67aad5f0c6ed08dcc2bd4bb627b244.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a6\/7aa\/d5f\/8a67aad5f0c6ed08dcc2bd4bb627b244.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0427\u0435\u0440\u043d\u0430\u0446\u043a\u0438\u0439<\/h5>\n<p>\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435  <\/p>\n<\/div>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u0432\u0441\u0435\u0433\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e, \u0447\u0438\u0441\u043b\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c \u0442\u044b\u0441\u044f\u0447\u0438, \u0430 \u0442\u043e \u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b. \u041d\u0430 \u0442\u0430\u043a\u0438\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043b\u043e\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b, \u0430 \u0447\u0438\u0441\u043b\u043e \u043a\u043e\u0440\u043d\u0435\u0440-\u043a\u0435\u0439\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e \u0432\u044b\u0439\u0442\u0438 \u0437\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u043c\u043a\u0438.<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0438\u0437\u0443\u0447\u0438\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u044f\u0437\u044b\u043a \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 TLA+ \u0438 \u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0448\u0435\u043c \u043c\u0435\u0442\u043e\u0434 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0430\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0441\u043e\u0432\u043c\u0435\u0449\u0430\u044e\u0449\u0438\u0439 \u0432 \u0441\u0435\u0431\u0435 \u043f\u043b\u044e\u0441\u044b \u0438 \u0444\u0430\u0437\u0437\u0438\u043d\u0433\u0430, \u0438 TLA+.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u0438 \u0411\u0430\u0440\u0441\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435 \u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 Viewstamped Replication.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"usecase\" id=\"usecase\"><\/a><\/p>\n<h3>Use cases<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/8128990dd5fb4c7989d38d97a4f3aa7e\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0434\u0430\u0442\u0430-\u043a\u043e\u043c\u0430\u043d\u0434 \u0432 \u0437\u0430\u043f\u0430\u0434\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fb8\/bb6\/9c3\/fb8bb69c36d17aafad571037c3c7a6f7.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fb8\/bb6\/9c3\/fb8bb69c36d17aafad571037c3c7a6f7.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0410\u043d\u043e\u0448\u0438\u043d<\/h5>\n<p>Surfalytics  <\/p>\n<\/div>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0435\u043c-\u0442\u043e \u0432\u0440\u043e\u0434\u0435 \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442\u0430 \u043f\u043e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043a\u0430\u043a open source, \u0442\u0430\u043a \u0438 \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u0438\u0445 \u2014 Databricks, Snowflake. \u041a\u0440\u043e\u043c\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u043e\u0442\u0435\u043d \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f\u0445, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u0443\u0434\u0435\u043b\u044f\u0435\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c.<\/p>\n<p>\u041e\u043d \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0430\u0441 \u0443\u0447\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0430 \u0447\u0442\u043e \u043d\u0435\u0442, \u0438\u043b\u0438 \u043a\u0430\u043a \u043b\u0443\u0447\u0448\u0435 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435 AWS \u0438\u043b\u0438 Azure. \u041e\u043d \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0447\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0442\u0438\u043f\u043e\u0432\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u0432\u0437\u0430\u0438\u043c\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0441 \u0431\u0438\u0437\u043d\u0435\u0441-\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432\\\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432\\\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u043e\u0432. \u0410 \u0435\u0449\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043f\u0440\u043e \u043a\u043e\u0441\u044f\u043a\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0437\u0430\u0431\u0430\u0432\u043d\u044b\u0435 \u0432\u0435\u0449\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/9e01dc4a5fb44b5191e44750bf7e1eb8\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u043c\u044b \u043f\u0435\u0440\u0435\u0435\u0437\u0436\u0430\u043b\u0438 \u0441 PostgreSQL \u043d\u0430 Data Lake \u0432 AWS<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img persona=\"true\" class=\"image persona__image\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u0438\u0442\u0430 \u0417\u0435\u043b\u0435\u043d\u0441\u043a\u0438\u0439<\/h5>\n<p>Whoosh  <\/p>\n<\/div>\n<p>\u0412 Whoosh \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430 \u0441\u0442\u0435\u043a\u0435 AWS \u2014 PostgreSQL, S3, Redshift, \u0430 \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u044f\u0442 \u0432 dbt \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e Python. BI \u2014 Tableau \u0438 Grafana. \u042d\u0442\u043e\u0442 \u0433\u043e\u0434 \u0434\u043b\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0433\u043e\u0434\u043e\u043c \u043f\u0435\u0440\u0435\u0435\u0437\u0434\u0430. \u0423 \u043d\u0438\u0445 \u0431\u044b\u043b\u0430 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043f\u0435\u0440\u0435\u0435\u0445\u0430\u0442\u044c \u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 (PostgreSQL) \u2014 \u0430 \u044d\u0442\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0432\u0441\u044e \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 dbt \u2014 \u043d\u0430 \u0440\u0435\u043b\u044c\u0441\u044b Data Lake. \u0426\u0435\u043b\u044c \u2014 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0410\u0432\u0440\u043e\u0440\u0430 (PostgreSQL) \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0432 \u0440\u0430\u0441\u0445\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a Redshift \u2014 \u044d\u0442\u043e MPP-\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u0430\u044f \u0411\u0414, \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b \u2014 n$\/\u0447\u0430\u0441 (\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0434\u0430). \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u043f\u0435\u0440\u0435\u0435\u0437\u0434\u0430 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u0433\u0435\u043e\u0437\u0430\u0434\u0430\u0447 \u044d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u0432\u0441\u0435\u043c: Redshift \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 8-\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 PostgreSQL (\u0432\u043d\u0435\u0437\u0430\u043f\u043d\u043e!), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e, \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u044f\u0447\u0435\u0439\u043a\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0434\u0440\u0443\u0436\u0438\u0442 \u0441 JSON-\u043a\u043b\u044e\u0447\u0430\u043c\u0438.<\/p>\n<p>\u0418\u0437 \u0434\u043e\u043a\u043b\u0430\u0434\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435 \u043f\u0440\u043e \u0433\u0440\u0430\u0431\u043b\u0438, \u043a\u0430\u043a \u0438\u0445 \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0438 \u0438 \u043a\u0443\u0434\u0430 \u043e\u043d\u0438 \u0434\u0432\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435 \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043e\u043d\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043a\u043e\u043d\u0442\u0443\u0440, CI\/CD \u0438 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0433\u0438\u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Dagster (\u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440) \u0438 \u043a\u0430\u043a \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e\u0442 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435. \u0425\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0442\u044c \u043d\u0430 \u0442\u0435\u043c\u0443 \u00ab\u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e\u00bb \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430 \u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0438 \u0441\u0432\u0435\u0436\u0435\u0439 \u043f\u043e\u0440\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u044e.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/a84b8420ec604d4dbe7b936ea72b85b2\/?utm_source=habr&amp;utm_medium=749378\">\u0421\u043b\u0430\u0431\u043e\u0443\u043c\u0438\u0435 \u0438 \u043e\u0442\u0432\u0430\u0433\u0430, \u0438\u043b\u0438 \u041a\u0430\u043a \u043c\u044b \u0437\u0430 \u0434\u0432\u0430 \u043c\u0435\u0441\u044f\u0446\u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 Delivery Club \u0438 \u042f\u043d\u0434\u0435\u043a\u0441 \u0415\u0434\u044b<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/83b\/f42\/aff\/83bf42aff71029483082b1e9422e7bd7.JPEG\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041e\u043b\u044c\u0433\u0430 \u0422\u0438\u0442\u043e\u0432\u0430<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441 \u0415\u0434\u0430<\/p>\n<\/div>\n<p>\u0412 2022 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u0444\u0443\u0434\u0442\u0435\u0445\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438: \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043f\u043e \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0435 \u0435\u0434\u044b \u2014 Delivery Club \u0438 \u042f\u043d\u0434\u0435\u043a\u0441 \u0415\u0434\u044b. \u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0443\u043d\u0438\u043a\u0430\u043b\u0435\u043d \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u044b\u043d\u043a\u0430, \u043d\u043e \u0438 \u0434\u043b\u044f \u043c\u0438\u0440\u043e\u0432\u043e\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438. \u041a\u0440\u043e\u043c\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432, \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0438\u043b\u0438 \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u0435\u0434\u0438\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435. \u041e\u0431\u044b\u0447\u043d\u043e \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0435 \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u043d\u0430 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0443, \u043e\u0446\u0435\u043d\u043a\u0443 \u0441\u043a\u043e\u0443\u043f\u0430, \u0432\u044b\u0431\u043e\u0440 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e. \u041d\u043e \u043f\u0435\u0440\u0435\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u0441\u0442\u043e\u044f\u043b\u0430 \u0430\u043c\u0431\u0438\u0446\u0438\u043e\u0437\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430: \u0437\u0430 \u0432\u043e\u0441\u0435\u043c\u044c \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043d\u0435\u0434\u0435\u043b\u044c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 Delivery Club \u0438 \u042f\u043d\u0434\u0435\u043a\u0441 \u0415\u0434\u044b \u0438, \u0434\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0431\u044d\u043a\u0435\u043d\u0434\u043e\u0432, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c\u0438 \u0431\u0438\u0437\u043d\u0435\u0441-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u043e Delivery Club.<\/p>\n<p>\u041e\u043b\u044c\u0433\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0435\u043a\u0442, \u043a\u0430\u043a \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438 \u0441\u043a\u043e\u0443\u043f \u0437\u0430\u0434\u0430\u0447, \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u0438 \u0438\u0445 \u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435. \u041e\u043d\u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u043d\u0430 DWH: \u043a\u0430\u043a\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438, \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u0441\u0442\u0435\u043a\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0431\u0435\u0437 \u0433\u0440\u0430\u0431\u043b\u0435\u0439 \u043d\u0435 \u043e\u0431\u043e\u0448\u043b\u043e\u0441\u044c: \u043e\u0431\u0441\u0443\u0434\u0438\u043c, \u043d\u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u0438 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0438\u0445 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0442\u0435\u043c, \u043a\u0442\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0431\u0438\u0437\u043d\u0435\u0441 \u0438\u043b\u0438 \u043f\u043e\u0433\u043b\u043e\u0449\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0441 \u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u043c\u0438; \u043a\u043e\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043f\u0440\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0441 \u043e\u0431\u044a\u0435\u043c\u043d\u044b\u043c \u0441\u043a\u043e\u0443\u043f\u043e\u043c \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u043c\u0438 \u0441\u0440\u043e\u043a\u0430\u043c\u0438.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"stream\" id=\"stream\"><\/a><\/p>\n<h2>\u0421\u0442\u0440\u0438\u043c\u0438\u043d\u0433  <\/h2>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/334c176c5cac4540b14a041072d14fd4\/?utm_source=habr&amp;utm_medium=749378\">Spark Streaming: \u0431\u0440\u0430\u0442\u044c \u0438\u043b\u0438 \u043d\u0435 \u0431\u0440\u0430\u0442\u044c?<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/b09\/a7d\/233\/b09a7d233bf0e5d309184bf8a35e3032.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b09\/a7d\/233\/b09a7d233bf0e5d309184bf8a35e3032.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041d\u0435\u043d\u0430\u0445\u043e\u0432<\/h5>\n<p>\u041c\u0422C Digital<\/p>\n<\/div>\n<p>\u0412\u0441\u0435 \u0447\u0430\u0449\u0435 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0438\u0437\u043d\u0435\u0441\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438 \u0431\u043b\u0438\u0437\u043a\u043e\u043c \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443. \u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f Apache Spark Streaming, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u0435\u043d \u0438 \u0438\u043c\u0435\u0435\u0442 \u0431\u043e\u0433\u0430\u0442\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u041d\u043e \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0438 \u0442\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0433\u0434\u0435 Spark Streaming \u2014 \u044d\u0442\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u0441\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431\u0443\u0437\u043e\u0439, \u0447\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c. \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 Spark Streaming: \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0430 \u043a\u043e\u0433\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b. \u041e\u043d \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442 \u0447\u0435\u043a-\u043b\u0438\u0441\u0442 \u043f\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e Spark Streaming \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445. \u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0435\u0449\u0435 \u043d\u0435 \u0438\u043c\u0435\u043b\u0438 \u0434\u0435\u043b\u0430 \u0441\u043e Spark Streaming, \u043d\u043e \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/f17d7a9ad6634a7c81b20f2524d5d4d1\/?utm_source=habr&amp;utm_medium=749378\">Streaming Data Integration \u2014 ETL-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f near realtime-\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/ea9\/808\/562\/ea98085626ada65687804d6bd25416d8.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea9\/808\/562\/ea98085626ada65687804d6bd25416d8.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u0441\u0438\u043b\u0438\u0439 \u041c\u0435\u043b\u044c\u043d\u0438\u043a<\/h5>\n<p>Data Sapience<\/p>\n<\/div>\n<p>\u0412\u0430\u0441\u0438\u043b\u0438\u0439 \u043e\u043f\u0438\u0448\u0435\u0442 \u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 ETL-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 Apache Flink \u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 Kubernetes, \u0434\u0430\u0441\u0442 \u043e\u0431\u0449\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0439, \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u043f\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 near realtime-\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. \u0414\u043e\u043a\u043b\u0430\u0434 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 data-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c\u0438 realtime-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u0439 data-\u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0439, \u0438\u0449\u0443\u0449\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f near realtime-\u0437\u0430\u0434\u0430\u0447.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/5dc499ccd5034adfa57f1aaa80570b94\/?utm_source=habr&amp;utm_medium=749378\">From Data Streams to High Quality Predictive Models. The Secret to Offline Feature Engineering<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/f15\/c57\/770\/f15c57770cd7d34b1f704f1831f1803f.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f15\/c57\/770\/f15c57770cd7d34b1f704f1831f1803f.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u042e\u0440\u0438\u0439 \u0413\u0443\u0441\u0435\u0432<\/h5>\n<p>\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442<\/p>\n<\/div>\n<p>\u042e\u0440\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a Serverless, Kappa architecture \u0438 Python \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u043b\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a CQRS \u0438 Event Sourcing, \u0432\u043c\u0435\u0441\u0442\u0435 \u043c\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u0445 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"mgmt\" id=\"mgmt\"><\/a><\/p>\n<h3>\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/a70058c9e1f14073ba8303e5799f4e39\/?utm_source=habr&amp;utm_medium=749378F#topic5\">\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u0441\u0445\u0435\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u043e\u0441\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0421\u0423\u0411\u0414 \u0432 Hadoop<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/21c\/f86\/02f\/21cf8602f89e36853edefada7c93c9e5.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/21c\/f86\/02f\/21cf8602f89e36853edefada7c93c9e5.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0438\u0445\u0430\u0438\u043b \u0411\u043b\u0430\u0433\u043e\u0432<\/h5>\n<p>\u0431\u0438\u043b\u0430\u0439\u043d  <\/p>\n<\/div>\n<p>\u0417\u043d\u0430\u043a\u043e\u043c\u0430 \u043b\u0438 \u0432\u0430\u043c \u0442\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f: \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 ETL, \u0432\u0438\u0442\u0440\u0438\u043d\u044b \u0438 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0435 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u044b. \u041d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0439 \u0432\u0441\u0442\u0440\u0435\u0447\u0435 \u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0432\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0434\u043e\u043a\u043b\u0430\u0434\u0447\u0438\u043a \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u0430\u0448\u0431\u043e\u0440\u0434, \u0430 \u0442\u0430\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u043a\u0440\u0430\u0441\u043d\u044b\u0435 \u0431\u0443\u043a\u0432\u044b (\u0432 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0435) \u0438\u043b\u0438 \u0434\u0440\u0430\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439. \u0412\u0441\u0435 \u043e\u0445\u0430\u044e\u0442, \u0445\u0432\u0430\u0442\u0430\u044e\u0442\u0441\u044f \u0437\u0430 \u0441\u0435\u0440\u0434\u0446\u0435, \u0430 \u0432\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u043a\u0442\u043e-\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u0438\u043b \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443, \u043d\u0435 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0434\u0438\u0432 \u043e\u0442\u0434\u0435\u043b \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u0438&#8230; \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044e \u0441\u0445\u0435\u043c\u044b \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a \u043d\u0435 \u0441\u043b\u043e\u043c\u0430\u0442\u044c downstream \u0441\u0432\u043e\u0438\u043c\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438, \u043a\u0430\u043a \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u043b\u043e\u043c\u0430\u044e\u0449\u0438\u0445 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u0432 upstream \u0441\u0438\u0441\u0442\u0435\u043c\u0435. \u0421\u0442\u0435\u043a: Hadoop, Spark. \u0424\u043e\u0440\u043c\u0430\u0442\u044b: Avro, Parquet, ORC. \u0418 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e \u0441\u0445\u0435\u043c\u044b \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0438\u0445 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/d2536243afe4492888f853335a093ce5\/?utm_source=habr&amp;utm_medium=749378\">\u041e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 ETL \u043d\u0430 Vertica<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/8f9\/cb4\/86d\/8f9cb486d725aa0302df12282e6627e7.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f9\/cb4\/86d\/8f9cb486d725aa0302df12282e6627e7.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u041a\u0440\u0430\u0448\u0435\u043d\u0438\u043d\u043d\u0438\u043a\u043e\u0432<\/h5>\n<p>\u0422\u0438\u043d\u044c\u043a\u043e\u0444\u0444  <\/p>\n<\/div>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u0430\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u2014 \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 ETL \u0438 \u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0438\u0445 \u043d\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u043d\u0430\u0447\u043d\u0435\u0442 \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0435 \u043a\u043e\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c. \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0438\u0441\u043f\u044b\u0442\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0432\u0430\u043b\u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u043d\u0430 Vertica. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0431\u0443\u0434\u0443\u0442 \u043e\u0441\u0432\u0435\u0449\u0435\u043d\u044b \u043a\u0430\u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435, \u0442\u0430\u043a \u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u00ab\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u0441\u0447\u0430\u0441\u0442\u044c\u044f\u00bb.<\/p>\n<p>\u0422\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0443\u043f\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u0441\u0434\u0435\u043b\u0430\u043d \u043d\u0430 \u00ab\u0434\u0435\u0444\u0435\u043a\u0442\u044b\u00bb (\u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0437\u0430\u0439\u043d) \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u042d\u0442\u0438 \u043d\u044e\u0430\u043d\u0441\u044b \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u044b \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e Vertica, \u043e\u0434\u043d\u0430\u043a\u043e \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u043c\u0438 \u0442\u0430\u043a\u0436\u0435 \u0438 \u043a \u0434\u0440\u0443\u0433\u0438\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c \u043a\u043b\u0430\u0441\u0441\u0430 MPP.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/201e0755eb554df794179473af4a96cb\/?utm_source=habr&amp;utm_medium=749378ays%2F#topic5\">\u041a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443 \u043f\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c 100 \u043c\u043b\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u043d\u0435 \u0443\u043c\u0435\u0440\u0435\u0442\u044c<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/967\/d41\/347\/967d41347c89970882bc5e86de097a6b.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/967\/d41\/347\/967d41347c89970882bc5e86de097a6b.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0413\u0440\u0438\u0433\u043e\u0440\u0438\u0439 \u041a\u043e\u0432\u0430\u043b\u044c<\/h5>\n<p>\u0420\u0422 \u041b\u0430\u0431\u0441<\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u043f\u0440\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043d\u0443\u043b\u044f, \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u043e\u0439 \u041c\u0438\u043d\u0446\u0438\u0444\u0440\u044b. \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0441\u043f\u0438\u043a\u0435\u0440 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0430 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u043a \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0431\u043e\u0442\u0443 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u043a DataMesh. \u041e\u043d \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0438\u0445 open source-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439, \u0432 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u043e\u0442\u043e\u043a\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441 \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c\u0438, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u043c\u0438 100 \u043c\u043b\u043d. \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0418, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438\u0442 \u0433\u0440\u0430\u0431\u043b\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0438 \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u043b\u0438, \u0438 \u043a\u0430\u043a \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/6d6d864c6f5840a491d1f7921e7b79c7\/?utm_source=habr&amp;utm_medium=7493782F#topic5\">Common Data Index. \u041a\u0430\u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043f\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0442\u0430\u043a\u0443\u044e \u0436\u0435, \u043a\u0430\u043a Google Dataset Search, \u043d\u043e \u043f\u0440\u043e\u0449\u0435 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/4c5\/c80\/884\/4c5c80884b39c3e8248c680a5186f378.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c5\/c80\/884\/4c5c80884b39c3e8248c680a5186f378.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u0432\u0430\u043d \u0411\u0435\u0433\u0442\u0438\u043d<\/h5>\n<p>API Crafter<\/p>\n<\/div>\n<p>\u0412 \u043c\u0438\u0440\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0430\u043c \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u0430\u043c\u0430\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u0438\u0437 \u043d\u0438\u0445 \u2014 \u044d\u0442\u043e Google Dataset Search, \u0442\u0430\u043a\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442 FindData.cn, \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u043d\u0430\u0443\u0447\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0432 DataCite \u0438 \u0440\u044f\u0434 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432.<\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u043b\u0438 \u0432\u043e\u043a\u0440\u0443\u0433 \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e \u043d\u0430\u0443\u0447\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c, \u0438\u043b\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043b\u044e\u0431\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0443 Schema.org. \u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Google Dataset Search, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0442\u044b\u0441\u044f\u0447\u0438 \u043f\u043e\u0440\u0442\u0430\u043b\u043e\u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0433\u0435\u043e\u0434\u0430\u043d\u043d\u044b\u0445, \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043c\u043d\u043e\u0433\u0438\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0414\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0438 \u044d\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0418\u0432\u0430\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0432 \u043c\u0438\u0440\u0435 \u043f\u0443\u0442\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0448\u0430\u0433\u043e\u0432: \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430 \u043f\u043e\u0440\u0442\u0430\u043b\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u0431\u043e\u0440\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445, \u0438\u0445 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/b17baa024d874775908d37911549937d\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u0430\u0440\u0430 \u0441\u043b\u043e\u0432 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043c\u044b Data Observability \u0433\u043e\u0442\u043e\u0432\u0438\u043c<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/1e0\/56f\/c2e\/1e056fc2e0373dbd02259cf1e15c9e8a.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e0\/56f\/c2e\/1e056fc2e0373dbd02259cf1e15c9e8a.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u0430 \u041f\u043e\u043f\u043e\u0432\u0430<\/h5>\n<p>\u0421\u0431\u0435\u0440\u0417\u0434\u043e\u0440\u043e\u0432\u044c\u0435<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/477\/6f8\/7ca\/4776f87ca9b0009f36058792bb1d83d5.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/477\/6f8\/7ca\/4776f87ca9b0009f36058792bb1d83d5.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041e\u043b\u0435\u0433 \u041a\u043e\u0447\u0435\u0440\u0433\u0438\u043d<\/h5>\n<p>\u0421\u0431\u0435\u0440\u0417\u0434\u043e\u0440\u043e\u0432\u044c\u0435<\/p>\n<\/div>\n<p>\u0421\u043f\u0438\u043a\u0435\u0440\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442 \u043e \u0432\u0435\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435 \u0441 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e \u0442\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0438 \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u043d\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0421\u0431\u0435\u0440\u0417\u0434\u043e\u0440\u043e\u0432\u044c\u0435. \u041e\u043d\u0438 \u0440\u0430\u0441\u043a\u0440\u043e\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 great expectations, \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0441 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 (DataHub) \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043e\u043d\u0438 \u043d\u0430\u0448\u043b\u0438 \u00ab\u0441\u043b\u043e\u043c\u0430\u043d\u043d\u044b\u0435\u00bb \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"dataops\" id=\"dataops\"><\/a><\/p>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4b4f87bdd3964df59ba61345d2d54c6a\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u0443\u0442\u044c Model Serving: \u043e\u0442 Flask \u043a \u0441\u0432\u043e\u0435\u0439 MLOps-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/732\/63a\/779\/73263a7799bac8513a78b0cbd29e1718.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/732\/63a\/779\/73263a7799bac8513a78b0cbd29e1718.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0438\u043d\u0430 \u041a\u043e\u0447\u0435\u0432\u0430<\/h5>\n<p>Positive Technologies<\/p>\n<\/div>\n<p>\u0410\u043b\u0438\u043d\u0430 \u0441\u0440\u0430\u0432\u043d\u0438\u0442 \u043d\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u0440\u044b\u043d\u043a\u0435, \u0438 \u0438\u0445 \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u0447\u0438 \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u043c\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/c4fff95fe08a481bb9d53f1a6be0e6ba\/?utm_source=habr&amp;utm_medium=749378\">\u041e\u0442 \u0441\u044b\u0440\u043e\u0433\u043e \u043a\u043b\u0438\u043a\u0441\u0442\u0440\u0438\u043c\u0430 \u043a \u0447\u0438\u0441\u0442\u044b\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c, \u0438\u043b\u0438 \u0418\u0441\u0442\u043e\u0440\u0438\u044f \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f Feature Storage \u0432 Lamoda<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/7ff\/7bd\/25b\/7ff7bd25bf39aa1d6909c9ac10553bd0.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ff\/7bd\/25b\/7ff7bd25bf39aa1d6909c9ac10553bd0.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u0430\u043d\u0430 \u0417\u043b\u043e\u0447\u0435\u0432\u0441\u043a\u0430\u044f<\/h5>\n<p>LaTech<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a11\/9d2\/90c\/a119d290c72335ebca2cd8fbbc3d16d9.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a11\/9d2\/90c\/a119d290c72335ebca2cd8fbbc3d16d9.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0438\u0445\u0430\u0438\u043b \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432<\/h5>\n<p>LaTech  <\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f Feature Storage \u0432 Lamoda: \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0443 \u0434\u043b\u044f \u0434\u0430\u0442\u0430-\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u043f\u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0421\u043f\u0438\u043a\u0435\u0440\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0438 \u043a\u0430\u043a \u043f\u0440\u0438\u0448\u043b\u0438 \u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u0445 \u0438 \u0442\u043e\u0432\u0430\u0440\u0430\u0445.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/c549acccf2234fc2ad02fe013e5c8efc\/?utm_source=habr&amp;utm_medium=749378%2F#topic5\">Hadoop \u0432 \u041e\u0431\u043b\u0430\u043a\u0435 \u2014 \u044d\u0442\u043e \u041e\u041a<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bcc\/e50\/d5c\/bcce50d5c5bfecd6bf869d338f95f42f.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bcc\/e50\/d5c\/bcce50d5c5bfecd6bf869d338f95f42f.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0438\u0445\u0430\u0438\u043b \u041c\u0430\u0440\u044e\u0444\u0438\u0447<\/h5>\n<p>\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438<\/p>\n<\/div>\n<p>\u0414\u043b\u044f OK Hadoop \u2014 \u044d\u0442\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b: \u043e\u043d \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0430 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u044d\u0442\u043e \u0431\u043e\u043b\u0435\u0435 200 PB \u0432 HDFS, 70k vcores, 200 TB RAM.<\/p>\n<p>\u0412\u0441\u044f \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0432 \u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0430\u0445(\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e) \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043d\u043e\u043c \u043e\u0431\u043b\u0430\u043a\u0435 \u0438 \u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>\u0443\u043d\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u0436\u0435\u043b\u0435\u0437\u0430, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u0440\u0434\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0433\u043e\u0434\u0443 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0434\u043e\u0448\u043b\u0430 \u0438 \u0434\u043e Hadoop. \u041c\u0438\u0445\u0430\u0438\u043b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442:<\/p>\n<ul>\n<li>\n<p>\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u0445 \u043e\u0442\u043a\u0430\u0437\u0430 \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043f\u043e \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044e \u0438 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 hadoop \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u043e \u0442\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u044e \u0441\u043e\u0442\u0435\u043d \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0436\u0438\u0437\u043d\u0438 \u0441 \u0441\u043e\u0441\u0435\u0434\u044f\u043c\u0438 (\u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0441 Hadoop \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0441\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0434\u0440\u0443\u0433\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430, \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e\u0449\u0430\u044f \u043d\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b);<\/p>\n<\/li>\n<li>\n<p>\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432 \u0438\u0442\u043e\u0433\u0435 (\u0441\u043f\u043e\u0439\u043b\u0435\u0440 \u2014 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435).<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a class=\"anchor\" name=\"cosmos\" id=\"cosmos\"><\/a><\/p>\n<h2>\u041a\u043e\u0441\u043c\u043e\u0441  <\/h2>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/96ab9234fce1496a8a1a7b1b7c919b4b\/?utm_source=habr&amp;utm_medium=749378\">\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043f\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u043a\u043e\u0441\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u043d\u0438\u043c\u043a\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/df9\/02e\/2e6\/df902e2e6532da2b171daf2de2cb89a5.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df9\/02e\/2e6\/df902e2e6532da2b171daf2de2cb89a5.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0435\u0440\u0433\u0435\u0439 \u041a\u043e\u0441\u043c\u043e\u0441<\/h5>\n<p>SR Data<\/p>\n<\/div>\n<p>\u0423\u0440\u043e\u043a\u0438, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0443\u0445\u043e\u0434\u0430 \u0441 \u0440\u044b\u043d\u043a\u043e\u0432 \u0438\u043d\u043e\u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0442\u043d\u0435\u0440\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043e\u0437\u0434\u0430\u043b\u0438 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0442\u0443\u0434\u0438\u044f\u043c \u0438 freelance-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0432\u044b\u0445\u043e\u0434 \u043d\u0430 \u0440\u044b\u043d\u043e\u043a.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/a12aa59546e940bbbb12c9ba7c8432ab\/?utm_source=habr&amp;utm_medium=749378\">\u0422\u0435\u043b\u0435\u0441\u043a\u043e\u043f\u044b XXI \u0432\u0435\u043a\u0430: \u043e\u0442 \u0436\u0435\u043b\u0435\u0437\u0430 \u0438 \u0441\u043e\u0444\u0442\u0430 \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c<\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/602\/a26\/5f3\/602a265f352e025d52569f9d8b8a0bfd.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/602\/a26\/5f3\/602a265f352e025d52569f9d8b8a0bfd.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u041f\u043b\u0430\u0432\u0438\u043d<\/h5>\n<p>\u0410\u041a\u0426 \u0424\u0418\u0410\u041d<\/p>\n<\/div>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u0441\u0442\u0440\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u2014 \u0442\u0435\u043b\u0435\u0441\u043a\u043e\u043f\u044b \u2014 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0442\u0430\u043a, \u043a\u0430\u043a \u0441\u043e\u0442\u043d\u0438 \u0438 \u0434\u0430\u0436\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434. \u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u0440\u0430\u0441\u0442\u0443\u0442 \u0432 \u043e\u0431\u044a\u0435\u043c\u0435 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0435\u0430\u043a\u0446\u0438\u0438 \u2014 \u044d\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438. \u0411\u0443\u0434\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043a\u0430\u043a \u0430\u0441\u0442\u0440\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0442\u0435\u043b\u0435\u0441\u043a\u043e\u043f\u043e\u0432, \u0442\u0430\u043a \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<hr\/>\n<h3>\u0412 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f \u043f\u0440\u043e\u0439\u0434\u0435\u0442 6\u20137 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f \u0432 \u043e\u043d\u043b\u0430\u0439\u043d\u0435 \u0438 13\u201314 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f \u0432 \u041c\u043e\u0441\u043a\u0432\u0435. \u0412\u0430\u0441 \u0436\u0434\u0443\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043a\u043b\u0430\u0434\u044b, \u043d\u043e \u0438 \u043c\u043e\u0440\u0435 \u0434\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u0439 \u0438 \u043d\u0435\u0442\u0432\u043e\u0440\u043a\u0438\u043d\u0433\u0430. \u0414\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0435\u0445\u0430\u0442\u044c \u043d\u0430 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0443, \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0430\u043d\u0441\u043b\u044f\u0446\u0438\u044f. \u0420\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0438 \u0431\u0438\u043b\u0435\u0442\u044b \u2014 \u043d\u0430 <a href=\"https:\/\/smartdataconf.ru\/?utm_source=habr&amp;utm_medium=749378\"><u>\u0441\u0430\u0439\u0442\u0435<\/u><\/a> \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/749378\/\"> https:\/\/habr.com\/ru\/articles\/749378\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e \u043e\u0441\u0435\u043d\u044c\u044e \u043b\u044e\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0437\u0451\u0440\u0430\u2026 \u043d\u0430 \u043e\u0437\u0451\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e \u043d\u0438\u0445 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u043f\u0438\u043a\u0435\u0440 \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u041e\u0437\u0435\u0440\u043e\u0432. \u0412 \u043e\u0431\u0449\u0435\u043c, \u044d\u0442\u043e\u0439 \u043e\u0441\u0435\u043d\u044c\u044e, \u043a\u0430\u043a \u0438 \u0440\u0430\u043d\u044c\u0448\u0435, \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044e <a href=\"https:\/\/smartdataconf.ru\/?utm_source=habr&amp;utm_medium=749378\"><u>SmartData<\/u><\/a> \u043e\u0431\u043e \u0432\u0441\u0451\u043c, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0432 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0435: \u043e\u0442 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438 \u0434\u043e MLOps.<\/p>\n<p>6-7 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f \u043f\u0440\u043e\u0439\u0434\u0451\u0442 \u043e\u043d\u043b\u0430\u0439\u043d-\u0447\u0430\u0441\u0442\u044c, \u0430 13-14 \u0441\u0435\u043d\u0442\u044f\u0431\u0440\u044f \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043c\u0441\u044f \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 (\u043d\u043e \u0432\u0441\u0435, \u043a\u0442\u043e \u043d\u0435 \u0433\u043e\u0442\u043e\u0432 \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043c\u043e\u0441\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0443, \u0441\u043c\u043e\u0433\u0443\u0442 \u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e\u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e).\u00a0\u00a0<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 \u0442\u0435\u043c \u2014\u00a0\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c, \u0438 \u00ab\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438\u00bb \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0441\u0442\u0440\u0438\u043c\u0438\u043d\u0433, \u0438 DataOps, \u0438 \u0434\u0430\u0436\u0435 \u043f\u0430\u0440\u0430 \u00ab\u043a\u043e\u0441\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445\u00bb (\u0432 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435) \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432. \u0410 \u0441\u0440\u0435\u0434\u0438 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0435\u0441\u0442\u044c \u0442\u0435, \u0447\u044c\u0438 \u0434\u043e\u043a\u043b\u0430\u0434\u044b \u0443\u0436\u0435 \u0445\u0432\u0430\u043b\u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 SmartData \u2014 \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u041c\u0430\u043a\u0441\u0438\u043c \u0411\u0430\u0431\u0435\u043d\u043a\u043e, \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0410\u043d\u043e\u0448\u0438\u043d, \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0415\u0440\u043c\u0430\u043a\u043e\u0432 \u0438 \u041c\u0430\u043a\u0441\u0438\u043c \u0421\u0442\u0430\u0446\u0435\u043d\u043a\u043e. \u0412\u0441\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u2014 \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c.<\/p>\n<h3>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435  <\/h3>\n<ul>\n<li>\n<p><a href=\"#tools\">\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#arch\">\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#int\">\u0411\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u00ab\u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c\u00bb<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#usecase\">Use cases<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#stream\">\u0421\u0442\u0440\u0438\u043c\u0438\u043d\u0433<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#mgmt\">\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u043c\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#dataops\">DataOps<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#cosmos\">\u041a\u043e\u0441\u043c\u043e\u0441<\/a><\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a class=\"anchor\" name=\"tools\" id=\"tools\"><\/a><\/p>\n<h3>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4eb784531eeb4f4a88d688d871081fd2\/?utm_source=habr&amp;utm_medium=749378\"><u>dbt \u2014 \u044f\u0434\u0440\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/u><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0415\u0440\u043c\u0430\u043a\u043e\u0432<\/h5>\n<p>Toloka Ai Inc<\/p>\n<\/div>\n<p>dbt \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0441\u0444\u0435\u0440\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c \u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0434\u043a\u0443\u043f\u0438\u043b\u043e \u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0443 Toloka.ai \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043d\u043e\u0432\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u043e \u0441\u0435\u0440\u0435\u0431\u0440\u044f\u043d\u044b\u0445 \u043f\u0443\u043b\u044c \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442: \u043a\u0430\u043a \u0438 \u0432 \u043b\u044e\u0431\u043e\u043c open source-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u043d\u0435 \u043e\u0431\u043e\u0448\u043b\u043e\u0441\u044c \u0431\u0435\u0437 \u00ab\u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u043d\u0430\u043f\u0438\u043b\u044c\u043d\u0438\u043a\u043e\u043c\u00bb. \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0438\u0445 \u043e\u043f\u044b\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f dbt \u0438 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/b41cdb8657284cccb8f647c95c03ac03\/?utm_source=habr&amp;utm_medium=749378\"><u>\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u0447\u0430\u0442-\u0431\u043e\u0442\u0430 Microsoft Teams, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Apache Airflow<\/u><\/a>  <\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0442\u0430\u043d\u0438\u0441\u043b\u0430\u0432 \u0413\u043e\u0440\u0447\u0430\u043a\u043e\u0432<\/h5>\n<p>\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442<\/p>\n<\/div>\n<p>\u0412\u044b\u0433\u0440\u0443\u0437\u043a\u0430 \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u0439 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u044e \u0434\u043b\u044f DE, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c. \u041d\u043e \u0432\u0441\u0442\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0441\u0430\u043c\u0438\u043c \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0435 \u043e\u0442\u0447\u0435\u0442\u044b \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u0434\u0435\u0440\u0433\u0430\u0442\u044c DE?<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043a\u0435\u0439\u0441 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u0433\u0440\u0443\u0437\u043e\u043a \u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c Microsoft Teams \u0438 Apache Airflow. \u041d\u0430\u0440\u0430\u0432\u043d\u0435 \u0441 \u044d\u0442\u0438\u043c \u0431\u0443\u0434\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u0441\u0432\u044f\u0437\u043a\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/4a8aa356cafa44abbc4f6c8b647f34e4\/?utm_source=habr&amp;utm_medium=749378\">Apache Flink \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c: distributed, stateful, realtime<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u041f\u0440\u0435\u0434\u0442\u0435\u0447\u0435\u043d\u0441\u043a\u0430\u044f  <\/h5>\n<p>\u0410\u0432\u0438\u0442\u043e  <\/p>\n<\/div>\n<p>Apache Flink \u2014 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0438 \u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 stateful-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0410\u0432\u0438\u0442\u043e \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u043b\u044f realtime-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u043e\u0442\u043e\u043a\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0438\u0445 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430. \u0417\u0430 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0438\u043c \u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u0438 \u0435\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u043d\u0435\u044f\u0432\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 Flink \u0438 \u043e\u0441\u043e\u0437\u043d\u0430\u043b\u0438, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c. \u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u0444\u0438\u0447 Apache Flink \u0438 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441 \u043d\u0438\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/295ca5c002ac4e2ab38214fab714b5b7\/?utm_source=habr&amp;utm_medium=749378\">CDC. \u041e\u0442 \u0431\u0430\u0437\u0437\u0432\u043e\u0440\u0434\u0430 \u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 Data Transfer<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0422\u0438\u043c\u043e\u0444\u0435\u0439 \u0411\u0440\u0443\u043d\u044c\u043a\u043e<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441<\/p>\n<\/div>\n<p>CDC (Change data capture) \u2014 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<\/p>\n<p>\u0422\u0438\u043c\u043e\u0444\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u0435\u0433\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0440\u044b\u043d\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u0432\u044b\u0437\u043e\u0432\u0430\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u0441\u0435\u0440\u0432\u0438\u0441\u0435 Data Transfer \u0432 \u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/f01f5a716313470c97b29c99648e0677\/?utm_source=habr&amp;utm_medium=749378\">\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u0430 \u043b\u0438 \u0436\u0438\u0437\u043d\u044c \u0441 open source BI \u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u043b\u044c\u044f \u0410\u043d\u0438\u043a\u0438\u043d<\/h5>\n<p>\u0410\u0432\u0438\u0442\u043e  <\/p>\n<\/div>\n<p>\u0411\u043e\u043b\u044c\u043d\u043e \u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0438\u0439\u0441\u044f \u0433\u043e\u0434\u0430\u043c\u0438 BI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043d\u0430 \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435, \u0434\u0430 \u0435\u0449\u0435 \u0438 open source? \u0418\u043b\u044c\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0438 \u043a\u0430\u043a \u043d\u0430 \u0432\u0441\u0435 \u044d\u0442\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438. \u041e\u043d \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0434\u043e\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c open source-\u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442 \u0444\u0438\u0447\u0438 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0421\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0434\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u043e\u0432\u043e\u0435 BI \u0434\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u043d\u044b \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u043d\u043e \u043a\u0430\u043a\u043e\u0439 \u0446\u0435\u043d\u043e\u0439\u2026<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/5a392b297a1d4490be170221b1a96533\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0432\u0430\u0448\u0435\u043c\u0443 Apache NiFi \u0431\u044b\u043b\u043e \u043f\u043b\u043e\u0445\u043e<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0411\u0440\u043e\u043d\u0438\u0441\u043b\u0430\u0432 \u0416\u0438\u0442\u043d\u0438\u043a\u043e\u0432<\/h5>\n<p>\u0422\u0438\u043d\u044c\u043a\u043e\u0444\u0444  <\/p>\n<\/div>\n<p>NiFi \u2014 \u043e\u0447\u0435\u043d\u044c \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0438 \u0438\u043c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0441\u043f\u0435\u043a\u0442\u0440 \u0437\u0430\u0434\u0430\u0447. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 NiFi \u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u0431\u044f \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e. \u0411\u0440\u043e\u043d\u0438\u0441\u043b\u0430\u0432 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u0432\u0437\u0433\u043b\u044f\u0434\u043e\u043c \u043d\u0430 \u0442\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/945d93e74e724da98333aee44e80f201\/?utm_source=habr&amp;utm_medium=749378\">\u0420\u0430\u0437\u0433\u043e\u043d\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b: \u043a\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e \u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c ClickHouse<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041a\u0443\u0437\u044c\u043c\u0430 \u041b\u0435\u0448\u0430\u043a\u043e\u0432<\/h5>\n<p>\u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u043e<\/p>\n<\/div>\n<p>\u041e\u0434\u043d\u0430 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0441\u0435\u0433\u043e\u0434\u043d\u044f OLAP open-source \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u044d\u0442\u043e Clickhouse. \u0412 \u043d\u0435\u0439 \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0435\u043f\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u00ab\u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u044c \u0432 \u043d\u043e\u0433\u0443\u00bb \u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u043e\u0433\u043e, \u0437\u0430\u0447\u0435\u043c \u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u2014 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a\u0443\u0437\u044c\u043c\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 4 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043e \u043d\u0438\u0445 \u0438\u0437 \u043e\u043f\u044b\u0442\u0430 \u0442\u0440\u0430\u0431\u043b\u0448\u0443\u0442\u0438\u043d\u0433\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u042f\u043d\u0434\u0435\u043a\u0441 \u041e\u0431\u043b\u0430\u043a\u0430. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0436\u0435\u043b\u0435\u0437\u0430 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/f146080da84d471fa2bf9b3babcc9f77\/?utm_source=habr&amp;utm_medium=749378\">Apache Flink \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0411\u043e\u0431\u0440\u044f\u043a\u043e\u0432<\/h5>\n<p>\u041c\u0422\u0421 \u0414\u0438\u0434\u0436\u0438\u0442\u0430\u043b<\/p>\n<\/div>\n<p>\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 Apache Flink. \u0412\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435 \u043e\u0431 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u0445 Flink \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0442\u043e\u043a\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0442\u0435\u043c\u0430 \u2014 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f Flink-\u0437\u0430\u0434\u0430\u0447, \u0438\u0445 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u0411\u0443\u0434\u0443\u0442 \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u0442\u044b \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044e \u043a\u043e\u0434\u0430 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u044f\u0437\u044b\u043a\u0430 Java, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f High Availability, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b.  <\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/eadc31a75e784c3f82d9029eefbb0594\/?utm_source=habr&amp;utm_medium=749378\">Mage: \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d \u041f\u0430\u043d\u043e\u0432\u0441\u043a\u0438\u0439<\/h5>\n<p>more.tv  <\/p>\n<\/div>\n<p>\u0421 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u043e\u0432\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0440\u0435\u0448\u0438\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0442\u0435\u043a \u043b\u0443\u0447\u0448\u0435 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0438\u043b\u0438 \u0436\u0435 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 \u0441 legacy-\u043a\u043e\u043d\u0442\u0443\u0440\u0430. \u0414\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u0437\u043d\u0430\u0442\u044c \u043e \u043d\u043e\u0432\u044b\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u0445 \u0438 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445.<\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0442\u0430\u043a\u0438\u0445 \u043d\u043e\u0432\u044b\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432 \u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438 <a href=\"https:\/\/www.mage.ai\/\"><u>Mage<\/u><\/a>, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435. \u0412\u0430\u043b\u0435\u043d\u0442\u0438\u043d \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0435\u0437\u0434\u0430 \u0441 legacy-\u0441\u0442\u0435\u043a\u0430 \u043f\u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/0a8309facbd7458d9c6bcff722ada374\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u043e\u0438\u0441\u043a \u0431\u0435\u0437 \u0433\u0440\u0430\u043d\u0438\u0446. \u041f\u0443\u0442\u044c \u043a \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a\u0443 \u0432 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u0434\u0430\u043d\u043d\u044b\u0445<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u0432\u0430\u043d \u041a\u0430\u043d\u0430\u0448\u043e\u0432<\/h5>\n<p>\u0422\u0438\u043d\u044c\u043a\u043e\u0444\u0444<\/p>\n<\/div>\n<p>\u0418\u0432\u0430\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442:<\/p>\n<ul>\n<li>\n<p>\u043a\u0430\u043a \u0432 \u0438\u0445 data-\u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0435 \u0432\u043d\u0435\u0434\u0440\u044f\u043b\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a ElasticSearch\/OpenSearch \u043d\u0430 \u0437\u0430\u043c\u0435\u043d\u0443 \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0443\u044e \u0432\u044b\u0434\u0430\u0447\u0443 \u043e\u043d\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0441 \u043a\u0430\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043f\u0440\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0443\u0434\u0430 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e\u0442 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/5029103c27c643f29874a9b18964e0d8\/?utm_source=habr&amp;utm_medium=749378\">\u0420\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438 DataOps BI \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 open source<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041f\u0430\u0432\u0435\u043b \u0428\u0435\u0441\u0442\u0430\u043a\u043e\u0432<\/h5>\n<p>\u041c\u0422\u0421  <\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u043e\u0431 \u0438\u0434\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f open source BI, \u043f\u0440\u043e \u043f\u0438\u043b\u043e\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0441\u0431\u043e\u0440 \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u043e\u0432\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u043a\u043e\u043c\u0430\u043d\u0434, \u043c\u0438\u0433\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0438\u0437 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u043e\u0433\u043e \u041f\u041e (Tableau, Power BI). \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/0b5abadd526c481c90a60cbb08a2cfdf\/?utm_source=habr&amp;utm_medium=749378\">Kafka Connect: \u0447\u0442\u043e \u0437\u0430 \u0437\u0432\u0435\u0440\u044c \u044d\u0442\u043e\u0442 \u0432\u0430\u0448 Single Message Transform?<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u0430\u043d\u0438\u044d\u043b \u0420\u0430\u0447\u0438\u0447<\/h5>\n<\/p>\n<\/div>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 Single Message Transformations (SMT) \u0432 Kafka Connect \u0432 \u043e\u0431\u0449\u0435\u043c, \u0438 \u0432 Debezium \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u0414\u0430\u043d\u0438\u044d\u043b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 SMT, \u043a\u0430\u043a \u044d\u0442\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0434\u0430. \u041e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445, \u043e\u0431\u0441\u0443\u0434\u0438\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/e7e0404d9b4744aca012d86579be84bd\/?utm_source=habr&amp;utm_medium=749378\">\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u043b\u044f ELT-\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0432 DWH<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0438\u0442\u0430\u043b\u0438\u0439 \u0411\u043e\u0434\u0440\u0435\u043d\u043a\u043e\u0432<\/h5>\n<p>\u0421\u0431\u0435\u0440\u041c\u0430\u0440\u043a\u0435\u0442<\/p>\n<\/div>\n<p>\u0412\u0438\u0442\u0430\u043b\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0441\u0432\u043e\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f dbt, \u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439, DDL-\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0435 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/e8e94fdfd06345ac9815bdfce9df4096\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043f\u0430\u0440\u0430\u0437\u0438\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 GreenPlum<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u0440\u043a \u041b\u0435\u0431\u0435\u0434\u0435\u0432<\/h5>\n<p>Data Sapience<\/p>\n<\/div>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0435 \u043f\u0430\u0440\u0430\u0437\u0438\u0442\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 GreenPlum \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u0445 \u0435\u0435 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041c\u0430\u0440\u043a \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"arch\" id=\"arch\"><\/a><\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u0442\u0430-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/b67b1336d7b641dc800463dce1adda11\/?utm_source=habr&amp;utm_medium=749378\">\u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0449\u0435\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0413\u043e\u043b\u043e\u0432<\/h5>\n<p>ManyChat<\/p>\n<\/div>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0432\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043f\u043e\u0442\u043e\u043a\u043e\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. \u0418\u0445 \u0441\u043e\u0442\u043d\u0438 \u0438 \u0442\u044b\u0441\u044f\u0447\u0438, \u0444\u043e\u0440\u043c\u0430\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0438 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u0435\u0442. \u041a\u0430\u043a \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0443\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u043d\u044e\u0430\u043d\u0441\u0430\u0445?\u00a0<\/p>\n<p>\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u043e\u043f\u0438\u0448\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0443\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0438\u0445 \u043f\u043b\u044e\u0441\u044b \u0438 \u043c\u0438\u043d\u0443\u0441\u044b \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0438\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 Snowflake \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0441\u043e\u0431\u044b\u0442\u0438\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/27e7be5bf88e4861879f51febce97658\/?utm_source=habr&amp;utm_medium=749378\">\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0443\u043a\u0442: \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0430\u0434\u0436\u0438\u043c \u041c\u043e\u0445\u0430\u043c\u043c\u0430\u0434<\/h5>\n<p>\u041c\u0422\u0421  <\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0411\u043e\u0434\u0438\u043d<\/h5>\n<p>\u041c\u0422\u0421 \u0414\u0438\u0434\u0436\u0438\u0442\u0430\u043b<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u043a\u0441\u0438\u043c \u0411\u0430\u0440\u0442\u0435\u043d\u0435\u0432<\/h5>\n<p>\u041c\u0422\u0421 Digital<\/p>\n<\/div>\n<p>\u0412\u0441\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0442\u0440\u0435\u043d\u0434 \u0432\u0441\u0435\u0445 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u0430\u0440\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u043d\u0430 \u0440\u044b\u043d\u043e\u043a \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0442\u0440\u0430\u0442\u044b. \u041d\u043e \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u0432 \u0441\u0432\u0435\u0442\u043b\u043e\u0435 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 Time2Market \u0437\u0430 000,1 \u0441\u0435\u043a, \u0432\u044b, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441\u0442\u043e\u043b\u043a\u043d\u0435\u0442\u0435\u0441\u044c \u0441 \u0434\u043e\u043b\u0433\u043e\u0439 \u0431\u0443\u043a\u0441\u0443\u044e\u0449\u0435\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439, \u0430 \u043f\u043e\u0442\u043e\u043c \u0438 \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044e \u043e\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0432\u044b \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435 \u043f\u0440\u043e \u043e\u043f\u044b\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u041c\u0422\u0421: \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0435 \u0432 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0438 \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u0447\u0430\u0441\u0442\u043b\u0438\u0432\u044b\u043c\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/a43941480d3b4c7d8c41332c84791e16\/?utm_source=habr&amp;utm_medium=749378\">ML System Design<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041f\u0430\u0432\u0435\u043b \u0424\u0438\u043b\u043e\u043d\u043e\u0432<\/h5>\n<p>\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442<\/p>\n<\/div>\n<p>\u041d\u0430\u043d\u0438\u043c\u0430\u044f DE \u0438\u043b\u0438 MLE, \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u0435\u043a\u0446\u0438\u044e \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c ML System Design. \u041e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u0441\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043d\u0430\u0432\u044b\u043a\u0438 \u043f\u043e \u0434\u0438\u0437\u0430\u0439\u043d\u0443 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b ML-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0434 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f. \u0411\u043e\u043b\u044c\u0448\u0438\u043c \u043f\u043e\u0434\u0441\u043f\u043e\u0440\u044c\u0435\u043c \u0432 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0435 \u043a \u0442\u0430\u043a\u043e\u0439 \u0441\u0435\u043a\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u0435 \u0441 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u043c\u0438 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u0438 \u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440.<\/p>\n<p>\u041f\u0430\u0432\u0435\u043b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u0442 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0445 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c, \u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0437\u043d\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u0437\u0430\u0440\u0430\u043d\u0435\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/617284585d0047d6b9e7024bf43abc18\/?utm_source=habr&amp;utm_medium=749378\">\u041a\u0430\u043a \u0441\u0442\u0440\u043e\u0438\u043b\u0430\u0441\u044c \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 ML \u0432 \u0411\u0430\u043d\u043a\u0435<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043d\u0434\u0440\u0435\u0439 \u041a\u0430\u0447\u0435\u0442\u043e\u0432<\/h5>\n<p>\u0410\u043b\u044c\u0444\u0430-\u0411\u0430\u043d\u043a<\/p>\n<\/div>\n<p>\u0410\u043d\u0434\u0440\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 MLOps \u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u043a \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0432\u044b\u0432\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0443\u044e \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e: \u043a\u0430\u043a \u043e\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438 \u0447\u0442\u043e \u0443\u043c\u0435\u0435\u0442.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/talks\/d2953dfa5b8944b885bf20c7bce67504\/?utm_source=habr&amp;utm_medium=749378\">\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 DWH \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u044b\u0441\u0442\u0440\u043e<\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0424\u0438\u043b\u0430\u0442\u043e\u0432<\/h5>\n<p>\u0410\u0432\u0438\u0442\u043e  <\/p>\n<\/div>\n<p>\u0412\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u043d\u0430\u0443\u0447\u0438\u043b\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0438\u0442\u0440\u0438\u043d\u044b \u0438 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u0447\u0442\u043e \u0445\u043e\u0442\u0435\u043b\u0438 \u2014 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0440\u0430\u0441\u0442\u0435\u0442, \u043a\u0430\u043a \u043d\u0430 \u0434\u0440\u043e\u0436\u0436\u0430\u0445. \u041a\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u0441 \u044d\u0442\u0438\u043c \u0436\u0438\u0442\u044c? \u0423\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c\u0438 \u0438 \u0434\u0430\u0432\u0430\u0442\u044c \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u0441\u043b\u043e\u0436\u043d\u0435\u0435: \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0438 \u0431\u043e\u0440\u044c\u0431\u0430 \u0437\u0430 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043f\u043e\u0434 \u043e\u0431\u0449\u0435\u0439 \u043a\u0440\u044b\u0448\u0435\u0439 \u043c\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u0433\u043e\u0442\u043e\u0432\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u043e\u043c\u0443 \u0432\u0440\u0435\u043c\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e.\u00a0<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0440\u043e\u0441\u0442\u0430 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0410\u0432\u0438\u0442\u043e\u00a0\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u043e \u043f\u0440\u0438\u0448\u043b\u0438 \u043a \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044e<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-419756","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/419756","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=419756"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/419756\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=419756"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=419756"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=419756"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}