{"id":384002,"date":"2024-06-29T05:14:13","date_gmt":"2024-06-29T05:14:13","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=384002"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=384002","title":{"rendered":"<span>\u041e\u0431\u0437\u043e\u0440 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b SmartData 2021<\/span>"},"content":{"rendered":"<div><!--[--><img loading=\"lazy\" decoding=\"async\" height=\"1\" src=\"https:\/\/www.facebook.com\/tr?id=2610199939046212&amp;ev=PageView&amp;noscript=1\" style=\"display:none;\" width=\"1\"><img loading=\"lazy\" decoding=\"async\" height=\"1\" src=\"https:\/\/vk.com\/rtrg?p=VK-RTRG-258673-3Wkrc\" style=\"display:none;\" width=\"1\"><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f90\/a41\/a65\/f90a41a6597cc1e5bea38672fec63c2e.png\" width=\"1920\" height=\"1008\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f90\/a41\/a65\/f90a41a6597cc1e5bea38672fec63c2e.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0421\u043e\u0432\u0441\u0435\u043c \u0441\u043a\u043e\u0440\u043e \u0432 \u043e\u043d\u043b\u0430\u0439\u043d\u0435 \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442 <a href=\"https:\/\/smartdataconf.ru\/?utm_source=habr&amp;utm_medium=577864\">SmartData 2021<\/a>. \u041f\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044e \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435 \u0442\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u043e. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0431\u0448\u0438\u0440\u043d\u0430\u044f \u0442\u0435\u043c\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432\u0435\u0449\u0430\u043c\u0438. SmartData \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u043c\u0435\u043d\u0430 \u00ab\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438\u00bb \u2014 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433. \u0422\u0443\u0442 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u044b\u0448\u0430\u0442\u044c \u043f\u0440\u043e \u0421\u0423\u0411\u0414, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 DWH, MLOps \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435, \u0441 \u0447\u0435\u043c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b.<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 \u043d\u0430\u0448\u0438\u0445 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0435\u0441\u0442\u044c \u0438 \u043b\u044e\u0434\u0438 \u0438\u0437 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0440\u0435\u0434\u044b (\u042d\u043d\u0434\u0438 \u041f\u0430\u0432\u043b\u043e), \u0438 \u0442\u0435, \u043a\u0442\u043e \u0438\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u043e \u0441 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u043c (\u0422\u0435\u0434\u0436\u0430\u0441 \u0427\u043e\u043f\u0440\u0430 \u0438\u0437 Netflix), \u0438 \u0442\u043e\u043f\u043e\u0432\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u043e\u0440 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430 Airflow (\u042d\u0448 \u0411\u0435\u0440\u043b\u0438\u043d-\u0422\u0435\u0439\u043b\u043e\u0440) \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u044b.<\/p>\n<p>\u0422\u0435\u043c\u044b \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u0431\u0443\u0434\u0443\u0442 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435: \u043a\u0430\u043a \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0439\u043e\u0433\u043e\u0439 \u0441\u043e Spark, \u043a\u0430\u043a\u0438\u0435 \u0431\u044b\u0432\u0430\u044e\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0430\u043a \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443, \u0441\u043e\u0432\u043b\u0430\u0434\u0430\u0442\u044c \u0441 ClickHouse \u0431\u0435\u0437 \u0443\u0449\u0435\u0440\u0431\u0430 \u0434\u043b\u044f \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0441\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e ML \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. <\/p>\n<p>\u041d\u043e \u043d\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u043c\u0438 \u0435\u0434\u0438\u043d\u044b\u043c\u0438: \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0451 \u0438 \u0434\u0432\u0430 \u0432\u043e\u0440\u043a\u0448\u043e\u043f\u0430, \u0433\u0434\u0435 \u0437\u0440\u0438\u0442\u0435\u043b\u0438 \u043d\u0435 \u0432\u043d\u0438\u043c\u0430\u044e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0437\u043d\u0430\u043d\u0438\u044f\u043c \u0441\u043e \u0441\u043b\u0430\u0439\u0434\u043e\u0432, \u0430 \u043f\u0435\u0440\u0435\u043d\u0438\u043c\u0430\u044e\u0442 \u0443 \u0441\u043f\u0438\u043a\u0435\u0440\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0447\u0435\u043c-\u0442\u043e. \u0410 \u0432 \u0444\u0438\u043d\u0430\u043b\u0435 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0433\u043b\u044b\u0439 \u0441\u0442\u043e\u043b \u043e\u0431 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430\u0445 Hadoop.<\/p>\n<p>\u041f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u2014 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043f\u043e\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043d\u0430 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u043b\u043e\u043a\u0438 (\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438 \u0442.\u0434.).<\/p>\n<ul>\n<li>\n<p><a href=\"#workshops\"><strong>\u0412\u043e\u0440\u043a\u0448\u043e\u043f\u044b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#tooling\"><strong>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#spark\"><strong>Spark<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#processes\"><strong>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u044b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#storage\"><strong>\u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#architecture\"><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#usecases\"><strong>\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/strong><\/a><\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a class=\"anchor\" name=\"workshops\" id=\"workshops\"><\/a><\/p>\n<h3>\u0412\u043e\u0440\u043a\u0448\u043e\u043f\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5lcwbqdbkzpgd7vzuaivkw\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0412\u043e\u0440\u043a\u0448\u043e\u043f. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0432\u044b\u0441\u043e\u043a\u043e\u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0441 Apache Cassandra<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7f3\/957\/297\/7f3957297fc541e09eb195b56bf37f49.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f3\/957\/297\/7f3957297fc541e09eb195b56bf37f49.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0412\u043e\u043b\u043e\u0447\u043d\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><em>Datastax<\/em><\/p>\n<\/div>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0436\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432, \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u0445 \u043d\u0430 \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u0430\u043d\u0441 \u0432 \u043c\u0438\u0440\u0435 OLAP. \u0410 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 NoSQL \u2014 \u044d\u0442\u043e \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430: \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 Cassandra \u0432\u044b\u0437\u0432\u0430\u043d\u044b \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0438 \u0442.\u0434.<\/p>\n<p>\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u2014 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 Developer Advocate \u0434\u043b\u044f Apache Cassandra \u0432 Datastax, \u043e\u043d \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0434 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u0434\u0430\u0442\u0430-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u0441 Apache Cassandra, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0435 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u0440\u043a\u0448\u043e\u043f, \u0433\u0434\u0435 \u0432 live-\u0440\u0435\u0436\u0438\u043c\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 DataStax \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u043f\u043e\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0438\u0437 \u0411\u0414 \u0432\u044b\u0436\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c.<\/p>\n<hr\/>\n<p>\u00a0<a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6z66ktrqirxags3x4yvkze\"><strong>\u0412\u043e\u0440\u043a\u0448\u043e\u043f. \u0414\u0435\u043b\u0430\u0435\u043c \u0436\u0438\u0437\u043d\u044c \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0449\u0435 \u0441 Big Data Tools<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/7b0\/285\/625\/7b02856257aad5e912dfc189c5e657e5.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b0\/285\/625\/7b02856257aad5e912dfc189c5e657e5.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041f\u0430\u0448\u0430 \u0424\u0438\u043d\u043a\u0435\u043b\u044c\u0448\u0442\u0435\u0439\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\">JetBrains<\/p>\n<\/div>\n<p>\u041f\u0430\u0448\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u0437\u0440\u0438\u0442\u0435\u043b\u044f\u043c \u043d\u0430\u0448\u0438\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0439. \u041e\u043d \u0441\u043f\u0438\u043a\u0435\u0440 \u0438 \u0447\u043b\u0435\u043d \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u0438\u0442\u0435\u0442\u0430 SmartData. \u0421\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 JetBrains \u043d\u0430\u0434 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 Big Data Tools \u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0436\u0438\u0437\u043d\u044c \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0449\u0435.<\/p>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0432\u043e\u0440\u043a\u0448\u043e\u043f\u0435 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u0436\u0438\u0437\u043d\u044c \u0438 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0443\u0447\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/c61\/8e5\/c9b\/c618e5c9b5e30f5bf0d1f255ad7d00de.jpeg\" alt=\"\u041f\u0430\u0448\u0430 \u0424\u0438\u043d\u043a\u0435\u043b\u044c\u0448\u0442\u0435\u0439\u043d \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 JPoint 2019\" title=\"\u041f\u0430\u0448\u0430 \u0424\u0438\u043d\u043a\u0435\u043b\u044c\u0448\u0442\u0435\u0439\u043d \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 JPoint 2019\" width=\"604\" height=\"403\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/8e5\/c9b\/c618e5c9b5e30f5bf0d1f255ad7d00de.jpeg\" data-blurred=\"true\"\/><figcaption>\u041f\u0430\u0448\u0430 \u0424\u0438\u043d\u043a\u0435\u043b\u044c\u0448\u0442\u0435\u0439\u043d \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 JPoint 2019<\/figcaption><\/figure>\n<hr\/>\n<p><a class=\"anchor\" name=\"tooling\" id=\"tooling\"><\/a><\/p>\n<h3>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/7ialbsxpqriujal8h1sg7v\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041a\u0430\u043a \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c SQL \u043a \u0447\u0435\u043c\u0443 \u0443\u0433\u043e\u0434\u043d\u043e \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Apache Calcite<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/94e\/44a\/d4b\/94e44ad4b2744e405e495139e251e1bc.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/94e\/44a\/d4b\/94e44ad4b2744e405e495139e251e1bc.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0420\u043e\u043c\u0430\u043d \u041a\u043e\u043d\u0434\u0430\u043a\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">Querify Labs<\/p>\n<\/div>\n<p>\u0420\u043e\u043c\u0430\u043d \u2014 \u0434\u0435\u043b\u0430\u043b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 SQL-\u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f Apache Ignite \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Gridgain. \u0421\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442 \u043f\u043e Calcite, \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u043f\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c. \u041b\u044e\u0431\u0438\u0442 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0437\u043d\u0430\u0435\u0442 \u043f\u0440\u043e \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e \u0432\u0441\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e, \u043e \u0447\u0435\u043c \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442.\u00a0<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0432\u043f\u0443\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0440\u0438\u0441\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u044b\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432, \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0435\u0441\u044c \u0440\u0430\u0431\u043e\u0442\u043e\u0439 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043a\u0430\u043a \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u043d\u0435\u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445), \u0442\u043e \u044d\u0442\u043e\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u0420\u043e\u043c\u0430\u043d \u043a\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c SQL-\u0434\u0432\u0438\u0436\u043a\u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u043c SQL-\u0434\u0432\u0438\u0436\u043a\u043e\u043c \u0432 Apache Ignite.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/51lj7mcl4gux4v4dgjtzbd\/?utm_source=habr&amp;utm_medium=577864\"><strong>Delta Lake data layout optimization<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/01e\/7b2\/6db\/01e7b26db7f8d297a14dc110ca0e971a.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01e\/7b2\/6db\/01e7b26db7f8d297a14dc110ca0e971a.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Sabir Akhadov<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Databricks Inc<\/strong><\/p>\n<\/div>\n<p>\u0424\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u2014 \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0442\u0435\u043c\u0430, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439, \u043f\u043e \u0441\u0443\u0442\u0438, \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0438\u043a\u0442\u043e, \u043a\u0440\u043e\u043c\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432. \u0410 \u0421\u0430\u0431\u0438\u0440 \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a! \u0420\u0430\u043d\u044c\u0448\u0435 \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 Databricks, \u043d\u0430\u043a\u043e\u043f\u0438\u043b \u0431\u043e\u0433\u0430\u0442\u0443\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0443 \u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0421\u0435\u0439\u0447\u0430\u0441 \u043e\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u0434 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f.\u00a0\u00a0<\/p>\n<p>\u0421\u0430\u0431\u0438\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u0430\u043a \u0436\u0438\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0443\u0436\u0435 \u0434\u043e\u0448\u043b\u0438 \u0434\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1vbnnzh2ip5vfykh22qfzr\/?utm_source=habr&amp;utm_medium=577864\"><strong>Apache Airflow 2.3 and beyond: what comes next?<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/1a5\/2a0\/df6\/1a52a0df65cb83346262ad1fdd7118fe.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a5\/2a0\/df6\/1a52a0df65cb83346262ad1fdd7118fe.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Ash Berlin-Taylor<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Astronomer.io<\/strong><\/p>\n<\/div>\n<p>Airflow \u2014 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0435\u0439\u0448\u0438\u0439 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0447\u0430\u0441\u0442\u043e \u0438 \u043c\u043d\u043e\u0433\u043e, \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e.\u00a0<\/p>\n<p>\u042d\u0448 \u0411\u0435\u0440\u043b\u0438\u043d-\u0422\u0435\u0439\u043b\u043e\u0440 \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u0442\u043e\u043f\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u043e\u0440\u043e\u0432 Airflow, \u043e\u043d \u043b\u0438\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b \u0441\u0430\u043c\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u0438 \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u043c \u043a\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439.\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u042d\u0448 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u0447\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0432 Apache Airflow 2.2, \u0438 \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u0432\u0441\u0435\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u0432 \u0432\u0435\u0440\u0441\u0438\u044e 2.3. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e\u043d \u0438 \u043e \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430 (\u0438 \u043e \u0442\u043e\u043c, \u043a\u0443\u0434\u0430 \u043e\u043d \u043d\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f).\u00a0\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u043e\u0431 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0444\u0438\u0447\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0434\u0435\u043b\u0430\u044e\u0442 DAG \u0432 Apache Airflow \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u043c\u0438, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0440\u0435\u0436\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0432\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u0438 \u043e\u0442\u043a\u0440\u043e\u0435\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Airflow.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3h08mv1x94bp3kggclzw6z\/?utm_source=habr&amp;utm_medium=577864\"><strong>Airflow 2.\u0445 SaaS<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/750\/76b\/89e\/75076b89e92c0d1e557cbc51d850046d.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/750\/76b\/89e\/75076b89e92c0d1e557cbc51d850046d.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0438\u0445\u0430\u0438\u043b \u0421\u043e\u043b\u043e\u0434\u044f\u0433\u0438\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\">Tele2<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/262\/867\/e81\/262867e81c16e707aa8e36f756172b15.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/262\/867\/e81\/262867e81c16e707aa8e36f756172b15.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0435\u0440\u0433\u0435\u0439 \u042e\u043d\u043a<\/h5>\n<p persona=\"true\" class=\"persona__text\">Tele2<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/8f0\/c8a\/013\/8f0c8a0137ce8ca68cb6df4956de7888.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f0\/c8a\/013\/8f0c8a0137ce8ca68cb6df4956de7888.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u0434\u0438\u043c \u0421\u0443\u0445\u0430\u043d\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">Tele2<\/p>\n<\/div>\n<p>\u041f\u0430\u0440\u043d\u044b\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u044b \u0441 \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u0438\u043a\u0435\u0440\u0430\u043c\u0438 \u2014 \u043d\u0435 \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c, \u0430 \u0432\u043e\u0442 \u0442\u0440\u043e\u0439\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0442\u0430\u043a \u0447\u0430\u0441\u0442\u043e. \u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0435 \u0442\u0440\u043e\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u0447\u0438\u043a\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432 Tele2: \u041c\u0438\u0445\u0430\u0438\u043b \u0438 \u0421\u0435\u0440\u0433\u0435\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442 Hadoop-\u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432, \u0412\u0430\u0434\u0438\u043c \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b, \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0438\u0442 \u0432 Airflow.<\/p>\n<p>\u0412\u043c\u0435\u0441\u0442\u0435 \u0440\u0435\u0431\u044f\u0442\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 Airflow SaaS \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u043c \u043e\u0431\u043b\u0430\u043a\u0435 Kubernetes \u0438 \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442, \u043a\u0430\u043a \u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0440\u0430\u0441\u0442\u0435\u0442.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c Airflow \u0438 \u0432\u044b \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u0435\u0442\u0435\u0441\u044c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441 \u043d\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0445\u043e\u0442\u044f\u0442 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u043e\u043d \u0443\u0441\u0442\u0440\u043e\u0435\u043d, \u0442\u043e \u0434\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0432\u0430\u043c \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u0412 \u043a\u043e\u043d\u0446\u0435 \u043f\u0440\u043e\u0439\u0434\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1iccteqaygrz2jyuhrjpy4\/?utm_source=habr&amp;utm_medium=577864\"><strong>Create a git-like experience for Data Lake analytics<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/205\/407\/590\/205407590db17d169a7de5dcb3fdbc51.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/205\/407\/590\/205407590db17d169a7de5dcb3fdbc51.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Itai Admi<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Treeverse<\/strong><\/p>\n<\/div>\n<p>\u0412\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u043c, \u0438\u043c \u0442\u0440\u0443\u0434\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c, \u0430 lakeFS \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443.<\/p>\n<p>\u0418\u0442\u0430\u0438 \u0410\u0434\u043c\u0438 \u2014 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c \u0433\u0440\u0443\u043f\u043f\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u0432 Treeverse, \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0437\u0430 lakeFS. \u041e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e lakeFS \u043d\u0430\u0434 \u0444\u0430\u0439\u043b\u0430\u043c\u0438 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043c\u0430\u043d\u0435\u0440 Git.. \u0418\u0437 \u0434\u043e\u043a\u043b\u0430\u0434\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0443\u043f\u0440\u043e\u0449\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u0449\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u044b\u0445 graveler, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 lakeFS, \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438, \u043d\u043e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0432 \u043b\u044e\u0431\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435.<\/p>\n<p>\u0412\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5oplextmw9sioiwl2r8fbt\/?utm_source=habr&amp;utm_medium=577864\"><strong>NiFi on a large scale: \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043b\u0443\u0447\u0448\u0438\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/f1d\/0ae\/8a9\/f1d0ae8a908788f8bf4e8d6611750d22.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1d\/0ae\/8a9\/f1d0ae8a908788f8bf4e8d6611750d22.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0418\u0431\u0440\u0430\u0433\u0438\u043c\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Leroy Merlin<\/strong><\/p>\n<\/div>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0432\u043e\u0442 \u0443\u0436\u0435 8 \u043b\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435\u043c \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0438 \u043e\u0437\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u0438 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430\u0445 \u043d\u0430 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u0442\u0435\u043a\u0435 Apache.\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 ETL-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 NiFi \u2014 \u0435\u0433\u043e \u043f\u043b\u044e\u0441\u044b \u0438 \u043c\u0438\u043d\u0443\u0441\u044b, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043a\u043e\u043c\u0430\u043d\u0434. NiFi \u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0440\u0430\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0438 CI\/CD \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 NiFi \u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 ETL-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"spark\" id=\"spark\"><\/a><\/p>\n<h3>Spark<\/h3>\n<p> <a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5krhea85frveyiwickahfd\/?utm_source=habr&amp;utm_medium=577864\"><strong>Apache Spark as an in-memory-only data processing engine?<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a4d\/22f\/ad1\/a4d22fad16adc33794fad8f420e204fa.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4d\/22f\/ad1\/a4d22fad16adc33794fad8f420e204fa.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Jacek Laskowski<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Independent Consultant<\/strong><\/p>\n<\/div>\n<p>\u042f\u0446\u0435\u043a \u2014 \u0430\u0432\u0442\u043e\u0440 \u043a\u043d\u0438\u0433 \u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u0437\u0432\u0435\u0437\u0434\u043d\u044b\u0445 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0439 \u043f\u043e \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0443. \u0421\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 Apache Spark, Delta Lake, Apache Kafka \u0438 Kafka Streams. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u042f\u0446\u0435\u043a \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442 \u0432\u0430\u0441 \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Spark.\u00a0<\/p>\n<p>\u041d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u043e \u0444\u0430\u043a\u0442: Spark \u0445\u0440\u0430\u043d\u0438\u0442 \u0431\u043b\u043e\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438, \u0445\u043e\u0442\u044f \u0432\u0441\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0438\u043d\u0430\u0447\u0435. \u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c Spark \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043a\u0430\u0441\u0430\u043b\u0441\u044f \u0436\u0435\u0441\u0442\u043a\u0438\u0445 \u0434\u0438\u0441\u043a\u043e\u0432 \u0438, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u044c\u044e? \u041a\u0430\u043a\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b? \u0427\u0442\u043e \u0432 Spark \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u0430\u043c\u044f\u0442\u044c\u044e? \u041d\u0430 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u042f\u0446\u0435\u043a \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0433\u043b\u0430\u0432\u0443 \u043a\u043d\u0438\u0433\u0438 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043d\u0435\u0439 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043b\u0443\u0447\u0448\u0438\u0445.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6ike1oykk5mnfnnpql9aa0\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u00ab\u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439\u00bb Spark<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/278\/f89\/99d\/278f8999db5340f477f2fe49fca0fe37.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/278\/f89\/99d\/278f8999db5340f477f2fe49fca0fe37.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0417\u0443\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">Ozon<\/p>\n<\/div>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u043f\u0438\u0448\u0435\u0442 \u043d\u0430 Scala \u0441 2014 \u0433\u043e\u0434\u0430, \u0438 \u0443\u0441\u043f\u0435\u043b \u043f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430\u0434 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u043e: \u043e\u0442 \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0445 CRUD API \u0434\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 stateful-\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u043e\u043c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0435\u0433\u043e \u0438\u043f\u043e\u0441\u0442\u0430\u0441\u044f\u0445.<\/p>\n<p>\u041d\u0430 Spark \u043f\u0438\u0448\u0443\u0442 \u043c\u043d\u043e\u0433\u0438\u0435, \u043d\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0443\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 Scala-\u043a\u043e\u0434\u0430. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u0434 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c, \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u044b\u043c. \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0438 \u0435\u0433\u043e \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u00ab\u0432\u044b\u0441\u0442\u0440\u0430\u0434\u0430\u043b\u0438\u00bb \u0442\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0438 \u0441\u043e\u0432\u0435\u0442\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u0441\u0435\u0431\u0435 \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0435, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0442\u0440\u044e\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0442 \u043a\u043e\u0434 \u0438 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u044f\u0442 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0435\u0433\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443, \u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u044d\u0442\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043f\u0438\u0448\u0435\u0442 \u043a\u043e\u0434 \u043d\u0430 Spark, \u043d\u043e \u043d\u0435 \u0442\u0430\u043a \u0433\u043b\u0443\u0431\u043e\u043a\u043e \u0437\u043d\u0430\u0435\u0442 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 Scala, \u043a\u0430\u043a \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/yrkp1i01n1mbnjogvdmyw\/?utm_source=habr&amp;utm_medium=577864\"><strong>Spark Yoga \u2014 saving time &amp; money with lean data pipelines<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/e22\/9c3\/5e6\/e229c35e63061ab93199033c2e94c013.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e22\/9c3\/5e6\/e229c35e63061ab93199033c2e94c013.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Vishnu Chanderraju<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>eyeota.com<\/strong><\/p>\n<\/div>\n<p>\u0412\u0438\u0448\u043d\u0443 \u0431\u044b\u043b \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0442\u0435\u0445, \u043a\u0442\u043e \u0441\u0442\u043e\u044f\u043b \u0443 \u0438\u0441\u0442\u043e\u043a\u043e\u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f Flipkart \u2014 \u0433\u043b\u0430\u0432\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441\u0430, \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u043d \u0441\u0435\u043d\u044c\u043e\u0440-\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u043d\u0430 eyeota.com.\u00a0<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0435\u0439, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 SLA \u043f\u0440\u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b \u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0442\u0440\u044e\u043a\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0430 Spark, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u043d\u0435\u0433, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441\u0432\u043e\u044e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u00ab\u0431\u0435\u0440\u0435\u0436\u043b\u0438\u0432\u043e\u0433\u043e\u00bb \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430.<\/p>\n<p>\u042d\u0442\u0430 \u0442\u0435\u043c\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c Spark, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c Spark \u0432 \u043e\u0431\u043b\u0430\u043a\u0435, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 AWS, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435-spark \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"processes\" id=\"processes\"><\/a><\/p>\n<h3>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5cy6wwhbi2ekicyrukdgm9\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0414\u0432\u0430 \u0442\u0438\u043f\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/897\/94b\/38e\/89794b38e21feeba8675092910e761b2.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/897\/94b\/38e\/89794b38e21feeba8675092910e761b2.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0410\u043d\u043e\u0448\u0438\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\">Microsoft<\/p>\n<\/div>\n<p>\u0412 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435 \u0438 \u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 10 \u043b\u0435\u0442.\u00a0 \u0412\u0435\u0434\u0435\u0442 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b \u043f\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c: @rockyourdata, \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c, \u0430\u0432\u0442\u043e\u0440 \u043a\u043d\u0438\u0433.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0447\u0435\u043c \u0436\u0435 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440? \u0422\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 \u00ab\u041a\u0430\u043a \u043c\u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u0441\u0438\u043d\u0434\u0440\u043e\u043c\u043e\u043c \u0441\u0430\u043c\u043e\u0437\u0432\u0430\u043d\u0446\u0430?\u00bb \u0437\u0430\u0434\u0430\u0435\u0442 \u0441\u0435\u0431\u0435 \u043b\u044e\u0431\u043e\u0439 \u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0445\u043e\u0434\u0438\u0442 \u0434\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u0438\u044f, <strong>\u0433\u0434\u0435 <\/strong>\u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043d\u0443\u0436\u0435\u043d \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u00ab\u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u00bb \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0437\u043c\u044b\u0442\u043e\u0435, \u0438 \u0432 \u043d\u0435\u043c \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f.\u00a0<\/p>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u0434\u0438\u0445\u043e\u0442\u043e\u043c\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441, \u0438 \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 Gentle \u0438 Hardcore.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438 \u0438\u043b\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u043c \u0441\u0430\u043c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3jxxeniugjyr15x9mctzq6\/?utm_source=habr&amp;utm_medium=577864\"><strong>DWH \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0443\u043a\u0442<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/b05\/c90\/4bc\/b05c904bcd59c9d49e8e05f738306ff7.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b05\/c90\/4bc\/b05c904bcd59c9d49e8e05f738306ff7.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041d\u0438\u043a\u043e\u043b\u0430\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u0410\u0432\u0438\u0442\u043e<\/strong><\/p>\n<\/div>\n<p>\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u2014 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c \u044e\u043d\u0438\u0442\u0430 DWH \u0432 \u00ab\u0410\u0432\u0438\u0442\u043e\u00bb. \u0418\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f DWH \u2014 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c, \u043d\u043e \u0435\u0449\u0435 \u0431<strong><em>\u043e<\/em><\/strong>\u043b\u044c\u0448\u0430\u044f \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c \u2014 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c. \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0432\u043e\u0437\u044c\u043c\u0435\u0442 \u043d\u0430 \u0441\u0435\u0431\u044f \u0442\u0430\u043a\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<p>\u0418\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432, \u043d\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f (\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u0434\u0430\u043d\u043d\u044b\u0435) \u043f\u043e \u0441\u0442\u0430\u0440\u0438\u043d\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u043e\u0435\u043a\u0442\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434. \u041d\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u0441\u0432\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0443\u043a\u0442. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0430\u0434\u0440\u0435\u0441\u043e\u0432\u0430\u043d \u043b\u0438\u0434\u0430\u043c, \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430\u043c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0438 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440\u0430\u043c \u043a\u043e\u043c\u0430\u043d\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0442\u0441\u044f \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u043e\u0439.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/2vpaie6rgydd2iflkkfua1\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0420\u0430\u0431\u043e\u0447\u0435\u0435 \u043c\u0435\u0441\u0442\u043e D-people \u2014 \u043e\u043f\u044b\u0442 \u0421\u0411\u0415\u0420<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cc1\/34f\/862\/cc134f862fd54e76a91a5fe20157b43b.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc1\/34f\/862\/cc134f862fd54e76a91a5fe20157b43b.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0411\u0443\u0433\u0430\u0439\u0447\u0435\u043d\u043a\u043e<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u0421\u0411\u0415\u0420<\/strong><\/p>\n<\/div>\n<p>\u0423 \u0414\u043c\u0438\u0442\u0440\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u043f\u0435\u0434\u0430\u0433\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u043f\u044b\u0442. \u041e\u043d \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u00ab\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0430\u0445\u00bb, \u0430 \u0441 2019 \u0433\u043e\u0434\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0421\u0431\u0435\u0440\u0435.<\/p>\n<p>\u041e\u043f\u044b\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043f\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0444\u0438\u043b\u044f \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432, \u0434\u0430\u0442\u0430 \u0441\u0430\u0439\u0435\u043d\u0442\u0438\u0441\u0442\u043e\u0432 \u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e. \u0417\u0430\u0434\u0430\u0447\u0430 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u043b\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0442\u043e\u0447\u043a\u0438 \u0410 \u0432 \u0442\u043e\u0447\u043a\u0443 \u0411, \u043d\u043e \u0438 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0443\u0434\u043e\u0431\u043d\u043e\u0439.<\/p>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u0430, \u043a\u0430\u043a \u043c\u0435\u043d\u044f\u043b\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e, \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u0432\u044b\u0432\u043e\u0434\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0443\u044e \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0438 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f\u043c \u043a\u043e\u043c\u0430\u043d\u0434 \u2014 \u043e\u043d\u0438 \u0443\u0437\u043d\u0430\u044e\u0442, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"storage\" id=\"storage\"><\/a><\/p>\n<h3>\u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/mmubcdas1hm6hcuny04g9\/?utm_source=habr&amp;utm_medium=577864\"><strong>How an analytical database stopped me smoking: A practical story with Exasol<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a9f\/5a9\/3ab\/a9f5a93abb2980c55a0e5747e0caa5c7.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9f\/5a9\/3ab\/a9f5a93abb2980c55a0e5747e0caa5c7.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Christian Langmayr\u00a0<\/h5>\n<p persona=\"true\" class=\"persona__text\">Exasol<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/dad\/a38\/530\/dada3853011c448e2f6849436b5000d8.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dad\/a38\/530\/dada3853011c448e2f6849436b5000d8.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Valerie Wiedemann<\/h5>\n<p persona=\"true\" class=\"persona__text\">Exasol<\/p>\n<\/div>\n<p>\u0412 \u043d\u0430\u0448\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u0438 \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u0432\u043e\u0437\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043d\u0430\u0434\u0435\u0436\u0434\u044b. \u041b\u044e\u0434\u0438 \u0445\u043e\u0442\u044f\u0442 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0438\u043c\u0438 \u0440\u0443\u0442\u0438\u043d\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u0438 \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e \u0438 \u0434\u043b\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430 \u0411\u0414 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b \u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043b\u0435\u0434\u0438\u0442\u044c \u0437\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0435\u0439 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435. \u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0447\u0430\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430 \u0411\u0414 \u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u0432\u0430\u0436\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0445 Exasol \u0432 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.\u00a0<\/p>\n<p>\u0421\u0423\u0411\u0414 Exasol \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u043d\u0435 \u0442\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0445\u043e\u0442\u044f \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430 \u0437\u0430 \u0440\u0443\u0431\u0435\u0436\u043e\u043c. \u0422\u0430\u043a \u0447\u0442\u043e\u00a0 \u0434\u043e\u043a\u043b\u0430\u0434, \u0433\u0434\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e \u0435\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435, \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438. \u0410 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442 \u043e \u043d\u0435\u0439 \u0412\u0430\u043b\u0435\u0440\u0438 \u0412\u0438\u0434\u0435\u043c\u0430\u043d\u043d \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443\u044e\u0449\u0438\u0439 \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u043f\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c \u0432 Exasol, \u0438 \u041a\u0440\u0438\u0441\u0442\u0438\u0430\u043d \u041b\u0430\u043d\u0433\u043c\u0430\u0439\u0440, \u0443\u043c\u0435\u044e\u0449\u0438\u0439 \u0434\u0435\u043b\u0430\u0442\u044c \u0443\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0449\u0435\u0442\u0435 \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u043e\u0442\u0438\u0442\u0435 \u0431\u044b\u0442\u044c \u0432 \u043a\u0443\u0440\u0441\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u0439 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0430, \u0438\u0449\u0435\u0442\u0435 \u0431\u044d\u043a\u0435\u043d\u0434 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 BI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u0435 \u043c\u0438\u043c\u043e.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/68fbotxkutogdecunzamyl\/?utm_source=habr&amp;utm_medium=577864\"><strong>Trino (Presto) DB: Zero copy lakehouse<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/c49\/db5\/812\/c49db5812cff017e7bc87a62e243cf82.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c49\/db5\/812\/c49db5812cff017e7bc87a62e243cf82.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u0440\u0442\u0435\u043c \u0410\u043b\u0438\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Huawei<\/strong><\/p>\n<\/div>\n<p>\u0410\u0440\u0442\u0435\u043c \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445. \u0410 \u0435\u0449\u0435 \u043e\u043d \u043a\u0440\u0430\u0439\u043d\u0435 \u0445\u0430\u0440\u0438\u0437\u043c\u0430\u0442\u0438\u0447\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u0443\u0448\u0430\u0442\u044c \u0435\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0434\u0430\u0436\u0435 \u0442\u0435\u043c, \u043a\u0442\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u043e Trino.<\/p>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u0442\u0435\u0442, \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e. \u0415\u0441\u0442\u044c \u0440\u044f\u0434 \u043c\u0430\u043b\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0445 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e Trino \u0438 \u0435\u0433\u043e \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430\u0445 (Dremio, Drill), \u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0438 \u0438 \u043e\u0431\u043e\u0433\u0430\u0449\u0435\u043d\u0438\u0438 \u0438\u0445 \u0438 \u0442.\u0434. \u041e\u0431\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e\u043c \u0410\u0440\u0442\u0435\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043d\u0435 \u0441 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441\u0438\u0441\u0442\u0435\u043c, \u0430\u00a0\u0441 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043c\u0435\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u043d\u0438\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0438 \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a \u0438\u0445 \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u043d\u0430\u0446\u0435\u043b\u0435\u043d \u043d\u0430 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/28bw4xnugreifiqipmabz5\/?utm_source=habr&amp;utm_medium=577864\"><strong>Dremio SQL Lakehouse: \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3cf\/fd6\/b98\/3cffd6b9868d9e3b494b3622eeb8bb2b.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3cf\/fd6\/b98\/3cffd6b9868d9e3b494b3622eeb8bb2b.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0438\u043a\u0442\u043e\u0440 \u041a\u0435\u0441\u0441\u043b\u0435\u0440<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Dremio<\/strong><\/p>\n<\/div>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044d\u0442\u0443 \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0443 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c, \u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0443\u0431\u0440\u0430\u0442\u044c.<\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 Data Lakehouse + Data Virtualization \u044d\u0442\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u0440\u044b\u043d\u043e\u043a \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0435 \u044d\u0442\u0443 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<p>\u0412\u0438\u043a\u0442\u043e\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Data Lakehouse, \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u043a\u0430\u043a \u043e\u043d\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c time-to-market.<\/p>\n<p>\u0414\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0430 \u0432 Dremio, \u0412\u0438\u043a\u0442\u043e\u0440 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432 MongoDB, ERGO, PwC \u0438 SAP \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 \u043d\u0430 \u0442\u0435\u043c\u044b \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, DWH \u0438 \u0446\u0438\u0444\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0438 \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u043a\u0440\u0443\u0433\u043e\u0437\u043e\u0440\u043e\u043c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3kytjn8taeeirzmw8n7oqu\/?utm_source=habr&amp;utm_medium=577864\"><strong>Lessons learned from using machine learning to optimize database configurations<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/8af\/171\/e7c\/8af171e7c2a0e73f50dae6e94b5abc17.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8af\/171\/e7c\/8af171e7c2a0e73f50dae6e94b5abc17.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Andy Pavlo<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Carnegie Mellon University<\/strong><\/p>\n<\/div>\n<p>\u042d\u043d\u0434\u0438 \u041f\u0430\u0432\u043b\u043e \u2014 \u0434\u043e\u0446\u0435\u043d\u0442 \u043a\u0430\u0444\u0435\u0434\u0440\u044b \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0444\u0430\u043a\u0443\u043b\u044c\u0442\u0435\u0442\u0430 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u044b\u0445 \u043d\u0430\u0443\u043a \u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430 \u041a\u0430\u0440\u043d\u0435\u0433\u0438-\u041c\u0435\u043b\u043b\u043e\u043d. \u0421\u043e\u0443\u0447\u0440\u0435\u0434\u0438\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 OtterTune. \u0412\u0438\u0434\u0438\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e \u0432 \u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u0430\u043a \u0438 \u0441 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0442\u0430\u043a \u0438 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438. \u041f\u043e\u0442\u0440\u044f\u0441\u0430\u044e\u0449\u0438\u0439 \u0441\u043f\u0438\u043a\u0435\u0440, \u0443\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0439 \u0442\u0435\u043c\u043e\u0439 \u0411\u0414.\u00a0<\/p>\n<p>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u0430\u043d\u0441\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u0434\u0430\u0432\u043d\u044f\u044f \u043c\u0435\u0447\u0442\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432. \u041d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u0430 \u0432\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e\u043a\u0430 \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e. \u042d\u0442\u043e\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0441\u0443\u0433\u0443\u0431\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f ML \u0432 \u0441\u0435\u0440\u0432\u0438\u0441\u0435 OtterTune.<\/p>\n<p>\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0438\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0421\u0423\u0411\u0414 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442. \u0410 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u041c\u041e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442, \u0447\u0442\u043e\u0431\u044b \u043b\u044e\u0434\u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u043b\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043e\u043d\u0438 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0442\u044b\u0441\u044f\u0447 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432\u0441\u0435\u043c \u0442\u0435\u043c, \u043a\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0430\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u041c\u041e \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u0441\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0411\u0414.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/43unft7wrwrswmsvk6bozx\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 SQL-\u0434\u0432\u0438\u0436\u043a\u043e\u0432<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/53d\/015\/14c\/53d01514c79a7e24e377be652a45306f.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53d\/015\/14c\/53d01514c79a7e24e377be652a45306f.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Vladimir Ozerov<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Querify Labs<\/strong><\/p>\n<\/div>\n<p>\u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u2014 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c Querify Labs, \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u0438\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0432\u0438\u0436\u043a\u0438 \u0411\u0414 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u0423 \u043d\u0435\u0433\u043e \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0438\u0437 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u043e\u0435\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043e\u043d \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u043d\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0447\u0430\u0441\u0442\u044c, \u043d\u043e \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0410 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0442\u0435\u043c\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 SQL-\u0434\u0432\u0438\u0436\u043a\u0430\u0445. \u0427\u0430\u0441\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0438 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u044d\u0442\u043e \u0432\u0441\u0451 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0412\u043b\u0430\u0434\u0438\u043c\u0438\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043f\u0440\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0434\u0430\u0441\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0441\u044b\u043b\u043e\u043a \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u044b.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0441\u044f \u0441 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432 \u0441\u0432\u043e\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6xloqnqdho3leot5mxrvnl\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041a\u0440\u0443\u0433\u043b\u044b\u0439 \u0441\u0442\u043e\u043b: \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u043d\u0435 Hadoop<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/e57\/c2d\/d2f\/e57c2dd2f61833564c480bf7d6a35d52.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e57\/c2d\/d2f\/e57c2dd2f61833564c480bf7d6a35d52.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u041c\u0430\u0440\u043a\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Aligned Research Group<\/strong><\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/ba8\/939\/010\/ba89390102150273ea71fc87a0713d1c.jpg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba8\/939\/010\/ba89390102150273ea71fc87a0713d1c.jpg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0430\u043a\u0441\u0438\u043c \u0421\u0442\u0430\u0446\u0435\u043d\u043a\u043e<\/h5>\n<p persona=\"true\" class=\"persona__text\">\u042f\u043d\u0434\u0435\u043a\u0441<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/a9a\/d36\/af7\/a9ad36af7f1ee4bf77c6e88960b03b28.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/d36\/af7\/a9ad36af7f1ee4bf77c6e88960b03b28.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0430\u0442\u0430\u043b\u044c\u044f \u0425\u0430\u043f\u0430\u0435\u0432\u0430<\/h5>\n<p persona=\"true\" class=\"persona__text\">\u041c\u0422\u0421<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/2f2\/5fa\/009\/2f25fa009cae5f9651525e0d9a4e9aae.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f2\/5fa\/009\/2f25fa009cae5f9651525e0d9a4e9aae.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0422\u0440\u043e\u0448\u043d\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">\u0427\u0430\u0441\u0442\u043d\u044b\u0439 \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0430\u043d\u0442<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/e13\/9cd\/997\/e139cd997a94e580ae22f50b1151d6fb.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e13\/9cd\/997\/e139cd997a94e580ae22f50b1151d6fb.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u043b\u0434\u0438\u0441 \u041f\u0443\u043a\u0438\u0441<\/h5>\n<p persona=\"true\" class=\"persona__text\">Evolution<\/p>\n<\/div>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u043a\u0440\u0443\u0433\u043b\u043e\u043c \u0441\u0442\u043e\u043b\u0435 \u0441\u043e\u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0435 \u043d\u0430\u0448\u0438\u043c \u0437\u0440\u0438\u0442\u0435\u043b\u044f\u043c \u041c\u0430\u043a\u0441\u0438\u043c \u0421\u0442\u0430\u0446\u0435\u043d\u043a\u043e, \u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u041c\u0430\u0440\u043a\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u041d\u0430\u0442\u0430\u043b\u044c\u044f \u0425\u0430\u043f\u0430\u0435\u0432\u0430 \u0438\u0437 \u041c\u0422\u0421, \u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0422\u0440\u043e\u0448\u043d\u0435\u0432, \u0438\u043c\u0435\u044e\u0449\u0438\u0439 \u0434\u0435\u0441\u044f\u0442\u0438\u043b\u0435\u0442\u043d\u0438\u0439 \u043e\u043f\u044b\u0442 \u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0412\u0430\u043b\u0434\u0438\u0441 \u041f\u0443\u043a\u0438\u0441 \u2014 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c \u0433\u0440\u0443\u043f\u043f\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Evolution.<\/p>\n<p>\u041c\u0438\u0440 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0422\u043e, \u0447\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0437\u044b\u0431\u043b\u0435\u043c\u044b\u043c \u0438 \u043d\u0435 \u0432\u044b\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u043c \u0441\u043e\u043c\u043d\u0435\u043d\u0438\u0439, \u0441\u0435\u0439\u0447\u0430\u0441 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0430. \u0423\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u043a\u0440\u0443\u0433\u043b\u043e\u0433\u043e \u0441\u0442\u043e\u043b \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0443\u0436\u0435 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u044b Hadoop \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0435\u0435 \u043d\u0430 \u0441\u0432\u0430\u043b\u043a\u0443 \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u0438\u043b\u0438 \u0436\u0435 \u0431\u0435\u0437 \u043d\u0435\u0435 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043d\u0438\u043a\u0443\u0434\u0430?\u00a0<\/p>\n<p>\u0420\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u043e\u0431\u0435\u0449\u0430\u0435\u0442 \u0431\u044b\u0442\u044c \u0436\u0430\u0440\u043a\u0438\u043c: \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u0438 \u043e \u0442\u043e\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0434\u043e\u0431\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u044b\u0440\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u041d\u0415 \u0432 HDFS, \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c Kappa-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u0438 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0441\u0430\u0434\u0438\u0442\u044c \u043d\u0430 SQL-\u0434\u0432\u0438\u0436\u043e\u043a.<\/p>\n<p>\u0414\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u043e-\u043d\u043e\u0432\u043e\u043c\u0443 \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0435 \u0432\u0435\u0449\u0438, \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b Data Governance \u0438 \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u0410 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u0438\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043a \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e \u0432 \u0434\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u0437\u043e\u043d\u0435 \u0438 \u0437\u0430\u0434\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"architecture\" id=\"architecture\"><\/a><\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/wdlo3ykockvmyfpcreyvo\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u042d\u0442\u0430\u043f\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043e\u0431\u043b\u0430\u043a\u0430\u0445<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/9c1\/4ad\/3f6\/9c14ad3f65ed1e67e49d29829e668a13.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c1\/4ad\/3f6\/9c14ad3f65ed1e67e49d29829e668a13.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0413\u043e\u043b\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">ManyChat<\/p>\n<\/div>\n<p>\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u2014 \u0433\u043b\u0430\u0432\u0430 \u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0430 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0430 \u0432 ManyChat, \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0432\u0441\u0435 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0438 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438 (\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, BI, ETL, \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b). \u041f\u0440\u0435\u043f\u043e\u0434\u0430\u0435\u0442 \u0432 \u041d\u0418\u0423 \u0412\u0428\u042d, \u0433\u0434\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0443\u0447\u043d\u044b\u043c\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0439 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0434\u0430\u043d\u043d\u044b\u0445 (Data Vault \u0438 Anchor Modeling), \u0438 \u0438\u0437\u0443\u0447\u0430\u0435\u0442 \u0431\u043b\u043e\u043a\u0447\u0435\u0439\u043d.<\/p>\n<p>\u0412 \u0441\u0432\u043e\u0435\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e\u0431 \u043e\u043f\u044b\u0442\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0435\u0439 \u0441\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432, \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0443 \u0434\u043e \u0441\u043b\u043e\u0435\u0432 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f (Data Lake, \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0432\u0438\u0442\u0440\u0438\u043d\u044b), \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 (batching, streaming) \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0441 BI-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 (\u043e\u0442\u0447\u0435\u0442\u043d\u043e\u0441\u0442\u044c, ML). \u041a\u0430\u043a\u043e\u0439 \u0432\u044b\u0431\u043e\u0440 \u0434\u0435\u043b\u0430\u043b\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0438 \u043a \u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043b\u043e, \u043a\u0430\u043a\u0438\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u043b\u0438 \u0440\u0438\u0441\u043a\u0438 \u0438 \u0447\u0442\u043e \u0432\u044b\u0448\u043b\u043e \u0432 \u0438\u0442\u043e\u0433\u0435.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0434\u0430\u0442\u0430-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0438 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1lnlgfdvt1bcodkk0uucij\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0421\u043a\u0430\u0437 \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043c\u044b DWH \u0441\u0442\u0440\u043e\u0438\u043c: \u043e\u0442 \u0440\u0435\u043f\u043b\u0438\u043a MySQL \u0434\u043e Exasol + ClickHouse<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/831\/007\/61b\/83100761bd86a9eed94159da5dc09bc7.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/831\/007\/61b\/83100761bd86a9eed94159da5dc09bc7.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u043a\u0430\u0442\u0435\u0440\u0438\u043d\u0430 \u041a\u043e\u043b\u043f\u0430\u043a\u043e\u0432\u0430<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u0421\u0438\u0442\u0438\u043c\u043e\u0431\u0438\u043b<\/strong><\/p>\n<\/div>\n<p>\u0415\u043a\u0430\u0442\u0435\u0440\u0438\u043d\u0430 \u2014 \u043e\u043f\u044b\u0442\u043d\u044b\u0439 \u0441\u043f\u0438\u043a\u0435\u0440 \u0438 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043e\u043d\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 DWH \u0432 Tinkoff \u0438 Mail.Ru Group, \u0430 \u0441\u0435\u0439\u0447\u0430\u0441 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c DWH \u0432 \u0421\u0438\u0442\u0438\u043c\u043e\u0431\u0438\u043b\u0435. \u041f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u043a\u0443\u0440\u0441\u0430 \u00ab\u041f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb \u0432 \u0422\u0435\u0445\u043d\u043e\u043f\u0430\u0440\u043a\u0435 Mail.Ru.<\/p>\n<p>\u0415\u0435 \u0434\u043e\u043a\u043b\u0430\u0434 \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442 \u0434\u0432\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0442\u0435\u043c\u044b: \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0441 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 ETL, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u044b\u043b\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0432 \u0421\u0438\u0442\u0438\u043c\u043e\u0431\u0438\u043b.\u00a0<\/p>\n<p>\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u2014 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u0438\u0439, \u043d\u043e \u043e\u0442 \u0440\u0443\u0442\u0438\u043d\u043d\u044b\u0445 \u0438 \u0448\u0430\u0431\u043b\u043e\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0434\u0435\u0442\u044c\u0441\u044f. \u041e\u043d\u0438 \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u043e\u0442 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b BigData. \u0415\u043a\u0430\u0442\u0435\u0440\u0438\u043d\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e, \u043a\u0430\u043a \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0441\u043d\u044f\u0442\u044c \u0441\u043a\u0443\u0447\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u043f\u0435\u0440\u0435\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u0441\u0435 \u043d\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u043a\u0443. \u042d\u0442\u043e \u043f\u043e\u0434\u043d\u044f\u043b\u043e \u0434\u0443\u0445 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0438\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u043a\u0430\u043c\u0438.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c, \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u0438 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f\u043c \u2014 \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u0434\u0435\u0438 \u0438\u0437 \u043d\u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3zu9qmc46ynxej1xn7eh5y\/?utm_source=habr&amp;utm_medium=577864\"><strong>An experience report on strategies for working with Cloud Storage<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/84e\/797\/343\/84e79734387d86a56c31d12ab52a8738.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/84e\/797\/343\/84e79734387d86a56c31d12ab52a8738.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Tejas Chopra<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Netflix<\/strong><\/p>\n<\/div>\n<p>\u0422\u0435\u0434\u0436\u0430\u0441 \u0427\u043e\u043f\u0440\u0430 \u2014 \u0441\u0442\u0430\u0440\u0448\u0438\u0439 \u0438\u043d\u0436\u0435\u043d\u0435\u0440-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Netflix. \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 Netflix Studios \u0438 Netflix StreamingPlatform. \u041e\u043f\u044b\u0442\u043d\u044b\u0439 \u0441\u043f\u0438\u043a\u0435\u0440, \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442 \u0432\u043e\u0440\u043a\u0448\u043e\u043f\u044b \u0438 \u0447\u0438\u0442\u0430\u0435\u0442 \u043b\u0435\u043a\u0446\u0438\u0438.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u0441\u0435\u043d\u044c\u043e\u0440\u0430 \u0438\u0437 \u00ab\u041d\u0435\u0442\u0444\u043b\u0438\u043a\u0441\u0430\u00bb \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0432\u043e\u0434 \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u044d\u0442\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435!<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u043d\u043e\u0433\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. \u041d\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438 \u0438 \u0437\u0430\u043a\u043e\u043d\u044b \u043e \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u0438 \u0432 \u043e\u0431\u043b\u0430\u043a\u043e. \u0422\u0435\u0434\u0436\u0430\u0441 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0432 \u00ab\u041d\u0435\u0442\u0444\u043b\u0438\u043a\u0441\u0435\u00bb \u0441\u043e\u0447\u0435\u0442\u0430\u044e\u0442 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u043e\u0431\u0435\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0432\u043c\u0435\u0441\u0442\u0435. \u041f\u043e\u0447\u0435\u043c\u0443 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043e\u0431\u043b\u0430\u043a\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0434\u0443\u0449\u0438\u043c, \u0430 OnPremise \u0432\u0435\u0434\u043e\u043c\u044b\u043c, \u0430 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0432\u0441\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043f\u044b\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043e\u0431\u043b\u0430\u043a\u043e\u043c \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043e\u043f\u044b\u0442, \u0442\u043e \u0434\u043e\u043a\u043b\u0430\u0434 \u0442\u043e\u0447\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/4fxf0ieqxum5nzzsu02mgd\/?utm_source=habr&amp;utm_medium=577864\"><strong>How to bring advanced analytics to hybrid data storage with Vertica<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f1f\/be1\/8a1\/f1fbe18a19bafffdd6c354fecca1d5cc.png\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1f\/be1\/8a1\/f1fbe18a19bafffdd6c354fecca1d5cc.png\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Gianluigi Vigano<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Vertica<\/strong><\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/e44\/d7d\/53b\/e44d7d53bb46d4ce5493449f56bb8cfd.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e44\/d7d\/53b\/e44d7d53bb46d4ce5493449f56bb8cfd.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Maurizio Felici<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Vertica<\/strong><\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/84c\/1b4\/70b\/84c1b470bd35969e07e682884a2bc1b9.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/84c\/1b4\/70b\/84c1b470bd35969e07e682884a2bc1b9.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Marco Gessner<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Vertica<\/strong><\/p>\n<\/div>\n<p>Vertica \u2013 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (Big data) \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\u00a0<\/p>\n<p>\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u044d\u0442\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0414\u0436\u0430\u043d\u043b\u0443\u0438\u0434\u0436\u0438 \u0412\u0438\u0433\u0430\u043d\u043e, \u041c\u0430\u0443\u0440\u0438\u0446\u0438\u043e \u0424\u0435\u043b\u0438\u0447\u0438, \u041c\u0430\u0440\u043a\u043e \u0413\u0435\u0441\u0441\u043d\u0435\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442 \u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u043e\u0432\u044b\u0445 \u0444\u0438\u0447 \u043d\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435. \u0423 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u043f\u044b\u0442 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0443\u0447\u0430\u0441\u0442\u0438\u0438 \u0432 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f\u0445.<\/p>\n<p>\u041a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u0438 \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u0443, \u0441\u0432\u043e\u0439 \u0431\u044d\u043a\u0435\u043d\u0434 \u0438 \u0441\u0432\u043e\u044e \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0434\u043e\u0448\u043b\u043e \u0438 \u0434\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u043e\u0437\u0434\u0430\u043b\u043e \u0442.\u043d. Data Mash. \u041d\u0435 \u0442\u0430\u043a \u0432\u0430\u0436\u043d\u043e, \u0435\u0441\u0442\u044c \u043b\u0438 \u043e\u043d\u043e \u0443 \u0432\u0430\u0441 \u0438\u043b\u0438 \u043d\u0435\u0442, \u043d\u043e \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0432\u0430\u0448\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0437\u0430\u0445\u043e\u0442\u0435\u0442\u044c \u043f\u0438\u0441\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u043e\u0431\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0438\u0437 \u043d\u0438\u0445 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0441\u043f\u0438\u043a\u0435\u0440\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442, \u043a\u0430\u043a \u043e\u043d\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0432 Vertica.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u043e\u043f\u044b\u0442\u043d\u044b\u043c \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c, \u0432\u0441\u0435\u043c \u0442\u0435\u043c, \u043a\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 Vertica \u0438\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0441\u0432\u043e\u0435\u0439 DWH.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6novnthne8qer1ufxzjdg3\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041a\u0430\u043a \u043c\u044b \u0441\u0442\u0440\u043e\u0438\u043c Feature store<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/ffb\/41e\/a51\/ffb41ea514f29d28a0b9edb7ade224d5.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ffb\/41e\/a51\/ffb41ea514f29d28a0b9edb7ade224d5.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0435\u0440\u0433\u0435\u0439 \u042f\u0440\u044b\u043c\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u041c\u0422\u0421<\/strong><\/p>\n<\/div>\n<p>\u0421\u0435\u0440\u0433\u0435\u0439 \u2014 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0432 \u041c\u0422\u0421 Big Data, \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0441\u0442\u0440\u043e\u0438\u043b \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b, \u0430 \u043f\u043e\u0442\u043e\u043c ETL-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0443 \u0432 \u043a\u0440\u0443\u043f\u043d\u043e\u0439 IT-\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c feature store \u2014 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u0438\u0447\u0430\u043c\u0438 ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0431\u0430\u0437\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0438\u0445 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430). \u0425\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0441\u0451 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439, \u043e\u043d \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u0445, \u043d\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430 \u043e\u043f\u044b\u0442\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u0432\u0430\u0442\u044c \u0438\u043c \u043e\u0446\u0435\u043d\u043a\u0443.<\/p>\n<p>\u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c feature store \u0440\u0430\u0441\u0442\u0435\u0442. \u041a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u00ab\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435\u00bb \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u041d\u043e \u043a\u0430\u043a\u043e\u0435? \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043a \u043e\u043f\u0435\u043d\u0441\u043e\u0440\u0441\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u043f\u043b\u0430\u0442\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439, \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u043e \u0441\u0432\u043e\u0438\u043c\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438. \u0418, \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e, \u043d\u0435\u0442 \u0442\u0430\u043a\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435\u043c.\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u0442\u044b \u0432\u0441\u0435 \u043d\u044e\u0430\u043d\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u043b\u0438\u0431\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440, \u043b\u0438\u0431\u043e \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0435\u0433\u043e \u0432\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442, \u0430 \u0447\u0442\u043e \u0432\u044b \u0443\u0436\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p>\u0411\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u0443 \u043a\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442 ML-\u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u043d\u0430\u0432\u0435\u0441\u0442\u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432 \u0437\u043e\u043e\u043f\u0430\u0440\u043a\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6zlcbyjew9hj5vqjxhw42l\/?utm_source=habr&amp;utm_medium=577864\"><strong>Optimizing test data coverage in functional testing<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/853\/76e\/259\/85376e259516e01fd0e1351e4a609fc6.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/853\/76e\/259\/85376e259516e01fd0e1351e4a609fc6.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">Ton Badal<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Synthesized<\/strong><\/p>\n<\/div>\n<p>\u0422\u043e\u043d \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u0443\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u044b\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u043e\u043c. \u0414\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0430 \u0432 Synthesized \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0431\u0430\u043d\u043a\u043e\u0432 \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0433\u0434\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u044b\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0434\u0430\u0442\u0430-\u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043d\u043e \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043d\u0438\u043c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d. \u0422\u043e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0443\u0442\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0445\u0432\u0430\u0442 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c.\u00a0<\/p>\n<p>\u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0435\u0434\u043a\u0430\u044f \u0442\u0435\u043c\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043c\u0430\u043b\u043e \u043a\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442. \u0422\u043e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u0438\u043c \u0432 Synthesized. \u0422\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043d\u044b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u0442\u0435\u0441\u0442\u0430\u043c\u0438, \u0442\u043e \u044d\u0442\u043e\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 \u0434\u043b\u044f \u0432\u0430\u0441.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3pz6k6nofwufm45p8zmerk\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u042f\u043d\u0434\u0435\u043a\u0441\u0435 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0431\u043e\u0438\u043c\u0441\u044f \u043f\u0435\u0440\u0435\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c JSON&#8217;\u044b<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/fc4\/401\/c24\/fc4401c241554073dfa7d034860f7ed0.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc4\/401\/c24\/fc4401c241554073dfa7d034860f7ed0.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043d\u0434\u0440\u0435\u0439 \u0422\u0435\u0440\u0435\u0445\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u042f\u043d\u0434\u0435\u043a\u0441<\/strong><\/p>\n<\/div>\n<p>\u0410\u043d\u0434\u0440\u0435\u0439 \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0441 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0434\u0435\u0441\u044f\u0442\u0438\u043b\u0435\u0442\u043d\u0438\u043c \u0441\u0442\u0430\u0436\u0435\u043c \u0432 IT. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 4 \u0433\u043e\u0434\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041e\u043d \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043b \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0435\u0434\u0438\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u043a\u0440\u043e\u0441\u0441-\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 Yandex DataTransfer. \u042d\u0442\u0438\u043c \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u043c \u0443\u0436\u0435 \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u043e\u0442\u043d\u0438 \u043a\u043e\u043c\u0430\u043d\u0434, \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u0430\u0447\u0438\u0432\u0430\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043e\u043d \u0441\u0442\u0430\u043b \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u042f\u043d\u0434\u0435\u043a\u0441.\u041e\u0431\u043b\u0430\u043a\u0430.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043f\u043e\u0441\u0442\u0430\u0432\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430, \u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u044d\u0442\u043e\u0442 \u0434\u043e\u043a\u043b\u0430\u0434.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"usecases\" id=\"usecases\"><\/a><\/p>\n<h3>\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/kjj2hsuv8eq2agn7cwaor\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0426\u0438\u043a\u043b \u0436\u0438\u0437\u043d\u0438 ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 Cherry Labs<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/683\/515\/be6\/683515be6db4655e231daec22639b823.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/683\/515\/be6\/683515be6db4655e231daec22639b823.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041a\u0438\u0440\u0438\u043b\u043b \u0420\u044b\u0431\u0430\u0447\u0443\u043a<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Cherry Labs<\/strong><\/p>\n<\/div>\n<p>\u041a\u0438\u0440\u0438\u043b\u043b \u0432 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u043e\u0441\u0435\u043c\u044c \u043b\u0435\u0442, \u0447\u0435\u0442\u044b\u0440\u0435 \u0438\u0437 \u043d\u0438\u0445 \u2014 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0441\u0438\u0441\u0442\u0435\u043c \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f \u0432 Cherry Labs. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 ML, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u043d\u0443\u0436\u0434 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439. \u0410 \u0435\u0449\u0435 \u043e\u043d \u0443\u043c\u0435\u0435\u0442 \u0443\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u043e \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u043c\u0443 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u2014 \u0430 \u0441\u0432\u043e\u0438\u043c \u0434\u0435\u043b\u043e\u043c \u043e\u043d \u043e\u0447\u0435\u043d\u044c \u0433\u043e\u0440\u0438\u0442 \u0438 \u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u043e \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u043b\u0443\u0447\u0448\u0438\u043c\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>\u041a\u0438\u0440\u0438\u043b\u043b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0435 MLOps \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f, \u043e \u0440\u043e\u043b\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b human-in-the-loop \u0432 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0435 \u0438 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435, \u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0431 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0441\u0435\u0445 \u0448\u0430\u0433\u043e\u0432 \u2014 \u043e\u0442 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e \u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e ClearML \u0438 S3.\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0432\u044b \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435 \u0437\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u044e\u0449\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043f\u0440\u043e \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/7zlkkohoohnrauso6ef4hc\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041a\u0430\u0442\u0430\u043b\u043e\u0433 \u0438 \u043e\u0437\u0435\u0440\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0431\u0430\u0437\u0435 MongoDB, \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u0442\u0435\u043a \u043f\u043e \u043a\u0443\u0441\u043e\u0447\u043a\u0430\u043c<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/383\/fce\/909\/383fce9094fffebf8c336519b1f60f54.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/383\/fce\/909\/383fce9094fffebf8c336519b1f60f54.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0418\u0432\u0430\u043d \u0411\u0435\u0433\u0442\u0438\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u041e\u0414\u0421\u0421\/\u0418\u043d\u0444\u043e\u043a\u0443\u043b\u044c\u0442\u0443\u0440\u0430<\/strong><\/p>\n<\/div>\n<p>\u0418\u0432\u0430\u043d \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435, \u0447\u0430\u0441\u0442\u043d\u044b\u0435 \u0438 \u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438 IT-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u044b, \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u0446\u0435\u043b\u044c\u044e \u0447\u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043b \u041d\u041a\u041e \u00ab\u0418\u043d\u0444\u043e\u043a\u0443\u043b\u044c\u0442\u0443\u0440\u0430\u00bb, \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 \u0441\u0442\u0430\u0440\u0442\u0430\u043f APICrafter\/DataCrafter \u043f\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 \u043e\u0437\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<\/p>\n<p>\u0418\u043c\u0435\u0442\u044c \u0434\u0435\u043b\u043e \u0441 \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0447\u0430\u0441\u0442\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0440\u0443\u0433\u0438\u0435. \u0418\u0432\u0430\u043d \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b MongoDB \u0434\u043b\u044f \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437, \u0438 \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u043e\u043d \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u0434\u0430\u0442\u0430-\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430\u043c, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412\u0441\u0435\u043c \u0442\u0435\u043c, \u043a\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 MongoDB \u0438 \u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043a\u0430\u043a \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0432\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/swbcirvintojlax31hznb\/?utm_source=habr&amp;utm_medium=577864\"><strong>Greenplum \u0438 Anchor modeling: \u041a\u0430\u043a \u043c\u0435\u0447\u0442\u044b \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/463\/3a8\/3f9\/4633a83f9abed158e71286a17e7f7e94.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/463\/3a8\/3f9\/4633a83f9abed158e71286a17e7f7e94.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0413\u0440\u0435\u0431\u0435\u043d\u0449\u0438\u043a\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u042f\u043d\u0434\u0435\u043a\u0441 Go<\/strong><\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/7db\/0bc\/807\/7db0bc80744b14f28675fcf144807285.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7db\/0bc\/807\/7db0bc80744b14f28675fcf144807285.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0415\u0440\u043c\u0430\u043a\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u042f\u043d\u0434\u0435\u043a\u0441 Go<\/strong><\/p>\n<\/div>\n<p>\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u2014 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u0438\u0441\u0442\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0432 Mail.ru Group \u0438 \u042f\u043d\u0434\u0435\u043a\u0441.Go. \u041a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u0430\u0443\u043a, \u0430\u0432\u0442\u043e\u0440 \u0431\u043e\u043b\u0435\u0435 10 \u0440\u0430\u0431\u043e\u0442 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043e\u0430\u0432\u0442\u043e\u0440 \u043c\u043e\u043d\u043e\u0433\u0440\u0430\u0444\u0438\u0438 \u043f\u043e \u0442\u0435\u043e\u0440\u0438\u0438 \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u2014 \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u042f\u043d\u0434\u0435\u043a\u0441 Go \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430 MPP \u0421\u0423\u0411\u0414 Greenplum.<\/p>\n<p>\u0420\u0435\u0431\u044f\u0442\u0430 <a href=\"https:\/\/youtu.be\/2fPqDvHsd0w\">\u0432\u044b\u0441\u0442\u0443\u043f\u0430\u043b\u0438<\/a> \u043d\u0430 SmartData 2020 \u0438 \u0432\u0435\u0440\u043d\u0443\u043b\u0438\u0441\u044c, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0435\u043c \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430\u0441\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0441 \u0430\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432 \u0438\u0445 DWH. \u0423\u0434\u0430\u043b\u043e\u0441\u044c \u043b\u0438 (\u0438\u043b\u0438 \u043d\u0435\u0442?) \u043d\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0435\u0433\u043e \u043d\u0430 Greenplum.\u00a0<\/p>\n<p>\u0418\u0441\u0442\u043e\u0440\u0438\u0438 \u0443\u0441\u043f\u0435\u0445\u0430 \u043b\u044e\u0431\u044f\u0442 \u0432\u0441\u0435, \u0430 \u0432\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043d\u0435\u0443\u0441\u043f\u0435\u0445\u0430 \u043b\u044e\u0431\u044f\u0442 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435. \u0417\u0440\u0438\u0442\u0435\u043b\u0438 SmartData 2021 \u0443\u0432\u0438\u0434\u044f\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 \u043f\u0440\u043e Anchor+GP \u043f\u0435\u0440\u0432\u044b\u043c\u0438 \u0438 \u0443\u0437\u043d\u0430\u044e\u0442, \u043a\u0430\u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1vvuczwqkg8u7troriulnl\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0412\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 ClickHouse \u0438 \u043d\u0435 \u0443\u043c\u0435\u0440\u0435\u0442\u044c<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/d69\/5b2\/fcb\/d695b2fcbd5b56217a210309501b97ab.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d69\/5b2\/fcb\/d695b2fcbd5b56217a210309501b97ab.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u0440\u0442\u0435\u043c \u0428\u0443\u0442\u0430\u043a<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>MailRu Group \/ OK.RU<\/strong><\/p>\n<\/div>\n<p>\u041f\u0435\u0440\u0444\u043e\u043c\u0430\u043d\u0441 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u2014 \u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0436\u0438\u0432\u043e\u0442\u0440\u0435\u043f\u0435\u0449\u0443\u0449\u0430\u044f. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0411\u0414? \u0412 Mail.ru \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u044e\u0442 2 \u0433\u043e\u0434\u0430 \u0438 ClickHouse \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0443\u0434\u0438\u0432\u043b\u044f\u0442\u044c.\u00a0<\/p>\n<p>\u0410\u0440\u0442\u0435\u043c \u2014 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0432 Mail.ru Group\/OK.RU, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Tips &amp; Tricks \u043e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u2014 \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u043b\u0443\u0431\u043e\u043a\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u0442 \u0442\u0435\u043c\u0443! \u2014 \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u043b\u0438 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u043a\u0430\u043a \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u0441 \u043d\u0438\u043c\u0438. \u0410\u0440\u0442\u0435\u043c full-time \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0435\u0440 \u0432 Apache Ignite, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0438\u0437\u043d\u0443\u0442\u0440\u0438.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 \u0434\u043b\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043a\u0430\u043a \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c ClickHouse \u0432 \u0441\u0432\u043e\u044e \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0443, \u0442\u0430\u043a \u0438 \u0442\u0435\u0445, \u043a\u0442\u043e \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u043d\u0438\u043c, \u043d\u043e \u043d\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e\u0432\u043e\u043b\u0435\u043d \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c \u0434\u0435\u043b.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/4d5tsziszpwjzkdb8ks1xa\/?utm_source=habr&amp;utm_medium=577864\"><strong>Self-service BI: \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/32d\/12f\/16c\/32d12f16c3c813fd7604e6b0c528bc26.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32d\/12f\/16c\/32d12f16c3c813fd7604e6b0c528bc26.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0412\u0430\u043b\u0438\u043e\u0442\u0442\u0438<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Valiotti Analytics (valiotti.com)<\/strong><\/p>\n<\/div>\n<p>\u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u0412\u0430\u043b\u0438\u043e\u0442\u0442\u0438 \u2014 \u0433\u043b\u0430\u0432\u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Valiotti Analytics, \u0433\u0434\u0435 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u043e\u043d\u0441\u0430\u043b\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u044b\u0445 \u0438 digital-\u0441\u0442\u0430\u0440\u0430\u043f\u043e\u0432. \u0414\u043e \u044d\u0442\u043e\u0433\u043e \u0441\u0442\u0440\u043e\u0438\u043b \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443 \u0432 \u0441\u0435\u0442\u0438 \u00ab\u041b\u0435\u043d\u0442\u0430\u00bb, \u043e\u0442\u0432\u0435\u0447\u0430\u043b \u0437\u0430 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u0432 Yota, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432 \u00ab\u0411\u0430\u043b\u0442\u0438\u043a\u0435\u00bb, \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u043b \u043e\u0442\u0434\u0435\u043b\u043e\u043c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u043e\u043c \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u0430 \u0432 \u042e\u043b\u043c\u0430\u0440\u0442\u0435. \u0412 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0431\u043e\u043b\u0435\u0435 10 \u043b\u0435\u0442.<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f self-service BI, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0430 \u0440\u044b\u043d\u043a\u0435, \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u043a\u0435\u0439\u0441 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f Self-service \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u043a\u043e\u043c\u043c\u0435\u0440\u0446\u0438\u0438.\u00a0<\/p>\n<p>\u0410 \u0432 \u0444\u0438\u043d\u0430\u043b\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u0430 \u0436\u0434\u0435\u0442 \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u2014 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f self-service. \u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a SaaS \u043d\u0430 \u0431\u0430\u0437\u0435 Looker, \u044d\u0442\u043e \u0440\u0435\u0434\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0438 \u043e\u043d \u043d\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/7kk5snsnjqezp0awhbqzz8\/?utm_source=habr&amp;utm_medium=577864\"><strong>Hadoop 3: Erasure coding catastrophe<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5b1\/037\/9b0\/5b10379b0c78581ec52f64d0edecd4bf.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b1\/037\/9b0\/5b10379b0c78581ec52f64d0edecd4bf.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u0435\u043d\u0438\u0441 \u0415\u0444\u0430\u0440\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Mail.ru Group<\/strong><\/p>\n<\/div>\n<p>\u0414\u0435\u043d\u0438\u0441 \u2014 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0432 Mail.ru Group, \u0430 \u0441 Hadoop \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 2013 \u0433\u043e\u0434\u0430. \u0421 2018 \u0433\u043e\u0434\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u00ab\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u043e\u0432\u00bb.<\/p>\n<p>\u0412\u0430\u0441 \u0436\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u0430\u043a \u0431\u0430\u0433 \u0432 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 erasure coding \u0432 Hadoop \u0441\u043c\u043e\u0433 \u043f\u0435\u0440\u0435\u0436\u0438\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u0430\u043f\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438 \u0432\u044b\u043b\u0435\u0437\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0422\u043e\u0433\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0438\u0441\u044c \u0432 \u0442\u044b\u043a\u0432\u0443. \u0410 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0438\u0441\u0447\u0435\u0437\u043d\u043e\u0432\u0435\u043d\u0438\u0435 100 Pb \u0434\u0430\u043d\u043d\u044b\u0445? \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0438 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u043d\u043e! \u041a\u0430\u043a \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0432\u044b\u043a\u0440\u0443\u0442\u0438\u043b\u0430\u0441\u044c \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u0430 \u0433\u043b\u0430\u0432\u043d\u043e\u0435, \u043a\u0430\u043a \u0432\u0430\u043c \u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0442\u0430\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a? \u041e\u0431\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u0414\u0435\u043d\u0438\u0441.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043d\u0430 \u0441\u0442\u0435\u043a\u0435 \u0435\u0441\u0442\u044c Hadoop, \u0438 \u0432\u044b \u043b\u044e\u0431\u0438\u0442\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435, \u0430 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u043f\u043e\u0443\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u0442\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0435.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/4gv6eeajqvwlw0xusaiyrx\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 ETL-\u0434\u0436\u043e\u0431\u044b \u0434\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0434 \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u043c\u0438<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/e02\/f6f\/e25\/e02f6fe2588ce216b5baab50bcd40efa.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e02\/f6f\/e25\/e02f6fe2588ce216b5baab50bcd40efa.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u0440\u0442\u0435\u043c \u042e\u0434\u043e\u0432\u0438\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Profitero<\/strong><\/p>\n<\/div>\n<p>\u0410\u0440\u0442\u0435\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043f\u044f\u0442\u044c \u043b\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 Big Data \u0438 \u0443\u0441\u043f\u0435\u043b \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u043c\u0438: \u043e\u0442 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 NoSQL \u0411\u0414 \u0434\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432. \u0421\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Profitero \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u0445\u043b\u0438\u0434\u0430 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432. \u0412 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0438\u0442 \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u043f\u0435\u043d\u0441\u043e\u0440\u0441\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445.<\/p>\n<p>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u043b\u0435\u0433\u0430\u0441\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0438 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0434\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u043f\u043e\u0447\u0438\u043d\u0438\u0442\u044c? \u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043b\u0435\u0437\u0442\u044c \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u0445 \u043f\u043b\u043e\u0445\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 \u043d\u043e\u0432\u044b\u0435 \u0445\u043e\u0440\u043e\u0448\u0438\u0435? \u041a\u0430\u043a \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c 10 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d?<\/p>\n<p>\u041d\u0430 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0410\u0440\u0442\u0435\u043c \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u0432 \u0441\u0432\u043e\u0435\u043c \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0438. \u0418 \u0435\u0441\u043b\u0438 \u0432\u044b \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0435\u0441\u044c \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u0445, \u0442\u043e \u0434\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1q56yl3pw1tzacxcgqd5xl\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f \u0432 \u043e\u0444\u0438\u0441\u0430\u0445 \u043f\u0440\u043e\u0434\u0430\u0436 \u041c\u0422\u0421 \u043f\u043e \u0432\u0441\u0435\u0439 \u0420\u043e\u0441\u0441\u0438\u0438<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\"><img decoding=\"async\" persona=\"true\" class=\"image persona__image\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/71f\/157\/7c3\/71f1577c39fd6249c04e058555bda9b9.jpeg\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71f\/157\/7c3\/71f1577c39fd6249c04e058555bda9b9.jpeg\" data-blurred=\"true\"\/><\/p>\n<h5 class=\"persona__heading\" persona=\"true\">\u041a\u0438\u0440\u0438\u043b\u043b \u041e\u0432\u0447\u0438\u043d\u043d\u0438\u043a\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u041c\u0422\u0421<\/strong> \u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 <\/p>\n<\/div>\n<p>\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435 \u2014 \u0437\u0432\u0443\u0447\u0438\u0442 \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u043e! \u0422\u043e \u0441\u0430\u043c\u043e\u0435 \u0431\u0443\u0434\u0443\u0449\u0435\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u0436\u0435 \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b\u043e. \u041d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0439, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044c \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u041c\u0422\u0421 \u0441\u043c\u043e\u0433\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c AI-\u0441\u0435\u0440\u0432\u0438\u0441 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f \u043d\u0430 EDGE \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0432 500 \u043e\u0444\u0438\u0441\u0430\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439. \u041a\u0430\u043a?\u00a0<\/p>\n<p>\u041e\u0431 \u044d\u0442\u043e\u043c \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u0432 \u0441\u0432\u043e\u0435\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u041a\u0438\u0440\u0438\u043b\u043b.<\/p>\n<p>\u041e\u043d \u043e\u043a\u043e\u043d\u0447\u0438\u043b \u041c\u0424\u0422\u0418 \u0438 \u0438\u0437 \u0444\u0438\u0437\u0438\u043a\u0438 \u043f\u0435\u0440\u0435\u0448\u0435\u043b \u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 IT-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432.\u00a0 \u0420\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u043b AI-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430\u043c\u0438 \u0432 \u0413\u0430\u0437\u043f\u0440\u043e\u043c\u0431\u0430\u043d\u043a\u0435 \u0438 \u041e\u0442\u043a\u0440\u044b\u0442\u0438\u0438. \u0421\u043e\u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430 COVI Retail.<\/p>\n<p>\u0423 \u041c\u0422\u0421 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0435\u0442\u044c \u0442\u043e\u0447\u0435\u043a \u043f\u0440\u043e\u0434\u0430\u0436, \u0438 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043f\u0430\u043d\u0434\u0435\u043c\u0438\u0438 \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u0435\u043b\u0438 \u0445\u043e\u0442\u044f\u0442 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441. \u0421 \u043a\u0430\u043a\u0438\u043c \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u044f\u043c\u0438 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0430\u0441\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0444\u043b\u043e\u0442 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432 \u0432 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438, \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043e \u0432\u0441\u0435\u0445 \u043e\u0444\u0438\u0441\u043e\u0432? \u041e\u0431\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u044b \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435 \u0442\u043e, \u043e \u0447\u0435\u043c \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u043d\u044c\u0448\u0435 \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438.<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0442\u0435\u043c, \u043a\u0442\u043e \u043f\u0440\u0438\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a \u0438\u0434\u0435\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043c\u0435\u0441\u0442\u0435, \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0442\u043e\u043c\u0443, \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u0443\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0434\u0436\u0438\u0434\u0430\u044e\u0442 \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0443\u0442\u0438.\u00a0\u00a0<\/p>\n<hr\/>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041a\u0430\u043a \u0441\u043a\u0430\u0437\u0430\u043b \u0421\u0430\u0442\u044c\u044f \u041d\u0430\u0434\u0435\u043b\u043b\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440 Microsoft: \u00ab\u041b\u044e\u0431\u0430\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u2014 \u044d\u0442\u043e \u0441\u043e\u0444\u0442\u0432\u0435\u0440\u043d\u0430\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u00bb. \u0417\u043d\u0430\u0447\u0438\u0442, \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u0432\u0441\u0435\u043c, \u0442\u0430\u043a \u0447\u0442\u043e \u0436\u0434\u0451\u043c \u043d\u0430 SmartData \u0432\u0441\u0435\u0445 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u0433\u0434\u0435 \u0431\u044b \u0432\u044b \u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u2014 \u0445\u043e\u0442\u044c \u0432 \u044d\u043d\u0442\u0435\u0440\u043f\u0440\u0430\u0439\u0437\u0435, \u0445\u043e\u0442\u044c \u0432 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0435. \u0421\u043c\u043e\u0436\u0435\u0442\u0435 \u0438 \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c, \u0438 \u0437\u0430\u0434\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0441\u043f\u0438\u043a\u0435\u0440\u0430\u043c, \u0438 \u043f\u043e\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>\u041f\u043e\u043b\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0438 \u0431\u0438\u043b\u0435\u0442\u044b \u043d\u0430 <a href=\"https:\/\/smartdataconf.ru\/?utm_source=habr&amp;utm_medium=577864\">\u0441\u0430\u0439\u0442\u0435<\/a>.<\/p>\n<p>\u0412\u0441\u0442\u0440\u0435\u0442\u0438\u043c\u0441\u044f \u0432 \u043e\u043d\u043b\u0430\u0439\u043d\u0435!<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/577864\/\"> https:\/\/habr.com\/ru\/articles\/577864\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0421\u043e\u0432\u0441\u0435\u043c \u0441\u043a\u043e\u0440\u043e \u0432 \u043e\u043d\u043b\u0430\u0439\u043d\u0435 \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442 <a href=\"https:\/\/smartdataconf.ru\/?utm_source=habr&amp;utm_medium=577864\">SmartData 2021<\/a>. \u041f\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044e \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u0430 \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435 \u0442\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u043e. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0431\u0448\u0438\u0440\u043d\u0430\u044f \u0442\u0435\u043c\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432\u0435\u0449\u0430\u043c\u0438. SmartData \u0437\u0430\u0442\u0440\u0430\u0433\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0434\u043e\u043c\u0435\u043d\u0430 \u00ab\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438\u00bb \u2014 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433. \u0422\u0443\u0442 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043b\u044b\u0448\u0430\u0442\u044c \u043f\u0440\u043e \u0421\u0423\u0411\u0414, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 DWH, MLOps \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435, \u0441 \u0447\u0435\u043c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b.<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 \u043d\u0430\u0448\u0438\u0445 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0435\u0441\u0442\u044c \u0438 \u043b\u044e\u0434\u0438 \u0438\u0437 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0440\u0435\u0434\u044b (\u042d\u043d\u0434\u0438 \u041f\u0430\u0432\u043b\u043e), \u0438 \u0442\u0435, \u043a\u0442\u043e \u0438\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u043e \u0441 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u043c (\u0422\u0435\u0434\u0436\u0430\u0441 \u0427\u043e\u043f\u0440\u0430 \u0438\u0437 Netflix), \u0438 \u0442\u043e\u043f\u043e\u0432\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u043e\u0440 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430 Airflow (\u042d\u0448 \u0411\u0435\u0440\u043b\u0438\u043d-\u0422\u0435\u0439\u043b\u043e\u0440) \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u044b.<\/p>\n<p>\u0422\u0435\u043c\u044b \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u0431\u0443\u0434\u0443\u0442 \u0441\u0430\u043c\u044b\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435: \u043a\u0430\u043a \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0439\u043e\u0433\u043e\u0439 \u0441\u043e Spark, \u043a\u0430\u043a\u0438\u0435 \u0431\u044b\u0432\u0430\u044e\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0430\u043a \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443, \u0441\u043e\u0432\u043b\u0430\u0434\u0430\u0442\u044c \u0441 ClickHouse \u0431\u0435\u0437 \u0443\u0449\u0435\u0440\u0431\u0430 \u0434\u043b\u044f \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0441\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e ML \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. <\/p>\n<p>\u041d\u043e \u043d\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u043c\u0438 \u0435\u0434\u0438\u043d\u044b\u043c\u0438: \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0451 \u0438 \u0434\u0432\u0430 \u0432\u043e\u0440\u043a\u0448\u043e\u043f\u0430, \u0433\u0434\u0435 \u0437\u0440\u0438\u0442\u0435\u043b\u0438 \u043d\u0435 \u0432\u043d\u0438\u043c\u0430\u044e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0437\u043d\u0430\u043d\u0438\u044f\u043c \u0441\u043e \u0441\u043b\u0430\u0439\u0434\u043e\u0432, \u0430 \u043f\u0435\u0440\u0435\u043d\u0438\u043c\u0430\u044e\u0442 \u0443 \u0441\u043f\u0438\u043a\u0435\u0440\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0447\u0435\u043c-\u0442\u043e. \u0410 \u0432 \u0444\u0438\u043d\u0430\u043b\u0435 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0443\u0433\u043b\u044b\u0439 \u0441\u0442\u043e\u043b \u043e\u0431 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430\u0445 Hadoop.<\/p>\n<p>\u041f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u2014 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043f\u043e\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043d\u0430 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u043b\u043e\u043a\u0438 (\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438 \u0442.\u0434.).<\/p>\n<ul>\n<li>\n<p><a href=\"#workshops\"><strong>\u0412\u043e\u0440\u043a\u0448\u043e\u043f\u044b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#tooling\"><strong>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#spark\"><strong>Spark<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#processes\"><strong>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u044b<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#storage\"><strong>\u0425\u0440\u0430\u043d\u0435\u043d\u0438\u0435<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#architecture\"><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#usecases\"><strong>\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/strong><\/a><\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a class=\"anchor\" name=\"workshops\" id=\"workshops\"><\/a><\/p>\n<h3>\u0412\u043e\u0440\u043a\u0448\u043e\u043f\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5lcwbqdbkzpgd7vzuaivkw\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0412\u043e\u0440\u043a\u0448\u043e\u043f. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0432\u044b\u0441\u043e\u043a\u043e\u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0441 Apache Cassandra<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u0412\u043e\u043b\u043e\u0447\u043d\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><em>Datastax<\/em><\/p>\n<\/div>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0436\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432, \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u0445 \u043d\u0430 \u043f\u0435\u0440\u0444\u043e\u0440\u043c\u0430\u043d\u0441 \u0432 \u043c\u0438\u0440\u0435 OLAP. \u0410 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 NoSQL \u2014 \u044d\u0442\u043e \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430: \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 Cassandra \u0432\u044b\u0437\u0432\u0430\u043d\u044b \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0438 \u0442.\u0434.<\/p>\n<p>\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440 \u2014 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 Developer Advocate \u0434\u043b\u044f Apache Cassandra \u0432 Datastax, \u043e\u043d \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0434 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u0434\u0430\u0442\u0430-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u0441 Apache Cassandra, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0435 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u0440\u043a\u0448\u043e\u043f, \u0433\u0434\u0435 \u0432 live-\u0440\u0435\u0436\u0438\u043c\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440 DataStax \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u043f\u043e\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0438\u0437 \u0411\u0414 \u0432\u044b\u0436\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c.<\/p>\n<hr\/>\n<p>\u00a0<a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6z66ktrqirxags3x4yvkze\"><strong>\u0412\u043e\u0440\u043a\u0448\u043e\u043f. \u0414\u0435\u043b\u0430\u0435\u043c \u0436\u0438\u0437\u043d\u044c \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0449\u0435 \u0441 Big Data Tools<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041f\u0430\u0448\u0430 \u0424\u0438\u043d\u043a\u0435\u043b\u044c\u0448\u0442\u0435\u0439\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\">JetBrains<\/p>\n<\/div>\n<p>\u041f\u0430\u0448\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u0437\u0440\u0438\u0442\u0435\u043b\u044f\u043c \u043d\u0430\u0448\u0438\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0439. \u041e\u043d \u0441\u043f\u0438\u043a\u0435\u0440 \u0438 \u0447\u043b\u0435\u043d \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u0438\u0442\u0435\u0442\u0430 SmartData. \u0421\u0435\u0439\u0447\u0430\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 JetBrains \u043d\u0430\u0434 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 Big Data Tools \u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0436\u0438\u0437\u043d\u044c \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0449\u0435.<\/p>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0432\u043e\u0440\u043a\u0448\u043e\u043f\u0435 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u0436\u0438\u0437\u043d\u044c \u0438 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0443\u0447\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.\u00a0<\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u0430\u0448\u0430 \u0424\u0438\u043d\u043a\u0435\u043b\u044c\u0448\u0442\u0435\u0439\u043d \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 JPoint 2019<\/figcaption><\/figure>\n<hr\/>\n<p><a class=\"anchor\" name=\"tooling\" id=\"tooling\"><\/a><\/p>\n<h3>\u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/7ialbsxpqriujal8h1sg7v\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u041a\u0430\u043a \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c SQL \u043a \u0447\u0435\u043c\u0443 \u0443\u0433\u043e\u0434\u043d\u043e \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Apache Calcite<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0420\u043e\u043c\u0430\u043d \u041a\u043e\u043d\u0434\u0430\u043a\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">Querify Labs<\/p>\n<\/div>\n<p>\u0420\u043e\u043c\u0430\u043d \u2014 \u0434\u0435\u043b\u0430\u043b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 SQL-\u0434\u0432\u0438\u0436\u043e\u043a \u0434\u043b\u044f Apache Ignite \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Gridgain. \u0421\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442 \u043f\u043e Calcite, \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u043d\u0441\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u043f\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c. \u041b\u044e\u0431\u0438\u0442 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0437\u043d\u0430\u0435\u0442 \u043f\u0440\u043e \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e \u0432\u0441\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e, \u043e \u0447\u0435\u043c \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442.\u00a0<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0432\u043f\u0443\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0440\u0438\u0441\u043a\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u044b\u0445 \u0434\u0432\u0438\u0436\u043a\u043e\u0432, \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0435\u0441\u044c \u0440\u0430\u0431\u043e\u0442\u043e\u0439 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043a\u0430\u043a \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u043d\u0435\u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445), \u0442\u043e \u044d\u0442\u043e\u0442 \u0434\u043e\u043a\u043b\u0430\u0434 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u0420\u043e\u043c\u0430\u043d \u043a\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c SQL-\u0434\u0432\u0438\u0436\u043a\u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u043c SQL-\u0434\u0432\u0438\u0436\u043a\u043e\u043c \u0432 Apache Ignite.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/51lj7mcl4gux4v4dgjtzbd\/?utm_source=habr&amp;utm_medium=577864\"><strong>Delta Lake data layout optimization<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">Sabir Akhadov<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Databricks Inc<\/strong><\/p>\n<\/div>\n<p>\u0424\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u2014 \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0442\u0435\u043c\u0430, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439, \u043f\u043e \u0441\u0443\u0442\u0438, \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0438\u043a\u0442\u043e, \u043a\u0440\u043e\u043c\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432. \u0410 \u0421\u0430\u0431\u0438\u0440 \u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a! \u0420\u0430\u043d\u044c\u0448\u0435 \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 Databricks, \u043d\u0430\u043a\u043e\u043f\u0438\u043b \u0431\u043e\u0433\u0430\u0442\u0443\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0443 \u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0421\u0435\u0439\u0447\u0430\u0441 \u043e\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440-\u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u0434 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f.\u00a0\u00a0<\/p>\n<p>\u0421\u0430\u0431\u0438\u0440 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u0430\u043a \u0436\u0438\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0443\u0436\u0435 \u0434\u043e\u0448\u043b\u0438 \u0434\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1vbnnzh2ip5vfykh22qfzr\/?utm_source=habr&amp;utm_medium=577864\"><strong>Apache Airflow 2.3 and beyond: what comes next?<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">Ash Berlin-Taylor<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Astronomer.io<\/strong><\/p>\n<\/div>\n<p>Airflow \u2014 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0435\u0439\u0448\u0438\u0439 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0447\u0430\u0441\u0442\u043e \u0438 \u043c\u043d\u043e\u0433\u043e, \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e.\u00a0<\/p>\n<p>\u042d\u0448 \u0411\u0435\u0440\u043b\u0438\u043d-\u0422\u0435\u0439\u043b\u043e\u0440 \u2014 \u043e\u0434\u0438\u043d \u0438\u0437 \u0442\u043e\u043f\u043e\u0432\u044b\u0445 \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u043e\u0440\u043e\u0432 Airflow, \u043e\u043d \u043b\u0438\u0447\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043b \u0441\u0430\u043c\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u0438 \u0437\u0430\u043f\u0443\u0442\u0430\u043d\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u0435\u043c \u043a\u0430\u043a \u043d\u0438\u043a\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439.\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u042d\u0448 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a\u0438\u0435 \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u0447\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0432 Apache Airflow 2.2, \u0438 \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u0432\u0441\u0435\u0433\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e \u0432 \u0432\u0435\u0440\u0441\u0438\u044e 2.3. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e\u043d \u0438 \u043e \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430 (\u0438 \u043e \u0442\u043e\u043c, \u043a\u0443\u0434\u0430 \u043e\u043d \u043d\u0435 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f).\u00a0\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u043e\u0431 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0444\u0438\u0447\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0434\u0435\u043b\u0430\u044e\u0442 DAG \u0432 Apache Airflow \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u043c\u0438, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0440\u0435\u0436\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0432\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u0438 \u043e\u0442\u043a\u0440\u043e\u0435\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Airflow.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3h08mv1x94bp3kggclzw6z\/?utm_source=habr&amp;utm_medium=577864\"><strong>Airflow 2.\u0445 SaaS<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u041c\u0438\u0445\u0430\u0438\u043b \u0421\u043e\u043b\u043e\u0434\u044f\u0433\u0438\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\">Tele2<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0421\u0435\u0440\u0433\u0435\u0439 \u042e\u043d\u043a<\/h5>\n<p persona=\"true\" class=\"persona__text\">Tele2<\/p>\n<\/div>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0412\u0430\u0434\u0438\u043c \u0421\u0443\u0445\u0430\u043d\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">Tele2<\/p>\n<\/div>\n<p>\u041f\u0430\u0440\u043d\u044b\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u044b \u0441 \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u0438\u043a\u0435\u0440\u0430\u043c\u0438 \u2014 \u043d\u0435 \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c, \u0430 \u0432\u043e\u0442 \u0442\u0440\u043e\u0439\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0442\u0430\u043a \u0447\u0430\u0441\u0442\u043e. \u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0435 \u0442\u0440\u043e\u0435 \u0434\u043e\u043a\u043b\u0430\u0434\u0447\u0438\u043a\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432 Tele2: \u041c\u0438\u0445\u0430\u0438\u043b \u0438 \u0421\u0435\u0440\u0433\u0435\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442 Hadoop-\u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0432, \u0412\u0430\u0434\u0438\u043c \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b, \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0438\u0442 \u0432 Airflow.<\/p>\n<p>\u0412\u043c\u0435\u0441\u0442\u0435 \u0440\u0435\u0431\u044f\u0442\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0439 Airflow SaaS \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u043c \u043e\u0431\u043b\u0430\u043a\u0435 Kubernetes \u0438 \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443\u0442, \u043a\u0430\u043a \u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0440\u0430\u0441\u0442\u0435\u0442.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c Airflow \u0438 \u0432\u044b \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u0435\u0442\u0435\u0441\u044c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441 \u043d\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0445\u043e\u0442\u044f\u0442 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u043e\u043d \u0443\u0441\u0442\u0440\u043e\u0435\u043d, \u0442\u043e \u0434\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0432\u0430\u043c \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u0412 \u043a\u043e\u043d\u0446\u0435 \u043f\u0440\u043e\u0439\u0434\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/1iccteqaygrz2jyuhrjpy4\/?utm_source=habr&amp;utm_medium=577864\"><strong>Create a git-like experience for Data Lake analytics<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">Itai Admi<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Treeverse<\/strong><\/p>\n<\/div>\n<p>\u0412\u0435\u0440\u0441\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u0438 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u043c, \u0438\u043c \u0442\u0440\u0443\u0434\u043d\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c, \u0430 lakeFS \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443.<\/p>\n<p>\u0418\u0442\u0430\u0438 \u0410\u0434\u043c\u0438 \u2014 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c \u0433\u0440\u0443\u043f\u043f\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u0432 Treeverse, \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0437\u0430 lakeFS. \u041e\u043d \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e lakeFS \u043d\u0430\u0434 \u0444\u0430\u0439\u043b\u0430\u043c\u0438 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043c\u0430\u043d\u0435\u0440 Git.. \u0418\u0437 \u0434\u043e\u043a\u043b\u0430\u0434\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0443\u043f\u0440\u043e\u0449\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u0449\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u044b\u0445 graveler, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 lakeFS, \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438, \u043d\u043e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u0432 \u043b\u044e\u0431\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435.<\/p>\n<p>\u0412\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5oplextmw9sioiwl2r8fbt\/?utm_source=habr&amp;utm_medium=577864\"><strong>NiFi on a large scale: \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043b\u0443\u0447\u0448\u0438\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0418\u0431\u0440\u0430\u0433\u0438\u043c\u043e\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Leroy Merlin<\/strong><\/p>\n<\/div>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0432\u043e\u0442 \u0443\u0436\u0435 8 \u043b\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435\u043c \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0438 \u043e\u0437\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445 \u0438 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430\u0445 \u043d\u0430 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u0442\u0435\u043a\u0435 Apache.\u00a0<\/p>\n<p>\u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u0442 ETL-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 NiFi \u2014 \u0435\u0433\u043e \u043f\u043b\u044e\u0441\u044b \u0438 \u043c\u0438\u043d\u0443\u0441\u044b, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043a\u043e\u043c\u0430\u043d\u0434. NiFi \u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0440\u0430\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0438 CI\/CD \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 NiFi \u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 ETL-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"spark\" id=\"spark\"><\/a><\/p>\n<h3>Spark<\/h3>\n<p> <a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5krhea85frveyiwickahfd\/?utm_source=habr&amp;utm_medium=577864\"><strong>Apache Spark as an in-memory-only data processing engine?<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">Jacek Laskowski<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>Independent Consultant<\/strong><\/p>\n<\/div>\n<p>\u042f\u0446\u0435\u043a \u2014 \u0430\u0432\u0442\u043e\u0440 \u043a\u043d\u0438\u0433 \u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u0437\u0432\u0435\u0437\u0434\u043d\u044b\u0445 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0439 \u043f\u043e \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0443. \u0421\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 Apache Spark, Delta Lake, Apache Kafka \u0438 Kafka Streams. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u042f\u0446\u0435\u043a \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442 \u0432\u0430\u0441 \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e Spark.\u00a0<\/p>\n<p>\u041d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u043e \u0444\u0430\u043a\u0442: Spark \u0445\u0440\u0430\u043d\u0438\u0442 \u0431\u043b\u043e\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438, \u0445\u043e\u0442\u044f \u0432\u0441\u0435 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0438\u043d\u0430\u0447\u0435. \u0422\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c Spark \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043a\u0430\u0441\u0430\u043b\u0441\u044f \u0436\u0435\u0441\u0442\u043a\u0438\u0445 \u0434\u0438\u0441\u043a\u043e\u0432 \u0438, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u044c\u044e? \u041a\u0430\u043a\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b? \u0427\u0442\u043e \u0432 Spark \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u0430\u043c\u044f\u0442\u044c\u044e? \u041d\u0430 \u0432\u0441\u0435 \u044d\u0442\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u042f\u0446\u0435\u043a \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0433\u043b\u0430\u0432\u0443 \u043a\u043d\u0438\u0433\u0438 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043f\u043e \u043d\u0435\u0439 \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043b\u0443\u0447\u0448\u0438\u0445.\u00a0<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/6ike1oykk5mnfnnpql9aa0\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u00ab\u0424\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439\u00bb Spark<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0417\u0443\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\">Ozon<\/p>\n<\/div>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u043f\u0438\u0448\u0435\u0442 \u043d\u0430 Scala \u0441 2014 \u0433\u043e\u0434\u0430, \u0438 \u0443\u0441\u043f\u0435\u043b \u043f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430\u0434 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u043e: \u043e\u0442 \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0445 CRUD API \u0434\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 stateful-\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u043e\u043c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0435\u0433\u043e \u0438\u043f\u043e\u0441\u0442\u0430\u0441\u044f\u0445.<\/p>\n<p>\u041d\u0430 Spark \u043f\u0438\u0448\u0443\u0442 \u043c\u043d\u043e\u0433\u0438\u0435, \u043d\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0443\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 Scala-\u043a\u043e\u0434\u0430. \u0412 \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u0434 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c, \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u043c\u044b\u043c. \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0438 \u0435\u0433\u043e \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u00ab\u0432\u044b\u0441\u0442\u0440\u0430\u0434\u0430\u043b\u0438\u00bb \u0442\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0438 \u0441\u043e\u0432\u0435\u0442\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u0441\u0435\u0431\u0435 \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0435, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0442\u0440\u044e\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0442 \u043a\u043e\u0434 \u0438 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u044f\u0442 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0435\u0433\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443, \u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u044d\u0442\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043f\u0438\u0448\u0435\u0442 \u043a\u043e\u0434 \u043d\u0430 Spark, \u043d\u043e \u043d\u0435 \u0442\u0430\u043a \u0433\u043b\u0443\u0431\u043e\u043a\u043e \u0437\u043d\u0430\u0435\u0442 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 Scala, \u043a\u0430\u043a \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/yrkp1i01n1mbnjogvdmyw\/?utm_source=habr&amp;utm_medium=577864\"><strong>Spark Yoga \u2014 saving time &amp; money with lean data pipelines<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">Vishnu Chanderraju<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>eyeota.com<\/strong><\/p>\n<\/div>\n<p>\u0412\u0438\u0448\u043d\u0443 \u0431\u044b\u043b \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0442\u0435\u0445, \u043a\u0442\u043e \u0441\u0442\u043e\u044f\u043b \u0443 \u0438\u0441\u0442\u043e\u043a\u043e\u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f Flipkart \u2014 \u0433\u043b\u0430\u0432\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441\u0430, \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u043d \u0441\u0435\u043d\u044c\u043e\u0440-\u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u043d\u0430 eyeota.com.\u00a0<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0435\u0439, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 SLA \u043f\u0440\u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b \u043c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0442\u0440\u044e\u043a\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0430 Spark, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0434\u0435\u043d\u0435\u0433, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441\u0432\u043e\u044e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u00ab\u0431\u0435\u0440\u0435\u0436\u043b\u0438\u0432\u043e\u0433\u043e\u00bb \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430.<\/p>\n<p>\u042d\u0442\u0430 \u0442\u0435\u043c\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c Spark, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c Spark \u0432 \u043e\u0431\u043b\u0430\u043a\u0435, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 AWS, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435-spark \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u0434\u0430\u0442\u0430-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u043a\u0435.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"processes\" id=\"processes\"><\/a><\/p>\n<h3>\u041f\u0440\u043e\u0446\u0435\u0441\u0441\u044b<\/h3>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/5cy6wwhbi2ekicyrukdgm9\/?utm_source=habr&amp;utm_medium=577864\"><strong>\u0414\u0432\u0430 \u0442\u0438\u043f\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0410\u043d\u043e\u0448\u0438\u043d<\/h5>\n<p persona=\"true\" class=\"persona__text\">Microsoft<\/p>\n<\/div>\n<p>\u0412 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435 \u0438 \u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 10 \u043b\u0435\u0442.\u00a0 \u0412\u0435\u0434\u0435\u0442 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b \u043f\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c: @rockyourdata, \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c, \u0430\u0432\u0442\u043e\u0440 \u043a\u043d\u0438\u0433.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0447\u0435\u043c \u0436\u0435 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440? \u0422\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 \u00ab\u041a\u0430\u043a \u043c\u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u0441\u0438\u043d\u0434\u0440\u043e\u043c\u043e\u043c \u0441\u0430\u043c\u043e\u0437\u0432\u0430\u043d\u0446\u0430?\u00bb \u0437\u0430\u0434\u0430\u0435\u0442 \u0441\u0435\u0431\u0435 \u043b\u044e\u0431\u043e\u0439 \u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0445\u043e\u0434\u0438\u0442 \u0434\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u0438\u044f, <strong>\u0433\u0434\u0435 <\/strong>\u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043d\u0443\u0436\u0435\u043d \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u00ab\u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u00bb \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0440\u0430\u0437\u043c\u044b\u0442\u043e\u0435, \u0438 \u0432 \u043d\u0435\u043c \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f.\u00a0<\/p>\n<p>\u0414\u043c\u0438\u0442\u0440\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0443\u044e \u0434\u0438\u0445\u043e\u0442\u043e\u043c\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441, \u0438 \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 Gentle \u0438 Hardcore.\u00a0<\/p>\n<p>\u0414\u043e\u043a\u043b\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c\u0438 \u0438\u043b\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u043c \u0441\u0430\u043c.<\/p>\n<hr\/>\n<p><a href=\"https:\/\/smartdataconf.ru\/2021\/spb\/talks\/3jxxeniugjyr15x9mctzq6\/?utm_source=habr&amp;utm_medium=577864\"><strong>DWH \u043a\u0430\u043a \u043f\u0440\u043e\u0434\u0443\u043a\u0442<\/strong><\/a><\/p>\n<div class=\"persona\" persona=\"true\">\n<h5 class=\"persona__heading\" persona=\"true\">\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u041d\u0438\u043a\u043e\u043b\u0430\u0435\u0432<\/h5>\n<p persona=\"true\" class=\"persona__text\"><strong>\u0410\u0432\u0438\u0442\u043e<\/strong><\/p>\n<\/div>\n<p>\u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u2014<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-384002","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/384002","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=384002"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/384002\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=384002"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=384002"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=384002"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}