{"id":279149,"date":"2016-04-27T03:50:04","date_gmt":"2016-04-26T23:50:04","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=279149"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=279149","title":{"rendered":"\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c Apache Parquet"},"content":{"rendered":"<br \/>\n<h3>\u041f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430<\/h3>\n<p>  <\/p>\n<blockquote><p><strong>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a\u0430:<\/strong><br \/>  \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u0430 \u0414\u043e\u043d\u0430 \u0414\u0440\u0435\u0439\u043a\u0430 (<a href=\"https:\/\/twitter.com\/dondrake\">@dondrake<\/a>) \u0434\u043b\u044f <a href=\"http:\/\/blog.cloudera.com\/\">Cloudera Engineering Blog<\/a> \u043e\u0431 \u043e\u043f\u044b\u0442\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f <a href=\"https:\/\/avro.apache.org\/\">Apache Avro<\/a> \u0438 <a href=\"https:\/\/parquet.apache.org\/\">Apache Parquet<\/a> \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <a href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a>. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u044f \u0443\u0433\u043b\u0443\u0431\u0438\u043b\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438 \u0438 \u043d\u0430\u0448\u0435\u043b \u0432 \u0442\u0435\u0441\u0442\u0430\u0445 \u043c\u0430\u0441\u0441\u0443 \u0441\u043f\u043e\u0440\u043d\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432. \u042f \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u043a \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u0434\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a, \u0430 \u0442\u0435\u043a\u0441\u0442 \u0441\u043d\u0430\u0431\u0434\u0438\u043b \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u0441\u043e \u0437\u043b\u043e\u0440\u0430\u0434\u043d\u044b\u043c \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0435\u0439.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0432 \u043a\u0443\u0440\u0438\u043b\u043a\u0430\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u043b\u0438 \u0434\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u0438 \u043d\u0430 \u0442\u0435\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Apache Hadoop \u2014 \u0432\u043a\u043b\u044e\u0447\u0430\u044f CSV, JSON, Apache Avro \u0438 Apache Parquet. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0442\u0430\u044e\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u043a\u0430\u043a \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u0430\u0443\u0442\u0441\u0430\u0439\u0434\u0435\u0440\u043e\u0432, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0433\u043b\u0430\u0432\u043d\u0443\u044e \u0438\u043d\u0442\u0440\u0438\u0433\u0443 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u043d\u0438\u044e \u043c\u0435\u0436\u0434\u0443 Avro \u0438 Parquet. <\/p>\n<p>  <\/p>\n<p>\u0413\u043e\u0441\u043f\u043e\u0434\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043c\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u0443\u0445\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 &quot;\u043b\u0443\u0447\u0448\u0435&quot; \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u043e \u0432\u0441\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u043c, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 &quot;\u043b\u0443\u0447\u0448\u0435&quot; \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043a \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u043b\u044e\u0431\u043e\u0439 \u0443\u0432\u0430\u0436\u0430\u044e\u0449\u0438\u0439 \u0441\u0435\u0431\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u044f \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0435 performance-\u0442\u0435\u0441\u0442\u044b, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430 \u0447\u044c\u0435\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u0430\u0432\u0434\u0430. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u2014 \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/f05\/7a3\/461\/f057a3461573447fa4417ace4d78b5df.png\" alt=\"Apache Parquet Logo\"\/><a name=\"habracut\"><\/a><\/p>\n<p>  <\/p>\n<h3>\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442<\/h3>\n<p>  <\/p>\n<p>\u042f \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430 \u043d\u0435 \u043e\u0431\u043e\u0439\u0442\u0438\u0441\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u043e\u043c \u0441\u0442\u0440\u043e\u043a \u043d\u0430 \u0441\u0443\u0440\u0440\u043e\u0433\u0430\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>  <\/p>\n<blockquote><p>\u0412\u044b\u0431\u043e\u0440 &quot;\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445&quot; \u0438 &quot;\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432&quot; \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u0441\u043f\u043e\u0440\u043d\u043e\u0439 \u0438\u0434\u0435\u0435\u0439, \u0442.\u043a. \u0443 \u0432\u0441\u0435\u0445 \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u044b. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u0438\u043d\u0442\u0435\u0437\u0438\u0440\u0443\u044e\u0442 \u0442\u0438\u043f\u043e\u0432\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"http:\/\/www.tpc.org\/\">TPC Benchmarks<\/a>.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u042f \u043f\u043e\u043a\u043e\u043f\u0430\u043b\u0441\u044f \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u043b, \u0438 \u043d\u0430\u0448\u0435\u043b \u0442\u0430\u043c \u0434\u0432\u0430 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0430. \u041f\u0435\u0440\u0432\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445, \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0435\u0433\u043e &quot;\u0443\u0437\u043a\u0438\u0439&quot;, \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0432\u0441\u0435\u0433\u043e \u0442\u0440\u0435\u0445 \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 82,3 \u043c\u043b\u043d \u0441\u0442\u0440\u043e\u043a, \u0447\u0442\u043e \u0432 CSV \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 3,9 \u0413\u0411.<\/p>\n<p>  <\/p>\n<blockquote><p>\u041a\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u0432\u0438\u0434\u043d\u043e \u043d\u0438\u0436\u0435, \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f 750-1000 \u041c\u0411 \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0432 50 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432. \u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u0432\u043e\u0440\u043a\u0435\u0440\u0443 \u0434\u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f 15-20 \u041c\u0411 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u043e\u0440\u043a\u0435\u0440\u0430 \u0437\u0430\u0439\u043c\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0447\u0435\u043c \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439, \u043d\u0430\u0437\u043e\u0432\u0435\u043c \u0435\u0433\u043e &quot;\u0448\u0438\u0440\u043e\u043a\u0438\u0439&quot;, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 103 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0438 694 \u043c\u043b\u043d \u0441\u0442\u0440\u043e\u043a, \u0447\u0442\u043e \u0434\u0430\u0435\u0442 CSV \u0444\u0430\u0439\u043b \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 194 \u0413\u0411. \u042f \u0434\u0443\u043c\u0430\u044e, \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0441 \u0444\u0430\u0439\u043b\u0430\u043c\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p>  <\/p>\n<blockquote><p>&quot;\u0428\u0438\u0440\u043e\u043a\u0438\u0439&quot; \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 30 \u0440\u0430\u0437 \u0448\u0438\u0440\u0435, \u043d\u043e \u0438 \u0432 8 \u0440\u0430\u0437 \u0434\u043b\u0438\u043d\u043d\u0435\u0435. \u0418 \u0432 49 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0443. \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0435\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c &quot;\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c&quot; \u0438 &quot;\u0431\u043e\u043b\u044c\u0448\u0438\u043c&quot;.<br \/>  \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0441\u0443\u0434\u044f \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u043f\u043e\u0445\u043e\u0436\u0435, \u0447\u0442\u043e \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432. \u0412 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u0442\u0438\u043f\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u041c\u0435\u0436 \u0442\u0435\u043c, \u044d\u0442\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u0430\u0441\u043f\u0435\u043a\u0442 \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f.<\/p><\/blockquote>\n<p>  <\/p>\n<h3>\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f \u0442\u0435\u0441\u0442\u0430<\/h3>\n<p>  <\/p>\n<p>\u042f \u0432\u044b\u0431\u0440\u0430\u043b Apache Spark 1.6 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043b\u043e\u0448\u0430\u0434\u043a\u0438 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432. Spark \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 Parquet \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 Avro \u0438 CSV \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0412\u0441\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 CDH 5.5.x \u0438\u0437 100+ \u043c\u0430\u0448\u0438\u043d.<\/p>\n<p>  <\/p>\n<p>\u041c\u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0437\u0430\u043c\u0435\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u0430\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433\u0430 \u2014 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0446\u0435\u043b\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u044a\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<p>  <\/p>\n<p>\u042f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u0442\u0435\u0441\u0442\u044b \u0447\u0435\u0440\u0435\u0437 <code>spark-shell<\/code> \u0441 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 (\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0431\u044b\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0447\u0438\u0441\u043b\u0435 executor&#8217;\u043e\u0432). \u0420\u0435\u0436\u0438\u043c \u0448\u0435\u043b\u043b\u0430 <code>:paste<\/code> \u0441\u043f\u0430\u0441 \u043c\u043d\u0435 \u0436\u0438\u0437\u043d\u044c, \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0432 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c Scala-\u043a\u043e\u0434 \u043f\u0440\u044f\u043c\u043e \u0432 REPL, \u043d\u0435 \u0431\u0435\u0441\u043f\u043e\u043a\u043e\u044f\u0441\u044c \u043e \u043c\u043d\u043e\u0433\u043e\u0441\u0442\u0440\u043e\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0441\u043c\u0443\u0442\u0438\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0442\u043e\u0440.<\/p>\n<p>  <\/p>\n<pre><code>#!\/bin\/bash -x  # Drake export HADOOP_CONF_DIR=\/etc\/hive\/conf export SPARK_HOME=\/home\/drake\/coolstuff\/spark\/spark-1.6.0-bin-hadoop2.6 export PATH=$SPARK_HOME\/bin:$PATH  # use Java8 export JAVA_HOME=\/usr\/java\/latest export PATH=$JAVA_HOME\/bin:$PATH  # NARROW NUM_EXECUTORS=50 # WIDE NUM_EXECUTORS=500  spark-shell \u2014master yarn-client \\     \u2014conf spark.eventLog.enabled=true \\     \u2014conf spark.eventLog.dir=hdfs:\/\/nameservice1\/user\/spark\/applicationHistory \\     \u2014conf spark.yarn.historyServer.address=http:\/\/yarnhistserver.allstate.com:18088 \\     \u2014packages com.databricks:spark-csv_2.10:1.3.0,com.databricks:spark-avro_2.10:2.0.1 \\     \u2014driver-memory 4G \\     \u2014executor-memory 2G \\     \u2014num-executors $NUM_EXECUTORS \\     ...<\/code><\/pre>\n<p>  <\/p>\n<p>\u042f \u0431\u0440\u0430\u043b \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 \u0432\u043a\u043b\u0430\u0434\u043a\u0438 &quot;Job&quot; \u0432 Spark Web UI. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u0435\u0441\u0442 \u044f \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b \u0442\u0440\u0438\u0436\u0434\u044b, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043b \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f. \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u043a \u0443\u0437\u043a\u043e\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438\u0441\u044c \u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f, \u043a\u0430\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043a \u0448\u0438\u0440\u043e\u043a\u043e\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438\u0441\u044c \u0432 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u0422\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u0441\u043a\u043e\u0440\u0435\u0435, \u044d\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435.<\/p>\n<p>  <\/p>\n<blockquote><p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u0430\u043c\u0438 (\u0432 \u0442.\u0447. \u0440\u0430\u0437\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u0438 \u0440\u0430\u0437\u043d\u0443\u044e \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430) \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439.<br \/>  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u043f\u0440\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0435 \u2014 \u0438\u043c \u0431\u0430\u043d\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0432\u0435\u0440\u0438\u0442\u044c.<br \/>  \u0422\u0440\u0435\u0445\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u043c \u2014 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043e\u0446\u0435\u043d\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u043c.<\/p><\/blockquote>\n<p>  <\/p>\n<h3>\u041f\u0440\u0435\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>  <\/p>\n<p>\u041f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u0443\u0437\u043a\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438\u0437 CSV \u044f \u043d\u0435 \u0432\u044b\u0432\u043e\u0434\u0438\u043b \u0441\u0445\u0435\u043c\u044b, \u043d\u043e \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043b\u043e\u043d\u043a\u0443 \u0442\u0438\u043f\u0430 <code>String<\/code> \u0432 <code>Timestamp<\/code>. \u042f \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u043b \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u044d\u0442\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0442.\u043a. \u043e\u043d\u043e \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u043c \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f. \u041f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u043c \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0432\u044b\u0432\u043e\u0434 \u0441\u0445\u0435\u043c\u044b, \u043e\u0434\u043d\u0430\u043a\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u044d\u0442\u043e \u044f \u0442\u0430\u043a \u0436\u0435 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u043b.<\/p>\n<p>  <\/p>\n<blockquote><p>\u041f\u043e\u0434 \u0432\u044b\u0432\u043e\u0434\u043e\u043c \u0441\u0445\u0435\u043c\u044b (\u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0435 \u2014 <em>infer schema<\/em>) \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432\u0432\u0438\u0434\u0443 \u043d\u0435\u044f\u0432\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437 <code>RDD<\/code> \u0432 <code>DataFrame<\/code> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Reflection.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044f \u0431\u044b\u043b \u0443\u0434\u0438\u0432\u043b\u0435\u043d, \u0443\u0437\u043d\u0430\u0432, \u0447\u0442\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c Avro \u0444\u0430\u0439\u043b \u0441 \u043a\u043e\u043b\u043e\u043d\u043a\u043e\u0439 \u0442\u0438\u043f\u0430 Timestamp. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438, Avro \u0432\u0435\u0440\u0441\u0438\u0439 1.7.x \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043d\u0438 <code>Date<\/code>, \u043d\u0438 <code>Timestamp<\/code>.<\/p>\n<p>  <\/p>\n<blockquote><p>Avro 1.8 <a href=\"https:\/\/avro.apache.org\/docs\/current\/spec.html\">\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a> \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0438\u043f\u044b <code>Date<\/code>, <code>Timestamp<\/code> \u0438 \u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435. \u041f\u043e \u0441\u0443\u0442\u0438, \u043e\u043d\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043e\u0431\u0435\u0440\u0442\u043a\u043e\u0439 \u043d\u0430\u0434 <code>int<\/code> \u0438\u043b\u0438 <code>long<\/code>.<\/p><\/blockquote>\n<p>  <\/p>\n<h3>\u0422\u0435\u0441\u0442 &quot;\u0443\u0437\u043a\u043e\u0433\u043e&quot; \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/h3>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430, \u044f \u043e\u0446\u0435\u043d\u0438\u043b \u0432\u0440\u0435\u043c\u044f, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430 \u0434\u0438\u0441\u043a \u0443\u0437\u043a\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Avro \u0438\u043b\u0438 Parquet. \u0421\u0447\u0438\u0442\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c, \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u044b \u0432 \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438 \u0443\u0437\u043a\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430.<\/p>\n<p>  <\/p>\n<blockquote><p>\u0412\u0440\u0435\u043c\u044f \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0435\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043c, \u0434\u0430\u0436\u0435 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043d\u0430 \u0441\u0435\u0442\u044c \u0438 \u043f\u0440\u043e\u0447\u0435\u0435 \u2014 \u0432\u0435\u0434\u044c \u043d\u0430 \u043e\u0434\u0438\u043d \u0432\u043e\u0440\u043a\u0435\u0440 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 20 \u041c\u0411 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<br \/>  \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a, \u043a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u0430\u0432\u0442\u043e\u0440 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044f\u043b \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u0438 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u044c. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u2014 \u044d\u0442\u043e \u0447\u0442\u0435\u043d\u0438\u0435 4\u0445-\u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442\u043e\u0432\u043e\u0433\u043e CSV \u0444\u0430\u0439\u043b\u0430, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0434\u0430\u0436\u0435 \u0432 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a. \u0410 \u043d\u0430 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0445\u043e\u0434\u0438\u0442 5-10 \u0441\u0435\u043a\u0443\u043d\u0434.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043d\u0430 \u0434\u0438\u0441\u043a \u0443\u0437\u043a\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445 (\u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435):<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f1.png\" alt=\"narrow save as\"\/><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u044f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u043a \u0432 \u0443\u0437\u043a\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. Avro \u0438 Parquet \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0431\u044b\u0441\u0442\u0440\u043e[^fast-row-count]. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0438 \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0433\u0430\u0442\u044c \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439, \u044f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b \u0442\u0430\u043a\u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u0433\u043e CSV.<\/p>\n<p>  <\/p>\n<blockquote><p>\u0424\u0430\u0439\u043b\u044b Parquet \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0432 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0431\u043b\u043e\u043a\u0435. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043e\u0431\u044a\u0435\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0432\u043e\u0440\u043a\u0435\u0440 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 Parquet&#8217;\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0434\u043b\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0447\u0438\u0441\u0435\u043b\u043a\u0435, \u0430 \u043f\u043e\u0442\u043e\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0431\u0449\u0438\u0439 reduce \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u0441\u0443\u043c\u043c\u044b.<br \/>  \u0414\u043b\u044f Avro \u0437\u0430\u0434\u0430\u0447\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u2014 \u0431\u043b\u043e\u043a\u0438 Avro \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0447\u0438\u0441\u043b\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0431\u043b\u043e\u043a\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u0441\u0430\u043c\u0438 \u0431\u043b\u043e\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 (<a href=\"https:\/\/avro.apache.org\/docs\/1.7.6\/api\/java\/org\/apache\/avro\/io\/EncoderFactory.html#configureBlockSize%28int%29\">64 \u041a\u0411 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e<\/a>), \u0430 \u0444\u0430\u0439\u043b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u043e\u043a\u043e\u0432. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0432\u0441\u0435\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 avro-\u0444\u0430\u0439\u043b\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c.<br \/>  \u0414\u043b\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u043a \u0432 CSV-\u0444\u0430\u0439\u043b\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u044d\u0442\u043e\u0442 \u0444\u0430\u0439\u043b \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c, \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 Avro. \u0415\u0441\u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c 4 \u0413\u0411 \u0444\u0430\u0439\u043b, \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u0440\u043a\u0435\u0440 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e 80 \u041c\u0411 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0435\u043a\u0443\u043d\u0434. \u041e\u0434\u043d\u0430\u043a\u043e \u0436, \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0447\u0442\u0435\u043d\u0438\u044f \u0443 \u0430\u0432\u0442\u043e\u0440\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 45 \u0441\u0435\u043a\u0443\u043d\u0434, \u0447\u0442\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0444\u0430\u0439\u043b \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0435\u043d.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u043a \u0432 \u0443\u0437\u043a\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0430\u0445 (\u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435):<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f2.png\" alt=\"narrow row count\"\/><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 <code>GROUP BY<\/code>. \u041e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0432 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u2014 \u0442\u0430\u0439\u043c\u0448\u0442\u0430\u043c\u043f, \u0438 \u044f \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u043b \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0435 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. \u0422.\u043a. Avro \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 <code>Date<\/code> \u0438 <code>Timestamp<\/code>, \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u044f Parquet:<\/p>\n<p>  <\/p>\n<pre><code>val sums = sqlContext.sql(&quot;&quot;&quot;select to_date(precise_ts) as day, sum(replacement_cost)    from narrow_parq   group by to_date(precise_ts)   &quot;&quot;&quot;)<\/code><\/pre>\n<p>  <\/p>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u044f Avro query:<\/p>\n<p>  <\/p>\n<pre><code>val a_sums = sqlContext.sql(&quot;&quot;&quot;select to_date(from_unixtime(precise_ts\/1000)) as day, sum(replacement_cost)    from narrow_avro   group by to_date(from_unixtime(precise_ts\/1000))   &quot;&quot;&quot;)<\/code><\/pre>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 Parquet \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0432 2,6 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 Avro:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f3.png\" alt=\"narrow group by\"\/><\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u043b\u0435\u0435, \u044f \u0440\u0435\u0448\u0438\u043b \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <code>.map()<\/code> \u043d\u0430 <code>DataFrame<\/code>\u0435, \u0447\u0442\u043e\u0431\u044b \u0441\u044b\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u042f \u0432\u044b\u0431\u0440\u0430\u043b \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0432 \u0441\u0442\u0440\u043e\u043a\u0435 \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0441\u0435 \u0438\u0445 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>  <\/p>\n<pre><code>def numCols(x: Row): Int = {   x.length } val numColumns = narrow_parq.rdd.map(numCols).distinct.collect<\/code><\/pre>\n<p>  <\/p>\n<blockquote><p>\u041e\u043f\u0435\u0440\u0430\u0446\u0438\u044f <code>.distinct()<\/code> \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443. \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 reduce-\u0444\u0430\u0437\u0443 \u043a \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443, \u0447\u0442\u043e \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e <code>.map()<\/code> \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u043d\u043e \u0438 \u043e\u0432\u0435\u0440\u0445\u0435\u0434 \u043d\u0430 \u043e\u0431\u043c\u0435\u043d \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c\u0438.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0430 \u0437\u0430\u0434\u0430\u0447\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043e\u043d\u0430 \u0444\u043e\u0440\u0441\u0438\u0442 \u043f\u043e\u0440\u0446\u0435\u0441\u0441\u0438\u043d\u0433 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0418 \u0432\u043d\u043e\u0432\u044c Parquet \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 Avro:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f4.png\" alt=\"narrow map\"\/><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435, \u0447\u0442\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u2014 \u044d\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043d\u0430 \u0434\u0438\u0441\u043a\u0435. \u0413\u0440\u0430\u0444\u0438\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0432 \u0431\u0430\u0439\u0442\u0430\u0445. Avro \u0431\u044b\u043b \u0441\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0434\u0435\u043a\u0430 \u0441\u0436\u0430\u0442\u0438\u044f Snappy, \u0430 \u0434\u043b\u044f Parquet \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438. <\/p>\n<p>  <\/p>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0432 Parquet \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 Avro \u043d\u0430 25%.<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f5.png\" alt=\"narrow disk usage\"\/><\/p>\n<p>  <\/p>\n<blockquote><p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0441\u0436\u0430\u0442\u0438\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438 \u0434\u0430\u0436\u0435 \u043d\u0435 \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u043d\u0438\u0445 \u2014 \u043e\u0447\u0435\u043d\u044c \u043f\u043b\u043e\u0445\u0430\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430.<br \/>  \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, Parquet <a href=\"http:\/\/spark.apache.org\/docs\/latest\/sql-programming-guide.html\">\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 gzip<\/a>. Gzip \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 Snappy. \u0412\u0434\u0440\u0443\u0433 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445 \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043a\u043e\u0434\u0435\u043a\u0430\u043c\u0438? \u0414\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u0438\u043b\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437 \u043e\u043d\u043e\u0433\u043e.<br \/>  \u0422\u0430\u043a\u0436\u0435 \u0434\u043b\u044f \u0447\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0444\u0430\u0439\u043b \u043c\u043e\u0436\u043d\u043e \u0441\u0436\u0430\u0442\u044c \u0432 \u0440\u0430\u0437\u044b. \u0414\u043e\u043f\u0443\u0441\u043a\u0430\u044e, \u0447\u0442\u043e \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e gzip-\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 CSV-\u0444\u0430\u0439\u043b \u0437\u0430\u0439\u043c\u0435\u0442 \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 1,5 \u0413\u0411. \u0422\u0430\u043a \u0447\u0442\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u0434\u0440\u0430\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c.<\/p><\/blockquote>\n<p>  <\/p>\n<h3>\u0422\u0435\u0441\u0442 &quot;\u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e&quot; \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/h3>\n<p>  <\/p>\n<p>\u042f \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c &quot;\u0448\u0438\u0440\u043e\u043a\u043e\u043c&quot; \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u044d\u0442\u043e\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 103 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0438 694 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0441\u0442\u0440\u043e\u043a, \u0447\u0442\u043e \u0432\u044b\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 194 \u0413\u0411 \u043d\u0435\u0441\u0436\u0430\u0442\u043e\u0433\u043e CSV \u0444\u0430\u0439\u043b\u0430.<\/p>\n<p>  <\/p>\n<blockquote><p>\u0410 \u044f, \u0437\u0430\u0431\u0435\u0433\u0430\u044f \u0432\u043f\u0435\u0440\u0435\u0434, \u0441\u043e\u043e\u0431\u0449\u0443, \u0447\u0442\u043e \u044d\u0442\u043e \u0432\u044b\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 5 \u0413\u0411 Parquet \u0438 17 \u0413\u0411 Avro. \u0427\u0442\u043e \u043f\u0440\u0438 500 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u0445 \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0432\u043e\u0440\u043a\u0435\u0440 \u0432 100 \u041c\u0411 \u0434\u043b\u044f Parquet \u0438\u043b\u0438 340 \u041c\u0411 \u0434\u043b\u044f Avro. \u041f\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u044b\u0438\u0433\u0440\u0430\u043b, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, Parquet. \u041d\u043e \u0432 \u0444\u0430\u0439\u043b\u0430\u0445 Avro \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0431\u043b\u043e\u043a\u043e\u0432, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c, \u043d\u0430\u0440\u0430\u0441\u0442\u0438\u0432 \u0447\u0438\u0441\u043b\u043e \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432. \u0422\u0430\u043a \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0435 \u0432 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432, \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 Avro, \u0447\u0435\u043c \u0432 \u044d\u0442\u0438\u0445 \u0442\u0435\u0441\u0442\u0430\u0445.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412\u043d\u0430\u0447\u0430\u043b\u0435 \u044f \u0437\u0430\u043c\u0435\u0440\u0438\u043b \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445. Parquet \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0431\u044b\u043b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 Avro:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f6.png\" alt=\"wide save as\"\/><\/p>\n<p>  <\/p>\n<p>\u0412 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0435 \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u043a Parquet \u043d\u0430\u0433\u043e\u043b\u043e\u0432\u0443 \u0440\u0430\u0437\u0431\u0438\u043b Avro, \u0432\u044b\u0434\u0430\u0432\u0430\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u0437\u0430 3 \u0441\u0435\u043a\u0443\u043d\u0434\u044b:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f7.png\" alt=\"wide row count\"\/><\/p>\n<p>  <\/p>\n<blockquote><p>Parquet \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430 \u0432 <a href=\"https:\/\/github.com\/Parquet\/parquet-mr\/commit\/808a90d9a11a3f17caf3dcdbd461d5b6bfda15e7#diff-16633960c034faa99d65a60301d61613R33\">128 \u041c\u0411<\/a>, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0432\u043e\u0440\u043a\u0435\u0440. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Parquet \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u044e\u043a \u0438\u0437 &quot;\u0443\u0437\u043a\u043e\u0433\u043e&quot; \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u043a\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u043a \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0443 \u0447\u0438\u0441\u0435\u043b\u043a\u0443 \u0438\u0437 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445.<br \/>  \u0414\u043b\u044f Avro-\u0444\u0430\u0439\u043b\u043e\u0432 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u043b\u043e\u043a\u0430 \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044f (\u043d\u0435 \u0434\u0435\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0443\u044f) \u0441\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0435. \u042d\u0442\u043e \u0432\u044b\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 &quot;\u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e&quot; \u0440\u0430\u0431\u043e\u0442\u0443 \u0434\u0438\u0441\u043a\u0430. \u0414\u043b\u044f CSV \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0435\u0449\u0435 \u0445\u0443\u0436\u0435 \u2014 \u0442\u0430\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0435\u0449\u0435 \u0438 \u043f\u0430\u0440\u0441\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0431\u0430\u0439\u0442.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 <code>GROUP BY<\/code> \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 Parquet \u0432\u043d\u043e\u0432\u044c \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0432 \u043b\u0438\u0434\u0435\u0440\u044b:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f8.png\" alt=\"wide group by\"\/><\/p>\n<p>  <\/p>\n<blockquote><p>\u0412\u043e\u0442 \u0437\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432 3,4 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u0434\u043b\u044f Avro. \u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442 \u043b\u0438 Parquet \u0442\u043e\u0433\u0434\u0430 \u043b\u0438\u0434\u0435\u0440\u0441\u0442\u0432\u043e?<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0418 \u0434\u0430\u0436\u0435 \u0434\u043b\u044f <code>.map()<\/code> \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0439 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 Parquet \u0432\u043d\u043e\u0432\u044c \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 \u0441 \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0442\u0440\u044b\u0432\u043e\u043c:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f9.png\" alt=\"wide map\"\/><\/p>\n<p>  <\/p>\n<blockquote><p>\u0418 \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432 3,4 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u043e\u0440\u043a\u0435\u0440\u043e\u0432 \u0434\u043b\u044f Avro. \u0418 \u043a\u0430\u043a\u0443\u044e \u0434\u043e\u043b\u044e \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 <code>.distinct()<\/code>, \u0430 \u043a\u0430\u043a\u0443\u044e \u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0447\u0442\u0435\u043d\u0438\u0435 \u0441 \u0434\u0438\u0441\u043a\u0430?<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0442\u0435\u0441\u0442, \u0442\u0435\u0441\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0443\u0442\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432. Parquet \u0441\u043c\u043e\u0433 \u0441\u0436\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 194 \u0413\u0411 \u0432 4.7 \u0413\u0411, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432 \u0433\u0440\u0430\u043d\u0434\u0438\u043e\u0437\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u0432\u044b\u0448\u0435 97%. Avro \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0449\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0441\u0436\u0430\u0432 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043e 16.9 \u0413\u0411 (91% \u0441\u0436\u0430\u0442\u0438\u044f). \u041f\u043e\u0430\u043f\u043f\u043b\u043e\u0434\u0438\u0440\u0443\u0435\u043c \u043e\u0431\u043e\u0438\u043c \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c:<br \/>  <img decoding=\"async\" src=\"http:\/\/blog.cloudera.com\/wp-content\/uploads\/2016\/04\/avro-parquet-f10.png\" alt=\"wide disk usage\"\/><\/p>\n<p>  <\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>  <\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435, Parquet \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0435 \u0445\u0443\u0434\u0448\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u0435\u0441\u0442\u0435. \u041f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u043e\u0431\u044a\u0435\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0435\u0433\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0430\u043b\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u043c. \u0421\u0432\u043e\u0438\u043c\u0438 \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 Parquet \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043e\u0431\u044f\u0437\u0430\u043d \u043b\u0443\u0447\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0441\u0436\u0430\u0442\u0438\u044f, \u0432\u0435\u0434\u044c Avro \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0447\u0438\u0442\u0430\u0442\u044c \u0432 3,5 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c Parquet. \u0418 Avro \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0442\u043e\u0439 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0447\u0442\u043e \u043f\u0440\u0438\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0430 \u0435\u043c\u0443 \u043c\u043e\u043b\u0432\u0430.<\/p>\n<p>  <\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Hadoop, \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u043c\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044e \u0441\u0445\u0435\u043c\u044b, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0438\u043f\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445\u2026 \u041d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0441\u0442\u0430\u0432\u0438\u0442\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u043e \u0433\u043b\u0430\u0432\u0443 \u0443\u0433\u043b\u0430, \u0442\u043e \u0442\u0435\u0441\u0442\u044b \u0432\u044b\u0448\u0435 \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e Parquet \u2014 \u0432\u0430\u0448 \u043b\u0443\u0447\u0448\u0438\u0439 \u0432\u044b\u0431\u043e\u0440.<\/p>\n<p>  <\/p>\n<blockquote><p>\u0418 \u043e\u0442 \u0441\u0435\u0431\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044e. \u042d\u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0433\u043e\u0434\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432. \u041e\u043d \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u043c\u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u0437 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u043f\u044b\u0442\u0430 \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u041d\u043e \u043e\u0442 \u0431\u043b\u043e\u0433\u0430 Cloudera \u044f \u043e\u0436\u0438\u0434\u0430\u043b \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043a\u043e\u043c\u043f\u0435\u0442\u0435\u043d\u0446\u0438\u0439 \u0438 \u0432\u043f\u0440\u0435\u0434\u044c \u0431\u0443\u0434\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u043a \u0438\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u043c \u0441 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e.<br \/>  \u041d\u0438\u043a\u043e\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0432\u0435\u0440\u0438\u0442\u044c \u0432\u0441\u043b\u0435\u043f\u0443\u044e, \u0434\u0430\u0436\u0435 \u0432\u0435\u043d\u0434\u043e\u0440\u0443. \u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u044d\u0442\u043e\u0442 \u0432\u044b\u0432\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438 \u043f\u043e \u0431\u043b\u043e\u0433\u0443 Microsoft. \u0418\u043b\u0438 Oracle. \u0418\u043b\u0438&#8230;<\/p><\/blockquote>\n<div class=\"clear\"><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habrahabr.ru\/post\/282552\/\"> https:\/\/habrahabr.ru\/post\/282552\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<br \/>\n<h3>\u041f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430<\/h3>\n<p>  <\/p>\n<blockquote><p><strong>\u041f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a\u0430:<\/strong><br \/>  \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0442\u0435\u043a\u0441\u0442\u0430 \u0414\u043e\u043d\u0430 \u0414\u0440\u0435\u0439\u043a\u0430 (<a href=\"https:\/\/twitter.com\/dondrake\">@dondrake<\/a>) \u0434\u043b\u044f <a href=\"http:\/\/blog.cloudera.com\/\">Cloudera Engineering Blog<\/a> \u043e\u0431 \u043e\u043f\u044b\u0442\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f <a href=\"https:\/\/avro.apache.org\/\">Apache Avro<\/a> \u0438 <a href=\"https:\/\/parquet.apache.org\/\">Apache Parquet<\/a> \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <a href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a>. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u044f \u0443\u0433\u043b\u0443\u0431\u0438\u043b\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438 \u0438 \u043d\u0430\u0448\u0435\u043b \u0432 \u0442\u0435\u0441\u0442\u0430\u0445 \u043c\u0430\u0441\u0441\u0443 \u0441\u043f\u043e\u0440\u043d\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432. \u042f \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u043a \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u0434\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a, \u0430 \u0442\u0435\u043a\u0441\u0442 \u0441\u043d\u0430\u0431\u0434\u0438\u043b \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u0441\u043e \u0437\u043b\u043e\u0440\u0430\u0434\u043d\u044b\u043c \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0435\u0439.<\/p><\/blockquote>\n<p>  <\/p>\n<p>\u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0432 \u043a\u0443\u0440\u0438\u043b\u043a\u0430\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u043b\u0438 \u0434\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u0438 \u043d\u0430 \u0442\u0435\u043c\u0443 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Apache Hadoop \u2014 \u0432\u043a\u043b\u044e\u0447\u0430\u044f CSV, JSON, Apache Avro \u0438 Apache Parquet. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0442\u0430\u044e\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b \u043a\u0430\u043a \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u0430\u0443\u0442\u0441\u0430\u0439\u0434\u0435\u0440\u043e\u0432, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0433\u043b\u0430\u0432\u043d\u0443\u044e \u0438\u043d\u0442\u0440\u0438\u0433\u0443 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u043d\u0438\u044e \u043c\u0435\u0436\u0434\u0443 Avro \u0438 Parquet. <\/p>\n<p>  <\/p>\n<p>\u0413\u043e\u0441\u043f\u043e\u0434\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u043c\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u0443\u0445\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 &quot;\u043b\u0443\u0447\u0448\u0435&quot; \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u043e \u0432\u0441\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u043c, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 &quot;\u043b\u0443\u0447\u0448\u0435&quot; \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043a \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432.<\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u043b\u044e\u0431\u043e\u0439 \u0443\u0432\u0430\u0436\u0430\u044e\u0449\u0438\u0439 \u0441\u0435\u0431\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u044f \u043f\u043e\u0434\u0443\u043c\u0430\u043b, \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0435 performance-\u0442\u0435\u0441\u0442\u044b, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430 \u0447\u044c\u0435\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043f\u0440\u0430\u0432\u0434\u0430. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u2014 \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/f05\/7a3\/461\/f057a3461573447fa4417ace4d78b5df.png\" alt=\"Apache Parquet Logo\"\/><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-279149","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/279149","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=279149"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/279149\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=279149"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=279149"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=279149"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}