{"id":291467,"date":"2018-10-27T22:55:02","date_gmt":"2018-10-27T18:55:02","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=291467"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2018-10-27T18:55:02","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=291467","title":{"rendered":"\u041e\u0431\u0437\u043e\u0440 Hadoop \u043e\u0442 Google (dataproc)"},"content":{"rendered":"\n<div class=\"post__text post__text-html js-mediator-article\">\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u044f \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043b \u0443 \u0433\u0443\u0433\u043b\u0430 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0442\u0440\u0438\u0430\u043b \u043f\u043e\u0434 \u0438\u0445 \u043a\u043b\u0430\u0443\u0434, \u0437\u0430\u0434\u0430\u0447\u043a\u0443 \u044f \u0441\u0432\u043e\u044e \u043d\u0435 \u0440\u0435\u0448\u0438\u043b, \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0433\u0443\u0433\u043b \u0434\u0430\u0435\u0442 $300 \u043d\u0430 12 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u043f\u043e\u0434 \u0442\u0440\u0438\u0430\u043b, \u043e\u0434\u043d\u0430\u043a\u043e \u0432\u043e\u043f\u0440\u0435\u043a\u0438 \u043c\u043e\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u043a\u0440\u043e\u043c\u0435 \u043b\u0438\u043c\u0438\u0442\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043b\u0438\u043c\u0438\u0442\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 8 vcpu \u0432 \u043e\u0434\u043d\u043e\u043c \u0440\u0435\u0433\u0438\u043e\u043d\u0435. \u0421\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b \u0433\u043e\u0434\u0430 \u0440\u0435\u0448\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u043d\u0430 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 dataproc, \u043f\u0440\u0435\u0434\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0445\u0430\u0434\u0443\u043f \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043e\u0442 \u0433\u0443\u0433\u043b\u0430. \u0417\u0430\u0434\u0430\u0447\u0430 \u2014 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043c\u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0430 \u0433\u0443\u0433\u043b\u043e\u0432\u043e\u043c \u0445\u0430\u0434\u0443\u043f\u0435, \u0435\u0441\u0442\u044c \u043b\u0438 \u0432 \u043d\u0435\u043c \u0441\u043c\u044b\u0441\u043b \u0438\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0441\u0440\u0430\u0437\u0443 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u0432\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u0438 \u043f\u0440\u043e\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u0415\u0441\u0442\u044c \u0443 \u043c\u0435\u043d\u044f \u0441\u043c\u0443\u0442\u043d\u043e\u0435 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u0438 \u0431\u0438\u0433\u0434\u0430\u0442\u0430 \u0441\u0442\u0435\u043a \u0443\u0436\u0435 \u043b\u0435\u0433\u043a\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438 \u043f\u043e\u0434 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0438\u043b\u0438 \u0441\u043e\u0442\u043d\u0438 \u0413\u0431, \u0431\u0440\u0443\u0442\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u044f \u0435\u0441\u043b\u0438 \u043d\u0435 \u0432\u0435\u0441\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0442\u043e \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u041a\u0430\u043a\u0438\u0435-\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0443\u0431\u0434 \u043f\u043e\u0434 \u0432\u0438\u0442\u0440\u0438\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438 \u043d\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<br \/>  \u0415\u0441\u043b\u0438 \u0432 \u0432\u043a\u0440\u0430\u0442\u0446\u0435 \u0442\u043e \u0432 dataproc \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0438\u043b\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a, \u043d\u0430 \u0444\u043e\u043d\u0435 Oracle \u0438 Cloudera. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u044f \u0438\u0433\u0440\u0430\u043b \u0441 one node cluster \u043d\u0430 8 vCpu, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0432\u0441\u0435\u043c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0442\u0440\u0438\u0430\u043b. \u0415\u0441\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0443, \u0442\u043e \u0438\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0443\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u043e\u0432\u0441\u0435\u043c \u0438\u043d\u0434\u0443\u0441\u0443 \u0432 15 \u043c\u0438\u043d\u0443\u0442 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0430\u043c\u043f\u043b \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043e\u0442\u0447\u0435\u0442\u0438\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u043c BI \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0431\u0435\u0437 \u043a\u0430\u043a\u0438\u0445 \u043b\u0438\u0431\u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u0443\u0431\u0434 \u043f\u043e\u0434 \u0432\u0438\u0442\u0440\u0438\u043d\u044b. \u041a\u0430\u043a\u0438\u0445-\u0442\u043e \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439 \u043e \u0445\u0430\u0434\u0443\u043f\u0435 \u0443\u0436\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. <br \/>  <a name=\"habracut\"><\/a><br \/>  \u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u044f \u0443\u0432\u0438\u0434\u0435\u043b, \u0447\u0442\u043e \u0448\u0442\u0443\u043a\u0430 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0434 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0441\u0442\u0430\u0440\u0442 \u0438 \u0437\u0430 \u0432\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0435 \u0434\u0435\u043d\u044c\u0433\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f, \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u043a\u0443 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043f\u043e\u043a\u0440\u0443\u043f\u043d\u0435\u0439, \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043d\u043e\u0434, \u044f\u0432\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043a\u0443\u0448\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0430\u0440\u0435\u043d\u0434\u0430 + \u043f\u0430\u0440\u0430 \u043f\u0440\u0438\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0437\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u0430\u0434\u043c\u0438\u043d\u0430. \u0414\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043a\u043b\u0430\u0443\u0434 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0433\u043e\u0434\u043d\u044b\u043c. \u041f\u0435\u0440\u0432\u044b\u043c \u044d\u0442\u0430\u043f\u043e\u043c \u044f \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0441\u043e\u0432\u0441\u0435\u043c \u043c\u0438\u043a\u0440\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441 one node cluster 8 vCpu \u0438 0.5 \u0422\u0431 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0442\u0435\u0441\u0442\u043e\u0432 spark+hadoop \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 \u043f\u043e\u043a\u0440\u0443\u043f\u043d\u0435\u0439 \u0438 \u0442\u0430\u043a \u043f\u043e\u043b\u043d\u043e \u0432 \u0438\u043d\u0435\u0442\u0430\u0445, \u043d\u043e \u044f \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u044e \u0438 \u0447\u0443\u0442\u044c \u043a\u0440\u0443\u043f\u043d\u0435\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043f\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0437\u0436\u0435.<br \/>  \u0411\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0437\u0430 \u0447\u0430\u0441 \u044f \u043d\u0430\u0433\u0443\u0433\u043b\u0438\u043b \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0445\u0430\u0434\u0443\u043f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a \u0435\u0433\u043e firewall \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 thrift server, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u043f\u043e jdbc \u0441 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0439 \u0432\u0438\u043d\u0434\u044b \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043a spark sql. \u0415\u0449\u0435 \u0447\u0430\u0441\u0430 \u0434\u0432\u0430-\u0442\u0440\u0438 \u044f \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a spark \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043f\u0430\u0440\u044b \u043c\u0435\u043b\u043a\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u043a\u043e\u043b\u043e 10 \u0413\u0431 (\u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0430\u0442\u0430\u0444\u0430\u0439\u043b\u043e\u0432 \u0432 \u043e\u0440\u0430\u043a\u043b\u0435). \u0422\u0430\u0431\u043b\u0438\u0446\u044b \u044f \u0437\u0430\u043f\u0438\u0445\u043d\u0443\u043b \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c (alter table cache;) \u0438 \u0441 \u043d\u0438\u043c\u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043c\u043e\u0435\u0439 Windows \u043c\u0430\u0448\u0438\u043d\u044b \u0438\u0437 Dbeaver \u0438 Tableau (\u0447\u0435\u0440\u0435\u0437 spark sql \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440). <br \/>  \u041f\u043e \u0434\u0435\u0444\u043e\u043b\u0442\u0443 \u0441\u043f\u0430\u0440\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u043b\u0438\u0448\u044c 1 executor \u043d\u0430 4 vCpu, \u044f \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b spark-defaults.conf, \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b 3 executers, \u043f\u043e 2 vCpu \u0438 \u0434\u043e\u043b\u0433\u043e \u043d\u0435 \u043c\u043e\u0433 \u043f\u043e\u043d\u044f\u0442\u044c \u043f\u043e\u0447\u0435\u043c\u0443 \u0443 \u043c\u0435\u043d\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u043b\u0438\u0448\u044c 1 executer. \u0412\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e \u044f \u043d\u0435 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0430\u043c\u044f\u0442\u044c, \u0434\u0432\u0443\u043c \u0434\u0440\u0443\u0433\u0438\u043c yarn \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u043c\u043e\u0433 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u044c. \u042f \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u043b 6.5 \u0413\u0431 \u043d\u0430 executer, \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435 \u0442\u0440\u0438.<br \/>  \u0414\u0430\u043b\u0435\u0435 \u044f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c \u0441 \u0447\u0443\u0442\u044c \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u0435\u0439 \u043e\u0431\u044a\u0435\u043c\u0430\u043c\u0438 \u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u0439 \u043a DWH \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432 TPC-DS. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0443\u043b\u0437\u043e\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0441\u043e scale factor 500. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e-\u0442\u043e \u043e\u043a\u043e\u043b\u043e 480 \u0413\u0431 \u0441\u044b\u0440\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0442\u0435\u043a\u0441\u0442 \u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u0435\u043c). \u0422\u0435\u0441\u0442 TPC-DS \u2014 \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u0435 DWH, \u0441 \u0444\u0430\u043a\u0442\u0430\u043c\u0438 \u0438 \u0434\u0438\u043c\u0435\u043d\u0441\u0438\u044f\u043c\u0438. \u041a\u0430\u043a \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 google storage \u044f \u043d\u0435 \u043f\u043e\u043d\u044f\u043b, \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0434\u0438\u0441\u043a \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0438 \u0438 \u043f\u043e\u0442\u043e\u043c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 google storage. \u0413\u0443\u0433\u043b \u043a\u0430\u043a \u044f \u043f\u043e\u043d\u044f\u043b \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0445\u0430\u0434\u0443\u043f \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 google storage \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0442\u0430\u043c \u043e\u0431\u0435\u0449\u0430\u0435\u0442 \u0447\u0443\u0442\u044c \u043d\u0435 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0431\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043b\u0435\u0436\u0430\u043b\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043d\u0430 HDFS. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0443\u0445\u043e\u0434\u0438\u0442 \u0441 HDFS \u043d\u0430 google storage.<br \/>  \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u0432\u0448\u0438\u0441\u044c \u0447\u0435\u0440\u0435\u0437 Dbeaver \u044f SQL \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c\u0438 \u043f\u0435\u0440\u0435\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 parquet \u0441\u043e snappy \u0443\u043f\u0430\u043a\u043e\u0432\u043a\u043e\u0439. 480 \u0413\u0431 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432 187 \u0413\u0431 parquet \u0444\u0430\u0439\u043b\u044b. \u0417\u0430\u043d\u044f\u043b \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u0432\u0443\u0445 \u0447\u0430\u0441\u043e\u0432, \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 188 \u0413\u0431, 3 spark executers \u0432 parquet \u0438\u0445 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0438 \u0437\u0430 74 \u043c\u0438\u043d\u0443\u0442\u044b, \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0430\u0440\u043a\u0435\u0442\u043d\u0438\u043a\u0430 66.8 \u0413\u0431. \u041d\u0430 \u0441\u0432\u043e\u0435\u043c \u0434\u0435\u0441\u043a\u0442\u043e\u043f\u0435 \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0435\u043c\u0438 \u0436\u0435 8 vCpu (i7-3770k) \u0434\u0443\u043c\u0430\u044e \u00abinsert into table select * &#8230;\u00bb \u0432 \u043e\u0440\u0430\u043a\u043b\u043e\u0432\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441 8\u043a \u0431\u043b\u043e\u043a\u043e\u043c \u0437\u0430\u043d\u044f\u043b \u0431\u044b \u0441\u0443\u0442\u043a\u0438, \u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u044b \u0437\u0430\u043d\u044f\u043b \u0434\u0430\u0442\u0430\u0444\u0430\u0439\u043b \u0434\u0430\u0436\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/lu\/qf\/q1\/luqfq1slztl3vqur8d3q19gfiy0.png\" alt=\"image\"><\/p>\n<p>  \u0414\u0430\u043b\u0435\u0435 \u044f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0440\u0430\u0431\u043e\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c BI \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0435, \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u0438\u0439 \u043e\u0442\u0447\u0435\u0442 \u0432 Tableua<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ww\/pd\/ka\/wwpdkamuyenfsivuobd3jjwr4xk.png\" alt=\"image\"><\/p>\n<p>  \u0427\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u043e Query1 \u0438\u0437 \u0442\u0435\u0441\u0442\u0430 TPC-DS  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">Query1<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"sql\">WITH customer_total_return       AS (SELECT sr_customer_sk     AS ctr_customer_sk,                  sr_store_sk        AS ctr_store_sk,                  Sum(sr_return_amt) AS ctr_total_return           FROM   store_returns,                  date_dim           WHERE  sr_returned_date_sk = d_date_sk                  AND d_year = 2001           GROUP  BY sr_customer_sk,                     sr_store_sk)  SELECT c_customer_id  FROM   customer_total_return ctr1,         store,         customer  WHERE  ctr1.ctr_total_return &gt; (SELECT Avg(ctr_total_return) * 1.2                                  FROM   customer_total_return ctr2                                  WHERE  ctr1.ctr_store_sk = ctr2.ctr_store_sk)         AND s_store_sk = ctr1.ctr_store_sk         AND s_state = 'TN'         AND ctr1.ctr_customer_sk = c_customer_sk  ORDER  BY c_customer_id LIMIT 100; <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f \u0437\u0430 1:08, Query2 \u0441 \u0443\u0447\u0430\u0441\u0442\u0438\u0435\u043c \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 (catalog_sales, web_sales)  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">Query2<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"sql\">WITH wscs       AS (SELECT sold_date_sk,                  sales_price           FROM   (SELECT ws_sold_date_sk    sold_date_sk,                          ws_ext_sales_price sales_price                   FROM   web_sales)           UNION ALL           (SELECT cs_sold_date_sk    sold_date_sk,                   cs_ext_sales_price sales_price            FROM   catalog_sales)),       wswscs       AS (SELECT d_week_seq,                  Sum(CASE                        WHEN ( d_day_name = 'Sunday' ) THEN sales_price                        ELSE NULL                      END) sun_sales,                  Sum(CASE                        WHEN ( d_day_name = 'Monday' ) THEN sales_price                        ELSE NULL                      END) mon_sales,                  Sum(CASE                        WHEN ( d_day_name = 'Tuesday' ) THEN sales_price                        ELSE NULL                      END) tue_sales,                  Sum(CASE                        WHEN ( d_day_name = 'Wednesday' ) THEN sales_price                        ELSE NULL                      END) wed_sales,                  Sum(CASE                        WHEN ( d_day_name = 'Thursday' ) THEN sales_price                        ELSE NULL                      END) thu_sales,                  Sum(CASE                        WHEN ( d_day_name = 'Friday' ) THEN sales_price                        ELSE NULL                      END) fri_sales,                  Sum(CASE                        WHEN ( d_day_name = 'Saturday' ) THEN sales_price                        ELSE NULL                      END) sat_sales           FROM   wscs,                  date_dim           WHERE  d_date_sk = sold_date_sk           GROUP  BY d_week_seq)  SELECT d_week_seq1,         Round(sun_sales1 \/ sun_sales2, 2),         Round(mon_sales1 \/ mon_sales2, 2),         Round(tue_sales1 \/ tue_sales2, 2),         Round(wed_sales1 \/ wed_sales2, 2),         Round(thu_sales1 \/ thu_sales2, 2),         Round(fri_sales1 \/ fri_sales2, 2),         Round(sat_sales1 \/ sat_sales2, 2)  FROM   (SELECT wswscs.d_week_seq d_week_seq1,                 sun_sales         sun_sales1,                 mon_sales         mon_sales1,                 tue_sales         tue_sales1,                 wed_sales         wed_sales1,                 thu_sales         thu_sales1,                 fri_sales         fri_sales1,                 sat_sales         sat_sales1          FROM   wswscs,                 date_dim          WHERE  date_dim.d_week_seq = wswscs.d_week_seq                 AND d_year = 1998) y,         (SELECT wswscs.d_week_seq d_week_seq2,                 sun_sales         sun_sales2,                 mon_sales         mon_sales2,                 tue_sales         tue_sales2,                 wed_sales         wed_sales2,                 thu_sales         thu_sales2,                 fri_sales         fri_sales2,                 sat_sales         sat_sales2          FROM   wswscs,                 date_dim          WHERE  date_dim.d_week_seq = wswscs.d_week_seq                 AND d_year = 1998 + 1) z  WHERE  d_week_seq1 = d_week_seq2 - 53  ORDER BY d_week_seq1; <\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0441\u044f \u0437\u0430 4:33 \u043c\u0438\u043d\u0443\u0442\u044b, Query3 \u0437\u0430 3.6, Query4 \u0437\u0430 32 \u043c\u0438\u043d\u0443\u0442\u044b.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u043a\u043e\u043c\u0443-\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438, \u043f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u043c\u043e\u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0442\u0430\u043c \u043b\u0438\u0448\u044c \u043f\u0430\u0440\u0430 gcloud \u043a\u043e\u043c\u0430\u043d\u0434 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 HIVE_SERVER2_THRIFT_PORT.  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0417\u0430\u043c\u0435\u0442\u043a\u0438<\/b><\/p>\n<div class=\"spoiler_text\">gcloud dataproc &#8212;region europe-north1 clusters \\<br \/>  create cluster-test1 &#8212;bucket tape1 \\<br \/>  &#8212;subnet default &#8212;zone europe-north1-a \\<br \/>  &#8212;master-machine-type n1-standard-1 \\<br \/>  &#8212;master-boot-disk-size 10 &#8212;num-workers 2 \\<br \/>  &#8212;worker-machine-type n1-standard-1 &#8212;worker-boot-disk-size 10 \\<br \/>  &#8212;initialization-actions gs:\/\/dataproc-initialization-actions\/hue\/hue.sh \\<br \/>  &#8212;initialization-actions gs:\/\/dataproc-initialization-actions\/zeppelin\/zeppelin.sh \\<br \/>  &#8212;initialization-actions gs:\/\/dataproc-initialization-actions\/hive-hcatalog\/hive-hcatalog.sh \\<br \/>  &#8212;project 123<\/p>\n<p>  gcloud compute &#8212;project=123 \\<br \/>  firewall-rules create allow-dataproc \\<br \/>  &#8212;direction=INGRESS &#8212;priority=1000 &#8212;network=default \\<br \/>  &#8212;action=ALLOW &#8212;rules=tcp:8088,tcp:50070,tcp:8080,tcp:10010,tcp:10000 \\<br \/>  &#8212;source-ranges=xxx.xxx.xxx.xxx\/32 &#8212;target-tags=dataproc<\/p>\n<p>  at master node:<br \/>  sudo su \u2014 vi \/usr\/lib\/spark\/conf\/spark-env.sh<br \/>  change: export HIVE_SERVER2_THRIFT_PORT=10010<\/p>\n<p>  sudo -u spark \/usr\/lib\/spark\/sbin\/start-thriftserver.sh<\/p>\n<p>   \u2014 gcloud dataproc &#8212;region europe-north1 clusters create test1 \\<br \/>  &#8212;subnet default \\<br \/>  &#8212;bucket tape1 \\<br \/>  &#8212;zone europe-north1-a \\<br \/>  &#8212;single-node \\<br \/>  &#8212;master-machine-type n1-highmem-8 \\<br \/>  &#8212;master-boot-disk-size 500 \\<br \/>  &#8212;image-version 1.3 \\<br \/>  &#8212;initialization-actions gs:\/\/dataproc-initialization-actions\/hue\/hue.sh \\<br \/>  &#8212;initialization-actions gs:\/\/dataproc-initialization-actions\/zeppelin\/zeppelin.sh \\<br \/>  &#8212;initialization-actions gs:\/\/dataproc-initialization-actions\/hive-hcatalog\/hive-hcatalog.sh \\<br \/>  &#8212;project 123  <\/div>\n<\/div>\n<p>  To be continued\u2026<\/p><\/div>\n<p>        <script class=\"js-mediator-script\">!function(e){function t(t,n){if(!(n in e)){for(var r,a=e.document,i=a.scripts,o=i.length;o--;)if(-1!==i[o].src.indexOf(t)){r=i[o];break}if(!r){r=a.createElement(\"script\"),r.type=\"text\/javascript\",r.async=!0,r.defer=!0,r.src=t,r.charset=\"UTF-8\";var d=function(){var e=a.getElementsByTagName(\"script\")[0];e.parentNode.insertBefore(r,e)};\"[object Opera]\"==e.opera?a.addEventListener?a.addEventListener(\"DOMContentLoaded\",d,!1):e.attachEvent(\"onload\",d):d()}}}t(\"\/\/mediator.mail.ru\/script\/2820404\/\",\"_mediator\")}(window);<\/script>     <br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/post\/421021\/\"> https:\/\/habr.com\/post\/421021\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html js-mediator-article\">\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u044f \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043b \u0443 \u0433\u0443\u0433\u043b\u0430 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0442\u0440\u0438\u0430\u043b \u043f\u043e\u0434 \u0438\u0445 \u043a\u043b\u0430\u0443\u0434, \u0437\u0430\u0434\u0430\u0447\u043a\u0443 \u044f \u0441\u0432\u043e\u044e \u043d\u0435 \u0440\u0435\u0448\u0438\u043b, \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0433\u0443\u0433\u043b \u0434\u0430\u0435\u0442 $300 \u043d\u0430 12 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u043f\u043e\u0434 \u0442\u0440\u0438\u0430\u043b, \u043e\u0434\u043d\u0430\u043a\u043e \u0432\u043e\u043f\u0440\u0435\u043a\u0438 \u043c\u043e\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u043a\u0440\u043e\u043c\u0435 \u043b\u0438\u043c\u0438\u0442\u0430 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043b\u0438\u043c\u0438\u0442\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 8 vcpu \u0432 \u043e\u0434\u043d\u043e\u043c \u0440\u0435\u0433\u0438\u043e\u043d\u0435. \u0421\u043f\u0443\u0441\u0442\u044f \u043f\u043e\u043b \u0433\u043e\u0434\u0430 \u0440\u0435\u0448\u0438\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u043d\u0430 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 dataproc, \u043f\u0440\u0435\u0434\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0445\u0430\u0434\u0443\u043f \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043e\u0442 \u0433\u0443\u0433\u043b\u0430. \u0417\u0430\u0434\u0430\u0447\u0430 \u2014 \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043c\u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0430 \u0433\u0443\u0433\u043b\u043e\u0432\u043e\u043c \u0445\u0430\u0434\u0443\u043f\u0435, \u0435\u0441\u0442\u044c \u043b\u0438 \u0432 \u043d\u0435\u043c \u0441\u043c\u044b\u0441\u043b \u0438\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0441\u0440\u0430\u0437\u0443 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0441\u0432\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u0438 \u043f\u0440\u043e\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u0415\u0441\u0442\u044c \u0443 \u043c\u0435\u043d\u044f \u0441\u043c\u0443\u0442\u043d\u043e\u0435 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u0438 \u0431\u0438\u0433\u0434\u0430\u0442\u0430 \u0441\u0442\u0435\u043a \u0443\u0436\u0435 \u043b\u0435\u0433\u043a\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438 \u043f\u043e\u0434 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0438\u043b\u0438 \u0441\u043e\u0442\u043d\u0438 \u0413\u0431, \u0431\u0440\u0443\u0442\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u044f \u0435\u0441\u043b\u0438 \u043d\u0435 \u0432\u0435\u0441\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0442\u043e \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u041a\u0430\u043a\u0438\u0435-\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0443\u0431\u0434 \u043f\u043e\u0434 \u0432\u0438\u0442\u0440\u0438\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438 \u043d\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<br \/>  \u0415\u0441\u043b\u0438 \u0432 \u0432\u043a\u0440\u0430\u0442\u0446\u0435 \u0442\u043e \u0432 dataproc \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0438\u043b\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a, \u043d\u0430 \u0444\u043e\u043d\u0435 Oracle \u0438 Cloudera. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u044f \u0438\u0433\u0440\u0430\u043b \u0441 one node cluster \u043d\u0430 8 vCpu, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0432\u0441\u0435\u043c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0442\u0440\u0438\u0430\u043b. \u0415\u0441\u043b\u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0443, \u0442\u043e \u0438\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0443\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u043e\u0432\u0441\u0435\u043c \u0438\u043d\u0434\u0443\u0441\u0443 \u0432 15 \u043c\u0438\u043d\u0443\u0442 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0430\u043c\u043f\u043b \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043e\u0442\u0447\u0435\u0442\u0438\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u043c BI \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0431\u0435\u0437 \u043a\u0430\u043a\u0438\u0445 \u043b\u0438\u0431\u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u0443\u0431\u0434 \u043f\u043e\u0434 \u0432\u0438\u0442\u0440\u0438\u043d\u044b. \u041a\u0430\u043a\u0438\u0445-\u0442\u043e \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439 \u043e \u0445\u0430\u0434\u0443\u043f\u0435 \u0443\u0436\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.   <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-291467","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/291467","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=291467"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/291467\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=291467"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=291467"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=291467"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}