{"id":218003,"date":"2014-04-02T17:56:02","date_gmt":"2014-04-02T13:56:02","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=218003"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=218003","title":{"rendered":"<span class=\"post_title\">\u041a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 1000 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043d\u0430 PHP \u2014 Hadoop\/MapReduce<\/span>"},"content":{"rendered":"<div class=\"content html_format\">   \t\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442!<\/p>\n<p>  \u0423\u0436\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043f\u0440\u043e <a href=\"http:\/\/en.wikipedia.org\/wiki\/Big_data\">Bigdata<\/a>? \u041d\u0443 \u0434\u0430, \u0432\u0435\u0431 \u0440\u0430\u0441\u0442\u0435\u0442, \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0411\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u043b\u043e\u043f\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439, \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u041c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0434\u0430\u0432\u0438\u0442 \u0441\u0432\u0435\u0440\u0445\u0443, \u0430 \u0436\u0435\u043b\u0435\u0437\u043e \u043e\u0441\u0442\u0440\u044b\u043c\u0438 \u0443\u0433\u043b\u0430\u043c\u0438 \u2014 \u0441\u043d\u0438\u0437\u0443 \u0438 \u043f\u043e\u043f\u0430\u0445\u0438\u0432\u0430\u0435\u0442 \u0441\u0443\u0438\u0446\u0438\u0434\u043e\u043c.<\/p>\n<p>  \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0434\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u0438 \u043a\u0443\u0441\u043a\u0438 \u043a\u043e\u0434\u0430 \u0441 \u043a\u0440\u0430\u0442\u043a\u0438\u043c\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0432\u044b\u0432\u043e\u0434\u0430\u043c\u0438, \u043a\u0430\u043a \u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c &gt;=\u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u044b \u0432 &gt;=1000 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043d\u0430 PHP. \u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0432\u0437\u044f\u0442\u044c \u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443, \u043d\u0435 \u0442\u0435\u0440\u044f\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043d\u0435 \u0437\u0430\u0431\u0438\u0432\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0443 \u0442\u0435\u043e\u0440\u0438\u0435\u0439.<\/p>\n<p>  \u041e\u0434\u043d\u0430\u043a\u043e, \u0435\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u0434\u0442\u0430\u0448\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0437\u0430\u043a\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c \u0433\u043e\u043b\u043e\u0432\u0430, \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u2014 \u0430 \u043f\u043e\u043b\u044e\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u0445 \u043f\u0442\u0438\u0447\u0435\u043a \u0438 \u0437\u0430\u0431\u044b\u0442\u044c \u043e \u0432\u044b\u0448\u0435\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c. \u041d\u043e \u0431\u0443\u0434\u044c\u0442\u0435 \u043d\u0430 \u0447\u0435\u043a\u0443, Bigdata \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0432\u0442\u0440\u0430 \u0432\u0437\u044f\u0442\u044c \u0438 \u043f\u043e\u0441\u0442\u0443\u0447\u0430\u0442\u0441\u044f \u0432 \u0434\u0432\u0435\u0440\u044c \ud83d\ude09<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/338\/623\/363\/3386233633315e443f8a35137124d2b4.jpg\"\/><br \/>  <a name=\"habracut\"><\/a><\/p>\n<h4>\u041a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f<\/h4>\n<p>  \u041a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u044b\u0432\u0430\u0435\u0442 \u0432 \u0432\u0435\u0431\u0435. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0411\u0414, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043b\u043e\u043f\u043d\u0435\u0442. \u0415\u0441\u043b\u0438 \u043b\u043e\u043f\u0430\u0435\u0442\u0441\u044f, \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u044b \u043f\u0440\u043e MySQL sharding, <a href=\"https:\/\/dev.mysql.com\/doc\/refman\/5.6\/en\/partitioning.html\">partitioning<\/a>, \u0432\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u043f\u0440\u043e <a href=\"http:\/\/www.mysql.com\/products\/cluster\/\">\u043c\u0430\u0441\u0442\u0435\u0440-\u043c\u0430\u0441\u0442\u0435\u0440 \u043a\u043b\u0430\u0441\u0442\u0435\u0440<\/a> \u0432 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0438\u0441\u043a\u0438 \u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f NoSQL \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0438\u043f\u0430 <a href=\"http:\/\/redis.io\/\">redis<\/a> \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u0447\u043d\u043e\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0442\u0438\u043f\u0430 <a href=\"http:\/\/aws.amazon.com\/dynamodb\/\">DynamoDB<\/a>. \u041d\u0435\u043f\u043b\u043e\u0445\u043e \u0441\u0435\u0431\u044f \u0437\u0430\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430 \u043f\u043e \u043e\u0431\u044a\u0435\u043c\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c <a href=\"http:\/\/sphinxsearch.com\">Sphinx<\/a>.<\/p>\n<p>  \u041f\u043e\u0434\u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0434\u0435\u0442 \u0440\u0430\u0441\u0447\u0435\u0442 \u2014 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0432 \u0411\u0414 \u0438 \u043f\u043e\u0442\u043e\u043c \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0418 \u044d\u0442\u043e \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430\u2026 \u0438 \u044d\u0442\u043e \u00ab\u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430\u00bb \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0447\u0430\u0449\u0435.<\/p>\n<h4>\u0414\u0430\u043d\u043d\u044b\u0445 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u043d-\u043b\u0430\u0439\u043d \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430<\/h4>\n<p>  \u041d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u0431\u0438\u0437\u043d\u0435\u0441\u0443 \u2014 \u043f\u043e\u0434\u043e\u0436\u0434\u0435\u043c \u0441\u0443\u0442\u043a\u0438, \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043b\u043e\u0433\u0438\/\u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0434\u0430\u0434\u0438\u043c \u0446\u0438\u0444\u0435\u0440\u043a\u0438. \u0411\u0438\u0437\u043d\u0435\u0441\u0443 \u0447\u0430\u0441\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0446\u0438\u0444\u0435\u0440\u043a\u0438 \u0432 \u043e\u043d\u043b\u0430\u0439\u043d\u0435, \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0435\u0439 \u043f\u043e \u043f\u0440\u0438\u0431\u043e\u0440\u0430\u043c \u0441 \u0436\u0438\u0432\u044b\u043c\u0438 \u0441\u0442\u0440\u0435\u043b\u043e\u0447\u043a\u0430\u043c\u0438.<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/f69\/66c\/721\/f6966c7211e7cb0b554c1ef155b52899.jpg\"\/><\/p>\n<p>  \u0421\u0442\u0440\u0430\u0448\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u043b\u0435\u0442\u043e\u043c \u043f\u0443\u0442\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0432 \u0447\u0435\u0440\u043d\u044b\u0435 \u044f\u0449\u0438\u043a\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0432 \u0441\u0443\u0442\u043a\u0438 \u0432 \u0433\u043e\u0441\u0442\u0438\u043d\u0438\u0446\u0435 \u0434\u043b\u044f \u043f\u0438\u043b\u043e\u0442\u043e\u0432 \ud83d\ude42<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/7b1\/ac9\/327\/7b1ac9327af16213adb14b9074e42801.png\"\/><br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/cc0\/75e\/d15\/cc075ed1517c67e46d6469505970c57f.jpg\"\/><\/p>\n<p>  \u041a\u043e\u0433\u0434\u0430 \u043f\u043e\u0442\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0435\u0449\u0435 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u0435\u0435 \u0438\u043b\u0438 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043f\u043e \u0435\u0449\u0435 \u043d\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c\u2026 \u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u00ab\u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430\u00bb \u0442\u0438\u043f\u0430:<br \/>  1) <a href=\"http:\/\/pinba.org\/\">pinba<\/a><br \/>  2) <a href=\"http:\/\/aws.amazon.com\/kinesis\/?nc1=h_l2_al\">Amazon Kinesis<\/a><br \/>  3) \u041f\u043e\u0442\u043e\u043a\u043e\u0432\u044b\u0435 \u043f\u0430\u0440\u0441\u0435\u0440\u044b \u043d\u0430 \u0431\u0430\u0437\u0435 <a href=\"http:\/\/www.evanmiller.org\/nginx-modules-guide-advanced.html#parsing\">nginx<\/a>\/<a href=\"http:\/\/en.wikipedia.org\/wiki\/Ragel\">ragel<\/a><\/p>\n<p>  \u0418\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e\u043d\u044f\u0442\u044c \u0441 \u043b\u0438\u0441\u0442\u043e\u0447\u043a\u043e\u043c \u0438 \u043a\u0430\u0440\u0430\u043d\u0434\u0430\u0448\u043e\u043c, \u0435\u0449\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435 \u2014 \u00ab\u043f\u0435\u0440\u0435\u0441\u043f\u0430\u0442\u044c\u00bb \u0441 \u043c\u0430\u043d\u0443\u0430\u043b\u043e\u043c \u0438 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u043e\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u043e\u0447\u044c.<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/48a\/e8b\/2f1\/48ae8b2f14997acce0969093255d43af.gif\"\/><\/p>\n<p>  \u041e\u0441\u043e\u0431\u043e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0437\u0434\u0435\u0441\u044c <a href=\"http:\/\/pinba.org\/\">pinba<\/a> \u0437\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0443 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0438 \u043b\u0435\u0433\u043a\u043e\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u041e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0431\u043e\u0440 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432\u0435\u0431-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0432 \u0431\u0440\u0430\u0443\u0437\u0435\u0440\u0435 \u0435\u0433\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 js <a href=\"http:\/\/www.w3.org\/TR\/navigation-timing\/\">Navigation Timing API<\/a> \u2014 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0432 2 \u0444\u0430\u0439\u043b\u0430 \u043d\u0430 PHP \u043d\u0430 30 \u0441\u0442\u0440\u043e\u043a.<\/p>\n<p>  \u041a\u043e\u0433\u0434\u0430 \u0436\u0435 \u043d\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u043d\u043b\u0430\u0439\u043d \u2014 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0438\u0441\u043a\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u043d\u0438\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432.<\/p>\n<h4>\u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/h4>\n<p>  \u0415\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u044d\u0442\u043e \u0444\u0430\u0439\u043b\u044b \u0432 \u043e\u0431\u043b\u0430\u043a\u0435 s3, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u0432\u0430\u0441 \u2014 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432. \u041a\u0430\u043a \u0431\u044b \u043c\u044b \u043d\u0435 \u0434\u043e\u0432\u0435\u0440\u044f\u043b\u0438 \u043e\u0431\u043b\u0430\u043a\u0443, \u043d\u0443\u0436\u043d\u043e \u044d\u0442\u0438 \u0444\u0430\u0439\u043b\u044b \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0432 \u0434\u0440\u0443\u0433\u043e\u0435 \u043e\u0431\u043b\u0430\u043a\u043e\/\u0441\u0435\u0440\u0432\u0435\u0440\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u0439\u043b \u0448\u0438\u0444\u0440\u0443\u0435\u0442\u0441\u044f, \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f, \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442\u0441\u044f.<\/p>\n<p>  \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432 \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u043d\u0435\u043c\u0430\u043b\u043e:  <\/p>\n<ul>\n<li>\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439<\/li>\n<li>\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 XML-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 XSLT-\u0444\u0438\u043b\u044c\u0442\u0440<\/li>\n<li>\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043b\u043e\u0433\u043e\u0432<\/li>\n<li>\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438<\/li>\n<\/ul>\n<p>  \u042d\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e\u0434\u043f\u0430\u0434\u0430\u044e\u0442 \u043f\u043e\u0434 \u043e\u0431\u0449\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u00ab\u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0439 \u0438 \u0432\u043b\u0430\u0441\u0442\u0432\u0443\u0439\u00bb:<br \/>   \u2014 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u043a\u0438 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438<br \/>   \u2014 \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0447\u0430\u0441\u0442\u044f\u043c\u0438<br \/>   \u2014 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0447\u0435\u0440\u0435\u0437 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044e<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/ccc\/de8\/95b\/cccde895be377e49bbc5b6b194b3b342.jpg\"\/><\/p>\n<p>  \u0414\u043b\u044f PHP \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0442\u0438\u043f\u0430 <a href=\"https:\/\/www.rabbitmq.com\/\">RabbitMQ<\/a> \u0438\/\u0438\u043b\u0438 <a href=\"http:\/\/gearman.org\/\">Gearman<\/a> \u2014 \u043d\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u043e\u0437\u0438\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439, \u0448\u0430\u0440\u0434\u0438\u043d\u0433\u0430 \u043e\u0431\u0449\u0435\u0439 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 20 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0438 \u0442.\u043f.<\/p>\n<p>  \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0436\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c\u0441\u044f \u0432 30 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 PHP \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u2014 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u00ab\u043d\u0435 \u043f\u043e\u0432\u0435\u0437\u043b\u043e\u00bb \u0438 \u043d\u0443\u0436\u043d\u043e \u0437\u0430 \u0447\u0430\u0441 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442 \u0438 \u0436\u0435\u043b\u0435\u0437\u0430 \u0434\u0430\u044e\u0442 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u043d\u0435\u0441\u0435\u0448\u044c \u2014 \u0432\u044b\u0445\u043e\u0434 \u0435\u0441\u0442\u044c \ud83d\ude42<\/p>\n<p>  \u0414\u0430, \u0434\u0430, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u044d\u0442\u043e <a href=\"http:\/\/ru.wikipedia.org\/wiki\/Hadoop\">Hadoop<\/a>, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0441 \u0444\u043e\u0442\u043e \u0434\u0435\u0432\u0443\u0448\u0435\u043a \u0432\u044b\u0448\u0435 \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0443 MapReduce \ud83d\ude09<\/p>\n<h4>Hadoop<\/h4>\n<p>  \u0412\u043e\u043e\u0431\u0449\u0435 \u044d\u0442\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u0438 \u043d\u0435\u0434\u0435\u043b\u044c\u043a\u0438 \u043d\u0430 24\/7 \u0447\u0442\u0435\u043d\u0438\u044f \u043c\u0430\u043d\u0443\u0430\u043b\u043e\u0432 \u043d\u0430\u0432\u0435\u0440\u043d\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u0442 \u2014 \u043d\u043e \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041c\u044b \u043d\u0430\u0443\u0447\u0438\u043c\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e, \u044d\u043a\u043e\u043d\u043e\u043c\u044f \u0432\u0430\u0448\u0435 \u0438 \u043d\u0430\u0448\u0435 \u0432\u0440\u0435\u043c\u044f.<\/p>\n<h5>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h5>\n<p>  \u041f\u043e\u043c\u0438\u043c\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 java-\u0441\u043e\u0444\u0442\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0435\u0449\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u0443\u044e \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443. \u0417\u0430\u0447\u0435\u043c \u2014 \u0430 \u043a\u0430\u043a \u0431\u0443\u0434\u0443\u0442 \u043d\u043e\u0434\u044b \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043e\u0431\u043c\u0435\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0431\u0449\u0438\u043c\u0438 \u0444\u0430\u0439\u043b\u0430\u043c\u0438? \u041d\u043e \u043c\u044b \u043f\u043e\u0441\u0442\u0443\u043f\u0438\u043c \u0445\u0438\u0442\u0440\u0435\u0435 \u2014 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 <a href=\"http:\/\/aws.amazon.com\/elasticmapreduce\/\">Hadoop \u0432 \u0410\u043c\u0430\u0437\u043e\u043d\u0435<\/a>. \u0422\u0430\u043c \u0432\u0441\u0435 \u0443\u0436\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043e \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043e.<\/p>\n<h5>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 map \u0438 reduce \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432<\/h5>\n<p>  \u0412\u043e\u0442 \u0442\u0443\u0442 \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435 \u0432 \u043f\u043e\u0441\u0442\u0435. Hadoop \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u2014 \u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0443 \u0444\u0430\u0439\u043b\u0430 \u043d\u0430 bash \u0438\u043b\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u043d\u0430 PHP\/Python\/Perl.<\/p>\n<p>  \u0421\u043a\u0440\u0438\u043f\u0442\u0438\u043a\u0438 \u0447\u0438\u0442\u0430\u044e\u0442 \u0438\u0437 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0430 \u0438 \u043f\u0438\u0448\u0443\u0442 \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434. \u041d\u0443 \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0449\u0435?<\/p>\n<p>  \u0421\u043a\u0440\u0438\u043f\u0442\u0438\u043a\u043e\u0432 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c 2: mapper, reducer.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 N \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0434\u0438\u043d mapper.<\/p>\n<h6>\u041f\u0440\u0438\u043c\u0435\u0440 mapper<\/h6>\n<pre><code class=\"php\">#!\/usr\/bin\/php &lt;?php error_reporting(-1); set_time_limit(0); ini_set('memory_limit', '2048M'); gc_enable();  require '\/usr\/share\/php\/aws.phar';  $fp=fopen(&quot;php:\/\/stdin&quot;,&quot;r&quot;);  while (true) {      $line=stream_get_line($fp,65535,&quot;\\n&quot;);     \/\/ \u0442\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0441 \u0444\u0430\u0439\u043b\u0430\u043c\u0438: \u0448\u0438\u0444\u0440\u0443\u0435\u043c, \u0441\u0436\u0438\u043c\u0430\u0435\u043c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0435\u043c, \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c     ... }  echo &quot;s3 copied direct\\t&quot;.$copy_count.&quot;\\n&quot;; echo &quot;s3 copied precond\\t&quot;.$copy_precond_count .&quot;\\n&quot;; echo &quot;s3 src not found\\t&quot;.$s3_src_not_found .&quot;\\n&quot;;  <\/code><\/pre>\n<p>  \u0415\u0441\u043b\u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043d\u0435 \u043d\u0443\u0436\u043d\u0430, \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442\u0438\u043a \u2014 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d. \u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u0430, \u043f\u0438\u0448\u0435\u043c reducer:<\/p>\n<h6>\u041f\u0440\u0438\u043c\u0435\u0440 reducer<\/h6>\n<pre><code class=\"php\">#!\/usr\/bin\/php &lt;?php error_reporting(-1); ini_set('memory_limit', '1024M'); set_time_limit(0); gc_enable();  $ar_reduce = array();  $ar_reduce = array();  while (($line = fgets(STDIN)) !== false) {       $line = str_replace(&quot;\\n&quot;,&quot;&quot;,$line);     $ar_line = explode(&quot;\\t&quot;, $line);      if ( !isset($ar_reduce[$ar_line[0]]) ) $ar_reduce[$ar_line[0]] = 0;     $ar_reduce[$ar_line[0]] += intval($ar_line[1]);  }   foreach ($ar_reduce as $key=&gt;$value) {      echo $key.&quot;\\t&quot;.$value.&quot;\\n&quot;;  } ?&gt; <\/code><\/pre>\n<h6>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430<\/h6>\n<p>  \u0422.\u043a. \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u043d\u0430\u0448\u0438 \u043d\u0430 PHP, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0441\u043a\u0440\u0438\u043f\u0442 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u044b\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430:  <\/p>\n<pre><code class=\"bash\">sudo apt-get -y update sudo apt-get -y install libssh2-php sudo apt-get -y install php5-curl sudo rm -f \/etc\/php5\/cli\/conf.d\/suhosin.ini sudo mkdir -p \/usr\/share\/php cd \/usr\/share\/php sudo wget https:\/\/github.com\/aws\/aws-sdk-php\/releases\/download\/2.5.0\/aws.phar ... <\/code><\/pre>\n<h6>\u0412\u044b\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u043d\u0430 PHP \u0438 bash \u0432 \u043e\u0431\u043b\u0430\u043a\u043e (s3)<\/h6>\n<pre><code class=\"bash\">for FILE in bkp_s3_folder_hadoop_bootstrap.sh bkp_s3_folder_hadoop_mapper.php bkp_s3_folder_hadoop_reducer.php; do      s3cmd -c \/root\/.s3cfg-key put \/home\/project\/cron_jobs\/$FILE s3:\/\/#\u043f\u0430\u043f\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432#\/code\/  done <\/code><\/pre>\n<h6>\u0412\u044b\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 s3<\/h6>\n<p>  \u041f\u0440\u043e\u0441\u0442\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e s3cmd, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 \u043f\u0430\u043f\u043a\u0443 \u0432 s3. \u042d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0441\u043f\u043b\u044b\u0432\u0443\u0442\u0441\u044f \u043f\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u0412\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u0443\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0441 \u043d\u0438\u043c\u0438 \u043c\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<h6>\u0417\u0430\u043f\u0443\u0441\u043a \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435<\/h6>\n<p>  \u0418 \u043d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a \u0442\u0430\u043a\u0430\u044f \u0432\u043a\u0443\u0441\u043d\u044f\u0448\u043a\u0430 \u2014 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<pre><code class=\"bash\">D=$(date +&quot;%Y-%m-%d_%H-%M-%S&quot;)  \/opt\/aws\/emr\/elastic-mapreduce --create --stream \\ --name myproject_$D \\ --step-name step_$D \\ --with-termination-protection \\ --step-action CANCEL_AND_WAIT \\ --ami-version '2.4.2' \\ --bootstrap-action '#\u043f\u0443\u0442\u044c \u043a \u0441\u043a\u0440\u0438\u043f\u0442\u0443 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432, \u0441\u043c. \u0432\u044b\u0448\u0435#' \\ --bootstrap-action 's3:\/\/elasticmapreduce\/bootstrap-actions\/configure-hadoop' \\ --args &quot;-m,mapred.map.max.attempts=20,-m,mapred.tasktracker.map.tasks.maximum=15,-m,mapred.task.timeout=600000&quot; \\ --input 's3:\/\/#\u043f\u0430\u043f\u043a\u0430 \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0444\u0430\u0439\u043b\u0430\u043c\u0438 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438#\/input\/' \\ --mapper 's3:\/\/#\u043f\u0430\u043f\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432#\/code\/#\u043d\u0430\u0448 mapper#.php' \\ --reducer 's3:\/\/#\u043f\u0430\u043f\u043a\u0430 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432#\/code\/#\u043d\u0430\u0448 reducer#.php' \\ --output 's3:\/\/#\u043f\u0430\u043f\u043a\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438#\/output_'$D \\ --log-uri 's3:\/\/#\u043f\u0430\u043f\u043a\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438#\/logs\/' \\ --num-instances 5 \\ --master-instance-type m1.small \\ --slave-instance-type m1.xlarge \\ --key-pair 'myproject_mapreduce' <\/code><\/pre>\n<p>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/0bb\/cce\/9c1\/0bbcce9c1264438e90f812b2d5887689.jpg\"\/><br \/>  \u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0447\u0438\u0441\u043b\u043e \u0436\u0435\u043b\u0435\u0437\u043e\u043a \u0434\u043b\u044f \u0440\u0430\u0437\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u2014 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u044b \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 15 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u043d\u0430 \u043e\u0434\u0438\u043d \u0441\u0435\u0440\u0432\u0435\u0440. \u041c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0431\u044a\u0435\u043c\u0430 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u043e \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u043e \u2014 \u0441\u043b\u0435\u0434\u0438\u043c \u0437\u0430 \u0435\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u043c.<\/p>\n<p>  \u041f\u043e\u0441\u043b\u0435 \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0432 \u043b\u043e\u0433\u0430\u0445 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443, \u043b\u043e\u0433\u0438 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u0432 s3.<\/p>\n<p>  \u041e\u0431\u044b\u0447\u043d\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0434\u0435\u043b\u0430\u043b\u0430\u0441\u044c \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u2014 \u043f\u043e\u0440\u0430\u0436\u0430\u0435\u0442, \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0438 \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u0438\u044f IT-\u043a\u043e\u043d\u0442\u0438\u043d\u0438\u0443\u043c\u0430 \u043d\u0435 \u0445\u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u00ab300 \u0441\u043f\u0430\u0440\u0442\u0430\u043d\u0446\u0435\u0432\u00bb \ud83d\ude42<br \/>  <img decoding=\"async\" src=\"\/\/habrastorage.org\/files\/769\/f2e\/263\/769f2e2637ec42de92dd66fe834a2043.jpg\"\/><\/p>\n<h4>\u0418\u0442\u043e\u0433\u0438<\/h4>\n<p>  \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0443 \u0432\u0430\u0441 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0438\u0437\u043d\u0435\u0441-\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0439 2 \u0441\u043a\u0440\u0438\u043f\u0442\u0430\u043c\u0438 \u043d\u0430 PHP. \u0427\u0438\u0441\u043b\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 (&#8212;num-instances 5) \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c 100 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0441 10 \u043f\u043e\u0442\u043e\u043a\u0430\u043c\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0434\u0430\u043d\u0438\u0439.<\/p>\n<p>  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0434\u0430\u043d\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044e \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u043c <a href=\"https:\/\/www.bitrix24.ru\">\u0438\u0437 \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432<\/a> \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438 \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 s3 \u0441 \u043d\u0435\u0434\u0435\u043b\u044c \u0434\u043e 2 \u0434\u043d\u0435\u0439.<\/p>\n<p>  \u041a\u043e\u043b\u043b\u0435\u0433\u0438, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0439\u0442\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0445 \u0438 \u043f\u043e\u0441\u0435\u0449\u0430\u0439\u0442\u0435 \u043d\u0430\u0448\u0438 <a href=\"http:\/\/www.failoverconf.ru\/conf2014\/\">\u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438<\/a> \u2014 \u043c\u044b \u0441 \u0443\u0434\u043e\u0432\u043e\u043b\u044c\u0441\u0442\u0432\u0438\u0435\u043c \u043f\u043e\u0434\u0435\u043b\u0438\u043c\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c. \u0418 \u0432\u0441\u0435\u043c \u0443\u0434\u0430\u0447\u0438 \u0432 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0431-\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 \u0438 \u043f\u043e\u0431\u0435\u0434 \u043d\u0430\u0434 Bigdata!    \t<\/p>\n<div class=\"clear\"><\/div>\n<\/p><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"http:\/\/habrahabr.ru\/company\/bitrix\/blog\/218003\/\"> http:\/\/habrahabr.ru\/company\/bitrix\/blog\/218003\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div class=\"content html_format\">   \t\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442!<\/p>\n<p>  \u0423\u0436\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043f\u0440\u043e <a href=\"http:\/\/en.wikipedia.org\/wiki\/Big_data\">Bigdata<\/a>? \u041d\u0443 \u0434\u0430, \u0432\u0435\u0431 \u0440\u0430\u0441\u0442\u0435\u0442, \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0411\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u043b\u043e\u043f\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439, \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u041c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0434\u0430\u0432\u0438\u0442 \u0441\u0432\u0435\u0440\u0445\u0443, \u0430 \u0436\u0435\u043b\u0435\u0437\u043e \u043e\u0441\u0442\u0440\u044b\u043c\u0438 \u0443\u0433\u043b\u0430\u043c\u0438 \u2014 \u0441\u043d\u0438\u0437\u0443 \u0438 \u043f\u043e\u043f\u0430\u0445\u0438\u0432\u0430\u0435\u0442 \u0441\u0443\u0438\u0446\u0438\u0434\u043e\u043c.<\/p>\n<p>  \u0412 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0434\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u0438 \u043a\u0443\u0441\u043a\u0438 \u043a\u043e\u0434\u0430 \u0441 \u043a\u0440\u0430\u0442\u043a\u0438\u043c\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0432\u044b\u0432\u043e\u0434\u0430\u043c\u0438, \u043a\u0430\u043a \u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c &gt;=\u0442\u0435\u0440\u0430\u0431\u0430\u0439\u0442\u044b \u0432 &gt;=1000 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043d\u0430 PHP. \u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0432\u0437\u044f\u0442\u044c \u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443, \u043d\u0435 \u0442\u0435\u0440\u044f\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043d\u0435 \u0437\u0430\u0431\u0438\u0432\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0443 \u0442\u0435\u043e\u0440\u0438\u0435\u0439.<\/p>\n<p>  \u041e\u0434\u043d\u0430\u043a\u043e, \u0435\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u0434\u0442\u0430\u0448\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0437\u0430\u043a\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c \u0433\u043e\u043b\u043e\u0432\u0430, \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0435 \u0447\u0438\u0442\u0430\u0442\u044c \u2014 \u0430 \u043f\u043e\u043b\u044e\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u0445 \u043f\u0442\u0438\u0447\u0435\u043a \u0438 \u0437\u0430\u0431\u044b\u0442\u044c \u043e \u0432\u044b\u0448\u0435\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c. \u041d\u043e \u0431\u0443\u0434\u044c\u0442\u0435 \u043d\u0430 \u0447\u0435\u043a\u0443, Bigdata \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0432\u0442\u0440\u0430 \u0432\u0437\u044f\u0442\u044c \u0438 \u043f\u043e\u0441\u0442\u0443\u0447\u0430\u0442\u0441\u044f \u0432 \u0434\u0432\u0435\u0440\u044c \ud83d\ude09<br \/>  <img decoding=\"async\" src=\"http:\/\/habrastorage.org\/getpro\/habr\/post_images\/338\/623\/363\/3386233633315e443f8a35137124d2b4.jpg\"\/>  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-218003","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/218003","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=218003"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/218003\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=218003"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=218003"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=218003"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}