{"id":327389,"date":"2022-01-10T08:52:32","date_gmt":"2022-01-10T08:52:32","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=327389"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=327389","title":{"rendered":"<span>\u0423\u0442\u0438\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0441\u043e \u0441\u0442\u0440\u0435\u043b\u0430\u043c\u0438 \u043d\u0430 \u043f\u0430\u0440\u043a\u0435\u0442\u0435<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\" class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/966\/bfe\/4db\/966bfe4db6f315596e5e673730416f0d.jpeg\" width=\"521\" height=\"406\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/966\/bfe\/4db\/966bfe4db6f315596e5e673730416f0d.jpeg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0421\u043a\u0430\u0437 \u043f\u0440\u043e \u0442\u043e \u043a\u0430\u043a Apache Arrow \u043a \u0443\u0442\u043a\u0430\u043c \u043f\u043e \u043f\u0430\u0440\u043a\u0435\u0442\u0443 \u0445\u043e\u0434\u0438\u043b.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u043e\u0448\u043b\u0438\u0441\u044c 3 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438\/\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u0430, \u043d\u043e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0447\u0430\u0442\u0430\u043b\u0430\u0441\u044c \u043f\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0447\u0430\u0442\u0430\u043b\u0430\u0441\u044c \u043f\u043e\u0434\u00a0 <a href=\"https:\/\/youtu.be\/SuXtd0WtFRU\" rel=\"noopener noreferrer nofollow\"><u>Arrows (Icicle)<\/u><\/a> , <a href=\"https:\/\/youtu.be\/-Udnb6F1A0g\" rel=\"noopener noreferrer nofollow\"><u>Apache (Incredible Bongo Band)<\/u><\/a> \u0438 <a href=\"https:\/\/youtu.be\/hBYarBJ_N0M\" rel=\"noopener noreferrer nofollow\">Duck Funk<\/a> \u0438\u0431\u043e \u043f\u043e\u0434 \u0447\u0442\u043e \u0436\u0435 \u0435\u0449\u0435 \u043f\u0435\u0447\u0430\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0430 \u0442\u0430\u043a\u0443\u044e \u0442\u0435\u043c\u0443\u2026<\/p>\n<\/div>\n<\/details>\n<h2>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 1. \u041f\u0430\u0440\u043a\u0435\u0442 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043b\u0430\u043c\u0438\u043d\u0430\u0442\u043e\u043c)<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"600\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8ee\/b9a\/d70\/8eeb9ad706e9a0dc9d614e2e256e1038.png\" data-width=\"800\"\/><figcaption><\/figcaption><\/figure>\n<p> \u041a\u043e\u0433\u0434\u0430-\u0442\u043e \u0432 \u0441\u0442\u0430\u0440\u043e\u0434\u0430\u0432\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 &#8212; \u0434\u0440\u0435\u0432\u043d\u0438\u0435 \u0435\u0433\u0438\u043f\u0442\u044f\u043d\u0435 \u043d\u0435 \u0434\u0430\u043b\u0438 \u0431\u044b \u0441\u043e\u0432\u0440\u0430\u0442\u044c.<br \/> \u0418 \u043f\u043e\u0434\u0445\u043e\u0434 &#171;\u043e\u0434\u0438\u043d \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 = \u043a\u043e\u0440\u0442\u0435\u0436 \u0438\u0437 \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445&#187; \u0431\u044b\u043b \u0432\u0441\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u0435\u043d \u0438 \u043f\u0440\u0438\u044f\u0442\u0435\u043d.<br \/> \u0414\u0430\u0436\u0435 \u0432 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0438\u0441\u043d\u044b\u0445 \u043a\u043d\u0438\u0436\u043a\u0430\u0445 \u043d\u0430 \u0446\u0435\u043b\u043b\u044e\u043b\u043e\u0437\u0435 \u043d\u0430\u0448\u0438 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u0438 \u043f\u0438\u0441\u0430\u043b\u0438 \u043a\u043e\u043d\u0442\u0430\u043a\u0442\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a:<br \/> \u0418\u0432\u0430\u043d\u043e\u0432 <sub>{ String, page indexed by first letter}<\/sub> \u0418\u0432\u0430\u043d <sub>{String}<\/sub> \u0418\u0432\u0430\u043d\u043e\u0432\u0438\u0447 <sub>{String}<\/sub>, 84959367832 <sub>{Big integer}<\/sub>. <\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0432\u0440\u044f\u0434 \u043b\u0438 \u043e\u043d\u0438 \u0443\u0442\u043e\u0447\u043d\u044f\u043b\u0438 \u0442\u0438\u043f \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043a\u043e\u0440\u0442\u0435\u0436\u0430, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<details class=\"spoiler\">\n<summary>\u0425\u043e\u0442\u044f \u0442\u0443\u0442 \u0432\u043e\u0437\u0440\u0430\u0437\u044f\u0442 \u0447\u0442\u043e \u0442\u0435\u043b\u0435\u0444\u043e\u043d<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0425\u043e\u0442\u044f \u0442\u0443\u0442 \u0432\u043e\u0437\u0440\u0430\u0437\u044f\u0442 \u0447\u0442\u043e \u0442\u0435\u043b\u0435\u0444\u043e\u043d &#8212; \u044d\u0442\u043e \u0442\u043e \u0436\u0435 \u0442\u0435\u043a\u0441\u0442 \u0438\u0431\u043e &#171;\u0441\u043a\u043e\u0431\u043e\u0447\u043a\u0438, \u0434\u0435\u0444\u0438\u0441\u044b \u0438 \u043f\u043b\u044e\u0441\u044b&#187;, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430 \u0434\u0430\u0442\u0443 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0441 \u0442\u0438\u043f\u043e\u043c date \u0438 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0432 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.<\/p>\n<\/div>\n<\/details>\n<p> <\/p>\n<p>\u0418 \u0432 \u0444\u0430\u0439\u043b\u044b \u0437\u0430\u043f\u0438\u0441\u044c \u0448\u043b\u0430 \u0442\u0430\u043a \u0436\u0435 &#8212; \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 (\u0442\u043e\u0442 \u0436\u0435 CSV\/TXT).<br \/> \u041e\u0442\u0441\u044e\u0434\u0430 2 \u043f\u0435\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u043a\u043e\u0433\u0434\u0430 \u0443 \u0432\u0430\u0441 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043d\u0430 100500 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u0432\u0441\u0435\u0433\u043e 3 &#8212; \u0432\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0433\u0440\u0443\u0441\u0442\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c (==\u0437\u0430\u043b\u0438\u0442\u044c \u0432 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0443) \u0432\u0441\u0435 100500 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0447\u0442\u043e\u0431\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 3. <\/p>\n<\/li>\n<li>\n<p>\u0441\u0436\u0438\u043c\u0430\u0442\u044c \u0444\u0430\u0439\u043b \u0441 \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u043c \u0442\u0438\u043f\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0447\u0435\u043c-\u0442\u043e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0438\u043f\u0430 RAR\/7zip\/Gzip \u0430 \u0432\u0441\u0451 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u0445\u0443\u0436\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e. \u0418 \u0434\u0430, \u043f\u0435\u0440\u0435\u0434 \u0447\u0442\u0435\u043d\u0438\u0435\u043c \u044d\u0442\u043e\u0433\u043e \u0430\u0440\u0445\u0438\u0432\u0430 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u043d\u0435\u0441\u0442\u0438 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0443 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c (==\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u043c) \u0430\u0440\u0445\u0438\u0432\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0442\u0435\u0445 \u0441\u0430\u043c\u044b\u0445 100500 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0447\u0442\u043e\u0431\u044b \u0432\u0437\u044f\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 3 \u043d\u0443\u0436\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418 \u0442\u0443\u0442 \u0440\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0434\u0435\u044f  &#8212; \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 90 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u043f\u043e\u0434\u0445\u043e\u0434 (\u0432 \u043f\u0440\u044f\u043c\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430), \u0442.\u0435.  \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 \u0430 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c\u0438. \u041f\u0440\u0438\u0447\u0451\u043c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c, \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 &#8212; \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0438 \u0442\u0438\u043f\u044b \u043a\u043e\u043b\u043e\u043d\u043e\u043a. \u0422\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 2 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u0438 \u043f\u0435\u0440\u0432\u0443\u044e (\u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0434\u0435\u0440\u0433\u0438\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438) \u0438 \u0432\u0442\u043e\u0440\u0443\u044e (\u043d\u0430 \u043b\u0435\u0442\u0443 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u043c \u0442\u043e \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0437\u0430\u0442\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0434 \u0442\u0438\u043f \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438).<br \/> \u041e\u0434\u0438\u043d \u0438\u0437 \u044f\u0440\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0433\u043e \u0432\u0438\u0434\u0430 &#8212; \u0444\u043e\u0440\u043c\u0430\u0442 \u043f\u0430\u0440\u043a\u0435\u0442.<br \/> \u041a \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043b\u044e\u0441\u0430\u043c &#8212; \u044d\u0442\u043e \u0435\u0449\u0435 \u0438 \u043a\u0440\u043e\u0441\u0441-\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0439 \u043f\u0430\u043a\u0435\u0442: \u0435\u0433\u043e \u043c\u043e\u0433\u0443\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e R (\u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 RDS) \u043d\u043e \u0438 Python, Java, \u0434\u0430 \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u044d\u0442\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e \u0432\u0441\u044f\u043a\u0438\u0445 \u0442\u0430\u043c &#171;\u0425\u0430\u0434\u0443\u043f\u0438\u0441\u0442\u044b\u0445 \u0411\u0438\u0433 \u0434\u044d\u0439\u0442\u0430 \u0441\u0442\u0435\u043a\u0430\u0445&#187; (\u043d\u0430\u0440\u044f\u0434\u0443 \u0441 Avro, JSON)<br \/> \u0421\u0440\u0430\u0432\u043d\u0438\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438\/\u0447\u0442\u0435\u043d\u0438\u044f CSV vs. parquet<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0441\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u043f\u0430\u043a\u0435\u0442\u0430 &#171;nycflights13&#187;<\/p>\n<pre><code class=\"r\">library(nycflights13) data(package='nycflights13') library(arrow) str(flights)<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/141\/3d0\/d82\/1413d0d82211024a5a79ce920c492aae.jpg\" width=\"1306\" height=\"570\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/141\/3d0\/d82\/1413d0d82211024a5a79ce920c492aae.jpg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<pre><code class=\"r\"># \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 parquets.dir &lt;- paste0(tempdir(),'\\\\flight_parquets') print(parquets.dir) dir.create(path = parquets.dir) # \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438\/\u0447\u0442\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e CSV \u0444\u0430\u0439\u043b\u0430 file.name &lt;- paste(parquets.dir,'flights_1.csv',sep = '\\\\') system.time(   write.csv2(flights,file = file.name) ) # 8.58 sec \u0445\u043e\u0442\u044f data.table::fwrite \u043c\u043e\u0433 \u0431\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 paste(file.size(x = file.name)\/1024^2,\" Mb\") # 34.96 Mb system.time(read.csv2(file.name)) #  1.52 sec  file.remove(file.name) # \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438\/\u0447\u0442\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e parquet \u0444\u0430\u0439\u043b\u0430 file.name &lt;- paste(parquets.dir,'flights_1.parquet',sep = '\\\\') system.time(   arrow::write_parquet(flights,sink = file.name) ) # 0.34 sec file.name &lt;- paste(parquets.dir,'flights_1.parquet',sep = '\\\\') system.time(   arrow::write_parquet(flights,sink = file.name) ) # 0.34 sec paste(file.size(x = file.name)\/1024^2,\" Mb\") # 5.43 Mb (\u0432 7 \u0440\u0430\u0437) system.time(arrow::read_parquet(file.name)) # 0.05 sec <\/code><\/pre>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c &#8212; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043a\u0430\u043a \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438, \u0447\u0442\u0435\u043d\u0438\u044f \u0442\u0430\u043a \u0438 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0444\u0430\u0439\u043b\u0430.<\/p>\n<h2>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 2. Arrow &#8212; \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u0435\u043d, \u0430 pandas &#8212; \u043d\u0435 \u043e\u0447\u0435\u043d\u044c.<\/h2>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/2ad\/773\/849\/2ad773849bea82ea5de7f315edd3c15d.jpg\" width=\"1000\" height=\"750\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ad\/773\/849\/2ad773849bea82ea5de7f315edd3c15d.jpg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0441\u044f\u043a\u0438\u0435 \u0431\u0438\u0437\u043d\u0435\u0441\u044b \u043d\u0430\u043a\u043e\u043f\u0438\u043b\u0438 \u0443 \u0441\u0435\u0431\u044f &#171;\u0414\u0430\u0442\u0443&#187; \u0432 \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u0438 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u0438\u0437\u043d\u0435\u0441\u0430\u043c \u0435\u0435 \u043f\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0410 \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e\u0439 &#171;\u0414\u0430\u0442\u044b&#187; \u0431\u044b\u043b\u043e \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043c\u043d\u043e\u0433\u043e (\u043f\u043e \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e-\u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432\u044b\u043c \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u044f\u043c ), \u0442\u043e \u0437\u0430\u0440\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u043d\u0435\u0434\u0440\u0430\u0445 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u044f &#171;\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a&#187; \u0441  \u043c\u0430\u043d\u0438\u0430\u043a\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u0441\u0435 \u043f\u043e\u0434\u0440\u044f\u0434 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430 \u0434\u0436\u043e\u0438\u043d\u0438\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c, \u043e\u0431\u043e\u0433\u0430\u0449\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u043c\u0438 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c\u0438, \u0438 (\u043d\u0435 \u043a \u043d\u043e\u0447\u0438 \u0441\u043a\u0430\u0437\u0430\u043d\u043e)  \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u043a\u043e\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u0437\u043e\u0431\u0440\u0430\u0437\u0438\u044e.<br \/> \u0412 \u0442\u0443 \u044d\u043f\u043e\u0445\u0443 \u0436\u0438\u043b \u0434\u0430 \u0431\u044b\u043b \u043e\u0434\u0438\u043d \u0443\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0435\u043d\u0451\u043a, \u0438 \u0437\u0432\u0430\u043b\u0438 \u0435\u0433\u043e <strong>\u0412\u0435\u0441 \u041c\u0430\u043a\u043a\u0438\u043d\u0438<\/strong>. <\/p>\n<p>\u0418 \u043e\u0447\u0435\u043d\u044c \u043e\u043d \u043b\u044e\u0431\u0438\u043b Python, \u043d\u043e \u0441\u0442\u0440\u0430\u0434\u0430\u043b \u0432 \u0442\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043e\u0442 \u0443\u0431\u043e\u0433\u043e\u0441\u0442\u0438 Python \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0435 \u0437\u043d\u0430\u044e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u043c\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430\u0447\u0430\u043b \u043f\u0438\u043b\u0438\u0442\u044c \u0441\u0432\u043e\u0435\u0433\u043e \u0431\u0443\u0440\u0430\u0442\u0438\u043d\u0443 \u0438 \u0432\u044b\u043f\u0438\u043b\u0438\u043b \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043f\u0430\u043a\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043e \u0432\u0441\u0435\u0439 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0435 Python &#8212; Pandas.<br \/> \u0411\u0443\u0440\u0430\u0442\u0438\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0433\u043e\u0436\u0438\u043c  \u0447\u0442\u043e \u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435 Python \u044d\u0442\u043e \u0432\u043c\u0438\u0433 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u043e &#171;\u0432\u0430\u0443-\u044d\u0444\u0444\u0435\u043a\u0442&#187;, \u043f\u0440\u0438\u0447\u0435\u043c \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439, \u0447\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0439\u0442\u0438 jupiter-\u043d\u043e\u0443\u0442\u0431\u0443\u0447\u0435\u043a \u0431\u0435\u0437 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0433\u043e \u0437\u0430\u043a\u043b\u0438\u043d\u0430\u043d\u0438\u044f \u0430\u0434\u0435\u043f\u0442\u043e\u0432 Python: <\/p>\n<pre><code class=\"python\">import pandas as pd<\/code><\/pre>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0443 Pandas \u0431\u044b\u043b\u0438 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438, \u043d\u043e \u043f\u043e \u0442\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0430\u043c \u0435\u0433\u043e \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u0441\u0451!<br \/> \u041d\u043e \u0448\u043b\u0438 \u0433\u043e\u0434\u044b, \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0440\u043e\u0441 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e (\u043a\u0430\u043a \u0447\u0438\u0441\u043b\u043e \u0434\u0436\u0443\u043d\u043e\u0432 \u0441 \u043a\u0443\u0440\u0441\u043e\u0432 &#171;\u0434\u0430\u0442\u0430 \u0441\u0430\u0439\u0435\u043d\u0441 \u0437\u0430 4 \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430 python \u0438 \u0443 \u0432\u0430\u0441 300k\/sec&#187;),  \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 \u0441\u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c \u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0442\u0432\u0435\u0440\u0434\u043e\u0442\u0435\u043b\u044c\u043d\u044b\u0435 SSD \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438, \u0447\u0438\u0441\u043b\u043e \u044f\u0434\u0435\u0440 \u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0437\u043c\u043d\u043e\u0436\u0430\u043b\u043e\u0441\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043f\u043e\u0447\u043a\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u043e\u0441\u044c \u0442\u0440\u0435\u043d\u0434\u043e\u043c \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u0432\u043e\u0442 \u043d\u0430 \u0444\u043e\u043d\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e \u043f\u0440\u043e\u044f\u0432\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 Pandas &#8212; \u044d\u0442\u043e \u0432\u043e\u0432\u0441\u0435 \u043d\u0435 \u0434\u0435\u0442\u0441\u043a\u0438\u0435 \u0431\u043e\u043b\u044f\u0447\u043a\u0438, \u0430 \u043e\u0431\u043e\u0441\u0442\u0440\u0435\u043d\u0438\u044f \u0445\u0440\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u043e\u043b\u0435\u0437\u043d\u0435\u0439 \u0441\u0442\u0430\u0440\u043e\u0433\u043e \u043f\u0435\u043d\u0441\u0438\u043e\u043d\u0435\u0440\u0430.<br \/> \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0430\u043c\u0438 \u043d\u0435\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u043c\u0430\u0440\u0441\u0438\u0430\u043d\u0441\u043a\u0438\u0439 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 Pandas (\u043b\u044e\u0434\u0438 \u0438\u0437\u0431\u0430\u043b\u043e\u0432\u0430\u043d\u043d\u044b\u0435 R&#8217;\u0432\u0441\u043a\u0438\u043c\u0438 \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438 tidyverse \u043f\u043e\u0439\u043c\u0443\u0442 \u043e \u0447\u0451\u043c \u0440\u0435\u0447\u044c) &#8212; Pandas \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u043e\u0442 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e GIL (<a href=\"https:\/\/realpython.com\/python-gil\/\" rel=\"noopener noreferrer nofollow\"><strong>Python Global Interpreter Lock<\/strong><\/a>).<br \/> \u041a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u043c\u0430\u043b\u043e \u0435\u043c\u0443 \u0431\u0435\u0434\u043e\u043b\u0430\u0433\u0435 \u044d\u0442\u043e\u0433\u043e, Pandas \u0435\u0449\u0435 \u0438 &#171;\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d&#187; \u0441\u0432\u043e\u0438\u043c \u043b\u0438\u0447\u043d\u044b\u043c \u0431\u0443\u0442\u044b\u043b\u043e\u0447\u043d\u044b\u043c \u0433\u043e\u0440\u043b\u044b\u0448\u043a\u043e\u043c \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0433\u0435\u0442\u0435\u0440\u043e\u0433\u0435\u043d\u043d\u044b\u043c \u0442\u0438\u043f\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; <a href=\"https:\/\/uwekorn.com\/2020\/05\/24\/the-one-pandas-internal.html\" rel=\"noopener noreferrer nofollow\">BlockManager<\/a>. \u0413\u043e\u0432\u043e\u0440\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c &#8212; \u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u043e\u043c \u0432 1 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u0442\u043e \u0431\u0443\u0434\u044c\u0442\u0435 \u0433\u043e\u0442\u043e\u0432\u044b \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u0434 Pandas \u0432 5-10 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u043c \u0441\u0430\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 (\u0442.\u0435. \u043c\u0438\u043d\u0438\u043c\u0443\u043c 5 \u043d\u0435\u0437\u0430\u043d\u044f\u0442\u044b\u0445 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u043f\u043e\u0434 1)<\/p>\n<details class=\"spoiler\">\n<summary>\u0441\u043f\u043e\u0439\u043b\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041b\u044e\u0434\u0438  \u0438\u0437\u0431\u0430\u043b\u043e\u0432\u0430\u043d\u043d\u044b\u0435 R&#8217;\u0432\u0441\u043a\u0438\u043c \u043f\u0430\u043a\u0435\u0442\u043e\u043c data.table, \u0447\u0438\u0442\u0430\u044f \u044d\u0442\u043e &#8212; \u0441\u043d\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043b\u044b\u0431\u0430\u044e\u0442\u0441\u044f.<\/p>\n<\/div>\n<\/details>\n<p> \u041f\u043e\u043c\u0438\u043c\u043e \u0437\u0430\u0442\u044b\u043a\u043e\u0432 \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e Pandas \u043f\u0440\u0438\u043f\u0430\u0441 \u0434\u043b\u044f \u043d\u0435\u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u043d\u043e\u0432\u043e\u0431\u0440\u0430\u043d\u0446\u0435\u0432 \u0432 \u043a\u043e\u0433\u043e\u0440\u0442\u0443 Python \u043e\u0441\u0442\u0440\u044b\u0435 \u0433\u0440\u0430\u0431\u0435\u043b\u044c\u043a\u0438 &#8212; \u043d\u0435\u0434\u0435\u0442\u0435\u0440\u0435\u043c\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0438 \u043d\u0435\u044f\u0432\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u0441 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0435\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0441\u0441\u043b\u0430\u0431\u0438\u043b\u0438\u0441\u044c \u0438 \u0437\u0430\u0431\u044b\u043b\u0438 (\u0438\u043b\u0438 \u043d\u0435 \u0437\u043d\u0430\u043b\u0438) \u0438 \u044f\u0432\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435 (\u043a\u0430\u0436\u0443\u0449\u0438\u0435\u0441\u044f \u0438\u0437\u043b\u0438\u0448\u043d\u0438\u043c\u0438) \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432 Pandas, \u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0432\u0441\u0451 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c. \u0414\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u043d\u0435\u044f\u0432\u043d\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u0438 \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0440\u0435\u043b\u044c\u043d\u0451\u0442 &#8212; \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u043d\u043e. \u0416\u0435\u043b\u0430\u044e\u0449\u0438\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0439\u0442\u0438 \u043f\u043e <a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2021\/11\/3-ways-to-deal-with-settingwithcopywarning-in-pandas\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0435 <\/a>(18+).<br \/> \u0421\u0430\u043c \u0412\u0435\u0441 \u041c\u0430\u043a\u043a\u0438\u043d\u0438 \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043b, \u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u044e <a href=\"https:\/\/wesmckinney.com\/blog\/apache-arrow-pandas-internals\/\" rel=\"noopener noreferrer nofollow\">Apache Arrow and the &#171;10 Things I Hate About pandas<\/a> . \u0422\u0430\u043c \u043e\u043d \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u0430\u043b \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 21\u043c \u0432\u0435\u043a\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u043e\u043b\u044b\u0439 Pandas, \u043f\u043e\u0447\u0435\u043c\u0443 Dask &#8212; \u043d\u0435 \u043f\u0430\u043d\u0430\u0446\u0435\u044f \u0438 \u043a\u0430\u043a \u043e\u043d \u043f\u0440\u0438\u0448\u0451\u043b \u043a \u043f\u0440\u043e\u0435\u043a\u0442\u0443 Arrow.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/1e2\/b91\/1b9\/1e2b911b97f1881b8983282f04204f1c.jpeg\" width=\"960\" height=\"343\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e2\/b91\/1b9\/1e2b911b97f1881b8983282f04204f1c.jpeg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0447\u0435\u043c Arrow \u0445\u043e\u0440\u043e\u0448 \u043d\u0435 \u0431\u0443\u0434\u0443, \u0438 \u0431\u0435\u0437 \u043c\u0435\u043d\u044f \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u043f\u0440\u043e \u043d\u0435\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0441\u043a\u0430\u0436\u0443 \u043b\u0438\u0448\u044c \u0447\u0442\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u044b \u043a\u0430\u043a \u043a <a href=\"https:\/\/arrow.apache.org\/docs\/python\/index.html\" rel=\"noopener noreferrer nofollow\">Python<\/a> \u0442\u0430\u043a \u0438 <a href=\"https:\/\/arrow.apache.org\/docs\/r\/index.html\" rel=\"noopener noreferrer nofollow\">\u043a R<\/a>, \u043f\u0440\u0438\u0447\u0435\u043c \u0432 R \u043e\u043d \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u043c dplyr, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u043e\u0434\u0430\u0440\u043e\u043a \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0435\u0441\u044c \u0432 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u043c \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0441\u0438\u043d\u0430\u0442\u043a\u0441\u0438\u0441\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0435\u043c \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f +1 \u044f\u0437\u044b\u043a\u0430.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0437\u0430\u043c\u0435\u0440\u044b \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f arrow, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043c \u0447\u0438\u0441\u043b\u043e parquet-\u0444\u0430\u0439\u043b\u043e\u0432 \u0432 10 \u0440\u0430\u0437 (3 \u043c\u043b\u043d.360 \u0442\u044b\u0441. \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e).<\/p>\n<pre><code class=\"r\">library(dplyr) # \u0437\u0430\u043a\u0430\u0442\u0430\u0435\u043c \u0432 \u043f\u0430\u0440\u043a\u0435\u0442 10 \u043a\u043e\u043f\u0438\u0439 flights for(i in 1:10){   file.name &lt;- paste0('flights_',i,'.parquet')   print(file.name)   arrow::write_parquet(flights,sink = paste(parquets.dir,file.name,sep = '\\\\')) }  # \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c arrow \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0430 \u0432\u0441\u044e \u043f\u0430\u043f\u043a\u0443 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u043a\u0435\u0442\u043e\u0432 ds &lt;- open_dataset(sources = parquets.dir) ds<\/code><\/pre>\n<p>\u0424\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0443 \u043d\u0430\u0441 \u043f\u043e  \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044e \u0432 \u0441\u043f\u0438\u0441\u043e\u043a &#8216;EWR&#8217;,&#8217;JFK&#8217;  , \u043d\u043e\u043c\u0435\u0440 \u043c\u0435\u0441\u044f\u0446\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 \u0444\u0435\u0432\u0440\u0430\u043b\u044c-\u043d\u043e\u044f\u0431\u0440\u044c  \u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0437\u0447\u0438\u043a \u043d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u043a\u043e\u0434\u044b &#8216;OO&#8217;,&#8217;HA&#8217;,&#8217;YV&#8217;.<\/p>\n<pre><code class=\"r\">system.time(   ds %>%    filter(origin %in% c('EWR','JFK'),          between(month,left = 2,right = 11),          !(carrier %in% c('OO','HA','YV'))) %>% collect()) # 0.65 sec<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u043c: \u0438\u0442\u0430\u043a arrow \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0432 3,3 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 10 \u0444\u0430\u0439\u043b\u043e\u0432, \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b + \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0441\u043f\u0438\u0441\u043e\u043a + \u043d\u0435 \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0441\u043f\u0438\u0441\u043e\u043a. \u0418 \u0432\u0441\u0435 \u044d\u0442\u043e  \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u0435\u043a\u0443\u043d\u0434\u044b&#8230;<\/p>\n<p>\u0418\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430: \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0438\u0437 150 csv \u0444\u0430\u0439\u043b\u043e\u0432 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u043c \u0432\u0435\u0441\u043e\u043c \u0431\u043e\u043b\u0435\u0435 10 \u0433\u0431 (\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u044f \u0438\u0445 \u043f\u0435\u0440\u0435\u0433\u043d\u0430\u043b \u0432 \u043f\u0430\u0440\u043a\u0435\u0442\u044b) \u0434\u0435\u043b\u0430\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0438 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0431\u044b\u0441\u0442\u0440\u043e, \u0447\u0442\u043e \u044f \u0435\u0449\u0435 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u043d\u0435 \u043f\u043e\u0432\u0435\u0440\u0438\u043b \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p> \u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u044b\u0448\u0435\u043b \u043f\u0430\u043a\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 6.0.1   \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u043c\u0438\u043c\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c JOIN&#8217;s, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u0438 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0441\u0438\u043b\u0430\u043c\u0438 \u0441\u0430\u043c\u043e\u0433\u043e arrow (\u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u043e\u0441\u043b\u0435 collect \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u043b\u0441\u044f \u0438 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0441\u0438\u043b\u0430\u043c\u0438 R&#8217;\u0432\u0441\u043a\u043e\u0433\u043e dplyr) <\/p>\n<p><a href=\"https:\/\/cran.r-project.org\/web\/packages\/arrow\/news\/news.html\" rel=\"noopener noreferrer nofollow\">news<\/a><\/p>\n<p>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0440\u0435\u043c\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u043b\u0435\u0442\u0430 \u0438 \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u043f\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0437\u0447\u0438\u043a\u0443, \u0430\u044d\u0440\u043e\u043f\u043e\u0440\u0442\u0443 \u0432\u044b\u043b\u0435\u0442\u0430, \u0433\u043e\u0434\u0443 \u0438 \u043c\u0435\u0441\u044f\u0446\u0443.<\/p>\n<pre><code>system.time( ds %>%    filter(origin %in% c('EWR','JFK'),          between(month,left = 2,right = 11),          !(carrier %in% c('OO','HA','YV'))) %>%    group_by(carrier,origin,year, month) %>%    summarise(min_arr_delay=min(arr_delay,na.rm = T),             mean_arr_time=mean(arr_time,na.rm = T),             mean_dep_delay=mean(dep_delay,na.rm = T)) %>% collect()  ) # 0.36 sec<\/code><\/pre>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0442\u043e \u0434\u043e\u043f.\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u0441 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0434\u0430\u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f.  <\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043e\u0433\u0430\u0434\u043a\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u042f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044e \u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044e \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u0431\u044b\u043b\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0435\u043c \u0431\u0435\u0437 \u043d\u0435\u0435. \u0417\u043d\u0430\u044e\u0449\u0438\u0435 \u043b\u044e\u0434\u0438 \u043f\u043e\u0434\u0441\u043a\u0430\u0436\u0443\u0442 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 , \u0443 \u043c\u0435\u043d\u044f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430  \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432 \u0442\u043e \u0447\u0442\u043e  \u0431\u0435\u0437 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0430\u0434\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0438\u0437 Arrow \u0432 R \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0447\u0435\u043c \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 (\u0432\u0438\u0434\u0438\u043c\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b) \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e \u0441\u0430\u043c\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u043d\u0430 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 arrow \u043f\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430.<\/p>\n<\/div>\n<\/details>\n<p>\u0417\u0434\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u0438 \u0435\u0449\u0435 \u0440\u0430\u0437 \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u043c: \u0438\u0442\u0430\u043a arrow \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0432 3,3 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 10 \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u043a \u0442\u043e\u0439 \u0441\u0430\u043c\u043e\u0439 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438   \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u043f\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0437\u0447\u0438\u043a\u0443, \u0430\u044d\u0440\u043e\u043f\u043e\u0440\u0442\u0443 \u0432\u044b\u043b\u0435\u0442\u0430, \u0433\u043e\u0434\u0443 \u0438 \u043c\u0435\u0441\u044f\u0446\u0443. \u0418 \u0432\u0441\u0435 \u044d\u0442\u043e \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 \u0442\u0440\u0435\u0442\u044c \u0441\u0435\u043a\u0443\u043d\u0434\u044b&#8230;<\/p>\n<p>\u041d\u0430\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0430\u0433\u043b\u043e\u0441\u0442\u0438 \u0438 \u0441\u043a\u0430\u0436\u0435\u043c \u0447\u0442\u043e \u043d\u0430\u043c \u0438 \u044d\u0442\u043e\u0433\u043e \u043c\u0430\u043b\u043e, \u0445\u043e\u0442\u0438\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<h2>\u0410 \u043f\u0440\u0438 \u0447\u0451\u043c \u0442\u0443\u0442 \u0432\u043e\u043e\u0431\u0449\u0435 \u0443\u0442\u043a\u0438?<\/h2>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/d43\/5b5\/d58\/d435b5d58a3381c936f4abd8e5e3024e.jpg\" width=\"558\" height=\"640\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d43\/5b5\/d58\/d435b5d58a3381c936f4abd8e5e3024e.jpg\" data-blurred=\"true\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0434\u0435\u044f &#171;\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0441\u0442\u0438&#187; \u0432 \u0444\u0430\u0439\u043b\u0430\u0445 \u0434\u0430\u043b\u0430 \u0442\u0430\u043a\u043e\u0439 \u0431\u0443\u0441\u0442\u0438\u043d\u0433 \u0432 \u0441\u0444\u0435\u0440\u0435 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0441\u043a\u043e\u0440\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0446\u0435\u043b\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445: <a href=\"https:\/\/en.wikipedia.org\/wiki\/Column-oriented_DBMS\" rel=\"noopener noreferrer nofollow\">\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u0435 \u0421\u0423\u0411\u0414<\/a>.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u043a\u043e\u0433\u043e\u0440\u0442\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u043d\u043e\u0433\u043e \u0432\u0441\u044f\u043a\u0438\u0445, \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445: Apache Druid, Greenplum, Vertica \u0438 ClickHouse \u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441\u0430. <\/p>\n<p>\u041d\u043e \u0435\u0441\u0442\u044c \u0438 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043a\u0440\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u043d\u043e \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043a\u0440\u0443\u0442\u044b\u0435, \u0432\u043e\u0442 \u043e \u043d\u0438\u0445 \u0438 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c. <\/p>\n<p>\u0417\u0430\u0434\u0430\u0439\u0442\u0435 \u0441\u0435\u0431\u0435 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0430\u044f \u0431\u0430\u0437\u0430 &#8212; \u0441\u0430\u043c\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u043d\u0430\u044f \u0432 \u043c\u0438\u0440\u0435? \u041c\u043d\u043e\u0433\u0438\u0435 \u0437\u043d\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442 &#8212; sql lite. <\/p>\n<p>\u0415\u0439 \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 R (\u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0432 Python \u0442\u043e\u0436\u0435) \u0441\u0435\u0441\u0441\u0438\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0441\u044f in-memory, \u0435\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0441\u043e\u0441\u043a\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043f\u043e SQL \u0438\u043b\u0438 \u043d\u0430\u0434\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0438\u0437 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432 \u0431\u0430\u0437\u0443 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441  &#8212; \u0432 \u043d\u0435\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u0442\u0440\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0438\u0441\u0435\u0439.<\/p>\n<p>\u0410 \u0447\u0442\u043e \u0432\u044b \u0431\u044b \u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u0435\u0441\u043b\u0438 \u0431\u044b \u0431\u044b\u043b\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0442\u0430\u043a \u0436\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0441\u0441\u0438\u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043e\u0431\u044a\u0435\u043c\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u043e \u0431\u044d\u043a\u0435\u043d\u0434\u043e\u043c \u0431\u044b \u043a R\/Python \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u043b \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u043e\u0433 sql lite?<\/p>\n<p>\u0417\u043d\u0430\u043a\u043e\u043c\u044c\u0442\u0435\u0441\u044c, <a href=\"https:\/\/duckdb.org\" rel=\"noopener noreferrer nofollow\">DuckDB<\/a> !<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"249\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebc\/b97\/b3b\/ebcb97b3ba0697e306625f7df311214e.png\" data-width=\"1112\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0435\u0435 \u043d\u0435 \u0431\u0443\u0434\u0443 (\u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u0432\u044b\u0448\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u043c\u0435\u043d\u044f) \u043d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u0432\u043e\u0435\u0439 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043d\u0430\u0431\u043e\u0440 parquet-\u0444\u0430\u0439\u043b\u043e\u0432 \u043a\u0430\u043a \u043d\u0430 \u0435\u0434\u0438\u043d\u0443\u044e \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u0443\u044e \u0433\u0438\u043f\u0435\u0440\u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441\u043e \u0432\u0441\u0435\u0439 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c\u044e SQL \u044f\u0437\u044b\u043a\u0430. <\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 DuckDB \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u043c SQL-\u0434\u0432\u0438\u0436\u043a\u043e\u043c \u043d\u0430\u0434 \u044d\u0442\u0438\u043c\u0438 \u0444\u0430\u0439\u043b\u0430\u043c\u0438!<\/p>\n<p>\u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 SQL \u0438 \u0437\u0430\u043c\u0435\u0440\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/p>\n<pre><code class=\"r\"># \u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0443\u0442\u0438\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 library(duckdb) # \"DuckDB can also read a series of Parquet files and treat them as if they were a single table.  # Note that this only works if the Parquet files have the same schema.  # You can specify which Parquet files you want to read using the glob syntax.\" library(DBI) drv &lt;- duckdb(\":memory:\", read_only = FALSE) con &lt;- dbConnect(drv) sql &lt;- paste0(\"SELECT carrier,origin,year, month,\",               \" min(arr_delay) as min_arr_delay,\",               \" avg(arr_time) as mean_arr_time,\",               \" avg(dep_delay) as mean_dep_delay\",                             \" FROM parquet_scan('\",parquets.dir,\"\\\\*.parquet')\",              \" where origin in ('EWR','JFK') and carrier not in ('OO','HA','YV')\",              \" and month between 2 and 11\",              \" group by carrier,origin,year, month\") system.time(   df2 &lt;- dbGetQuery(conn = con,sql)) #0.06 sec<\/code><\/pre>\n<p>0.06 sec &#8212; \u044d\u0442\u043e \u043d\u0435 \u043e\u0448\u0438\u0431\u043a\u0430, \u044f \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u043c\u0438\u043a\u0440\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043d\u0430 30 \u0437\u0430\u043c\u0435\u0440\u043e\u0432<\/p>\n<pre><code class=\"r\">library(microbenchmark) mb &lt;- microbenchmark(arrow = ds %>%                         filter(origin %in% c('EWR','JFK'),                               between(month,left = 2,right = 11),                               !(carrier %in% c('OO','HA','YV'))) %>%                         group_by(carrier,origin,year, month) %>%                         summarise(min_arr_delay=min(arr_delay,na.rm = T),                                  mean_arr_time=mean(arr_time,na.rm = T),                                  mean_dep_delay=mean(dep_delay,na.rm = T)) %>%                         collect(),                      duckdb=dbGetQuery(conn = con,sql),                       times = 30L) dbDisconnect(con, shutdown=TRUE) library(ggplot2) ggplot2::autoplot(mb)+theme_minimal()<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"312\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/54f\/5c5\/00e\/54f5c500e2c8681e2a7ce7570e272665.png\" data-width=\"854\"\/><figcaption><\/figcaption><\/figure>\n<pre><code class=\"r\">print(mb)<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"111\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ae\/599\/59b\/6ae59959b3515f4c0906c39c228bbcb6.png\" data-width=\"895\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0441\u044f &#8212; \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438\u0437\u043b\u0438\u0448\u043d\u0438. <\/p>\n<p>\u041e\u0431\u0430 \u044d\u0442\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 (arrow &amp; DuckDB) \u0434\u0440\u0443\u0436\u0430\u0442, \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f. <\/p>\n<p>\u0415\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0435\u0440 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u0434\u0432\u0438\u0436\u043a\u0430 \u0442\u0443\u0434\u0430 \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043f\u0440\u044f\u043c\u043e \u0432\u043d\u0443\u0442\u0440\u0438 dplyr &#8212; \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u044f\u0432\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c &#8212; \u043a\u0430\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u043d\u043e\u0432 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f arrow \u0430 \u043a\u0430\u043a\u0430\u044f DuckDB<\/p>\n<p><a href=\"https:\/\/duckdb.org\/2021\/12\/03\/duck-arrow.html\" rel=\"noopener noreferrer nofollow\">DuckDB quacks Arrow: A zero-copy data integration between Apache Arrow and DuckDB<\/a><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/08d\/846\/81f\/08d84681f1192a454506bbd96a54834b.jpeg\" alt=\" \" title=\" \" width=\"988\" height=\"910\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08d\/846\/81f\/08d84681f1192a454506bbd96a54834b.jpeg\" data-blurred=\"true\"\/><figcaption> <\/figcaption><\/figure>\n<p>\u041d\u0438\u0436\u0435 &#8212; \u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<pre><code class=\"r\">ds %>%    select(-time_hour) %>% # duckDB \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442  tz=America\/New_York \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \u0437\u0430\u0440\u0430\u043d\u0435\u0435 (\u043c\u043e\u0436\u0435\u0442 \u043a\u0442\u043e \u0437\u0430\u043f\u043e\u0441\u0442\u0438\u0442 \u0432 issues??)   filter(origin %in% c('EWR','JFK'),          between(month,left = 2,right = 11),          !(carrier %in% c('OO','HA','YV'))) %>%   to_duckdb() %>% # \u041f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043d\u0430 \u0443\u0442\u0438\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a - \u0434\u0430\u043b\u0435\u0435 DuckDB   group_by(carrier,origin,year, month) %>%    summarise(min_arr_delay=min(arr_delay,na.rm = T),             mean_arr_time=mean(arr_time,na.rm = T),             mean_dep_delay=mean(dep_delay,na.rm = T)) %>%    collect()<\/code><\/pre>\n<p>\u041d\u0430\u0434\u0435\u044e\u0441\u044c \u0447\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439, \u0445\u043e\u0442\u044f \u0443\u0432\u0435\u0440\u0435\u043d \u0447\u0442\u043e \u043c\u0430\u0436\u043e\u0440\u0438\u0442\u0430\u0440\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043f\u0438\u0442\u043e\u043d\u0438\u0441\u0442\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u043a\u043e\u043b\u043e\u0442\u044c\u0441\u044f \u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f pandas.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0438\u0445 (\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043d\u0438\u0445) \u043d\u0438\u0436\u0435 \u043e\u0442 H2O \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 R&#8217;\u0432\u0441\u043a\u043e\u0433\u043e data.table, pandas, arrow, DuckDB \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u043d\u0430 0,5 \u0433\u0431, 5 \u0433\u0431 \u0438 50 \u0433\u0431.<\/p>\n<p><a href=\"https:\/\/h2oai.github.io\/db-benchmark\/\" rel=\"noopener noreferrer nofollow\">Database-like ops benchmark<\/a><\/p>\n<\/div>\n<\/div>\n<p> <!----> <\/p>\n<div class=\"tm-article-poll\">\n<div class=\"tm-notice tm-article-poll__notice tm-notice_positive\"><!----> <\/p>\n<div class=\"tm-notice__inner\"><!----> <\/p>\n<div class=\"tm-notice__content\"><span>\u0422\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432 \u043e\u043f\u0440\u043e\u0441\u0435. <a rel=\"nofollow\" href=\"\/kek\/v1\/auth\/habrahabr\/?back=\/ru\/post\/597943\/&#038;hl=ru\">\u0412\u043e\u0439\u0434\u0438\u0442\u0435<\/a>, \u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430.<\/span><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__header\">\u0427\u0435\u043c \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435\u0441\u044c \u043f\u0440\u0438 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438?<\/div>\n<div class=\"tm-article-poll__answers\">\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             36%           <\/span> <span class=\"tm-article-poll__answer-label\">data.table<\/span> <span class=\"tm-article-poll__answer-votes\">             9           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:36%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             40%           <\/span> <span class=\"tm-article-poll__answer-label\">dplyr<\/span> <span class=\"tm-article-poll__answer-votes\">             10           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:40%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent tm-article-poll__answer-percent_winning\">             52%           <\/span> <span class=\"tm-article-poll__answer-label\">pandas<\/span> <span class=\"tm-article-poll__answer-votes\">             13           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress tm-article-poll__answer-progress_winning\" style=\"width:52%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             12%           <\/span> <span class=\"tm-article-poll__answer-label\">arrow<\/span> <span class=\"tm-article-poll__answer-votes\">             3           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:12%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             4%           <\/span> <span class=\"tm-article-poll__answer-label\">dask<\/span> <span class=\"tm-article-poll__answer-votes\">             1           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:4%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             8%           <\/span> <span class=\"tm-article-poll__answer-label\">row-wise database<\/span> <span class=\"tm-article-poll__answer-votes\">             2           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:8%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             16%           <\/span> <span class=\"tm-article-poll__answer-label\">columnar database<\/span> <span class=\"tm-article-poll__answer-votes\">             4           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:16%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             4%           <\/span> <span class=\"tm-article-poll__answer-label\">polars<\/span> <span class=\"tm-article-poll__answer-votes\">             1           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:4%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             8%           <\/span> <span class=\"tm-article-poll__answer-label\">julia<\/span> <span class=\"tm-article-poll__answer-votes\">             2           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:8%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             4%           <\/span> <span class=\"tm-article-poll__answer-label\">spark<\/span> <span class=\"tm-article-poll__answer-votes\">             1           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:4%;\"><\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__answer\">\n<div class=\"tm-article-poll__answer-data\"><span class=\"tm-article-poll__answer-percent\">             8%           <\/span> <span class=\"tm-article-poll__answer-label\">others<\/span> <span class=\"tm-article-poll__answer-votes\">             2           <\/span><\/div>\n<div class=\"tm-article-poll__answer-bar\">\n<div class=\"tm-article-poll__answer-progress\" style=\"width:8%;\"><\/div>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"tm-article-poll__stats\">        \u041f\u0440\u043e\u0433\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043b\u0438 25 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.          \u0412\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043b\u0438\u0441\u044c 4 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.      <\/div>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/597943\/\"> https:\/\/habr.com\/ru\/post\/597943\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\" class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0421\u043a\u0430\u0437 \u043f\u0440\u043e \u0442\u043e \u043a\u0430\u043a Apache Arrow \u043a \u0443\u0442\u043a\u0430\u043c \u043f\u043e \u043f\u0430\u0440\u043a\u0435\u0442\u0443 \u0445\u043e\u0434\u0438\u043b.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u043e\u0448\u043b\u0438\u0441\u044c 3 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438\/\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e \u0441\u0432\u043e\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u0430, \u043d\u043e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0447\u0430\u0442\u0430\u043b\u0430\u0441\u044c \u043f\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0447\u0430\u0442\u0430\u043b\u0430\u0441\u044c \u043f\u043e\u0434\u00a0 <a href=\"https:\/\/youtu.be\/SuXtd0WtFRU\" rel=\"noopener noreferrer nofollow\"><u>Arrows (Icicle)<\/u><\/a> , <a href=\"https:\/\/youtu.be\/-Udnb6F1A0g\" rel=\"noopener noreferrer nofollow\"><u>Apache (Incredible Bongo Band)<\/u><\/a> \u0438 <a href=\"https:\/\/youtu.be\/hBYarBJ_N0M\" rel=\"noopener noreferrer nofollow\">Duck Funk<\/a> \u0438\u0431\u043e \u043f\u043e\u0434 \u0447\u0442\u043e \u0436\u0435 \u0435\u0449\u0435 \u043f\u0435\u0447\u0430\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0430 \u0442\u0430\u043a\u0443\u044e \u0442\u0435\u043c\u0443\u2026<\/p>\n<\/div>\n<\/details>\n<h2>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 1. \u041f\u0430\u0440\u043a\u0435\u0442 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043b\u0430\u043c\u0438\u043d\u0430\u0442\u043e\u043c)<\/h2>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p> \u041a\u043e\u0433\u0434\u0430-\u0442\u043e \u0432 \u0441\u0442\u0430\u0440\u043e\u0434\u0430\u0432\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 &#8212; \u0434\u0440\u0435\u0432\u043d\u0438\u0435 \u0435\u0433\u0438\u043f\u0442\u044f\u043d\u0435 \u043d\u0435 \u0434\u0430\u043b\u0438 \u0431\u044b \u0441\u043e\u0432\u0440\u0430\u0442\u044c.<br \/> \u0418 \u043f\u043e\u0434\u0445\u043e\u0434 &#171;\u043e\u0434\u0438\u043d \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 = \u043a\u043e\u0440\u0442\u0435\u0436 \u0438\u0437 \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445&#187; \u0431\u044b\u043b \u0432\u0441\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u0435\u043d \u0438 \u043f\u0440\u0438\u044f\u0442\u0435\u043d.<br \/> \u0414\u0430\u0436\u0435 \u0432 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u043f\u0438\u0441\u043d\u044b\u0445 \u043a\u043d\u0438\u0436\u043a\u0430\u0445 \u043d\u0430 \u0446\u0435\u043b\u043b\u044e\u043b\u043e\u0437\u0435 \u043d\u0430\u0448\u0438 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u0438 \u043f\u0438\u0441\u0430\u043b\u0438 \u043a\u043e\u043d\u0442\u0430\u043a\u0442\u044b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a:<br \/> \u0418\u0432\u0430\u043d\u043e\u0432 <sub>{ String, page indexed by first letter}<\/sub> \u0418\u0432\u0430\u043d <sub>{String}<\/sub> \u0418\u0432\u0430\u043d\u043e\u0432\u0438\u0447 <sub>{String}<\/sub>, 84959367832 <sub>{Big integer}<\/sub>. <\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0432\u0440\u044f\u0434 \u043b\u0438 \u043e\u043d\u0438 \u0443\u0442\u043e\u0447\u043d\u044f\u043b\u0438 \u0442\u0438\u043f \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043a\u043e\u0440\u0442\u0435\u0436\u0430, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<details class=\"spoiler\">\n<summary>\u0425\u043e\u0442\u044f \u0442\u0443\u0442 \u0432\u043e\u0437\u0440\u0430\u0437\u044f\u0442 \u0447\u0442\u043e \u0442\u0435\u043b\u0435\u0444\u043e\u043d<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0425\u043e\u0442\u044f \u0442\u0443\u0442 \u0432\u043e\u0437\u0440\u0430\u0437\u044f\u0442 \u0447\u0442\u043e \u0442\u0435\u043b\u0435\u0444\u043e\u043d &#8212; \u044d\u0442\u043e \u0442\u043e \u0436\u0435 \u0442\u0435\u043a\u0441\u0442 \u0438\u0431\u043e &#171;\u0441\u043a\u043e\u0431\u043e\u0447\u043a\u0438, \u0434\u0435\u0444\u0438\u0441\u044b \u0438 \u043f\u043b\u044e\u0441\u044b&#187;, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0430 \u0434\u0430\u0442\u0443 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0441 \u0442\u0438\u043f\u043e\u043c date \u0438 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0432 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.<\/p>\n<\/div>\n<\/details>\n<p> <\/p>\n<p>\u0418 \u0432 \u0444\u0430\u0439\u043b\u044b \u0437\u0430\u043f\u0438\u0441\u044c \u0448\u043b\u0430 \u0442\u0430\u043a \u0436\u0435 &#8212; \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 (\u0442\u043e\u0442 \u0436\u0435 CSV\/TXT).<br \/> \u041e\u0442\u0441\u044e\u0434\u0430 2 \u043f\u0435\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u043a\u043e\u0433\u0434\u0430 \u0443 \u0432\u0430\u0441 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043d\u0430 100500 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u0432\u0441\u0435\u0433\u043e 3 &#8212; \u0432\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0433\u0440\u0443\u0441\u0442\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c (==\u0437\u0430\u043b\u0438\u0442\u044c \u0432 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0443) \u0432\u0441\u0435 100500 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0447\u0442\u043e\u0431\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 3. <\/p>\n<\/li>\n<li>\n<p>\u0441\u0436\u0438\u043c\u0430\u0442\u044c \u0444\u0430\u0439\u043b \u0441 \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u043c \u0442\u0438\u043f\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0447\u0435\u043c-\u0442\u043e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0438\u043f\u0430 RAR\/7zip\/Gzip \u0430 \u0432\u0441\u0451 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u0445\u0443\u0436\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e. \u0418 \u0434\u0430, \u043f\u0435\u0440\u0435\u0434 \u0447\u0442\u0435\u043d\u0438\u0435\u043c \u044d\u0442\u043e\u0433\u043e \u0430\u0440\u0445\u0438\u0432\u0430 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u043d\u0435\u0441\u0442\u0438 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u043a\u0443 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c (==\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u043c) \u0430\u0440\u0445\u0438\u0432\u0430\u0442\u043e\u0440\u043e\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u0442\u0435\u0445 \u0441\u0430\u043c\u044b\u0445 100500 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0447\u0442\u043e\u0431\u044b \u0432\u0437\u044f\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 3 \u043d\u0443\u0436\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418 \u0442\u0443\u0442 \u0440\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0434\u0435\u044f  &#8212; \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u043d\u0430 90 \u0433\u0440\u0430\u0434\u0443\u0441\u043e\u0432 \u043f\u043e\u0434\u0445\u043e\u0434 (\u0432 \u043f\u0440\u044f\u043c\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430), \u0442.\u0435.  \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 \u0430 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c\u0438. \u041f\u0440\u0438\u0447\u0451\u043c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c, \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 &#8212; \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0438 \u0442\u0438\u043f\u044b \u043a\u043e\u043b\u043e\u043d\u043e\u043a. \u0422\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 2 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u0438 \u043f\u0435\u0440\u0432\u0443\u044e (\u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0434\u0435\u0440\u0433\u0438\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438) \u0438 \u0432\u0442\u043e\u0440\u0443\u044e (\u043d\u0430 \u043b\u0435\u0442\u0443 \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u043c \u0442\u043e \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0437\u0430\u0442\u043e\u0447\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0434 \u0442\u0438\u043f \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u043e\u043b\u043e\u043d\u043a\u0438).<br \/> \u041e\u0434\u0438\u043d \u0438\u0437 \u044f\u0440\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0433\u043e \u0432\u0438\u0434\u0430 &#8212; \u0444\u043e\u0440\u043c\u0430\u0442 \u043f\u0430\u0440\u043a\u0435\u0442.<br \/> \u041a \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u043b\u044e\u0441\u0430\u043c &#8212; \u044d\u0442\u043e \u0435\u0449\u0435 \u0438 \u043a\u0440\u043e\u0441\u0441-\u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0439 \u043f\u0430\u043a\u0435\u0442: \u0435\u0433\u043e \u043c\u043e\u0433\u0443\u0442 \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e R (\u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 RDS) \u043d\u043e \u0438 Python, Java, \u0434\u0430 \u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u044d\u0442\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e \u0432\u0441\u044f\u043a\u0438\u0445 \u0442\u0430\u043c &#171;\u0425\u0430\u0434\u0443\u043f\u0438\u0441\u0442\u044b\u0445 \u0411\u0438\u0433 \u0434\u044d\u0439\u0442\u0430 \u0441\u0442\u0435\u043a\u0430\u0445&#187; (\u043d\u0430\u0440\u044f\u0434\u0443 \u0441 Avro, JSON)<br \/> \u0421\u0440\u0430\u0432\u043d\u0438\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438\/\u0447\u0442\u0435\u043d\u0438\u044f CSV vs. parquet<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0441\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u043f\u0430\u043a\u0435\u0442\u0430 &#171;nycflights13&#187;<\/p>\n<pre><code class=\"r\">library(nycflights13) data(package='nycflights13') library(arrow) str(flights)<\/code><\/pre>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<pre><code class=\"r\"># \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 parquets.dir &lt;- paste0(tempdir(),'\\\\flight_parquets') print(parquets.dir) dir.create(path = parquets.dir) # \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438\/\u0447\u0442\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e CSV \u0444\u0430\u0439\u043b\u0430 file.name &lt;- paste(parquets.dir,'flights_1.csv',sep = '\\\\') system.time(   write.csv2(flights,file = file.name) ) # 8.58 sec \u0445\u043e\u0442\u044f data.table::fwrite \u043c\u043e\u0433 \u0431\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 paste(file.size(x = file.name)\/1024^2,\" Mb\") # 34.96 Mb system.time(read.csv2(file.name)) #  1.52 sec  file.remove(file.name) # \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0438\/\u0447\u0442\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e parquet \u0444\u0430\u0439\u043b\u0430 file.name &lt;- paste(parquets.dir,'flights_1.parquet',sep = '\\\\') system.time(   arrow::write_parquet(flights,sink = file.name) ) # 0.34 sec file.name &lt;- paste(parquets.dir,'flights_1.parquet',sep = '\\\\') system.time(   arrow::write_parquet(flights,sink = file.name) ) # 0.34 sec paste(file.size(x = file.name)\/1024^2,\" Mb\") # 5.43 Mb (\u0432 7 \u0440\u0430\u0437) system.time(arrow::read_parquet(file.name)) # 0.05 sec <\/code><\/pre>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c &#8212; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043a\u0430\u043a \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0438\u0441\u0438, \u0447\u0442\u0435\u043d\u0438\u044f \u0442\u0430\u043a \u0438 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0444\u0430\u0439\u043b\u0430.<\/p>\n<h2>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 2. Arrow &#8212; \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u0435\u043d, \u0430 pandas &#8212; \u043d\u0435 \u043e\u0447\u0435\u043d\u044c.<\/h2>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0441\u044f\u043a\u0438\u0435 \u0431\u0438\u0437\u043d\u0435\u0441\u044b \u043d\u0430\u043a\u043e\u043f\u0438\u043b\u0438 \u0443 \u0441\u0435\u0431\u044f &#171;\u0414\u0430\u0442\u0443&#187; \u0432 \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u0438 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u0438\u0437\u043d\u0435\u0441\u0430\u043c \u0435\u0435 \u043f\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0410 \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e\u0439 &#171;\u0414\u0430\u0442\u044b&#187; \u0431\u044b\u043b\u043e \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043c\u043d\u043e\u0433\u043e (\u043f\u043e \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e-\u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432\u044b\u043c \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u044f\u043c ), \u0442\u043e \u0437\u0430\u0440\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u043d\u0435\u0434\u0440\u0430\u0445 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u044f &#171;\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a&#187; \u0441  \u043c\u0430\u043d\u0438\u0430\u043a\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u0441\u0435 \u043f\u043e\u0434\u0440\u044f\u0434 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430 \u0434\u0436\u043e\u0438\u043d\u0438\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u043e \u0433\u0440\u0443\u043f\u043f\u0430\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c, \u043e\u0431\u043e\u0433\u0430\u0449\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u043c\u0438 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c\u0438, \u0438 (\u043d\u0435 \u043a \u043d\u043e\u0447\u0438 \u0441\u043a\u0430\u0437\u0430\u043d\u043e)  \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u043a\u043e\u043d\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u044d\u0442\u043e\u043c\u0443 \u0431\u0435\u0437\u043e\u0431\u0440\u0430\u0437\u0438\u044e.<br \/> \u0412 \u0442\u0443 \u044d\u043f\u043e\u0445\u0443 \u0436\u0438\u043b \u0434\u0430 \u0431\u044b\u043b \u043e\u0434\u0438\u043d \u0443\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0435\u043d\u0451\u043a, \u0438 \u0437\u0432\u0430\u043b\u0438 \u0435\u0433\u043e <strong>\u0412\u0435\u0441 \u041c\u0430\u043a\u043a\u0438\u043d\u0438<\/strong>. <\/p>\n<p>\u0418 \u043e\u0447\u0435\u043d\u044c \u043e\u043d \u043b\u044e\u0431\u0438\u043b Python, \u043d\u043e \u0441\u0442\u0440\u0430\u0434\u0430\u043b \u0432 \u0442\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430 \u043e\u0442 \u0443\u0431\u043e\u0433\u043e\u0441\u0442\u0438 Python \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0435 \u0437\u043d\u0430\u044e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u043c\u0443\u0447\u0438\u043b\u0441\u044f \u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430\u0447\u0430\u043b \u043f\u0438\u043b\u0438\u0442\u044c \u0441\u0432\u043e\u0435\u0433\u043e \u0431\u0443\u0440\u0430\u0442\u0438\u043d\u0443 \u0438 \u0432\u044b\u043f\u0438\u043b\u0438\u043b \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043f\u0430\u043a\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u043e \u0432\u0441\u0435\u0439 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0435 Python &#8212; Pandas.<br \/> \u0411\u0443\u0440\u0430\u0442\u0438\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0433\u043e\u0436\u0438\u043c  \u0447\u0442\u043e \u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435 Python \u044d\u0442\u043e \u0432\u043c\u0438\u0433 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u043e &#171;\u0432\u0430\u0443-\u044d\u0444\u0444\u0435\u043a\u0442&#187;, \u043f\u0440\u0438\u0447\u0435\u043c \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439, \u0447\u0442\u043e \u0441\u043b\u043e\u0436\u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0439\u0442\u0438 jupiter-\u043d\u043e\u0443\u0442\u0431\u0443\u0447\u0435\u043a \u0431\u0435\u0437 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0433\u043e \u0437\u0430\u043a\u043b\u0438\u043d\u0430\u043d\u0438\u044f \u0430\u0434\u0435\u043f\u0442\u043e\u0432 Python: <\/p>\n<pre><code class=\"python\">import pandas as pd<\/code><\/pre>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0443 Pandas \u0431\u044b\u043b\u0438 \u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438, \u043d\u043e \u043f\u043e \u0442\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0430\u043c \u0435\u0433\u043e \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u0441\u0451!<br \/> \u041d\u043e \u0448\u043b\u0438 \u0433\u043e\u0434\u044b, \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0440\u043e\u0441 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e (\u043a\u0430\u043a \u0447\u0438\u0441\u043b\u043e \u0434\u0436\u0443\u043d\u043e\u0432 \u0441 \u043a\u0443\u0440\u0441\u043e\u0432 &#171;\u0434\u0430\u0442\u0430 \u0441\u0430\u0439\u0435\u043d\u0441 \u0437\u0430 4 \u043d\u0435\u0434\u0435\u043b\u0438 \u043d\u0430 python \u0438 \u0443 \u0432\u0430\u0441 300k\/sec&#187;),  \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u0434\u0438\u0441\u043a\u0438 \u0441\u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c \u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0442\u0432\u0435\u0440\u0434\u043e\u0442\u0435\u043b\u044c\u043d\u044b\u0435 SSD \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438, \u0447\u0438\u0441\u043b\u043e \u044f\u0434\u0435\u0440 \u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0440\u0430\u0437\u043c\u043d\u043e\u0436\u0430\u043b\u043e\u0441\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u043f\u043e\u0447\u043a\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u043e\u0441\u044c \u0442\u0440\u0435\u043d\u0434\u043e\u043c \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u0432\u043e\u0442 \u043d\u0430 \u0444\u043e\u043d\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e \u043f\u0440\u043e\u044f\u0432\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 Pandas &#8212; \u044d\u0442\u043e \u0432\u043e\u0432\u0441\u0435 \u043d\u0435 \u0434\u0435\u0442\u0441\u043a\u0438\u0435 \u0431\u043e\u043b\u044f\u0447\u043a\u0438, \u0430 \u043e\u0431\u043e\u0441\u0442\u0440\u0435\u043d\u0438\u044f \u0445\u0440\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u043e\u043b\u0435\u0437\u043d\u0435\u0439 \u0441\u0442\u0430\u0440\u043e\u0433\u043e \u043f\u0435\u043d\u0441\u0438\u043e\u043d\u0435\u0440\u0430.<br \/> \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0430\u043c\u0438 \u043d\u0435\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0439 \u043c\u0430\u0440\u0441\u0438\u0430\u043d\u0441\u043a\u0438\u0439 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 Pandas (\u043b\u044e\u0434\u0438 \u0438\u0437\u0431\u0430\u043b\u043e\u0432\u0430\u043d\u043d\u044b\u0435 R&#8217;\u0432\u0441\u043a\u0438\u043c\u0438 \u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438 tidyverse \u043f\u043e\u0439\u043c\u0443\u0442 \u043e \u0447\u0451\u043c \u0440\u0435\u0447\u044c) &#8212; Pandas \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u043e\u0442 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e GIL (<a href=\"https:\/\/realpython.com\/python-gil\/\" rel=\"noopener noreferrer nofollow\"><strong>Python Global Interpreter Lock<\/strong><\/a>).<br \/> \u041a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u043c\u0430\u043b\u043e \u0435\u043c\u0443 \u0431\u0435\u0434\u043e\u043b\u0430\u0433\u0435 \u044d\u0442\u043e\u0433\u043e, Pandas \u0435\u0449\u0435 \u0438 &#171;\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d&#187; \u0441\u0432\u043e\u0438\u043c \u043b\u0438\u0447\u043d\u044b\u043c \u0431\u0443\u0442\u044b\u043b\u043e\u0447\u043d\u044b\u043c \u0433\u043e\u0440\u043b\u044b\u0448\u043a\u043e\u043c \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0433\u0435\u0442\u0435\u0440\u043e\u0433\u0435\u043d\u043d\u044b\u043c \u0442\u0438\u043f\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; <a href=\"https:\/\/uwekorn.com\/2020\/05\/24\/the-one-pandas-internal.html\" rel=\"noopener noreferrer nofollow\">BlockManager<\/a>. \u0413\u043e\u0432\u043e\u0440\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c &#8212; \u0435\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u043e\u043c \u0432 1 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442, \u0442\u043e \u0431\u0443\u0434\u044c\u0442\u0435 \u0433\u043e\u0442\u043e\u0432\u044b \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u0434 Pandas \u0432 5-10 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0447\u0435\u043c \u0441\u0430\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 (\u0442.\u0435. \u043c\u0438\u043d\u0438\u043c\u0443\u043c 5 \u043d\u0435\u0437\u0430\u043d\u044f\u0442\u044b\u0445 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 \u043f\u043e\u0434 1)<\/p>\n<details class=\"spoiler\">\n<summary>\u0441\u043f\u043e\u0439\u043b\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041b\u044e\u0434\u0438  \u0438\u0437\u0431\u0430\u043b\u043e\u0432\u0430\u043d\u043d\u044b\u0435 R&#8217;\u0432\u0441\u043a\u0438\u043c \u043f\u0430\u043a\u0435\u0442\u043e\u043c data.table, \u0447\u0438\u0442\u0430\u044f \u044d\u0442\u043e &#8212; \u0441\u043d\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043b\u044b\u0431\u0430\u044e\u0442\u0441\u044f.<\/p>\n<\/div>\n<\/details>\n<p> \u041f\u043e\u043c\u0438\u043c\u043e \u0437\u0430\u0442\u044b\u043a\u043e\u0432 \u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e Pandas \u043f\u0440\u0438\u043f\u0430\u0441 \u0434\u043b\u044f \u043d\u0435\u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u043d\u043e\u0432\u043e\u0431\u0440\u0430\u043d\u0446\u0435\u0432 \u0432 \u043a\u043e\u0433\u043e\u0440\u0442\u0443 Python \u043e\u0441\u0442\u0440\u044b\u0435 \u0433\u0440\u0430\u0431\u0435\u043b\u044c\u043a\u0438 &#8212; \u043d\u0435\u0434\u0435\u0442\u0435\u0440\u0435\u043c\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0438 \u043d\u0435\u044f\u0432\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u0441 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0435\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0441\u0441\u043b\u0430\u0431\u0438\u043b\u0438\u0441\u044c \u0438 \u0437\u0430\u0431\u044b\u043b\u0438 (\u0438\u043b\u0438 \u043d\u0435 \u0437\u043d\u0430\u043b\u0438) \u0438 \u044f\u0432\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435 (\u043a\u0430\u0436\u0443\u0449\u0438\u0435\u0441\u044f \u0438\u0437\u043b\u0438\u0448\u043d\u0438\u043c\u0438) \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0432 Pandas, \u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0432\u0441\u0451 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c. \u0414\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u043d\u0435\u044f\u0432\u043d\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u0438 \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0440\u0435\u043b\u044c\u043d\u0451\u0442 &#8212; \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u043d\u043e. \u0416\u0435\u043b\u0430\u044e\u0449\u0438\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0439\u0442\u0438 \u043f\u043e <a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2021\/11\/3-ways-to-deal-with-settingwithcopywarning-in-pandas\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0435 <\/a>(18+).<br \/> \u0421\u0430\u043c \u0412\u0435\u0441 \u041c\u0430\u043a\u043a\u0438\u043d\u0438 \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043b, \u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u044e <a href=\"https:\/\/wesmckinney.com\/blog\/apache-arrow-pandas-internals\/\" rel=\"noopener noreferrer nofollow\">Apache Arrow and the &#171;10 Things I Hate About pandas<\/a> . \u0422\u0430\u043c \u043e\u043d \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0438\u0441\u0430\u043b \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 21\u043c \u0432\u0435\u043a\u0435 \u0443\u0436\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u043e\u043b\u044b\u0439 Pandas, \u043f\u043e\u0447\u0435\u043c\u0443 Dask &#8212; \u043d\u0435 \u043f\u0430\u043d\u0430\u0446\u0435\u044f \u0438 \u043a\u0430\u043a \u043e\u043d \u043f\u0440\u0438\u0448\u0451\u043b \u043a \u043f\u0440\u043e\u0435\u043a\u0442\u0443 Arrow.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0447\u0435\u043c Arrow \u0445\u043e\u0440\u043e\u0448 \u043d\u0435 \u0431\u0443\u0434\u0443, \u0438 \u0431\u0435\u0437 \u043c\u0435\u043d\u044f \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u043f\u0440\u043e \u043d\u0435\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0441\u043a\u0430\u0436\u0443 \u043b\u0438\u0448\u044c \u0447\u0442\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u043d\u0435\u043a\u0442\u043e\u0440\u044b \u043a\u0430\u043a \u043a <a href=\"https:\/\/arrow.apache.org\/docs\/python\/index.html\" rel=\"noopener noreferrer nofollow\">Python<\/a> \u0442\u0430\u043a \u0438 <a href=\"https:\/\/arrow.apache.org\/docs\/r\/index.html\" rel=\"noopener noreferrer nofollow\">\u043a R<\/a>, \u043f\u0440\u0438\u0447\u0435\u043c \u0432 R \u043e\u043d \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u043c dplyr, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u043e\u0434\u0430\u0440\u043e\u043a \u043f\u0440\u0438 \u0442\u043e\u043c \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0435\u0441\u044c \u0432 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u043c \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0441\u0438\u043d\u0430\u0442\u043a\u0441\u0438\u0441\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0435\u043c \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f +1 \u044f\u0437\u044b\u043a\u0430.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0437\u0430\u043c\u0435\u0440\u044b \u043f\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f arrow, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043c \u0447\u0438\u0441\u043b\u043e parquet-\u0444\u0430\u0439\u043b\u043e\u0432 \u0432 10 \u0440\u0430\u0437 (3 \u043c\u043b\u043d.360 \u0442\u044b\u0441. \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e).<\/p>\n<pre><code class=\"r\">library(dplyr) # \u0437\u0430\u043a\u0430\u0442\u0430\u0435\u043c \u0432 \u043f\u0430\u0440\u043a\u0435\u0442 10 \u043a\u043e\u043f\u0438\u0439 flights for(i in 1:10){   file.name &lt;- paste0('flights_',i,'.parquet')   print(file.name)   arrow::write_parquet(flights,sink = paste(parquets.dir,file.name,sep = '\\\\')) }  # \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u043c arrow \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0430 \u0432\u0441\u044e \u043f\u0430\u043f\u043a\u0443 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u043a\u0435\u0442\u043e\u0432 ds &lt;- open_dataset(sources = parquets.dir) ds<\/code><\/pre>\n<p>\u0424\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0443 \u043d\u0430\u0441 \u043f\u043e  \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044e \u0432 \u0441\u043f\u0438\u0441\u043e\u043a &#8216;EWR&#8217;,&#8217;JFK&#8217;  , \u043d\u043e\u043c\u0435\u0440 \u043c\u0435\u0441\u044f\u0446\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 \u0444\u0435\u0432\u0440\u0430\u043b\u044c-\u043d\u043e\u044f\u0431\u0440\u044c  \u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0437\u0447\u0438\u043a \u043d\u0435 \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u043a\u043e\u0434\u044b &#8216;OO&#8217;,&#8217;HA&#8217;,&#8217;YV&#8217;.<\/p>\n<pre><code class=\"r\">system.time(   ds %>%    filter(origin %in% c('EWR','JFK'),          between(month,left = 2,right = 11),          !(carrier %in% c('OO','HA','YV'))) %>% collect()) # 0.65 sec<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u0438 \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u043c: \u0438\u0442\u0430\u043a arrow \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0432 3,3 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 10 \u0444\u0430\u0439\u043b\u043e\u0432, \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b + \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0441\u043f\u0438\u0441\u043e\u043a + \u043d\u0435 \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0441\u043f\u0438\u0441\u043e\u043a. \u0418 \u0432\u0441\u0435 \u044d\u0442\u043e  \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u0435\u043a\u0443\u043d\u0434\u044b&#8230;<\/p>\n<p>\u0418\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430: \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0438\u0437 150 csv \u0444\u0430\u0439\u043b\u043e\u0432 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u043c \u0432\u0435\u0441\u043e\u043c \u0431\u043e\u043b\u0435\u0435 10 \u0433\u0431 (\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u044f \u0438\u0445 \u043f\u0435\u0440\u0435\u0433\u043d\u0430\u043b \u0432 \u043f\u0430\u0440\u043a\u0435\u0442\u044b) \u0434\u0435\u043b\u0430\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0438 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0431\u044b\u0441\u0442\u0440\u043e, \u0447\u0442\u043e \u044f \u0435\u0449\u0435 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u043d\u0435 \u043f\u043e\u0432\u0435\u0440\u0438\u043b \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p> \u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u0432\u044b\u0448\u0435\u043b \u043f\u0430\u043a\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 6.0.1   \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u043c\u0438\u043c\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c JOIN&#8217;s, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u0438 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0441\u0438\u043b\u0430\u043c\u0438 \u0441\u0430\u043c\u043e\u0433\u043e arrow (\u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u043e\u0441\u043b\u0435 collect \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u043b\u0441\u044f \u0438 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0441\u0438\u043b\u0430\u043c\u0438 R&#8217;\u0432\u0441\u043a\u043e\u0433\u043e dplyr) <\/p>\n<p><a href=\"https:\/\/cran.r-project.org\/web\/packages\/arrow\/news\/news.html\" rel=\"noopener noreferrer nofollow\">news<\/a><\/p>\n<p>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432\u0440\u0435\u043c\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u043e\u043b\u0435\u0442\u0430 \u0438 \u0437\u0430\u0434\u0435\u0440\u0436\u0435\u043a \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u043f\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0437\u0447\u0438\u043a\u0443, \u0430\u044d\u0440\u043e\u043f\u043e\u0440\u0442\u0443 \u0432\u044b\u043b\u0435\u0442\u0430, \u0433\u043e\u0434\u0443 \u0438 \u043c\u0435\u0441\u044f\u0446\u0443.<\/p>\n<pre><code>system.time( ds %>%    filter(origin %in% c('EWR','JFK'),          between(month,left = 2,right = 11),          !(carrier %in% c('OO','HA','YV'))) %>%    group_by(carrier,origin,year, month) %>%    summarise(min_arr_delay=min(arr_delay,na.rm = T),             mean_arr_time=mean(arr_time,na.rm = T),             mean_dep_delay=mean(dep_delay,na.rm = T)) %>% collect()  ) # 0.36 sec<\/code><\/pre>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0447\u0442\u043e \u0434\u043e\u043f.\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0438 \u0441 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0434\u0430\u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f.  <\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043e\u0433\u0430\u0434\u043a\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u042f \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044e \u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044e \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0441 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u0431\u044b\u043b\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0435\u043c \u0431\u0435\u0437 \u043d\u0435\u0435. \u0417\u043d\u0430\u044e\u0449\u0438\u0435 \u043b\u044e\u0434\u0438 <\/p>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-327389","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/327389","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=327389"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/327389\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=327389"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=327389"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=327389"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}