{"id":413050,"date":"2024-06-29T22:54:11","date_gmt":"2024-06-29T22:54:11","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=413050"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=413050","title":{"rendered":"<span>\u041a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 PostgreSQL 15 \u0438 \u0444\u0430\u043a\u0442\u044b \u043e \u0442\u0435\u0440\u0440\u0438\u0442\u043e\u0440\u0438\u0438 \u0420\u043e\u0441\u0441\u0438\u0438 \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c OpenStreetMap<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c \u0442\u0435\u043c\u0443 \u0438\u0437\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u00ab<a href=\"https:\/\/habr.com\/ru\/post\/714326\/\" rel=\"noopener noreferrer nofollow\">\u041a\u0430\u043a\u00a0\u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u043c\u0438\u0440 \u0432\u00a0\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043d\u043e\u0443\u0442\u0431\u0443\u043a: PostgreSQL \u0438 OpenStreetMap\u00bb<\/a>.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c 15\u00a0\u043c\u0435\u0441\u0442 \u0433\u0434\u0435 \u0432\u00a0\u0420\u043e\u0441\u0441\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0437\u0434\u0430\u043d\u0438\u0439. \u0412\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043c\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0442 <a href=\"https:\/\/github.com\/igor-suhorukov\/openstreetmap_h3\" rel=\"noopener noreferrer nofollow\">openstreetmap_h3<\/a> \u0438 PostgreSQL 15. \u041d\u0430\u00a0\u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 OpenStreetMap H3\u00a0\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0\u0438\u043c\u043f\u043e\u0440\u0442\u0430 OSM \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u00a0H3\u00a0\u0433\u0435\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u0432\u00a0PostgreSQL \u0438 Citus massive parallel processing. \u0421\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430\u00a0\u043f\u043b\u0430\u043d \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0434\u043b\u044f\u00a0\u043d\u0435\u0433\u043e.<\/p>\n<h2>\u0427\u0435\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0433\u0435\u043e\u0434\u0430\u043d\u043d\u044b\u0445?<\/h2>\n<p>\u0421\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e\u0435(\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435) \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u00a0\u2014 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0433\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u043d\u0435\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0447\u043d\u043e (\u0441\u0442\u0440\u043e\u043a\u0430 \u0437\u0430\u00a0\u0441\u0442\u0440\u043e\u043a\u043e\u0439), \u0430\u00a0\u043f\u043e\u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d \u043f\u0440\u0438\u00a0\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0441\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0438\u0445 \u043f\u043e\u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439, \u043a\u0430\u043a\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f.<\/p>\n<p>\u0412\u00a0\u044d\u0442\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0433\u0434\u0435 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0442 \u0434\u043b\u044f\u00a0\u044d\u0442\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439\u00a0\u043b\u0438\u0448\u044c \u0434\u0432\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0438 \u0441\u043c\u043e\u0436\u0435\u043c \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043f\u043e\u043b\u044c\u0437\u0443 \u043e\u0442\u00a0\u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u00a0NVMe \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435. \u0420\u0430\u043d\u044c\u0448\u0435 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441\u00a0\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 AWS Redshift, Dremio, QuestDB \u0438 HeavyDB, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0434\u043e\u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430\/\u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 PostgreSQL \u0438\u043c \u0435\u0449\u0435 \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u043e\u0445 \u043a\u0430\u043a\u00a0\u0434\u0430\u043b\u0435\u043a\u043e. \u0412\u043e\u0442 \u0438 \u043e\u0442\u043b\u0438\u0447\u043d\u043e, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0441\u0435 \u043f\u043b\u044e\u0441\u044b \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u044b PostgreSQL \u0438 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 citus. \u0412\u043f\u0435\u0440\u0435\u0434, \u043a\u00a0\u0437\u0430\u0432\u0435\u0442\u043d\u043e\u0439 \u0446\u0435\u043b\u0438 \u043d\u0430\u00a0\u0441\u0430\u043c\u044b\u0445 \u0441\u0432\u0435\u0436\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c \u043d\u0430\u0448\u0435\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0442\u0435\u043a\u0430!<\/p>\n<h2>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e \u043a\u0430\u043a\u00a0\u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u044f \u0434\u0430\u0432\u0430\u043b \u0432\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/716092\/\" rel=\"noopener noreferrer nofollow\">\u00ab\u0414\u0432\u0435 \u0431\u0435\u0434\u044b: \u0434\u043e\u0440\u043e\u0433\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0440\u043e\u0433 \u0440\u043e\u0434\u0438\u043d\u044b \u043f\u043e\u00a0\u0434\u0430\u043d\u043d\u044b\u043c OpenStreetMap\u00bb<\/a>. <\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0433\u043e(\u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e\u0433\u043e) \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043e\u043f\u0446\u0438\u044e <strong>columnar_storage<\/strong>:<\/p>\n<pre><code class=\"bash\">java -jar target\/osm-to-pgsnapshot-schema-ng-1.0-SNAPSHOT.jar -columnar_storage -source_pbf ~\/dev\/map\/russia\/russia-latest.osm.pbf <\/code><\/pre>\n<p>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0435\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0438 \u0434\u043b\u044f \u00ab\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e\u00bb heap storage \u0432\u00a0PostgreSQL, \u0441\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043e\u0442\u043b\u0438\u0447\u0438\u0435\u043c, \u0447\u0442\u043e\u00a0\u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0447\u0442\u043e\u00a0\u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u043d\u0435\u043c \u0431\u0443\u0434\u0443\u0442 \u043d\u0435\u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435. \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0445\u0440\u0430\u043d\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u00a0NVMe \u0438 \u043d\u0430\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0443\u043f\u0440\u0435\u043c\u0441\u044f \u0432\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 \u043f\u0440\u0438\u00a0\u0434\u0435\u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 zstd, \u0447\u0435\u043c \u0432\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0432\u043e\u0434\u0430\/\u0432\u044b\u0432\u043e\u0434\u0430). \u0412\u00a0\u0431\u044d\u043a\u043b\u043e\u0433\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043e\u0436\u0438\u0434\u0430\u0435\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0448\u0435\u043d\u043d\u0430\u044f \u043c\u043d\u043e\u0439 <a href=\"https:\/\/github.com\/citusdata\/citus\/issues\/6257\" rel=\"noopener noreferrer nofollow\">\u0444\u0438\u0447\u0430 \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438<\/a> \u0434\u043b\u044f\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0432\u00a0citus, \u0447\u0442\u043e\u00a0\u0432\u00a0\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e\u00a0\u0431\u044b \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0433\u0435\u043e\u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f \u0441\u00a0\u043e\u043f\u0446\u0438\u0435\u0439 \u00abUSING COLUMNAR\u00bb:<\/p>\n<pre><code class=\"sql\">CREATE EXTENSION citus; ALTER SYSTEM SET columnar.compression TO 'none';  CREATE TABLE \"nodes_000\" (like nodes) USING COLUMNAR; CREATE TABLE \"ways_000\" (like ways) USING COLUMNAR; CREATE TABLE  \"multipolygon_000\" PARTITION OF multipolygon FOR VALUES FROM (-32768) TO (2264) USING COLUMNAR;<\/code><\/pre>\n<h2>\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430 \u0438 \u0444\u0430\u043a\u0442\u044b \u043e \u043f\u043b\u0430\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/h2>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c PostgreSQL 15 (\u0434\u043e\u043a\u0435\u0440 \u043e\u0431\u0440\u0430\u0437 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0443\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 citus_columnar) \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 OpenStreetMap.<\/p>\n<pre><code class=\"bash\">docker start postgis15-russia_08_01_2023-citus<\/code><\/pre>\n<p>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043c\u0441\u044f \u043a \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0439:<\/p>\n<pre><code class=\"bash\">$ PSQL_PAGER=\"pspg\" psql -h 172.17.0.1 -p 5432 -U postgres -d osmworld  osmworld=# \\dx                                     List of installed extensions       Name      | Version |   Schema   |                        Description                          ----------------+---------+------------+------------------------------------------------------------  citus          | 11.1-1  | pg_catalog | Citus distributed database  citus_columnar | 11.1-1  | pg_catalog | Citus Columnar extension  h3             | 4.1.1   | public     | H3 bindings for PostgreSQL  hstore         | 1.8     | public     | data type for storing sets of (key, value) pairs  plpgsql        | 1.0     | pg_catalog | PL\/pgSQL procedural language  postgis        | 3.3.2   | public     | PostGIS geometry and geography spatial types and functions<\/code><\/pre>\n<p>\u0412\u00a0\u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0443\u00a0\u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 <strong>citus_columnar 11.1\u20131<\/strong> Citus Columnar extension. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043a\u043e\u043c\u0430\u043d\u0434\u044b <strong>\\d+ <\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/42c\/4ef\/96c\/42c4ef96c2e7ae4f8e4873eefdecdfc3.png\" width=\"1145\" height=\"934\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42c\/4ef\/96c\/42c4ef96c2e7ae4f8e4873eefdecdfc3.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0434\u0430\u043d\u0438\u0439 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 ways \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0448\u0435\u0441\u0442\u0438\u0433\u0440\u0430\u043d\u043d\u0438\u043a\u043e\u0432 \u0441\u0435\u0442\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f H3 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 3 \u0434\u043b\u044f \u0441\u0442\u0440\u0430\u043d\u044b \u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0442\u043e\u043b\u044c\u043a\u043e 15 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0439:<\/p>\n<pre><code class=\"sql\">osmworld=# select h3_3, count(*) from ways where building group by 1 order by 2 desc limit 15;  h3_3  | count   -------+--------   4522 | 574555   4358 | 416860  11635 | 359298   4492 | 346534  11309 | 326960  11588 | 309015   4118 | 258346   4481 | 253767  11605 | 249752   4264 | 240154  11382 | 219327   4275 | 213822   4229 | 210797  11634 | 207777  11604 | 207101 (15 rows)  Time: 1212,481 ms (00:01,212)<\/code><\/pre>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u043f\u043e\u0434\u0435\u043b\u0435\u043d\u044b \u0432\u00a0\u0431\u0430\u0437\u0435 \u043d\u0430\u00a0\u0441\u0435\u043a\u0446\u0438\u0438 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0433\u0435\u043a\u0441\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0433\u0435\u043e\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f H3\u00a0\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u00ab\u0440\u0430\u0434\u0438\u0443\u0441\u00bb \u044f\u0447\u0435\u0439\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0432\u00a0\u043d\u0430\u0448\u0438\u0445 \u0448\u0438\u0440\u043e\u0442\u0430\u0445 \u043e\u043a\u043e\u043b\u043e 70\u043a\u043c. <\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430\u00a0\u043f\u043b\u0430\u043d \u044d\u0442\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432\u00a0explain analyze, \u043e\u0442\u043a\u0443\u0434\u0430 \u0443\u0437\u043d\u0430\u0435\u043c \u0447\u0442\u043e\u00a0\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u00a0\u0431\u044b\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c h3_3, building (Columnar Projected Columns: building, h3_3), \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432 6\u00a0\u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043f\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c, \u0432\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439\u00a0\u0431\u044b\u043b HashAggregate \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0441\u044f \u0438\u0437\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 topN heapsort. <\/p>\n<p>\u0412\u00a0\u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0443\u0437\u043b\u0435, \u043d\u043e\u00a0\u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0438\u0435 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 nodes, ways, multipolygon \u0432\u00a0Citus \u043d\u0430\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0443\u0437\u043b\u043e\u0432 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 <em>massive parallel processing<\/em> \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043d\u0430\u0434 PostgreSQL\/PostGIS \u0434\u043b\u044f\u00a0\u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/01b\/c5a\/373\/01bc5a3738cd197783b107d86a4b4b9d.png\" width=\"1649\" height=\"955\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01b\/c5a\/373\/01bc5a3738cd197783b107d86a4b4b9d.png\"\/><figcaption><\/figcaption><\/figure>\n<pre><code class=\"bash\">                     ->  HashAggregate  (cost=2778.44..2778.51 rows=7 width=10) (actual time=30.077..30.080 rows=7 loops=1)                            Group Key: ways_17.h3_3                            Batches: 1  Memory Usage: 24kB                            ->  Custom Scan (ColumnarScan) on ways_017 ways_17  (cost=0.00..2283.02 rows=99085 width=2) (actual time=0.331..16.357 rows=99054 loops=1)                                  Filter: building                                  Rows Removed by Filter: 87805                                  Columnar Projected Columns: building, h3_3  Planning Time: 5.612 ms  JIT:    Functions: 2598    Options: Inlining false, Optimization false, Expressions true, Deforming true    Timing: Generation 170.676 ms, Inlining 0.000 ms, Optimization 34.001 ms, Emission 667.951 ms, Total 872.627 ms  Execution Time: 1259.503 ms<\/code><\/pre>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043b\u0430\u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 <a href=\"https:\/\/app.pgmustard.com\/#\/explore\/429aa419-6964-44b3-9d18-6ddb1b470495\" rel=\"noopener noreferrer nofollow\">pgMustard<\/a> \u0438 \u0432 <a href=\"https:\/\/explain.tensor.ru\/archive\/explain\/4f8888f2b980de9afc7fcc884fbd74a8:0:2023-02-14\" rel=\"noopener noreferrer nofollow\">explain.Tensor<\/a><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5c2\/80c\/be9\/5c280cbe9b4cb669454e14b7307481a5.png\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 pgMustard\" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 pgMustard\" width=\"1828\" height=\"918\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c2\/80c\/be9\/5c280cbe9b4cb669454e14b7307481a5.png\"\/><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 pgMustard<\/figcaption><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/71c\/3f6\/95e\/71c3f695ede0cd1050b3a5f0f5f3b234.png\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 explain.Tensor\" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 explain.Tensor\" width=\"1912\" height=\"825\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71c\/3f6\/95e\/71c3f695ede0cd1050b3a5f0f5f3b234.png\"\/><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 explain.Tensor<\/figcaption><\/figure>\n<p>\u0417\u0430\u043f\u0443\u0449\u0443 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0441\u0430\u043c\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430\u00a0\u0434\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0432\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c heap storage \u0438\u0437 <strong>postgis15-russia_08_01_2023<\/strong>:<\/p>\n<pre><code class=\"sql\">osmworld=# select h3_3, count(*) from ways where building group by 1 order by 2 desc limit 15;  h3_3  | count   -------+--------   4522 | 574555   4358 | 416860  11635 | 359298   4492 | 346534  11309 | 326960  11588 | 309015   4118 | 258346   4481 | 253767  11605 | 249752   4264 | 240154  11382 | 219327   4275 | 213822   4229 | 210797  11634 | 207777  11604 | 207101 (15 rows)  Time: 12787,813 ms (00:12,788)<\/code><\/pre>\n<p>\u0418\u043d\u0434\u0435\u043a\u0441\u044b h3\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e\u00a0\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c\u00a0\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0440\u0442\u0435 \u0433\u0434\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u044d\u0442\u0438 \u0440\u0435\u0433\u0438\u043e\u043d\u044b! \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u043e \u0432\u00a0QGIS \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u043f\u043e\u00a0\u0447\u0438\u0441\u043b\u0443 \u0437\u0434\u0430\u043d\u0438\u0439:<\/p>\n<pre><code class=\"sql\">select buildings.*,h3b.bounds,row_number() OVER ( order by count desc) as rownum     from h3_3_bounds_complex h3b     inner join  (select h3_3, count(*) from ways where building group by 1 order by 2 desc limit 15) buildings    on h3b.id=buildings.h3_3<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9bc\/533\/4ea\/9bc5334ea35c10c47fc76680de04a1c0.png\" width=\"869\" height=\"952\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9bc\/533\/4ea\/9bc5334ea35c10c47fc76680de04a1c0.png\"\/><figcaption><\/figcaption><\/figure>\n<h2>\u0418\u0442\u043e\u0433<\/h2>\n<p>\u041a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432\u00a0PostgreSQL 15\u00a0\u043b\u0435\u0433\u043a\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e<strong> <\/strong>citus_columnar<strong> <\/strong>\u0438 \u0432\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c heap \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u0412\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c <strong>10x <\/strong>\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 (1212\u043c\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 12\u00a0787\u043c\u0441 \u0434\u043b\u044f\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0437\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438). \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043e\u0442\u043b\u0438\u0447\u0438\u044f \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0433\u0440\u0435\u0441\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438, \u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0442\u0435\u043c\u0438\u00a0\u0436\u0435 \u0441\u0430\u043c\u044b\u043c\u0438, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0Citus\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0PostgreSQL.<\/p>\n<p>\u0418\u043d\u0442\u0440\u0438\u0433\u0438 \u0432\u00a0\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 OpenStreetMap \u043d\u0435\u00a0\u0432\u044b\u0448\u043b\u043e \u0438 \u0432\u0441\u0435 \u044d\u0442\u0438 \u043c\u0435\u0441\u0442\u0430 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u00a0\u0435\u0432\u0440\u043e\u043f\u0435\u0439\u0441\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u043d\u044b. \u041f\u0435\u0440\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e\u00a0\u2014 <strong>\u041c\u043e\u0441\u043a\u0432\u0430<\/strong>, \u0432\u0442\u043e\u0440\u043e\u0435\u00a0\u2014 <strong>\u0421\u0430\u043d\u043a\u0442\u2011\u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433,<\/strong> \u0442\u0440\u0435\u0442\u044c\u0435\u00a0\u2014 <strong>\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440<\/strong>. \u0421\u0438\u0431\u0438\u0440\u044c \u0438 \u0414\u0430\u043b\u044c\u043d\u0438\u0439 \u0412\u043e\u0441\u0442\u043e\u043a \u043d\u0435\u00a0\u0432\u0445\u043e\u0434\u044f\u0442 \u0432\u00a0top 15, \u0442\u0430\u043a \u043a\u0430\u043a <strong>\u041d\u043e\u0432\u043e\u0441\u0438\u0431\u0438\u0440\u0441\u043a<\/strong> \u043d\u0430\u00a022\u00a0\u043c\u0435\u0441\u0442\u0435, \u0430 <strong>\u0412\u043b\u0430\u0434\u0438\u0432\u043e\u0441\u0442\u043e\u043a<\/strong> \u043d\u0430 25\u00a0\u043c\u0435\u0441\u0442\u0435.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/716492\/\"> https:\/\/habr.com\/ru\/articles\/716492\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c \u0442\u0435\u043c\u0443 \u0438\u0437\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u00ab<a href=\"https:\/\/habr.com\/ru\/post\/714326\/\" rel=\"noopener noreferrer nofollow\">\u041a\u0430\u043a\u00a0\u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u043c\u0438\u0440 \u0432\u00a0\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043d\u043e\u0443\u0442\u0431\u0443\u043a: PostgreSQL \u0438 OpenStreetMap\u00bb<\/a>.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c 15\u00a0\u043c\u0435\u0441\u0442 \u0433\u0434\u0435 \u0432\u00a0\u0420\u043e\u0441\u0441\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0437\u0434\u0430\u043d\u0438\u0439. \u0412\u00a0\u044d\u0442\u043e\u043c \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043c\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0442 <a href=\"https:\/\/github.com\/igor-suhorukov\/openstreetmap_h3\" rel=\"noopener noreferrer nofollow\">openstreetmap_h3<\/a> \u0438 PostgreSQL 15. \u041d\u0430\u00a0\u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 OpenStreetMap H3\u00a0\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0\u0438\u043c\u043f\u043e\u0440\u0442\u0430 OSM \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u00a0H3\u00a0\u0433\u0435\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u0432\u00a0PostgreSQL \u0438 Citus massive parallel processing. \u0421\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430\u00a0\u043f\u043b\u0430\u043d \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0434\u043b\u044f\u00a0\u043d\u0435\u0433\u043e.<\/p>\n<h2>\u0427\u0435\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0433\u0435\u043e\u0434\u0430\u043d\u043d\u044b\u0445?<\/h2>\n<p>\u0421\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e\u0435(\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435) \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u00a0\u2014 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0433\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u043d\u0435\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0447\u043d\u043e (\u0441\u0442\u0440\u043e\u043a\u0430 \u0437\u0430\u00a0\u0441\u0442\u0440\u043e\u043a\u043e\u0439), \u0430\u00a0\u043f\u043e\u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d \u043f\u0440\u0438\u00a0\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0441\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0438\u0445 \u043f\u043e\u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439, \u043a\u0430\u043a\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f.<\/p>\n<p>\u0412\u00a0\u044d\u0442\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0433\u0434\u0435 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0442 \u0434\u043b\u044f\u00a0\u044d\u0442\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439\u00a0\u043b\u0438\u0448\u044c \u0434\u0432\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0438 \u0441\u043c\u043e\u0436\u0435\u043c \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043f\u043e\u043b\u044c\u0437\u0443 \u043e\u0442\u00a0\u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u00a0NVMe \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435. \u0420\u0430\u043d\u044c\u0448\u0435 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0441\u00a0\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u043c\u0438 \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 AWS Redshift, Dremio, QuestDB \u0438 HeavyDB, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430\u00a0\u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0434\u043e\u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430\/\u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 PostgreSQL \u0438\u043c \u0435\u0449\u0435 \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u043e\u0445 \u043a\u0430\u043a\u00a0\u0434\u0430\u043b\u0435\u043a\u043e. \u0412\u043e\u0442 \u0438 \u043e\u0442\u043b\u0438\u0447\u043d\u043e, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0441\u0435 \u043f\u043b\u044e\u0441\u044b \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u044b PostgreSQL \u0438 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 citus. \u0412\u043f\u0435\u0440\u0435\u0434, \u043a\u00a0\u0437\u0430\u0432\u0435\u0442\u043d\u043e\u0439 \u0446\u0435\u043b\u0438 \u043d\u0430\u00a0\u0441\u0430\u043c\u044b\u0445 \u0441\u0432\u0435\u0436\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c \u043d\u0430\u0448\u0435\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0442\u0435\u043a\u0430!<\/p>\n<h2>\u041f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e \u043a\u0430\u043a\u00a0\u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u044f \u0434\u0430\u0432\u0430\u043b \u0432\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/716092\/\" rel=\"noopener noreferrer nofollow\">\u00ab\u0414\u0432\u0435 \u0431\u0435\u0434\u044b: \u0434\u043e\u0440\u043e\u0433\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u0447\u0438\u0442\u0430\u0435\u043c \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u0440\u043e\u0433 \u0440\u043e\u0434\u0438\u043d\u044b \u043f\u043e\u00a0\u0434\u0430\u043d\u043d\u044b\u043c OpenStreetMap\u00bb<\/a>. <\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0433\u043e(\u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u043e\u0433\u043e) \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043e\u043f\u0446\u0438\u044e <strong>columnar_storage<\/strong>:<\/p>\n<pre><code class=\"bash\">java -jar target\/osm-to-pgsnapshot-schema-ng-1.0-SNAPSHOT.jar -columnar_storage -source_pbf ~\/dev\/map\/russia\/russia-latest.osm.pbf <\/code><\/pre>\n<p>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u043e\u0435\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0438 \u0434\u043b\u044f \u00ab\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e\u00bb heap storage \u0432\u00a0PostgreSQL, \u0441\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043e\u0442\u043b\u0438\u0447\u0438\u0435\u043c, \u0447\u0442\u043e\u00a0\u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0447\u0442\u043e\u00a0\u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u043d\u0435\u043c \u0431\u0443\u0434\u0443\u0442 \u043d\u0435\u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435. \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0445\u0440\u0430\u043d\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u00a0NVMe \u0438 \u043d\u0430\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0443\u043f\u0440\u0435\u043c\u0441\u044f \u0432\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 \u043f\u0440\u0438\u00a0\u0434\u0435\u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438 zstd, \u0447\u0435\u043c \u0432\u00a0\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u0432\u043e\u0434\u0430\/\u0432\u044b\u0432\u043e\u0434\u0430). \u0412\u00a0\u0431\u044d\u043a\u043b\u043e\u0433\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043e\u0436\u0438\u0434\u0430\u0435\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0437\u0430\u043f\u0440\u043e\u0448\u0435\u043d\u043d\u0430\u044f \u043c\u043d\u043e\u0439 <a href=\"https:\/\/github.com\/citusdata\/citus\/issues\/6257\" rel=\"noopener noreferrer nofollow\">\u0444\u0438\u0447\u0430 \u043d\u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043a\u043e\u043c\u043f\u0440\u0435\u0441\u0441\u0438\u0438<\/a> \u0434\u043b\u044f\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u0432\u00a0citus, \u0447\u0442\u043e\u00a0\u0432\u00a0\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e\u00a0\u0431\u044b \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0434\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0433\u0435\u043e\u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f \u0441\u00a0\u043e\u043f\u0446\u0438\u0435\u0439 \u00abUSING COLUMNAR\u00bb:<\/p>\n<pre><code class=\"sql\">CREATE EXTENSION citus; ALTER SYSTEM SET columnar.compression TO 'none';  CREATE TABLE \"nodes_000\" (like nodes) USING COLUMNAR; CREATE TABLE \"ways_000\" (like ways) USING COLUMNAR; CREATE TABLE  \"multipolygon_000\" PARTITION OF multipolygon FOR VALUES FROM (-32768) TO (2264) USING COLUMNAR;<\/code><\/pre>\n<h2>\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430 \u0438 \u0444\u0430\u043a\u0442\u044b \u043e \u043f\u043b\u0430\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/h2>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c PostgreSQL 15 (\u0434\u043e\u043a\u0435\u0440 \u043e\u0431\u0440\u0430\u0437 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0443\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 citus_columnar) \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 OpenStreetMap.<\/p>\n<pre><code class=\"bash\">docker start postgis15-russia_08_01_2023-citus<\/code><\/pre>\n<p>\u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043c\u0441\u044f \u043a \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0439:<\/p>\n<pre><code class=\"bash\">$ PSQL_PAGER=\"pspg\" psql -h 172.17.0.1 -p 5432 -U postgres -d osmworld  osmworld=# \\dx                                     List of installed extensions       Name      | Version |   Schema   |                        Description                          ----------------+---------+------------+------------------------------------------------------------  citus          | 11.1-1  | pg_catalog | Citus distributed database  citus_columnar | 11.1-1  | pg_catalog | Citus Columnar extension  h3             | 4.1.1   | public     | H3 bindings for PostgreSQL  hstore         | 1.8     | public     | data type for storing sets of (key, value) pairs  plpgsql        | 1.0     | pg_catalog | PL\/pgSQL procedural language  postgis        | 3.3.2   | public     | PostGIS geometry and geography spatial types and functions<\/code><\/pre>\n<p>\u0412\u00a0\u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0443\u00a0\u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 <strong>citus_columnar 11.1\u20131<\/strong> Citus Columnar extension. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043a\u043e\u043c\u0430\u043d\u0434\u044b <strong>\\d+ <\/strong><\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0434\u0430\u043d\u0438\u0439 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 ways \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0448\u0435\u0441\u0442\u0438\u0433\u0440\u0430\u043d\u043d\u0438\u043a\u043e\u0432 \u0441\u0435\u0442\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f H3 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 3 \u0434\u043b\u044f \u0441\u0442\u0440\u0430\u043d\u044b \u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u0442\u043e\u043b\u044c\u043a\u043e 15 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0439:<\/p>\n<pre><code class=\"sql\">osmworld=# select h3_3, count(*) from ways where building group by 1 order by 2 desc limit 15;  h3_3  | count   -------+--------   4522 | 574555   4358 | 416860  11635 | 359298   4492 | 346534  11309 | 326960  11588 | 309015   4118 | 258346   4481 | 253767  11605 | 249752   4264 | 240154  11382 | 219327   4275 | 213822   4229 | 210797  11634 | 207777  11604 | 207101 (15 rows)  Time: 1212,481 ms (00:01,212)<\/code><\/pre>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u0443\u0436\u0435 \u043f\u043e\u0434\u0435\u043b\u0435\u043d\u044b \u0432\u00a0\u0431\u0430\u0437\u0435 \u043d\u0430\u00a0\u0441\u0435\u043a\u0446\u0438\u0438 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0433\u0435\u043a\u0441\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0433\u0435\u043e\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f H3\u00a0\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u00ab\u0440\u0430\u0434\u0438\u0443\u0441\u00bb \u044f\u0447\u0435\u0439\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0432\u00a0\u043d\u0430\u0448\u0438\u0445 \u0448\u0438\u0440\u043e\u0442\u0430\u0445 \u043e\u043a\u043e\u043b\u043e 70\u043a\u043c. <\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430\u00a0\u043f\u043b\u0430\u043d \u044d\u0442\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432\u00a0explain analyze, \u043e\u0442\u043a\u0443\u0434\u0430 \u0443\u0437\u043d\u0430\u0435\u043c \u0447\u0442\u043e\u00a0\u0441\u043a\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u00a0\u0431\u044b\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c h3_3, building (Columnar Projected Columns: building, h3_3), \u0437\u0430\u043f\u0440\u043e\u0441 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0432 6\u00a0\u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u043f\u043e\u00a0\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u044f\u043c, \u0432\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439\u00a0\u0431\u044b\u043b HashAggregate \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0441\u044f \u0438\u0437\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 topN heapsort. <\/p>\n<p>\u0412\u00a0\u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0443\u0437\u043b\u0435, \u043d\u043e\u00a0\u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0438\u0435 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 nodes, ways, multipolygon \u0432\u00a0Citus \u043d\u0430\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0443\u0437\u043b\u043e\u0432 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 <em>massive parallel processing<\/em> \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u043d\u0430\u0434 PostgreSQL\/PostGIS \u0434\u043b\u044f\u00a0\u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u043e\u00a0\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<pre><code class=\"bash\">                     ->  HashAggregate  (cost=2778.44..2778.51 rows=7 width=10) (actual time=30.077..30.080 rows=7 loops=1)                            Group Key: ways_17.h3_3                            Batches: 1  Memory Usage: 24kB                            ->  Custom Scan (ColumnarScan) on ways_017 ways_17  (cost=0.00..2283.02 rows=99085 width=2) (actual time=0.331..16.357 rows=99054 loops=1)                                  Filter: building                                  Rows Removed by Filter: 87805                                  Columnar Projected Columns: building, h3_3  Planning Time: 5.612 ms  JIT:    Functions: 2598    Options: Inlining false, Optimization false, Expressions true, Deforming true    Timing: Generation 170.676 ms, Inlining 0.000 ms, Optimization 34.001 ms, Emission 667.951 ms, Total 872.627 ms  Execution Time: 1259.503 ms<\/code><\/pre>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043b\u0430\u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 <a href=\"https:\/\/app.pgmustard.com\/#\/explore\/429aa419-6964-44b3-9d18-6ddb1b470495\" rel=\"noopener noreferrer nofollow\">pgMustard<\/a> \u0438 \u0432 <a href=\"https:\/\/explain.tensor.ru\/archive\/explain\/4f8888f2b980de9afc7fcc884fbd74a8:0:2023-02-14\" rel=\"noopener noreferrer nofollow\">explain.Tensor<\/a><\/p>\n<figure class=\"full-width\"><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 pgMustard<\/figcaption><\/figure>\n<figure class=\"full-width\"><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 explain.Tensor<\/figcaption><\/figure>\n<p>\u0417\u0430\u043f\u0443\u0449\u0443 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0441\u0430\u043c\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430\u00a0\u0434\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0432\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c heap storage \u0438\u0437 <strong>postgis15-russia_08_01_2023<\/strong>:<\/p>\n<pre><code class=\"sql\">osmworld=# select h3_3, count(*) from ways where building group by 1 order by 2 desc limit 15;  h3_3  | count   -------+--------   4522 | 574555   4358 | 416860  11635 | 359298   4492 | 346534  11309 | 326960  11588 | 309015   4118 | 258346   4481 | 253767  11605 | 249752   4264 | 240154  11382 | 219327   4275 | 213822   4229 | 210797  11634 | 207777  11604 | 207101 (15 rows)  Time: 12787,813 ms (00:12,788)<\/code><\/pre>\n<p>\u0418\u043d\u0434\u0435\u043a\u0441\u044b h3\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e\u00a0\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c\u00a0\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0440\u0442\u0435 \u0433\u0434\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u044d\u0442\u0438 \u0440\u0435\u0433\u0438\u043e\u043d\u044b! \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u043e \u0432\u00a0QGIS \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u043f\u043e\u00a0\u0447\u0438\u0441\u043b\u0443 \u0437\u0434\u0430\u043d\u0438\u0439:<\/p>\n<pre><code class=\"sql\">select buildings.*,h3b.bounds,row_number() OVER ( order by count desc) as rownum     from h3_3_bounds_complex h3b     inner join  (select h3_3, count(*) from ways where building group by 1 order by 2 desc limit 15) buildings    on h3b.id=buildings.h3_3<\/code><\/pre>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<h2>\u0418\u0442\u043e\u0433<\/h2>\n<p>\u041a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432\u00a0PostgreSQL 15\u00a0\u043b\u0435\u0433\u043a\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e<strong> <\/strong>citus_columnar<strong> <\/strong>\u0438 \u0432\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0432\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c heap \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435. \u0412\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c <strong>10x <\/strong>\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 (1212\u043c\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 12\u00a0787\u043c\u0441 \u0434\u043b\u044f\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0437\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438). \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043e\u0442\u043b\u0438\u0447\u0438\u044f \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u0442\u00a0\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0433\u0440\u0435\u0441\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438, \u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u044b \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0442\u0435\u043c\u0438\u00a0\u0436\u0435 \u0441\u0430\u043c\u044b\u043c\u0438, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0Citus\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e\u00a0\u043b\u0438\u0448\u044c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0PostgreSQL.<\/p>\n<p>\u0418\u043d\u0442\u0440\u0438\u0433\u0438 \u0432\u00a0\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 OpenStreetMap \u043d\u0435\u00a0\u0432\u044b\u0448\u043b\u043e \u0438 \u0432\u0441\u0435 \u044d\u0442\u0438 \u043c\u0435\u0441\u0442\u0430 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u00a0\u0435\u0432\u0440\u043e\u043f\u0435\u0439\u0441\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u043d\u044b. \u041f\u0435\u0440\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e\u00a0\u2014 <strong>\u041c\u043e\u0441\u043a\u0432\u0430<\/strong>, \u0432\u0442\u043e\u0440\u043e\u0435\u00a0\u2014 <strong>\u0421\u0430\u043d\u043a\u0442\u2011\u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433,<\/strong> \u0442\u0440\u0435\u0442\u044c\u0435\u00a0\u2014 <strong>\u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440<\/strong>. \u0421\u0438\u0431\u0438\u0440\u044c \u0438 \u0414\u0430\u043b\u044c\u043d\u0438\u0439 \u0412\u043e\u0441\u0442\u043e\u043a \u043d\u0435\u00a0\u0432\u0445\u043e\u0434\u044f\u0442 \u0432\u00a0top 15, \u0442\u0430\u043a \u043a\u0430\u043a <strong>\u041d\u043e\u0432\u043e\u0441\u0438\u0431\u0438\u0440\u0441\u043a<\/strong> \u043d\u0430\u00a022\u00a0\u043c\u0435\u0441\u0442\u0435, \u0430 <strong>\u0412\u043b\u0430\u0434\u0438\u0432\u043e\u0441\u0442\u043e\u043a<\/strong> \u043d\u0430 25\u00a0\u043c\u0435\u0441\u0442\u0435.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/716492\/\"> https:\/\/habr.com\/ru\/articles\/716492\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-413050","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/413050","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=413050"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/413050\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=413050"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=413050"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=413050"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}