{"id":338070,"date":"2022-09-07T15:01:20","date_gmt":"2022-09-07T15:01:20","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=338070"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=338070","title":{"rendered":"\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u043a\u043e\u043b \u0432\u043e \u0432\u0441\u0435\u043c \u043c\u0438\u0440\u0435? \u0427\u0442\u0435\u043d\u0438\u0435 \u0441\u043e\u0442\u0435\u043d \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 OpenStreetMap \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 JVM \u0438\u0437 Apache Arrow<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

JVM \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0434\u043b\u044f Big Data \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a Hadoop, Spark, Presto, NiFi \u043d\u043e \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u043b\u0438\u044f\u044e\u0442 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\/\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 «\u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0447\u0438\u0445» \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u043e\u0439 \u043c\u0443\u0441\u043e\u0440\u0430 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 SIMD \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.<\/p>\n

\u0410 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043d\u0430 JVM \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043e\u0442\u043d\u0438 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 Parquet \u0444\u0430\u0439\u043b\u043e\u0432 \u0431\u0435\u0437 Spark\/Hadoop? \u0412 \u044d\u0442\u043e\u043c \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Apache Arrow — \u043f\u0440\u043e\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439<\/a> \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0411\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0414\u0430\u043d\u043d\u044b\u043c\u0438. \u041d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0441 \u0442\u044b\u0441\u044f\u0447\u0430\u043c\u0438 \u044f\u0434\u0435\u0440 \u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430! \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 «\u0437\u043e\u043b\u043e\u0442\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430» \u0434\u043b\u044f open source: PostgreSQL 14 + PostGIS 3.2.0, \u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c \u043d\u0430 OpenJDK 11 + Apache Arrow 9.0.0.<\/p>\n

\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0437\u043c\u0435\u0440\u0438\u043c \u0441 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e «\u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u043f\u043e \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u0435» — \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0448\u043a\u043e\u043b\u044c\u043d\u044b\u0445 \u0437\u0434\u0430\u043d\u0438\u0439 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 OpenStreetMap. \u0418 \u043a\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e \u0438 \u0432 \u0448\u043a\u043e\u043b\u0435 \u0434\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0448\u043d\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439, \u0442\u043e \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435 \u043a\u0443\u0434\u0430 \u0443\u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f \u043b\u044e\u0434\u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043e\u0442 «\u043e\u043a\u043e\u0432 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f» \u0438 \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u043c\u043e\u0433\u0443\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u043e \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0439 \u0436\u0438\u0437\u043d\u0438? \u0411\u044b\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430? <\/p>\n

\u0418\u0442\u0430\u043a, \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 — OpenStreetMap planet-220704.osm.pbf<\/a> \u041a\u0430\u043a \u0438\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0432 parquet \u0444\u0430\u0439\u043b\u044b \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443, \u043c\u043e\u0433\u0443 \u043b\u0438\u0448\u044c \u043f\u043e\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c OpenStreetMap Parquetizer<\/a> \u043a\u0430\u043a \u043e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432. <\/p>\n

\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 — \u0432 PostGIS \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0435\u043c \u0447\u0442\u043e \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 1005638 \u0437\u0434\u0430\u043d\u0438\u0439 \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u043a \u0448\u043a\u043e\u043b\u0430<\/a>. <\/p>\n

<\/figcaption><\/figure>\n

\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043b\u0430\u043d\u0435\u0442\u044b \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0438\u0437 PostGIS \u0432 \u0441\u0445\u0435\u043c\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u0441 pgsnapshot<\/a>, \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435\u043c h3-pg<\/a> . \u0411\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 588 GB \u0438 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u0432 \u0434\u043e\u043a\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 \u043d\u0430 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0441 16\u0413\u0431 \u041e\u0417\u0423 \u0438 M.2 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u043c Samsung 970 EVO Plus:<\/p>\n

<\/figcaption><\/figure>\n

\u0414\u043b\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441 \u041a\u0414\u041f\u0412 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u0434\u043b\u044f \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043f\u043e\u043b\u0438\u0433\u043e\u043d\u0430\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u0432 gist<\/a>:<\/p>\n

create table school      as select h3_3, count(*) as \"count\" from ways          where closed and tags->'building' = 'school'           or (tags->'building' is not null and tags->'amenity'='school')         group by h3_3 order by 2 desc<\/code><\/pre>\n
\u0420\u0430\u0437\u0431\u0438\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u044b \u0434\u043b\u044f \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 H3 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 3<\/a>. \u0418 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 QGIS \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u044b \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u043e\u043b\u044c\u0448\u0435 100 \u0437\u0434\u0430\u043d\u0438\u0439 \u0448\u043a\u043e\u043b \u043d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d. \u041f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u0430\u044f \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u0440\u0435\u0433\u0438\u043e\u043d\u0430 12393\u043a\u043c2<\/p>\n
select     h3_to_geo_boundary_geometry(h3_3::h3index),     count    from school        where count>100<\/code><\/pre>\n
<\/figcaption><\/figure>\n
<\/figcaption><\/figure>\n
\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0448\u043a\u043e\u043b\u043e\u043b\u0430\u043c \u0432 OpenStreetMap — \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u041e\u0431\u044b\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b \u0432 \u0433\u043e\u0440\u043e\u0434\u0430\u0445-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u0438\u043a\u0430\u0445. OpenStreetMap \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430\u0445 \u0447\u0442\u043e \u0438 \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043a \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443. <\/p>\n
\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0448\u043a\u043e\u043b \u0432\u043e \u0432\u0441\u0435\u043c \u043c\u0438\u0440\u0435 \u043d\u0430 Apache Arrow. \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 maven<\/p>\n
<?xml version=\"1.0\" encoding=\"UTF-8\"?> <project xmlns=\"http:\/\/maven.apache.org\/POM\/4.0.0\"          xmlns:xsi=\"http:\/\/www.w3.org\/2001\/XMLSchema-instance\"          xsi:schemaLocation=\"http:\/\/maven.apache.org\/POM\/4.0.0 http:\/\/maven.apache.org\/xsd\/maven-4.0.0.xsd\">     <modelVersion>4.0.0<\/modelVersion>      <groupId>com.github.igor-suhorukov<\/groupId>     <artifactId>osm_parquet_dataset_example<\/artifactId>     <version>1.0-SNAPSHOT<\/version>      <properties>         <maven.compiler.source>8<\/maven.compiler.source>         <maven.compiler.target>8<\/maven.compiler.target>         <arrow.version>9.0.0<\/arrow.version>     <\/properties>     <dependencies>         <dependency>             <groupId>org.apache.arrow<\/groupId>             <artifactId>arrow-dataset<\/artifactId>             <version>${arrow.version}<\/version>         <\/dependency>         <dependency>             <groupId>org.apache.arrow<\/groupId>             <artifactId>arrow-memory-unsafe<\/artifactId>             <version>${arrow.version}<\/version>         <\/dependency>     <\/dependencies>  <\/project><\/code><\/pre>\n
\u0418 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0448\u043a\u043e\u043b\u044b \u043f\u043e \u043c\u0438\u0440\u0443:<\/p>\n
package com.github.igorsuhorukov.arrow.osm.example;  import org.apache.arrow.dataset.file.FileFormat; import org.apache.arrow.dataset.file.FileSystemDatasetFactory; import org.apache.arrow.dataset.jni.NativeMemoryPool; import org.apache.arrow.dataset.scanner.ScanOptions; import org.apache.arrow.dataset.scanner.Scanner; import org.apache.arrow.dataset.source.Dataset; import org.apache.arrow.memory.BufferAllocator; import org.apache.arrow.memory.RootAllocator; import org.apache.arrow.util.AutoCloseables; import org.apache.arrow.vector.BitVector; import org.apache.arrow.vector.VectorSchemaRoot; import org.apache.arrow.vector.complex.MapVector; import org.apache.arrow.vector.complex.impl.UnionMapReader; import org.apache.arrow.vector.ipc.ArrowReader; import org.apache.arrow.vector.util.Text;  import java.io.File; import java.util.concurrent.atomic.AtomicLong; import java.util.stream.StreamSupport;  public class CalculateSchoolCount {      public static final int BATCH_SIZE = 100000;     public static final Text BUILDING_KEY = new Text(\"building\");     public static final Text SCHOOL_VALUE = new Text(\"school\");     public static final Text AMENITY_KEY = new Text(\"amenity\");      public static void main(String[] args) throws Exception{         if(args.length!=1){             throw new IllegalArgumentException(\"Specify source dataset path for parquet files\");         }         File datasetPath = new File(args[0]);         if(!datasetPath.exists()){             throw new IllegalArgumentException();         }          long startTime = System.currentTimeMillis();         try (BufferAllocator allocator = new RootAllocator()) {             FileSystemDatasetFactory factory = new FileSystemDatasetFactory(allocator,                     NativeMemoryPool.getDefault(), FileFormat.PARQUET, datasetPath.toURI().toURL().toExternalForm());             final Dataset dataset = factory.finish();             ScanOptions options = new ScanOptions(BATCH_SIZE);             final Scanner scanner = dataset.newScan(options);             try {                 AtomicLong totalSchoolCnt = new AtomicLong();                 StreamSupport.stream(scanner.scan().spliterator(), true).forEach(scanTask -> {                     long schoolCnt=0;                     try (ArrowReader reader = scanTask.execute()) {                         while (reader.loadNextBatch()) {                             VectorSchemaRoot root = reader.getVectorSchemaRoot();                             BitVector closed = (BitVector) root.getVector(\"closed\");                             MapVector tags = (MapVector) root.getVector(\"tags\");                             UnionMapReader tagsReader = tags.getReader();                             for(int row=0, size = root.getRowCount(); row < size; row++){                                 if(closed.get(row) != 0){                                     tagsReader.setPosition(row);                                     boolean building=false;                                     boolean buildingSchool=false;                                     boolean amenitySchool=false;                                     while (tagsReader.next()){                                         Text key = (Text) tagsReader.key().readObject();                                         Text value = (Text) tagsReader.value().readObject();                                         if(key!=null && key.equals(BUILDING_KEY)){                                             if(value!=null && value.equals(SCHOOL_VALUE)){                                                 buildingSchool = true;                                                 break;                                             }                                             building=true;                                             if(amenitySchool){                                                 break;                                             }                                         }                                         if(key!=null && value!=null && key.equals(AMENITY_KEY) && value.equals(SCHOOL_VALUE)){                                             amenitySchool = true;                                             if(building){                                                 break;                                             }                                         }                                     }                                     if(buildingSchool || (building && amenitySchool)){                                         schoolCnt++;                                     }                                 }                             }                             tags.close();                             closed.close();                             root.close();                         }                         totalSchoolCnt.addAndGet(schoolCnt);                     } catch (Exception e) {                         throw new RuntimeException(e);                     } finally {                         AutoCloseables.closeNoChecked(scanTask);                     }                 });                 long executionTime = System.currentTimeMillis() - startTime;                 System.out.println(totalSchoolCnt.get()+\" (\"+executionTime+\" ms)\");              } finally {                 AutoCloseables.close(scanner, dataset);             }         }     } } <\/code><\/pre>\n
\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b<\/a>: 1005636 (806575 ms)<\/p>\n
<\/figcaption><\/figure>\n
\u0418\u0442\u0430\u043a, \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e \u043b\u0438\u0448\u043d\u0438\u043c \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u044f\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u0444\u0438\u0447\u0430\u043c \u0432 java Dataset API: \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0447\u0442\u0435\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043a\u043e\u043b\u043e\u043d\u043e\u043a, filters push-down. \u041d\u043e \u0438 \u0438\u0434\u0435\u044f \u0431\u044b\u043b\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c 188,2\u0413\u0431 \u0441\u0436\u0430\u0442\u044b\u0445 zstd Parquet \u0444\u0430\u0439\u043b\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0432 java \u0431\u0435\u0437 Hadoop\/Spark!<\/p>\n
<\/figcaption><\/figure>\n
Dataset API \u0432 Java \u0435\u0449\u0435 \u0434\u0430\u043b\u0435\u043a \u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 Python, \u0442\u0430\u043a \u0447\u0442\u043e \u0434\u043b\u044f \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u043c\u043e\u0447\u044c \u043f\u0440\u043e\u0435\u043a\u0442\u0443 \u0441 10\u041a \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0430\u043c\u0438 \u043d\u0430 Github<\/a> \u0442\u0443\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439! \u0418\u0437 \u043f\u043e\u043a\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0444\u0438\u0447 — \u0440\u0430\u0431\u043e\u0442\u0430 \u0441\u043e \u0441\u0445\u0435\u043c\u0430\u043c\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 Hive\/directory\/file name style. \u0415\u0449\u0435 \u0436\u0434\u0435\u0442 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u043c\u043e\u0439 PR<\/a> \u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 Apache ORC \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432 java Dataset API. <\/p>\n
Apache Arrow \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u044b\u0442\u044c \u043e\u0431\u0449\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u041e\u0417\u0423 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0435\u043a\u0442 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f JIT \u0434\u0432\u0438\u0436\u043e\u043a \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439 Gandiva \u0438 Dataset API \u043a\u0430\u043a \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0447\u0438\u0442\u0430\u0442\u044c \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0445\u0435\u043c \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 Parquet,ORC,Arrow IPC, csv \u0438\u0437 \u0444\u0430\u0439\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0438\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043f\u043e S3 API. \u041e\u0431\u0449\u0438\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0435\u0437 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c memory mapped \u0444\u0430\u0439\u043b\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 Arrow IPC \u0444\u0430\u0439\u043b\u0430\u043c\u0438 \u0438 RDMA \u0434\u043b\u044f \u043e\u0431\u043c\u0435\u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u044c. \u0412\u0441\u0435 \u044d\u0442\u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u0441\u043d\u043e\u0432\u0443 \u0421\u0423\u0411\u0414 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u0439 \u0438 \u043a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 Spark \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Intel OAP<\/a>(\u0432\u0432\u0435\u043b\u0438 dataset API data source \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u043b\u044f Spark SQL). Apache Arrow \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f GPGPU Rapids<\/a> \u043e\u0442 NVidia.<\/p>\n
\u0414\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 Arrow Dataset API \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043c\u043e\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e arrow_to_database<\/a> \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430 Apache Parquet \u0438 Arrow IPC \u0444\u0430\u0439\u043b\u043e\u0432 \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 JDBC \u043d\u0443 \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e Apache Arrow<\/a>.<\/p>\n
\u0415\u0441\u043b\u0438 \u0442\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 Apache Arrow \u0438\u043b\u0438 \u0433\u0435\u043e\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430, \u043f\u0438\u0448\u0438\u0442\u0435 \u043f\u0440\u043e \u0447\u0442\u043e \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u0447\u0442\u043e\u0431\u044b \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u0414\u043e\u0431\u0440\u043e \u043f\u043e\u0436\u0430\u043b\u043e\u0432\u0430\u0442\u044c \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u043a \u043f\u043e\u0441\u0442\u0443!<\/p>\n
\u0415\u0441\u043b\u0438 \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0435\u0449\u0435 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c\u0441\u044f\/\u0430\u043a\u0442\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u043d\u0430\u043d\u0438\u044f, \u043a\u0430\u043a \u043f\u0440\u0438\u0437\u044b\u0432\u0430\u044e\u0442 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0434\u043d\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u0442\u043e IMHO \u0432\u0441\u0435 \u0441\u043a\u0430\u0442\u0438\u0442\u0441\u044f \u0442\u0443\u0434\u0430 \u0436\u0435 \u043a\u0430\u043a \u0438 \u0443 \u041f\u043d\u0435\u0432\u043c\u043e\u0441\u043b\u043e\u043d\u0430 \u0432 \u043f\u0435\u0441\u043d\u0435 «\u041c\u043d\u043e\u0433\u043e\u0435 \u043c\u043e\u0436\u043d\u043e…»<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n<\/div>\n
  
 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/post\/686860\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
<\/div>\n
\n
\n
\n
\n
JVM \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0434\u043b\u044f Big Data \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a Hadoop, Spark, Presto, NiFi \u043d\u043e \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u043b\u0438\u044f\u044e\u0442 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\/\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 «\u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0447\u0438\u0445» \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u043e\u0439 \u043c\u0443\u0441\u043e\u0440\u0430 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 SIMD \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.<\/p>\n
\u0410 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u043d\u0430 JVM \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u043e\u0442\u043d\u0438 \u0433\u0438\u0433\u0430\u0431\u0430\u0439\u0442 Parquet \u0444\u0430\u0439\u043b\u043e\u0432 \u0431\u0435\u0437 Spark\/Hadoop? \u0412 \u044d\u0442\u043e\u043c \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Apache Arrow — \u043f\u0440\u043e\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439<\/a> \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0411\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0414\u0430\u043d\u043d\u044b\u043c\u0438. \u041d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u0441 \u0442\u044b\u0441\u044f\u0447\u0430\u043c\u0438 \u044f\u0434\u0435\u0440 \u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430! \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 «\u0437\u043e\u043b\u043e\u0442\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430» \u0434\u043b\u044f open source: PostgreSQL 14 + PostGIS 3.2.0, \u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c \u043d\u0430 OpenJDK 11 + Apache Arrow 9.0.0.<\/p>\n
\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0437\u043c\u0435\u0440\u0438\u043c \u0441 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e «\u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u043f\u043e \u0431\u043e\u043b\u044c\u043d\u0438\u0446\u0435» — \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0447\u0438\u0441\u043b\u043e \u0448\u043a\u043e\u043b\u044c\u043d\u044b\u0445 \u0437\u0434\u0430\u043d\u0438\u0439 \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0432 \u043f\u0440\u043e\u0435\u043a\u0442\u0435 OpenStreetMap. \u0418 \u043a\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e \u0438 \u0432 \u0448\u043a\u043e\u043b\u0435 \u0434\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0448\u043d\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439, \u0442\u043e \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435 \u043a\u0443\u0434\u0430 \u0443\u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f \u043b\u044e\u0434\u0438 \u043e\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u043e\u0442 «\u043e\u043a\u043e\u0432 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f» \u0438 \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u043c\u043e\u0433\u0443\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u043e \u0432\u0437\u0440\u043e\u0441\u043b\u043e\u0439 \u0436\u0438\u0437\u043d\u0438? \u0411\u044b\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430? <\/p>\n
\u0418\u0442\u0430\u043a, \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 — OpenStreetMap planet-220704.osm.pbf<\/a> \u041a\u0430\u043a \u0438\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0432 parquet \u0444\u0430\u0439\u043b\u044b \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443, \u043c\u043e\u0433\u0443 \u043b\u0438\u0448\u044c \u043f\u043e\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c OpenStreetMap Parquetizer<\/a> \u043a\u0430\u043a \u043e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432.  <\/p>\n
\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 — \u0432 PostGIS \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0435\u043c \u0447\u0442\u043e  \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 1005638 \u0437\u0434\u0430\u043d\u0438\u0439 \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u043a \u0448\u043a\u043e\u043b\u0430<\/a>. <\/p>\n
<\/figcaption><\/figure>\n
\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043b\u0430\u043d\u0435\u0442\u044b \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0438\u0437 PostGIS \u0432 \u0441\u0445\u0435\u043c\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u0441 pgsnapshot<\/a>, \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435\u043c h3-pg<\/a> . \u0411\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 588 GB \u0438 \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u0430 \u0432 \u0434\u043e\u043a\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 \u043d\u0430 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0441 16\u0413\u0431 \u041e\u0417\u0423 \u0438 M.2 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u043c Samsung 970 EVO Plus:<\/p>\n
<\/figcaption><\/figure>\n
\u0414\u043b\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441 \u041a\u0414\u041f\u0412 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u0434\u043b\u044f \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043f\u043e\u043b\u0438\u0433\u043e\u043d\u0430\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446 \u0432 gist<\/a>:<\/p>\n
create table school      as select h3_3, count(*) as \"count\" from ways          where closed and tags->'building' = 'school'           or (tags->'building' is not null and tags->'amenity'='school')         group by h3_3 order by 2 desc<\/code><\/pre>\n
\u0420\u0430\u0437\u0431\u0438\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u044b \u0434\u043b\u044f \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 H3 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0440\u0430\u0437\u0431\u0438\u0432\u043a\u0438 3<\/a>. \u0418 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 QGIS \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u044b \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u043e\u043b\u044c\u0448\u0435 100 \u0437\u0434\u0430\u043d\u0438\u0439 \u0448\u043a\u043e\u043b \u043d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d. \u041f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u0430\u044f \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u0440\u0435\u0433\u0438\u043e\u043d\u0430 12393\u043a\u043c2<\/p>\n
select     h3_to_geo_boundary_geometry(h3_3::h3index),     count    from school        where count>100<\/code><\/pre>\n
<\/figcaption><\/figure>\n
<\/figcaption><\/figure>\n
\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0448\u043a\u043e\u043b\u043e\u043b\u0430\u043c \u0432 OpenStreetMap — \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u041e\u0431\u044b\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b \u0432 \u0433\u043e\u0440\u043e\u0434\u0430\u0445-\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u0438\u043a\u0430\u0445. OpenStreetMap \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430\u0445 \u0447\u0442\u043e \u0438 \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043a \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443. <\/p>\n
\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0448\u043a\u043e\u043b \u0432\u043e \u0432\u0441\u0435\u043c \u043c\u0438\u0440\u0435 \u043d\u0430 Apache Arrow. \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 maven<\/p>\n
<?xml version=\"1.0\" encoding=\"UTF-8\"?> <project xmlns=\"http:\/\/maven.apache.org\/POM\/4.0.0\"          xmlns:xsi=\"http:\/\/www.w3.org\/2001\/XMLSchema-instance\"          xsi:schemaLocation=\"http:\/\/maven.apache.org\/POM\/4.0.0 http:\/\/maven.apache.org\/xsd\/maven-4.0.0.xsd\">     <modelVersion>4.0.0<\/modelVersion>      <groupId>com.github.igor-suhorukov<\/groupId>     <artifactId>osm_parquet_dataset_example<\/artifactId>     <version>1.0-SNAPSHOT<\/version>      <properties>         <maven.compiler.source>8<\/maven.compiler.source>         <maven.compiler.target>8<\/maven.compiler.target>         <arrow.version>9.0.0<\/arrow.version>     <\/properties>     <dependencies>         <dependency>             <groupId>org.apache.arrow<\/groupId>             <artifactId>arrow-dataset<\/artifactId>             <version>${arrow.version}<\/version>         <\/dependency>         <dependency>             <groupId>org.apache.arrow<\/groupId>             <artifactId>arrow-memory-unsafe<\/artifactId>             <version>${arrow.version}<\/version>         <\/dependency>     <\/dependencies>  <\/project><\/code><\/pre>\n
\u0418 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0448\u043a\u043e\u043b\u044b \u043f\u043e \u043c\u0438\u0440\u0443:<\/p>\n
package com.github.igorsuhorukov.arrow.osm.example;  import org.apache.arrow.dataset.file.FileFormat; import org.apache.arrow.dataset.file.FileSystemDatasetFactory; import org.apache.arrow.dataset.jni.NativeMemoryPool; import org.apache.arrow.dataset.scanner.ScanOptions; import org.apache.arrow.dataset.scanner.Scanner; import org.apache.arrow.dataset.source.Dataset; import org.apache.arrow.memory.BufferAllocator; import org.apache.arrow.memory.RootAllocator; import org.apache.arrow.util.AutoCloseables; import org.apache.arrow.vector.BitVector; import org.apache.arrow.vector.VectorSchemaRoot; import org.apache.arrow.vector.complex.MapVector; import org.apache.arrow.vector.complex.impl.UnionMapReader; import org.apache.arrow.vector.ipc.ArrowReader; import org.apache.arrow.vector.util.Text;  import java.io.File; import java.util.concurrent.atomic.AtomicLong; import java.util.stream.StreamSupport;  public class CalculateSchoolCount {      public static final int BATCH_SIZE = 100000;     public static final Text BUILDING_KEY = new Text(\"building\");     public static final Text SCHOOL_VALUE = new Text(\"school\");     public static final Text AMENITY_KEY = new Text(\"amenity\");      public static void main(String[] args) throws Exception{         if(args.length!=1){             throw new IllegalArgumentException(\"Specify source dataset path for parquet files\");         }         File datasetPath = new File(args[0]);         if(!datasetPath.exists()){             throw new IllegalArgumentException();         }          long startTime = System.currentTimeMillis();         try (BufferAllocator allocator = new RootAllocator()) {             FileSystemDatasetFactory factory = new FileSystemDatasetFactory(allocator,                     NativeMemoryPool.getDefault(), FileFormat.PARQUET, datasetPath.toURI().toURL().toExternalForm());             final Dataset dataset = factory.finish();             ScanOptions options = new ScanOptions(BATCH_SIZE);             final Scanner scanner = dataset.newScan(options);             try {                 AtomicLong totalSchoolCnt = new AtomicLong();                 StreamSupport.stream(scanner.scan().spliterator(), true).forEach(scanTask -> {                     long schoolCnt=0;                     try (ArrowReader reader = scanTask.execute()) {                         while (reader.loadNextBatch()) {                             VectorSchemaRoot root = reader.getVectorSchemaRoot();                             BitVector closed = (BitVector) root.getVector(\"closed\");                             MapVector tags = (MapVector) root.getVector(\"tags\");                             UnionMapReader tagsReader = tags.getReader();                             for(int row=0, size = root.getRowCount(); row < size; row++){                                 if(closed.get(row) != 0){                                     tagsReader.setPosition(row);                                     boolean building=false;                                     boolean buildingSchool=false;                                     boolean amenitySchool=false;                                     while (tagsReader.next()){                                         Text key = (Text) tagsReader.key().readObject();                                         Text value = (Text) tagsReader.value().readObject();                                         if(key!=null && key.equals(BUILDING_KEY)){                                             if(value!=null && value.equals(SCHOOL_VALUE)){                                                 buildingSchool = true;                                                 break;                                             }                                             building=true;                                             if(amenitySchool){                                                 break;                                             }                                         }                                         if(key!=null && value!=null && key.equals(AMENITY_KEY) && value.equals(SCHOOL_VALUE)){                                             amenitySchool = true;                                             if(building){                                                 break;                                             }                                         }                                     }                                     if(buildingSchool || (building && amenitySchool)){                                         schoolCnt++;                                     }                                 }                             }                             tags.close();                             closed.close();                             root.close();                         }                         totalSchoolCnt.addAndGet(schoolCnt);                     } catch (Exception e) {                         throw new RuntimeException(e);                     } finally {                         AutoCloseables.closeNoChecked(scanTask);                     }                 });                 long executionTime = System.currentTimeMillis() - startTime;                 System.out.println(totalSchoolCnt.get()+\" (\"+executionTime+\" ms)\");              } finally {                 AutoCloseables.close(scanner, dataset);             }         }     } } <\/code><\/pre>\n
\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b<\/a>: 1005636 (806575 ms)<\/p>\n
<\/figcaption><\/figure>\n
\u0418\u0442\u0430\u043a, \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e \u043b\u0438\u0448\u043d\u0438\u043c \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u044f\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c \u0444\u0438\u0447\u0430\u043c \u0432 java Dataset API: \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0447\u0442\u0435\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043a\u043e\u043b\u043e\u043d\u043e\u043a, filters push-down. \u041d\u043e \u0438 \u0438\u0434\u0435\u044f \u0431\u044b\u043b\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0447\u0442\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c 188,2\u0413\u0431 \u0441\u0436\u0430\u0442\u044b\u0445 zstd Parquet \u0444\u0430\u0439\u043b\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0432 java \u0431\u0435\u0437 Hadoop\/Spark!<\/p>\n
<\/figcaption><\/figure>\n
Dataset API \u0432 Java \u0435\u0449\u0435 \u0434\u0430\u043b\u0435\u043a \u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 Python, \u0442\u0430\u043a \u0447\u0442\u043e \u0434\u043b\u044f \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u043c\u043e\u0447\u044c \u043f\u0440\u043e\u0435\u043a\u0442\u0443 \u0441 10\u041a \u0437\u0432\u0435\u0437\u0434\u043e\u0447\u043a\u0430\u043c\u0438 \u043d\u0430 Github<\/a> \u0442\u0443\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439! \u0418\u0437 \u043f\u043e\u043a\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0444\u0438\u0447 — \u0440\u0430\u0431\u043e\u0442\u0430 \u0441\u043e \u0441\u0445\u0435\u043c\u0430\u043c\u0438 \u043f\u0430\u0440\u0442\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 Hive\/directory\/file name style. \u0415\u0449\u0435 \u0436\u0434\u0435\u0442 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u043c\u043e\u0439 PR<\/a> \u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 Apache ORC \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432 java Dataset API. <\/p>\n
Apache Arrow \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u044b\u0442\u044c \u043e\u0431\u0449\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u041e\u0417\u0423 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u043c\u0438<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-338070","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/338070","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=338070"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/338070\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=338070"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=338070"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=338070"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}