{"id":436004,"date":"2024-10-19T15:01:00","date_gmt":"2024-10-19T15:01:00","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=436004"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=436004","title":{"rendered":"\u0421\u043e\u0437\u0434\u0430\u0451\u043c \u0441\u0432\u043e\u0439 \u0440\u0435\u0435\u0441\u0442\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0424\u0413\u0418\u0421 \u00ab\u0410\u0440\u0448\u0438\u043d\u00bb. \u0427\u0430\u0441\u0442\u044c 1 \u2014 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 PostgreSQL \u0438 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440 \u0411\u0414<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442. \u042d\u0442\u043e\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0446\u0438\u043a\u043b \u0441\u0442\u0430\u0442\u0435\u0439 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d \u043d\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0445. \u042f \u0440\u0435\u0448\u0438\u043b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0440\u0435\u0435\u0441\u0442\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e. \u0414\u0430\u043d\u043d\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f \u0432 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 PostgreSQL, \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u043d\u0438\u043c \u0431\u0443\u0434\u0435\u0442 \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0447\u0435\u0440\u0435\u0437 Fast\u00a0API. \u0412 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0437\u0430\u0439\u043c\u0451\u043c\u0441\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0431\u0430\u0437\u0443 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435\u043c \u0435\u0451 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432.<\/p>\n

\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n

\u041d\u0430\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043e\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u0445 \u043f\u043e\u0432\u0435\u0440\u043a\u0438 \u0441\u0440\u0435\u0434\u0441\u0442\u0432 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438\u0437\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0441\u0430\u0439\u0442\u0430 \u00ab\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0432\u0435\u0440\u043e\u043a \u0421\u0418<\/a>\u00bb \u0424\u0413\u0418\u0421 \u0410\u0420\u0428\u0418\u041d. \u0412\u043a\u0440\u0430\u0442\u0446\u0435\u00a0\u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0431\u043e\u0440 \u0438\u0437\u00a0\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e. \u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0435\u0439 \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0431\u043e\u0440\u0430 \u043d\u0430\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u043c \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c, \u043e\u043d \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u00a0\u043c\u0435\u0442\u0440\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u0440\u0433\u0430\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0442\u0435\u043c \u0447\u0435\u0440\u0435\u0437 \u00ab\u0410\u0420\u0428\u0418\u041d\u00bb \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u0431\u00a0\u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0432\u0435\u0440\u043a\u0438 (\u043f\u0440\u043e\u0439\u0434\u0435\u043d\u0430 \u0438\u043b\u0438 \u043d\u0435\u0442).<\/p>\n

\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u0440\u0435\u0435\u0441\u0442\u0440\u0435:<\/p>\n

\"\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/p>\n
\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0432\u0435\u0440\u043e\u043a \u0421\u0418<\/figcaption><\/div>\n<\/figure>\n

\u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0438 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0411\u0414<\/h2>\n

\u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u044f \u0441\u043e\u0437\u0434\u0430\u043b \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 «Habrdb»\u00a0\u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 «Info»:<\/p>\n

CREATE TABLE IF NOT EXISTS \"Info\" ( \u00a0\u00a0\u00a0\u00a0id bigint NOT NULL GENERATED ALWAYS AS IDENTITY\u00a0PRIMARY KEY, \u00a0\u00a0\u00a0\u00a0\"org_title\" TEXT, \u00a0\u00a0\u00a0\u00a0\"mit_number\" TEXT, \u00a0\u00a0\u00a0\u00a0\"mit_title\" TEXT, \u00a0\u00a0\u00a0\u00a0\"mi_number\" TEXT, \u00a0\u00a0\u00a0\u00a0\"mit_notation\" TEXT, \u00a0\u00a0\u00a0\u00a0\"mi_modification\" TEXT, \u00a0\u00a0\u00a0\u00a0\"verification_date\" date, \u00a0\u00a0\u00a0\u00a0\"valid_date\" date, \u00a0\u00a0\u00a0\u00a0\"result_docnum\" TEXT, \u00a0\u00a0\u00a0\u00a0\"applicability\" boolean, \u00a0\u00a0\u00a0\u00a0\"vri_id\" bigint );<\/code><\/pre>\n
\u0410\u0420\u0428\u0418\u041d \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 API\u00a0\u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a \u0434\u0430\u043d\u043d\u044b\u043c, \u0442\u0430\u043a\u0436\u0435 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 zip\u00a0\u0430\u0440\u0445\u0438\u0432\u0430\u0445 \u043f\u043e \u044d\u0442\u043e\u043c\u0443<\/a>\u00a0\u043f\u0443\u0442\u0438.\u00a0\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0444\u0430\u0439\u043b poverki.snapshot\u2026zip, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 csv \u0444\u0430\u0439\u043b\u044b \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043e \u043f\u043e\u0432\u0435\u0440\u043a\u0435 \u0437\u0430 \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0424\u0413\u0418\u0421. \u042d\u0442\u043e\u0442 \u0430\u0440\u0445\u0438\u0432 \u0438\u043c\u0435\u0435\u0442 \u0442\u0430\u043a\u0443\u044e \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u044c:<\/p>\n
\"\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430<\/p>\n
\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0430\u0440\u0445\u0438\u0432\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n
\u0412 \u0441\u043a\u0430\u0447\u0430\u043d\u043d\u043e\u043c \u0430\u0440\u0445\u0438\u0432\u0435 \u0435\u0441\u0442\u044c 3 \u043f\u0430\u043f\u043a\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043b\u0435\u0436\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 30 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0430\u0440\u0445\u0438\u0432\u043e\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0434\u0438\u043d csv \u0444\u0430\u0439\u043b \u0441 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e \u043f\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u0437\u0430 \u043e\u0434\u0438\u043d \u0434\u0435\u043d\u044c. \u0415\u0449\u0451 \u0432 \u043d\u0451\u043c \u043b\u0435\u0436\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0430\u0440\u0445\u0438\u0432 poverki.snapshot, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 3 \u043f\u0430\u043f\u043a\u0438, 30 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0430\u0440\u0445\u0438\u0432\u043e\u0432 \u0437\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u0441\u044f\u0446 \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0430\u0440\u0445\u0438\u0432 poverki.snapshot, \u0434\u0430\u043b\u0435\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e. \u041a\u0430\u0436\u0434\u044b\u0439\u00a0csv \u0444\u0430\u0439\u043b \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u0438\u0434\u0430:<\/p>\n
\"\u041e\u0442\u0440\u044b\u0432\u043e\u043a<\/p>\n
\u041e\u0442\u0440\u044b\u0432\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 csv \u0444\u0430\u0439\u043b\u0430<\/figcaption><\/div>\n<\/figure>\n
\u0421\u0440\u0430\u0437\u0443 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0435\u0437 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445 \u043d\u0430\u043c \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u043f\u043e\u0434 \u043d\u043e\u043c\u0435\u0440\u043e\u043c 1, 12, 13 \u0438 15 (\u044d\u0442\u0443 \u043a\u043e\u043b\u043e\u043d\u043a\u0443 \u043d\u0430 \u0441\u043a\u0440\u0438\u043d\u0435 \u043d\u0435 \u0432\u0438\u0434\u043d\u043e, \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u043d\u0430 \u043f\u0443\u0441\u0442\u0430\u044f \u0438\u043b\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043d\u0435\u043d\u0443\u0436\u043d\u0443\u044e \u043d\u0430\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e). \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u043f\u0440\u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u043a\u0443 \u0437\u0430\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0432\u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0438 \u0432 \u0431\u0430\u0437\u0435 \u0442\u0430\u043a\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0443\u0434\u0430\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u043b\u0438 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f.<\/p>\n
\u041a \u0442\u043e\u043c\u0443 \u0436\u0435 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0444\u0430\u0439\u043b\u0430\u0445 \u043d\u0430\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043b\u043e\u043d\u043e\u043a \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u043c\u0443, \u0442\u0430\u043a\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c. \u041f\u0440\u0438\u0432\u0435\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a\u00a0(\u0438\u043c\u0435\u043d\u0430 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u043c \u043f\u0440\u0438\u0441\u0432\u043e\u0435\u043d\u044b \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430, 1 \u0438 0 \u0443\u0436\u0435 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u043d\u0430 \u0431\u0443\u043b\u0435\u0432\u044b\u0435 True \u0438 False).<\/p>\n
\"\u041f\u0440\u0438\u043c\u0435\u0440<\/p>\n
\u041f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n
\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u044b:<\/strong><\/p>\n
    \n
  1. \n
    \u0412 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445\u00a0\u0438\u0437 \u0444\u0430\u0439\u043b\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043b\u043e\u043d\u043a\u0435 ‘result_docnum’ \u044d\u0442\u043e \u0442\u0438\u0440\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u00a0\u0438\u0437 \u0431\u0443\u043a\u0432 \u0438 \u0446\u0438\u0444\u0440.<\/p>\n<\/li>\n
  2. \n
    \u0417\u0434\u0435\u0441\u044c \u043d\u0435 \u0437\u0430\u0434\u0430\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f ‘verification_date’, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c ‘appliciability’\u00a0= True. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0430\u0442\u044b \u043f\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0435\u0442, \u043d\u043e \u0437\u0430\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u043e\u043d\u043e \u043f\u0440\u043e\u0448\u043b\u043e \u043f\u043e\u0432\u0435\u0440\u043a\u0443. \u0422\u0430\u043a\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0442\u043e\u0436\u0435 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0443\u0434\u0430\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0437 \u0410\u0440\u0448\u0438\u043d. \u041a\u043e \u0432\u0441\u0435\u043c\u0443 \u043f\u0440\u043e\u0447\u0435\u043c\u0443 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u043b\u0435 date\u00a0\u0432 postgresql\u00a0\u0438\u043c\u0435\u0435\u0442 \u0435\u0434\u0438\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 «YYYY-MM-DD», \u0430 \u0432 \u0444\u0430\u0439\u043b\u0430\u0445 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043f\u0430\u0434\u0430\u0442\u044c\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c.<\/p>\n<\/li>\n<\/ol>\n
    \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0434 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0432 \u0411\u0414, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 pandas \u0438 sqlalchemy.\u00a0\u0422\u0430\u043a \u043a\u0430\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430 2023 \u0438 2024 \u0433\u043e\u0434.<\/p>\n
    \n\u041a\u043e\u0434 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0411\u0414<\/summary>\n
    \n
    import pandas as pd import re, os, zipfile from sqlalchemy import BigInteger, TEXT, Boolean, Date, create_engine, create_engine from sqlalchemy.orm import sessionmaker  # \u0421\u043e\u0437\u0434\u0430\u0451\u043c \u0441\u0435\u0441\u0441\u0438\u044e \u043a \u0411\u0414 engine = create_engine('postgresql:\/\/\u0418\u041c\u042f:\u041f\u0410\u0420\u041e\u041b\u042c@localhost:5432\/Habrdb') Session = sessionmaker(bind=engine) session = Session()   class DataLoader:      def __unzip_file(self, zip_filename, extract_to):         '''\u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u0442 \u0438 \u0443\u0434\u0430\u043b\u044f\u0435\u0442 zip \u0430\u0440\u0445\u0438\u0432'''         with zipfile.ZipFile(zip_filename, 'r') as zip_ref:             zip_ref.extractall(extract_to)             # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u0440\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0432         os.remove(zip_filename)       def __add_file_to_db(self, path):         '''\u0427\u0438\u0442\u0430\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0444\u0430\u0439\u043b\u0430, \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0432 \u0411\u0414'''          def convert_to_date_with_limitation(xVal):             '''\u041f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0434\u0430\u0442\u0443 \u043a \u0444\u043e\u0440\u043c\u0430\u0442\u0443 YYYY-MM-DD \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0433\u043e\u0434\u0430 < 2023'''             xVals = str(xVal).split(' ')             for x in xVals:                 if len(x) == 10:                     x = re.sub(r\"[.,:;]\", \"-\", x)                     year, month, day = x.split(\"-\")                     if int(year) == 2023 or int(year) == 2024:                         return f\"{year}-{month}-{day}\"                 else:                     return pd.NaT  # \u0415\u0441\u043b\u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u043d\u0435 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043d, \u0432\u0435\u0440\u043d\u0443\u0442\u044c NaT (Not a Time)                          def convert_to_date(xVal):             '''\u041f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0434\u0430\u0442\u0443 \u043a \u0444\u043e\u0440\u043c\u0430\u0442\u0443 YYYY-MM-DD'''             xVals = str(xVal).split(' ')             for x in xVals:                 if len(x) == 10:                     x = re.sub(r\"[.,:;]\", \"-\", x)                     year, month, day = x.split(\"-\")                     return f\"{year}-{month}-{day}\"                 else:                     return pd.NaT          names = ['Number', 'org_title', 'mit_number', 'mit_title', 'mit_notation', 'mi_modification',                         'mi_number', 'verification_date', 'valid_date', 'result_docnum', 'appliciability',                         'Date1', 'Date2', 'Pusto', 'vri_id', 'rabbish']            # \u0427\u0438\u0442\u0430\u0435\u043c \u0444\u0430\u0439\u043b \u0447\u0430\u0441\u0442\u044f\u043c\u0438 \u043f\u043e 100000 \u0441\u0442\u0440\u043e\u043a         df = pd.read_csv(path, chunksize = 100000, on_bad_lines='skip', delimiter=';',quotechar='\"', header=None, names=names)          # \u041f\u0440\u043e\u0431\u0435\u0433\u0430\u0435\u043c\u0441\u044f \u043f\u043e \u0447\u0430\u0441\u0442\u044f\u043c         for chunk in df:                # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u043d\u0435\u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b 1, 12, 13, 15             chunk = chunk.drop(columns=['Number', 'Date1', 'Date2', 'Pusto', 'rabbish'])              # \u0412\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u0435\u043c \u0434\u0430\u0442\u044b             chunk['verification_date'] = chunk['verification_date'].map(convert_to_date_with_limitation)             chunk['valid_date'] = chunk['valid_date'].map(convert_to_date)                          # \u0411\u0443\u0434\u0435\u043c \u0431\u0440\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0438 \u043a\u043e\u043b\u043e\u043d\u043a\u0438             allColumns = ['org_title', 'mit_number', 'mit_title', 'mit_notation', 'mi_modification',             'mi_number', 'verification_date', 'valid_date', 'result_docnum', 'appliciability', 'vri_id']              # \u0423\u0431\u0438\u0440\u0430\u0435\u043c \u0434\u0432\u043e\u0439\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u0435\u043b\u044b \u0438\u0437 \u0432\u0441\u0435\u0445 \u043a\u043e\u043b\u043e\u043d\u043e\u043a             chunk[allColumns].replace('  ', ' ')              # \u042f\u0432\u043d\u043e \u0437\u0430\u0434\u0430\u0451\u043c \u0442\u0438\u043f\u044b \u0434\u043b\u044f \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 errors='coerce' \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438             chunk['verification_date'] = pd.to_datetime(chunk['verification_date'], errors='coerce')             chunk['valid_date'] = pd.to_datetime(chunk['valid_date'], errors='coerce')              # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u0432\u0441\u0435 NaT \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 'verification_date'              chunk = chunk.dropna(subset=['verification_date'])              # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u0441\u0442\u0440\u043e\u043a\u0438, \u0433\u0434\u0435 'result_docnum' \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u0434\u0435\u0444\u0438\u0441\u043e\u0432 \u0438 \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u0432             chunk = chunk[~chunk['result_docnum'].str.fullmatch(r'[-\\s]+', na=False)]              # \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u043e\u0441\u0442\u044c \u0438\u0437 1 \u0438 0 \u0432 True \u0438 False             chunk['appliciability'] = chunk['appliciability'].astype('bool')             # \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c 'vri_id' \u0438\u0437 \u0441\u0442\u0440\u043e\u043a \u0432 bigInt              chunk['vri_id'] = pd.to_numeric(chunk['vri_id'], errors='coerce').astype('Int64')              # \u0417\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f NaN \u043d\u0430 None (\u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438\u0441\u044c \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043a\u0430\u043a null)             chunk = chunk.where(pd.notnull(chunk), None)              # \u0422\u0438\u043f\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b             infoTypes = {             'mi_number': TEXT,             'result_docnum': TEXT,             'mit_number': TEXT,             'mit_title': TEXT,             'mit_notation': TEXT,             'mi_modification': TEXT,             'org_title': TEXT,             'verification_date': Date,             'valid_date': Date,             'vri_id': BigInteger,             'appliciability': Boolean             }             # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0447\u0430\u0441\u0442\u044c \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443             chunk.to_sql('Info', engine, if_exists='append', index=False, dtype=infoTypes)       def extract_and_add_to_db_old_files(self, rootPath):         \"\"\" \u0420\u0430\u0437\u0430\u0440\u0445\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0435 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0430\u0440\u0445\u0438\u0432\u044b, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0432 \u0411\u0414 \u0438 \u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u0432\u0441\u0435 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0432 \u043d\u0438\u0445 \u0444\u0430\u0439\u043b\u044b\"\"\"                  for z, dirs, files in os.walk(rootPath):             # \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043b\u0438 \u043f\u0430\u043f\u043a\u0430 \u0444\u0430\u0439\u043b\u044b             for filename in files:                 fileSpec = os.path.join(z, filename)                                  # \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u0430\u0440\u0445\u0438\u0432                 if filename.endswith('.zip'):                     # \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 'snapshot' \u0432 \u0438\u043c\u0435\u043d\u0438 \u0444\u0430\u0439\u043b\u0430                     if 'snapshot' in fileSpec.split('\\\\')[-1]:                         self.__unzip_file(fileSpec, self.rootPath)                         # \u0420\u0435\u043a\u0443\u0440\u0441\u0438\u044f \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445 \u0444\u0430\u0439\u043b\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 snapshot                         if self.extract_and_add_to_db_old_files(self.rootPath) == 0:                             # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u0430\u043f\u043a\u0438                             self.__remove_empty_dirs(self.rootPath)                             return 0                     else:                         # \u0420\u0430\u0441\u043f\u0430\u043a\u043e\u0432\u044b\u0432\u0430\u0435\u043c \u0430\u0440\u0445\u0438\u0432                         self.__unzip_file(fileSpec, z)                                          # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430 \u0432 \u0411\u0414                     self.__add_file_to_db(fileSpec[:-4])                     print(f'\u0424\u0430\u0439\u043b {filename[:-4]} \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d \u0432 \u0411\u0414')                     # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u0444\u0430\u0439\u043b                     os.remove(fileSpec[:-4])                                  # \u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u0440\u0430\u0437\u0430\u0440\u0445\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0444\u0430\u0439\u043b                 elif filename.endswith('.csv'):                     self.__add_file_to_db(fileSpec)                     print(f'\u0424\u0430\u0439\u043b {filename} \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d \u0432 \u0411\u0414')                     os.remove(fileSpec)         return 0          def __remove_empty_dirs(self, rootPath):         \"\"\" \u0420\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u0432\u0441\u0435 \u043f\u0443\u0441\u0442\u044b\u0435 \u043f\u0430\u043f\u043a\u0438, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0441\u0430\u043c\u043e\u0439 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439\"\"\"         for dirpath, dirnames, filenames in os.walk(rootPath, topdown=False):  # topdown=False \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0434\u0442\u0438 \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0430             # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u043f\u0430\u043f\u043a\u0443, \u0435\u0441\u043b\u0438 \u0432 \u043d\u0435\u0439 \u043d\u0435\u0442 \u0444\u0430\u0439\u043b\u043e\u0432 \u0438 \u043f\u0430\u043f\u043e\u043a             if not dirnames and not filenames:                 os.rmdir(dirpath)                 print(f'\u0423\u0434\u0430\u043b\u0435\u043d\u0430 \u043f\u0443\u0441\u0442\u0430\u044f \u043f\u0430\u043f\u043a\u0430: {dirpath}')                 # \u0412\u044b\u0445\u043e\u0434\u0438\u043c, \u0435\u0441\u043b\u0438 \u043d\u0430\u0442\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u043d\u0430 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043f\u0430\u043f\u043a\u0443 \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u0435\u0436\u0430\u043b\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435                 if dirpath == self.rootPath:                     return 0                 self.__remove_empty_dirs(self.rootPath)      def Main(self):         self.rootPath = '\u041f\u041e\u041b\u041d\u042b\u0419_\u041f\u0423\u0422\u042c_\u041a_\u0420\u0410\u0417\u0410\u0420\u0425\u0418\u0412\u0418\u0420\u041e\u0412\u0410\u041d\u041d\u041e\u0419_\u041f\u0410\u041f\u041a\u0415'         self.extract_and_add_to_db_old_files(self.rootPath)  # \u0421\u043e\u0437\u0434\u0430\u0451\u043c \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440 \u043a\u043b\u0430\u0441\u0441\u0430 ekz = DataLoader() # \u0412\u044b\u0437\u044b\u0432\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u043e\u0439 \u0432\u0445\u043e\u0434\u0430  ekz.Main()<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n
    \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0438\u0442 \u043d\u0430\u0448\u0430 \u0431\u0430\u0437\u0430, \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 38 \u0413\u0411.<\/p>\n
    SELECT pg_size_pretty(pg_database_size('Habrdb');<\/code><\/pre>\n
    \"\u041e\u0442\u0440\u044b\u0432\u043e\u043a<\/p>\n
    \u041e\u0442\u0440\u044b\u0432\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b «Info»<\/figcaption><\/div>\n<\/figure>\n
    \u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n
    \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u043a\u043e\u043b\u043e\u043d\u043a\u0430\u0445 «mit_title»\u00a0(\u043d\u0430\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0438\u043f\u0430 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430), «org_title»\u00a0(\u043f\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0430\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044f), «mit_number»\u00a0(\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043d\u043e\u043c\u0435\u0440 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430), «mit_notaion»\u00a0(\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u0438\u043f\u0430), «mi_modification»\u00a0(\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0442\u0438\u043f\u0430) \u0431\u044b\u0432\u0430\u044e\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c\u0441\u044f. \u0414\u0430\u0436\u0435 \u0431\u0435\u0437 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c — \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u043a\u043e\u043b\u043e\u043d\u043a\u0435 «mit_title» \u0441\u0430\u043c\u044b\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0447\u043d\u0451\u043c \u0441 \u043d\u0435\u0451.<\/p>\n
    \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0437\u0430\u043a\u0438\u043d\u0435\u043c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u0435 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 «mit_title»<\/p>\n
    CREATE TABLE IF NOT EXISTS \"UniqueMitTitles\" (     id integer NOT NULL GENERATED ALWAYS AS IDENTITY PRIMARY KEY,     \"mit_title\" TEXT NOT NULL );<\/code><\/pre>\n
    \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0442\u0443\u0434\u0430 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u0437 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 «mit_title»\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b «Info»<\/p>\n
    INSERT INTO \"UniqueMitTitles\" (\"mit_title\") SELECT DISTINCT \"mit_title\" FROM \"Info\" WHERE COALESCE(\"mit_title\") IS NOT NULL;<\/code><\/pre>\n
    \u0421\u043e\u0437\u0434\u0430\u0451\u043c \u0432 «Info»\u00a0\u043a\u043e\u043b\u043e\u043d\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u0438\u0437 \u0431\u0430\u0437\u044b «UniqueMitTitles»<\/p>\n
    ALTER TABLE \"Info\" ADD COLUMN \"mit_titleId\" INT;<\/code><\/pre>\n
    \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0442\u0443\u0434\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u0438\u0437 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/p>\n
    UPDATE \"Info\" SET \"mit_titleId\" = \"UniqueMitTitles\".id FROM \"UniqueMitTitles\" WHERE \"Info\".\"mit_title\" = \"UniqueMitTitles\".\"mit_title\";<\/code><\/pre>\n
    \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043b\u0438\u0448\u043d\u044e\u044e \u043a\u043e\u043b\u043e\u043d\u043a\u0443<\/p>\n
    ALTER TABLE \"Info\" DROP COLUMN \"mit_title\";<\/code><\/pre>\n
    \u0421\u0440\u0430\u0437\u0443 \u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u0432 «Info» \u043c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0441\u0442\u0440\u043e\u043a \u0432\u043d\u0443\u0448\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0412 PostgreSQL \u0441\u0442\u0440\u043e\u043a\u0438 (\u0442\u0438\u043f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u043e\u0439), \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432 \u0441\u0436\u0430\u0442\u043e\u043c \u0432\u0438\u0434\u0435 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442 2 \u041a\u0431\u0430\u0439\u0442\u0430, \u043d\u0430\u0440\u0435\u0437\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0447\u0430\u0441\u0442\u0438, \u0441\u0436\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u043a\u043e\u0440\u0442\u0435\u0436\u0430\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 TOAST \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u042d\u0442\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u043a\u0440\u044b\u0442\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u043e\u043d\u0430 \u043f\u0440\u0438\u043a\u0440\u0435\u043f\u043b\u044f\u0435\u0442\u0441\u044f \u043a \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u041d\u0430\u043c \u0432\u0430\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043b\u0438\u0448\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043c\u043e\u0433\u0443\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0442\u0438 \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438 UPDATE\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 TOAST\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043a\u043e\u0440\u0442\u0435\u0436\u0438, \u0430 \u0441\u0442\u0430\u0440\u044b\u0435 (dead tuples) \u043d\u0435 \u0443\u0434\u0430\u043b\u044f\u044e\u0442\u0441\u044f \u0438 \u0438\u0445 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0441\u0442\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043c\u0430\u043d\u0434\u044b VACUUM. \u0410 \u0432\u043e\u043e\u0431\u0449\u0435 TOAST \u044d\u0442\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0436\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430, \u043e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0437\u0434\u0435\u0441\u044c<\/a> \u0438 \u0437\u0434\u0435\u0441\u044c<\/a>. \u0421\u0430\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0438\u0442 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 «Info» \u0438 \u0447\u0442\u043e \u0442\u0430\u043c \u0441 TOAST<\/p>\n
    SELECT l.metric, l.nr AS bytes      , CASE WHEN is_size THEN pg_size_pretty(nr) END AS bytes_pretty      , CASE WHEN is_size THEN nr \/ NULLIF(x.ct, 0) END AS bytes_per_row FROM  ( SELECT min(tableoid)        AS tbl      -- = 'public.tbl'::regclass::oid      , count(*)             AS ct      , sum(length(t::text)) AS txt_len  -- length in characters    FROM \"Info\" t    ) x CROSS  JOIN LATERAL (    VALUES      (true , 'core_relation_size'               , pg_relation_size(tbl))    , (true , 'free_space_map'                   , pg_relation_size(tbl, 'fsm'))    , (true , 'total_size_incl_toast_and_indexes', pg_total_relation_size(tbl))    , (true , 'live_rows_in_text_representation' , txt_len)    , (false, 'row_count'                        , ct)    , (false, 'live_tuples'                      , pg_stat_get_live_tuples(tbl))    , (false, 'dead_tuples'                      , pg_stat_get_dead_tuples(tbl))    ) l(is_size, metric, nr);<\/code><\/pre>\n
    \"\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f<\/p>\n
    \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u0441\u043b\u0435 UPDATE<\/figcaption><\/div>\n<\/figure>\n