{"id":483357,"date":"2026-06-11T15:47:15","date_gmt":"2026-06-11T15:47:15","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=483357"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=483357","title":{"rendered":"\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430: IVF \u0438 HNSW"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u041e \u0447\u0435\u043c \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f?<\/h2>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0447\u0443 \u043f\u0440\u043e\u0439\u0442\u0438\u0441\u044c \u043f\u043e \u0434\u0432\u0443\u043c \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a\u0443.<\/p>\n<p>\u0417\u0430\u043e\u0434\u043d\u043e \u043c\u044b \u0437\u0430\u0442\u0440\u043e\u043d\u0435\u043c \u0442\u0435\u043c\u0443 \u043c\u0435\u0442\u0440\u0438\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c k-means \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e ML\u2019\u0430, \u043b\u0435\u0436\u0430\u0449\u0438\u0439 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 IVF.<\/p>\n<p>\u0418 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0434\u0432\u0430 \u0441\u0430\u043c\u044b\u0445 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 IVF \u0438 HNSW \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u0438\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Python\u2019\u0435.<\/p>\n<h2>Curse of Dimensionality<\/h2>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0437\u044f\u0442\u044c \u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a\u0438\u043c-\u043d\u0438\u0431\u0443\u0434\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0432\u0440\u043e\u0434\u0435 kd-tree \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a\u0443. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0432\u0441\u0435 \u0434\u0435\u043b\u043e \u0432 \u0448\u0442\u0443\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043a\u043b\u044f\u0442\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (curse of dimensionality).<\/p>\n<p>\u0421 \u0440\u043e\u0441\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432 \u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0436\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u0435\u043a \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438. \u0410 \u044d\u0442\u043e \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0435\u0439. \u0412 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0439 \u0438 \u0441\u0430\u043c\u043e\u0439 \u0434\u0430\u043b\u0435\u043a\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c. \u042d\u0442\u043e \u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f concentration of distances.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{d_{max} - d_{min}}{d_{min}} \\to 0\" alt=\"\\frac{d_{max} - d_{min}}{d_{min}} \\to 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f12\/f1228cd3fc53612d399af09b205e3da5.svg\" width=\"136\" height=\"40\" data-width=\"17.223\" data-height=\"5.009\" data-vertical-align=\"-1.939\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f12\/f1228cd3fc53612d399af09b205e3da5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f12\/f1228cd3fc53612d399af09b205e3da5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f<\/h4>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439:<\/p>\n<ul>\n<li>\n<p>1D &#8212; \u043c\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043e\u0434\u043d\u0443 \u043f\u0440\u044f\u043c\u0443\u044e<\/p>\n<\/li>\n<li>\n<p>2D &#8212; \u043c\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442<\/p>\n<\/li>\n<li>\n<p>3D &#8212; \u043c\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u0443\u0431<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432 d-\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0443 \u043d\u0430\u0441 \u0433\u0438\u043f\u0435\u0440\u043a\u0443\u0431. \u0421 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u0447\u0435\u043a \u0434\u043b\u044f \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<h3>\u041a \u043a\u0430\u043a\u0438\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442?<\/h3>\n<ol>\n<li>\n<p>Data sparsity. \u0414\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c, \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0443\u0441\u0442\u043e\u0439. \u042d\u0442\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>Increased computation. \u0411\u043e\u043b\u044c\u0448\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p>Overfitting. \u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u0448\u0443\u043c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043d\u0435 \u043f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c. \u042d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 \u043d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<\/li>\n<li>\n<p>Distances lose meaning. \u0420\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0442\u043e\u0447\u0435\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u0430\u043a \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0442\u0435\u0440\u044f\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>Performance degradation. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, k-means), \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0445\u0443\u0436\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e PCA, \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044f \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\u043c\u0438.<\/p>\n<p>\u041d\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.<\/p>\n<h4>Exact Nearest Neighbor<\/h4>\n<p>Exact nearest neighbor search \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f <strong>\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e<\/strong> \u043d\u0430\u0439\u0442\u0438 \u0441\u0430\u043c\u044b\u0439 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043e\u0431\u044a\u0435\u043a\u0442. \u0427\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u043e, \u0438\u043d\u0434\u0435\u043a\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u043c\u0435\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u0442\u0441\u0435\u043a\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 (pruning).<\/p>\n<p>\u041d\u043e \u0432 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445:<\/p>\n<ul>\n<li>\n<p>\u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u0442\u0441\u0435\u0447\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u043e<\/p>\n<\/li>\n<li>\n<p>\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e<\/p>\n<\/li>\n<li>\n<p>\u0432 \u0438\u0442\u043e\u0433\u0435 exact indexes \u0442\u0435\u0440\u044f\u044e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, kd-tree \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u0430\u0437\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>\u0432\u0441\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0434\u0435\u0440\u0435\u0432\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u0430\u043b\u0435\u043a\u043e<\/p>\n<\/li>\n<li>\n<p>\u0432 \u044d\u0442\u0443 \u0432\u0435\u0442\u0432\u044c \u0434\u0435\u0440\u0435\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u043e, \u0432 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445:<\/p>\n<ul>\n<li>\n<p>bounding regions \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0442\u044c\u0441\u044f<\/p>\n<\/li>\n<li>\n<p>\u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u0435\u0442\u0432\u0435\u0439<\/p>\n<\/li>\n<li>\n<p>\u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0431\u043e\u0440<\/p>\n<\/li>\n<\/ul>\n<h4>Approximate Nearest Neighbor<\/h4>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u044b \u0441\u043e\u0433\u043b\u0430\u0448\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 approximate answer, \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430\u0439\u0442\u0438 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>\u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u0442\u0431\u0440\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u0442\u043e\u0447\u043d\u043e \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e:<\/p>\n<ul>\n<li>\n<p>\u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0439\u0442\u0438 \u043e\u0431\u043b\u0430\u0441\u0442\u044c, \u0433\u0434\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043b\u0435\u0436\u0430\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0441\u043e\u0441\u0435\u0434\u0438<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c exact pruning \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 heuristic candidate generation.<\/p>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 (L2, Inner Product, Cosine Similarity)<\/h2>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041c\u044b \u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u044b \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0431\u0443\u0434\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u0422\u0443\u0442 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043d\u0435\u0441\u0443\u0449\u0438\u0435 \u0432 \u0441\u0435\u0431\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443. \u0410 \u0432\u0435\u0434\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0440\u044b \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>L2<\/p>\n<\/li>\n<li>\n<p>Inner Product<\/p>\n<\/li>\n<li>\n<p>Cosine Similarity<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u044b\u0431\u043e\u0440 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0443\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Cosine Similarity, \u044d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0434\u043b\u0438\u043d\u0443. \u0410 \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445-\u043d\u0438\u0431\u0443\u0434\u044c \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u043e\u0436\u0435 \u043d\u0435\u0441\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0438\u043b\u0443 \u0438\u043b\u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.<\/p>\n<h3>L2 &#8212; \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435<\/h3>\n<p><img decoding=\"async\" class=\"formula\" source=\"d(x, y) = \\sqrt{\\sum_{\\substack{i}}(x_i - y_i)^2}\" alt=\"d(x, y) = \\sqrt{\\sum_{\\substack{i}}(x_i - y_i)^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a82\/a82fcfbd7e2b729e8e20f15e46ccd55a.svg\" width=\"192\" height=\"40\" data-width=\"24.333\" data-height=\"5.566\" data-vertical-align=\"-2.217\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a82\/a82fcfbd7e2b729e8e20f15e46ccd55a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a82\/a82fcfbd7e2b729e8e20f15e46ccd55a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438\u043d\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f squared L2<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"d(x, y) = \\sum_{\\substack{i}}(x_i - y_i)^2\" alt=\"d(x, y) = \\sum_{\\substack{i}}(x_i - y_i)^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6e\/a6e5295774c367686eace936c576c9ae.svg\" width=\"176\" height=\"32\" data-width=\"22.025\" data-height=\"4.889\" data-vertical-align=\"-1.879\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6e\/a6e5295774c367686eace936c576c9ae.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6e\/a6e5295774c367686eace936c576c9ae.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u0434\u0430\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<h4>\u200b\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f<\/h4>\n<p>L2 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<p>\u201c\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0434\u0432\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435?\u201d<\/p>\n<p>\u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0442\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0431\u043b\u0438\u0436\u0435.<\/p>\n<h4>\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>\u041d\u0430 L2 \u0432\u043b\u0438\u044f\u044e\u0442 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u0432\u0435\u0449\u0438:<\/p>\n<ul>\n<li>\n<p>\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u043d\u043e \u043e\u0434\u0438\u043d \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u0434\u0440\u0443\u0433\u043e\u0433\u043e, L2 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u043c.<\/p>\n<h3>Inner Product<\/h3>\n<p><img decoding=\"async\" class=\"formula\" source=\"x \\cdot y = \\sum_{\\substack{i}}(x_i y_i)\" alt=\"x \\cdot y = \\sum_{\\substack{i}}(x_i y_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a4\/8a47770d67d0a2ee378364e51b083ed6.svg\" width=\"120\" height=\"32\" data-width=\"15.964\" data-height=\"4.889\" data-vertical-align=\"-1.879\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a4\/8a47770d67d0a2ee378364e51b083ed6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8a4\/8a47770d67d0a2ee378364e51b083ed6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f<\/h4>\n<p>Inner Product \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043a\u043e\u0433\u0434\u0430:<\/p>\n<ul>\n<li>\n<p>\u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443<\/p>\n<\/li>\n<li>\n<p>\u0443 \u043d\u0438\u0445 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u043b\u0438\u043d\u044b<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u044d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u201c\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u201d. \u042d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u043c\u0435\u0440\u0430 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0432\u0443\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<h4>\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>Inner Product \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u043d\u043e\u0440\u043c\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u201c\u0434\u043b\u0438\u043d\u043d\u0435\u0435\u201d, Inner Product \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438.<\/p>\n<h3>Cosine Similarity<\/h3>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\cos(x, y) = \\frac{x \\cdot y}{\\lvert x \\rvert \\lvert y \\rvert}\" alt=\"\\cos(x, y) = \\frac{x \\cdot y}{\\lvert x \\rvert \\lvert y \\rvert}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c6\/5c6531d53c0e0a1fb32b8ceb3fcf9b91.svg\" width=\"136\" height=\"32\" data-width=\"17.127\" data-height=\"4.699\" data-vertical-align=\"-1.784\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c6\/5c6531d53c0e0a1fb32b8ceb3fcf9b91.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c6\/5c6531d53c0e0a1fb32b8ceb3fcf9b91.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f<\/h4>\n<p>Cosine Similarity \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<p>\u201c\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443?\u201d<\/p>\n<p>\u041e\u043d\u0430 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043b\u0438\u043d\u0443 \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<h4>\u0414\u0438\u0430\u043f\u0430\u0437\u043e\u043d<\/h4>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e:<\/p>\n<ul>\n<li>\n<p>1 \u2014 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0435\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>0 \u2014 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b<\/p>\n<\/li>\n<li>\n<p>-1 \u2014 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u0447\u0430\u0441\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043b\u0438 \u043e\u043a\u043e\u043b\u043e \u043d\u0443\u043b\u044f, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430.<\/p>\n<h4>\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e<\/h4>\n<p>Cosine Similarity \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430.<\/p>\n<p>\u0415\u0441\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430 10, Cosine Similarity \u0441 \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f.<\/p>\n<h3>\u0421\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 Cosine Similarity \u0438 Inner Product<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043a \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\lvert x \\rvert = \\lvert y \\rvert = 1\" alt=\"\\lvert x \\rvert = \\lvert y \\rvert = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4ea\/4ea68038ea2e1584573f4e29895b4341.svg\" width=\"96\" height=\"16\" data-width=\"12.084\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4ea\/4ea68038ea2e1584573f4e29895b4341.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4ea\/4ea68038ea2e1584573f4e29895b4341.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0442\u043e\u0433\u0434\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"x \\cdot y = \\cos(x, y)\" alt=\"x \\cdot y = \\cos(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/705\/705898e3d58c1248f15c3dfa6d9ff689.svg\" width=\"120\" height=\"16\" data-width=\"15.25\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/705\/705898e3d58c1248f15c3dfa6d9ff689.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/705\/705898e3d58c1248f15c3dfa6d9ff689.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c Inner Product \u0438 Cosine Similarity \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b.<\/p>\n<h3>\u0421\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 Cosine Similarity \u0438 L2<\/h3>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b, \u043c\u0435\u0436\u0434\u0443 Cosine Similarity \u0438 L2 \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0441\u0432\u044f\u0437\u044c.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\lvert x - y \\rvert^2 = 2 - 2\\cos(x, y)\" alt=\"\\lvert x - y \\rvert^2 = 2 - 2\\cos(x, y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6d\/6d1\/6d1570a4fa78a4f0e307b208eec8d99c.svg\" width=\"192\" height=\"16\" data-width=\"24.032\" data-height=\"2.565\" data-vertical-align=\"-0.717\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6d\/6d1\/6d1570a4fa78a4f0e307b208eec8d99c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6d\/6d1\/6d1570a4fa78a4f0e307b208eec8d99c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442:<\/p>\n<ul>\n<li>\n<p>\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0441\u0438\u043d\u0443\u0441<\/p>\n<\/li>\n<li>\n<p>\u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 L2 distance<\/p>\n<\/li>\n<\/ul>\n<p>\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442.<\/p>\n<h3>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043f\u043e\u0441\u043b\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0433\u0438\u043f\u0435\u0440\u0441\u0444\u0435\u0440\u044b.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430:<\/p>\n<ul>\n<li>\n<p>Cosine Similarity \u2014 \u044d\u0442\u043e \u201c\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0443\u0433\u043e\u043b \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438\u201d<\/p>\n<\/li>\n<li>\n<p>Inner Product \u2014 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u044b \u0443\u0436\u0435 \u0440\u0430\u0432\u043d\u044b 1<\/p>\n<\/li>\n<li>\n<p>L2 distance \u2014 \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0445\u043e\u0440\u0434\u044b \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043d\u0430 \u0441\u0444\u0435\u0440\u0435<\/p>\n<\/li>\n<\/ul>\n<p>\u0410 \u043d\u0430 \u0433\u0438\u043f\u0435\u0440\u0441\u0444\u0435\u0440\u0435:<\/p>\n<ul>\n<li>\n<p>\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0443\u0433\u043e\u043b<\/p>\n<\/li>\n<li>\n<p>\u0431\u043e\u043b\u044c\u0448\u043e\u0439 cosine<\/p>\n<\/li>\n<li>\n<p>\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0445\u043e\u0440\u0434\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0432\u0441\u0435 \u044d\u0442\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445.<\/p>\n<h2>k-means<\/h2>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043c\u044b \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c \u043a \u0440\u0430\u0437\u0431\u043e\u0440\u0443 IVF, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 k-means, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u043f\u043e \u0441\u0443\u0442\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u043a\u0438\u0440\u043f\u0438\u0447\u0438\u043a\u043e\u043c \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f IVF \u0438 \u0431\u0435\u0437 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 k-means \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 IVF.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f (unsupervised learning). \u041d\u0430 \u0432\u0445\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 (unlabeled data), \u0430 \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 k \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435.<\/p>\n<h3>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h3>\n<p>\u0421\u0430\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u0432\u043e\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0448\u0430\u0433\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u043e \u0441\u043e\u0441\u0442\u043e\u0438\u0442:<\/p>\n<ol>\n<li>\n<p>\u041c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 k \u0442\u043e\u0447\u0435\u043a \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0448\u0438\u043c\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u0435\u0433\u0430\u0435\u043c\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c, \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a \u043a\u0430\u043a\u043e\u0439 \u0438\u0437 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434 \u043e\u043d\u0430 \u0431\u043b\u0438\u0436\u0435 \u0432\u0441\u0435\u0433\u043e. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f k \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0443, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f mean \u0442\u043e\u0447\u043a\u0443 \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0442\u043e\u0447\u0435\u043a \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043d\u043e\u0432\u043e \u043f\u0440\u043e\u0431\u0435\u0433\u0430\u0435\u043c\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c \u0438 \u0441\u043d\u043e\u0432\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c, \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443 \u043e\u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0437\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0437\u043d\u0430\u0447\u0438\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u043e\u0448\u0435\u043b\u0441\u044f \u0438 \u043c\u044b \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u043c. \u041b\u0438\u0431\u043e, \u043c\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043b\u0438\u043c\u0438\u0442\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.<\/p>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 Python<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import mathimport randomfrom dataclasses import dataclassMAX_STEPS = 100@dataclassclass Point2D:    x: float    y: floatdef distance(point_1: Point2D, point_2: Point2D) -&gt; float:    return math.sqrt((point_1.x - point_2.x) ** 2 + (point_1.y - point_2.y) ** 2)def assign_points(points: list[Point2D], centroids: dict[int, Point2D]) -&gt; list[int]:    clusters = [0 for _ in range(len(points))]    for p_index in range(len(points)):        min_dist    = None        min_cluster = None        for cluster, centroid in centroids.items():            dist = distance(points[p_index], centroid)            if min_dist is None or dist &lt; min_dist:                min_dist    = dist                min_cluster = cluster        clusters[p_index] = min_cluster    return clustersdef update_centroids(points: list[Point2D], clusters: list[int], centroids: dict[int, Point2D]) -&gt; dict[int, Point2D]:    updated_centroids = {}    for cluster, _ in centroids.items():        mean_x = 0        mean_y = 0        mean_n = 0        for p_index in range(len(points)):            if cluster == clusters[p_index]:                mean_x += points[p_index].x                mean_y += points[p_index].y                mean_n += 1        if mean_n &gt; 0:            updated_centroids[cluster] = Point2D(mean_x \/ mean_n, mean_y \/ mean_n)        else:            updated_centroids[cluster] = centroids[cluster]    return updated_centroidsdef k_means(k: int, points: list[Point2D]) -&gt; tuple[dict[int, Point2D], list[int]]:    clusters = [0 for _ in range(len(points))]    # initialize centroids    centroids = {cluster: points[p_index] for cluster, p_index in enumerate(random.sample(range(len(points)), k), 1)}    step = 0    while step &lt; MAX_STEPS:        updated_clusters = assign_points(points, centroids)        if clusters == updated_clusters:            return centroids, updated_clusters        clusters  = updated_clusters        centroids = update_centroids(points, clusters, centroids)        step += 1    return centroids, clusterspoints = [Point2D(random.random(), random.random()) for _ in range(100)]centroids, clusters = k_means(k=10, points=points)print('Clusters:', clusters)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<h2>Inverted File Index (IVF)<\/h2>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>IVF (Inverted File Index) &#8212; \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 (ANN) \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a Qdrant, PGVector, \u0430 \u0442\u0430\u043a\u0436\u0435 \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 FAISS. \u041e\u043d \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043f\u043e\u0438\u0441\u043a, \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043f\u043e\u0438\u0441\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445, \u0430 \u043d\u0435 \u0432\u043e \u0432\u0441\u0435\u0439 \u0431\u0430\u0437\u0435.<\/p>\n<h3>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h3>\n<p>\u041e\u0431\u0449\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u0434\u0432\u0443\u0445 \u044d\u0442\u0430\u043f\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 IVF \u0438\u043d\u0434\u0435\u043a\u0441\u0430.<\/p>\n<p>1.1. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043d\u0430 \u0432\u0441\u0435\u0439 \u0431\u0430\u0437\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c k-means \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c nlist \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.<\/p>\n<p>1.2. \u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0439 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0435.<\/p>\n<pre><code>cluster_1 -&gt; [vector_3, vector_1, vector_17, ...]cluster_2 -&gt; [vector_2, vector_5, vector_15, ...]cluster_3 -&gt; [vector_4, vector_9, vector_23, ...]...<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>inverted list<\/strong>, \u0430 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u0438\u0445 \u0441\u043f\u0438\u0441\u043a\u043e\u0432 \u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 <strong>inverted file<\/strong>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0438\u0441\u043a top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query.<\/p>\n<p>2.1. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u0434\u0430\u044e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 query \u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0434\u043e \u043d\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>2.2. \u041d\u0430\u0445\u043e\u0434\u0438\u043c nprobe \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434 \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443 \u043d\u0430\u0441 \u0442\u0435\u043f\u0435\u0440\u044c nprobe \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>2.3. \u0418\u0449\u0435\u043c \u0441\u0440\u0435\u0434\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 nprobe \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query.<\/p>\n<p>2.4. \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u044d\u0442\u0438 top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043f\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query \u043f\u043e\u0440\u044f\u0434\u043a\u0435.<\/p>\n<\/li>\n<\/ol>\n<h3>\u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/h3>\n<p>nlist &#8212; \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.<\/p>\n<p>nprobe &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c \u043d\u0430\u0448 \u043f\u043e\u0438\u0441\u043a.<\/p>\n<p>\u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 nprobe \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 recall, \u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 Python<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import mathimport randomfrom dataclasses import dataclasstype IVFIndex = dict[int, list[int]]MAX_STEPS = 100@dataclassclass Point2D:    x: float    y: floatdef distance(point_1: Point2D, point_2: Point2D) -&gt; float:    return math.sqrt((point_1.x - point_2.x) ** 2 + (point_1.y - point_2.y) ** 2)def assign_points(points: list[Point2D], centroids: dict[int, Point2D]) -&gt; list[int]:    clusters = [0 for _ in range(len(points))]    for p_index in range(len(points)):        min_dist    = None        min_cluster = None        for cluster, centroid in centroids.items():            dist = distance(points[p_index], centroid)            if min_dist is None or dist &lt; min_dist:                min_dist    = dist                min_cluster = cluster        clusters[p_index] = min_cluster    return clustersdef update_centroids(points: list[Point2D], clusters: list[int], centroids: dict[int, Point2D]) -&gt; dict[int, Point2D]:    updated_centroids = {}    for cluster, _ in centroids.items():        mean_x = 0        mean_y = 0        mean_n = 0        for p_index in range(len(points)):            if cluster == clusters[p_index]:                mean_x += points[p_index].x                mean_y += points[p_index].y                mean_n += 1        if mean_n &gt; 0:            updated_centroids[cluster] = Point2D(mean_x \/ mean_n, mean_y \/ mean_n)        else:            updated_centroids[cluster] = centroids[cluster]    return updated_centroidsdef k_means(k: int, points: list[Point2D]) -&gt; tuple[dict[int, Point2D], list[int]]:    clusters = [0 for _ in range(len(points))]    # initialize centroids    centroids = {cluster: points[p_index] for cluster, p_index in enumerate(random.sample(range(len(points)), k), 1)}    step = 0    while step &lt; MAX_STEPS:        updated_clusters = assign_points(points, centroids)        if clusters == updated_clusters:            return centroids, updated_clusters        clusters  = updated_clusters        centroids = update_centroids(points, clusters, centroids)        step += 1    return centroids, clustersdef build_ivf(nlist: int, points: list[Point2D]) -&gt; tuple[dict[int, Point2D], IVFIndex]:    centroids, clusters = k_means(nlist, points)    inv_file = {cluster: [] for cluster in centroids}    for p_index, cluster in enumerate(clusters):        inv_file[cluster].append(p_index)    return centroids, inv_filedef search_ivf(    nprobe:    int,    top_k:     int,    query:     Point2D,    points:    list[Point2D],    centroids: dict[int, Point2D],    inv_file:  IVFIndex,) -&gt; list[Point2D]:    closest_clusters = sorted(centroids, key=lambda cluster: distance(centroids[cluster], query))    closest_clusters = closest_clusters[:nprobe]    closest_points = [p_index for cluster in closest_clusters for p_index in inv_file[cluster]]    closest_points = sorted(closest_points, key=lambda p_index: distance(points[p_index], query))    closest_points = closest_points[:top_k]    return [points[p_index] for p_index in closest_points]points = [Point2D(random.random(), random.random()) for _ in range(100)]top_k = 3query = Point2D(random.random(), random.random())centroids, inv_file = build_ivf(nlist=10, points=points)closest_points = search_ivf(nprobe=5, top_k=top_k, query=query, points=points, centroids=centroids, inv_file=inv_file)print('Query:', query)print('Closest points:', closest_points)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<h3>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f<\/h3>\n<p>\u0425\u043e\u0440\u043e\u0448\u043e, \u043c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0443\u0437\u0438\u0442\u044c \u043a\u0440\u0443\u0433 \u043f\u043e\u0438\u0441\u043a\u0430. \u041d\u043e! \u0412 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f nprobe \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 \u043d\u0430\u043c \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432\u0441\u0435 \u0442\u043e\u0442 \u0436\u0435 brute-force \u043f\u043e\u0438\u0441\u043a. \u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u044b\u0447\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0442\u043e\u043c \u0436\u0435 FAISS \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u0430\u043a IVF + Flat.<\/p>\n<p>\u042d\u0442\u0430\u043f \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0441\u0435\u0438\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f coarse quantization. \u041f\u043e\u0441\u043b\u0435, \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u0443\u043f\u043e\u0433\u043e brute-force \u043d\u0430\u043c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0438\u043c\u0435\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434. \u0418 \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043a \u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438 \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445, \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u0432 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c, \u043e\u043d \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Product Quantization \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a IVF + PQ.<\/p>\n<h4>Product Quantization (PQ)<\/h4>\n<p>PQ &#8212; \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u0441\u0436\u0438\u043c\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u044c \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0445\u0438\u0442\u0440\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h3>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f<\/h3>\n<p>\u041c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0430\u0448\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u0434\u0435\u043b\u0438\u043c \u0438\u0445 \u043d\u0430 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"x = (x^{(1)}, x^{(2)}, ..., x^{(m)})\" alt=\"x = (x^{(1)}, x^{(2)}, ..., x^{(m)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef9f477bee7388035ae3f1f34b5629b8.svg\" width=\"184\" height=\"16\" data-width=\"23.292\" data-height=\"2.7\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef9f477bee7388035ae3f1f34b5629b8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef9\/ef9f477bee7388035ae3f1f34b5629b8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"x \\in \\mathbb{R}^n\" alt=\"x \\in \\mathbb{R}^n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e91\/e91712019a49ec27396e53b85b22b67d.svg\" width=\"48\" height=\"16\" data-width=\"6.841\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e91\/e91712019a49ec27396e53b85b22b67d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e9\/e91\/e91712019a49ec27396e53b85b22b67d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"x^{(i)} \\in \\mathbb{R}^{n\/m}\" alt=\"x^{(i)} \\in \\mathbb{R}^{n\/m}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/500\/5000ddaf882c179deb1b728ca83ffbac.svg\" width=\"88\" height=\"16\" data-width=\"11.03\" data-height=\"2.7\" data-vertical-align=\"-0.784\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/500\/5000ddaf882c179deb1b728ca83ffbac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/500\/5000ddaf882c179deb1b728ca83ffbac.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 128, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 8 \u0440\u0430\u0432\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u0443\u0441\u043a\u043e\u0432 \u0442\u0435\u043f\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 16.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435, \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0445\u043e\u0440\u043e\u0448\u043e \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0439 \u043d\u0430\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c k-means. \u0412 \u0438\u0442\u043e\u0433\u0435, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c codebook\u2019\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"codebook_i = (c_1, c_2, ..., c_k)\" alt=\"codebook_i = (c_1, c_2, ..., c_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/414\/4140d9626bbea617b89f655eaa51b889.svg\" width=\"208\" height=\"16\" data-width=\"26.14\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/414\/4140d9626bbea617b89f655eaa51b889.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/414\/4140d9626bbea617b89f655eaa51b889.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"i - \\text{\u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430} \\\\c_j - \\text{\u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c } j\" alt=\"i - \\text{\u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430} \\\\c_j - \\text{\u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0441 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u043c } j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/125\/12541b4f7adc0d4e331ff756a5a14c24.svg\" width=\"256\" height=\"40\" data-width=\"32.619\" data-height=\"5.756\" data-vertical-align=\"-2.312\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/125\/12541b4f7adc0d4e331ff756a5a14c24.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/125\/12541b4f7adc0d4e331ff756a5a14c24.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434 \u0438\u0437 codebook\u2019\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"(x^{(1)}, x^{(2)}, ..., x^{(m)}) \\to (j_x^{(1)}, j_x^{(2)}, ..., j_x^{(m)})\" alt=\"(x^{(1)}, x^{(2)}, ..., x^{(m)}) \\to (j_x^{(1)}, j_x^{(2)}, ..., j_x^{(m)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132802c5e4fc10724a2d2495b15bf81.svg\" width=\"320\" height=\"16\" data-width=\"40.394\" data-height=\"2.965\" data-vertical-align=\"-0.917\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132802c5e4fc10724a2d2495b15bf81.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e13\/e132802c5e4fc10724a2d2495b15bf81.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"j_x^{(i)} - \\text{\u0438\u043d\u0434\u0435\u043a\u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b \u0432 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 } i \\text{ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 } x\" alt=\"j_x^{(i)} - \\text{\u0438\u043d\u0434\u0435\u043a\u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b \u0432 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 } i \\text{ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 } x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c2\/0c23d11be5830b063c8f1f9b4bf31c29.svg\" width=\"496\" height=\"16\" data-width=\"62.734\" data-height=\"2.965\" data-vertical-align=\"-0.917\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c2\/0c23d11be5830b063c8f1f9b4bf31c29.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0c\/0c2\/0c23d11be5830b063c8f1f9b4bf31c29.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u043d\u0430\u0448\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 128, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u043d\u0430 8 \u0440\u0430\u0432\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439. \u0422\u0435\u043f\u0435\u0440\u044c, \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c\u044e 16 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043c\u0435\u043d\u0435\u043d \u043d\u0430 \u0438\u043d\u0434\u0435\u043a\u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\underbrace{[0.52, 1.45, ..., 0.32]}_{128} \\to \\underbrace{[5, 12, ..., 25]}_{8}\" alt=\"\\underbrace{[0.52, 1.45, ..., 0.32]}_{128} \\to \\underbrace{[5, 12, ..., 25]}_{8}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/280\/280f599ba67f2450dc37993d33480d0f.svg\" width=\"280\" height=\"40\" data-width=\"35.832\" data-height=\"5.37\" data-vertical-align=\"-2.119\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/280\/280f599ba67f2450dc37993d33480d0f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/280\/280f599ba67f2450dc37993d33480d0f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h3>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043a \u043d\u0430\u043c \u043f\u0440\u0438\u043b\u0435\u0442\u0435\u043b \u0432\u0435\u043a\u0442\u043e\u0440 q \u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 q \u0434\u043e \u0441\u0436\u0430\u0442\u043e\u0433\u043e \u043d\u0430\u0448\u0438\u043c PQ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 x.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"q \\in \\mathbb{R}^n\" alt=\"q \\in \\mathbb{R}^n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a46\/a4639c726b920790b225b721e58e97d9.svg\" width=\"48\" height=\"16\" data-width=\"6.588\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a46\/a4639c726b920790b225b721e58e97d9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a46\/a4639c726b920790b225b721e58e97d9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0447\u0442\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0443\u043c, \u044d\u0442\u043e \u0441\u0436\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 q \u0442\u0435\u043c \u0436\u0435 \u0441\u0430\u043c\u044b\u043c PQ \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438. \u041a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u041e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e! \u041c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u043c\u0438 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430\u043c\u0438 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0445 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"q \\to (c_q^{(1)}, c_q^{(2)}, ..., c_q^{(m)})\" alt=\"q \\to (c_q^{(1)}, c_q^{(2)}, ..., c_q^{(m)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fd\/8fd367050427a26e188195b1effacb59.svg\" width=\"176\" height=\"24\" data-width=\"22.597\" data-height=\"3.024\" data-vertical-align=\"-0.947\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fd\/8fd367050427a26e188195b1effacb59.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8f\/8fd\/8fd367050427a26e188195b1effacb59.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"x \\to (c_x^{(1)}, c_x^{(2)}, ..., c_x^{(m)})\" alt=\"x \\to (c_x^{(1)}, c_x^{(2)}, ..., c_x^{(m)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6a\/a6a81fc390346b97c294c670dc59ae77.svg\" width=\"176\" height=\"16\" data-width=\"22.85\" data-height=\"2.965\" data-vertical-align=\"-0.917\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6a\/a6a81fc390346b97c294c670dc59ae77.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6a\/a6a81fc390346b97c294c670dc59ae77.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"c_q^{(i)} - \\text{\u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0432 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 } i \\text{ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 } q\" alt=\"c_q^{(i)} - \\text{\u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0432 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 } i \\text{ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 } q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c70\/c705911adf88a8e49c5c250099b8faf2.svg\" width=\"424\" height=\"24\" data-width=\"53.818\" data-height=\"3.024\" data-vertical-align=\"-0.947\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c70\/c705911adf88a8e49c5c250099b8faf2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c70\/c705911adf88a8e49c5c250099b8faf2.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"c_x^{(i)} - \\text{\u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0432 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 } i \\text{ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 } x\" alt=\"c_x^{(i)} - \\text{\u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430 \u0432 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 } i \\text{ \u0432\u0435\u043a\u0442\u043e\u0440\u0430 } x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/695\/69561c5502a91610572fafe99ebb8af3.svg\" width=\"432\" height=\"16\" data-width=\"54.071\" data-height=\"2.965\" data-vertical-align=\"-0.917\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/695\/69561c5502a91610572fafe99ebb8af3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/695\/69561c5502a91610572fafe99ebb8af3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u0441\u043a\u043e\u043c\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"dist(q, x) = \\sum_{\\substack{i}}\\left\\|c_q^{(i)} - c_x^{(i)}\\right\\|^2\" alt=\"dist(q, x) = \\sum_{\\substack{i}}\\left\\|c_q^{(i)} - c_x^{(i)}\\right\\|^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/95c\/95c3b76dee7e5dc995c4c1723d4b7bd1.svg\" width=\"216\" height=\"40\" data-width=\"27.794\" data-height=\"5.587\" data-vertical-align=\"-2.228\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/95c\/95c3b76dee7e5dc995c4c1723d4b7bd1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/95c\/95c3b76dee7e5dc995c4c1723d4b7bd1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438\u0447\u0435\u043c, \u0440\u0430\u0437 \u0443 \u043d\u0430\u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b, \u043c\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u0441\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0441\u0432\u0435\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a \u043f\u043e\u0438\u0441\u043a\u0443 \u043f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"T^{(i)}[j][k] = \\left\\|c_j^{(i)} - c_k^{(i)}\\right\\|^2\" alt=\"T^{(i)}[j][k] = \\left\\|c_j^{(i)} - c_k^{(i)}\\right\\|^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/563\/5630f926c4362d05f63ec2e1e32de18d.svg\" width=\"184\" height=\"32\" data-width=\"23.545\" data-height=\"4.116\" data-vertical-align=\"-1.493\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/563\/5630f926c4362d05f63ec2e1e32de18d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/56\/563\/5630f926c4362d05f63ec2e1e32de18d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0432\u0443\u0447\u0438\u0442 \u0442\u0430\u043a, \u0431\u0443\u0434\u0442\u043e \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e! \u0422\u0430\u043a \u0438 \u0435\u0441\u0442\u044c, \u043d\u043e \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441, \u043c\u044b \u0442\u0435\u0440\u044f\u0435\u043c \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438\u0437-\u0437\u0430 \u0434\u0432\u043e\u0439\u043d\u043e\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0412\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434, \u043a\u0441\u0442\u0430\u0442\u0438 \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Symmetric Distance Computation (SDC).<\/p>\n<p>\u041e\u043a\u0435\u0439, \u043c\u044b \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0442\u0435\u0440\u044f\u0442\u044c \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u0438\u043c\u0438 \u0436\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438 \u0438 \u043b\u043e\u0432\u043a\u0438\u043c\u0438. \u041c\u043e\u0436\u0435\u043c? \u041c\u043e\u0436\u0435\u043c!<\/p>\n<p>\u0420\u0430\u0437\u043e\u0431\u044a\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440 q \u043d\u0430 \u043f\u043e\u0434\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043d\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0438\u0445 \u043d\u0430 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0438\u0437 codebook\u2019\u0430. \u0412\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043a\u0443\u0441\u043e\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0430 q \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u043d\u0435\u0433\u043e \u0434\u043e \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430 x \u0438\u0437 \u043d\u0430\u0448\u0435\u0439 \u0431\u0430\u0437\u044b. \u0418 \u0441\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 \u044d\u0442\u0438\u0445 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0438 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0448\u0438\u043c \u0438\u0441\u043a\u043e\u043c\u044b\u043c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0447\u043d\u0435\u0435, \u0437\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u201c\u043f\u043e\u0440\u0442\u0438\u043c\u201d \u0432\u0435\u043a\u0442\u043e\u0440 q \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u043c.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"dist(q, x) = \\sum_{\\substack{i}}\\left\\|q^{(i)} - c_x^{(i)}\\right\\|^2\" alt=\"dist(q, x) = \\sum_{\\substack{i}}\\left\\|q^{(i)} - c_x^{(i)}\\right\\|^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e0a\/e0a0ead6210a7398cdb3ea11a1ba6d24.svg\" width=\"216\" height=\"40\" data-width=\"27.97\" data-height=\"5.587\" data-vertical-align=\"-2.228\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e0a\/e0a0ead6210a7398cdb3ea11a1ba6d24.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e0a\/e0a0ead6210a7398cdb3ea11a1ba6d24.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e \u0432\u0441\u0435\u0445 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434 \u0438 \u0441\u0432\u0435\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a \u043f\u043e\u0438\u0441\u043a\u0443 \u043f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"T^{(i)}[j] = \\left\\|q^{(i)} - c_j^{(i)}\\right\\|^2\" alt=\"T^{(i)}[j] = \\left\\|q^{(i)} - c_j^{(i)}\\right\\|^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3dd\/3dd9215cc3fe079a94db6c9327c1452b.svg\" width=\"168\" height=\"32\" data-width=\"21.284\" data-height=\"4.116\" data-vertical-align=\"-1.493\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3dd\/3dd9215cc3fe079a94db6c9327c1452b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3dd\/3dd9215cc3fe079a94db6c9327c1452b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Asymmetric Distance Computation (ADC). \u0412 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 (\u0432 \u0442\u043e\u043c \u0436\u0435 FAISS) \u0447\u0430\u0449\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e ADC \u0437\u0430 \u0441\u0447\u0435\u0442 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n<h2>Hierarchical Navigable Small World (HNSW)<\/h2>\n<h3>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>HNSW (Hierarchical Navigable Small World) &#8212; \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u0441\u0442\u0430\u043b \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a Qdrant \u0438 PGVector. \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 FAISS. \u0412\u0441\u0435 \u044d\u0442\u043e \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u0438\u0439 recall.<\/p>\n<p>\u0421\u0443\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0433\u0440\u0430\u0444, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u043e\u0439, \u0430 \u0440\u0435\u0431\u0440\u0430 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u0435\u0433\u043e \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u043c\u0438 \u043a \u043d\u0435\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u0441\u043b\u043e\u0435\u0432, \u0433\u0434\u0435 \u0441\u0430\u043c\u044b\u0439 \u0432\u0435\u0440\u0445\u043d\u0438\u0439 \u0441\u043b\u043e\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0435\u0440\u0448\u0438\u043d, \u0430 \u0441\u0430\u043c\u044b\u0439 \u043d\u0438\u0436\u043d\u0438\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0432\u0441\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u043d\u0438\u0436\u0435, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0432\u044b\u0448\u0435\u043b\u0435\u0436\u0430\u0449\u0435\u0433\u043e, \u043f\u043b\u044e\u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0435\u0440\u0448\u0438\u043d.<\/p>\n<p>\u0422\u0430\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u0430\u0445 \u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u044b \u0432 \u043d\u0443\u0436\u043d\u0443\u044e \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u0430 \u0437\u0430\u0442\u0435\u043c, \u043e\u043f\u0443\u0441\u043a\u0430\u044f\u0441\u044c \u043d\u0438\u0436\u0435 \u0441\u043b\u043e\u0439 \u0437\u0430 \u0441\u043b\u043e\u0435\u043c, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u0441\u0440\u0435\u0434\u0438 \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u042d\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u043d\u0430\u0432\u0438\u0433\u0430\u0446\u0438\u044e \u043f\u043e \u043a\u0430\u0440\u0442\u0435: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u0438\u0449\u0435\u043c \u043d\u0443\u0436\u043d\u044b\u0439 \u0433\u043e\u0440\u043e\u0434, \u0437\u0430\u0442\u0435\u043c \u0440\u0430\u0439\u043e\u043d \u0432 \u044d\u0442\u043e\u043c \u0433\u043e\u0440\u043e\u0434\u0435, \u043f\u043e\u0442\u043e\u043c \u0443\u043b\u0438\u0446\u0443, \u0438 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0434\u043e\u043c.<\/p>\n<h3>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h3>\n<p>\u041e\u0431\u0449\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u0434\u0432\u0443\u0445 \u044d\u0442\u0430\u043f\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 HNSW \u0438\u043d\u0434\u0435\u043a\u0441\u0430.<\/p>\n<p>1.1. \u0415\u0441\u043b\u0438 \u043d\u0430\u0448 \u0433\u0440\u0430\u0444 \u0435\u0449\u0435 \u043f\u0443\u0441\u0442\u043e\u0439, \u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u044b \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043c \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0432\u0445\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0437\u043e\u0432\u0435\u043c entry point.<\/p>\n<p>1.2. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c max_level.<\/p>\n<p>1.3. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043d\u043e\u0432\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 vector_new, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c max_level.<\/p>\n<p>1.4. \u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043f\u043e\u0438\u0441\u043a \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0441 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 entry point \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0432\u0435\u0440\u0445\u043d\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0433\u0440\u0430\u0444\u0430.<\/p>\n<p>1.5. \u041d\u0430 \u0443\u0440\u043e\u0432\u043d\u044f\u0445 \u0432\u044b\u0448\u0435 max_level \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0436\u0430\u0434\u043d\u043e \u0441\u043f\u0443\u0441\u043a\u0430\u0435\u043c\u0441\u044f \u0431\u043b\u0438\u0436\u0435 \u043a \u043d\u0443\u0436\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0441\u043e\u0441\u0435\u0434\u043d\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u0435, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u043b\u0438\u0436\u0435 \u043a vector_new, \u0447\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u0430. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u044d\u0442\u043e \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u0441\u0440\u0435\u0434\u0438 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043d\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435.<\/p>\n<p>1.6. \u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u043e\u0445\u043e\u0434\u0438\u043c \u0434\u043e max_level, \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0432\u0441\u0442\u0430\u0432\u043a\u0443 \u043d\u0430\u0448\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 vector_new \u0432 \u043d\u0430\u0448 \u0433\u0440\u0430\u0444.<\/p>\n<p>1.7. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u043e\u0442 max_level \u0434\u043e \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u043f\u043e\u0438\u0441\u043a ef_construction \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 vector_new.<\/p>\n<p>1.8. \u0418\u0437 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 M \u0441\u043e\u0441\u0435\u0434\u0435\u0439, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d \u0432\u0435\u043a\u0442\u043e\u0440 vector_new.<\/p>\n<p>1.9. \u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0440\u0435\u0431\u0440\u0430 \u043c\u0435\u0436\u0434\u0443 vector_new \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c\u0438.<\/p>\n<p>1.10. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0440\u0435\u0431\u0440\u0430 \u0443 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0441\u0442\u0430\u043b\u043e \u0431\u043e\u043b\u044c\u0448\u0435 M, \u0442\u043e \u0441\u043f\u0438\u0441\u043e\u043a \u0435\u0435 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c.<\/p>\n<p>1.11. \u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435 \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0442\u0435 \u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f: \u0438\u0449\u0435\u0442 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e ef_construction, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0434\u043e M \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0440\u0435\u0431\u0440\u0430.<\/p>\n<p>1.12. \u0415\u0441\u043b\u0438 max_level \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0432\u044b\u0448\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0433\u0440\u0430\u0444\u0430, \u0442\u043e vector_new \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u043e\u0432\u043e\u0439 entry point.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0438\u0441\u043a top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query.<\/p>\n<p>2.1. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u0434\u0430\u044e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 query \u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0434\u043e \u043d\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>2.2. \u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u043f\u043e\u0438\u0441\u043a \u0441 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 entry point \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0432\u0435\u0440\u0445\u043d\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0433\u0440\u0430\u0444\u0430.<\/p>\n<p>2.3. \u041d\u0430 \u0432\u0441\u0435\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445 \u043a\u0440\u043e\u043c\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0436\u0430\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a.<\/p>\n<p>2.4. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043c\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0442\u043e\u043c\u0443 \u0441\u043e\u0441\u0435\u0434\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u043b\u0438\u0436\u0435 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u0443 query.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u0441\u043e\u0441\u0435\u0434 \u043d\u0430\u0439\u0434\u0435\u043d, \u043e\u043d \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u043e\u0432\u043e\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u043e\u0439, \u0438 \u043c\u044b \u0441\u043d\u043e\u0432\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0443\u0436\u0435 \u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0435\u0439. \u0422\u0430\u043a \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u0441\u0440\u0435\u0434\u0438 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u043d\u0435\u0442 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0431\u043b\u0438\u0436\u0435 \u043a query.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043d\u0438\u0436\u0435.<\/p>\n<p>2.5. \u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u043e\u0445\u043e\u0434\u0438\u043c \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u0434\u043e \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0438\u0436\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f, \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u0441\u0440\u0435\u0434\u0438 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432.<\/p>\n<p>2.6. \u041d\u0430 \u043d\u0438\u0436\u043d\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u0434\u043e ef_search \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0434\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query.<\/p>\n<p>2.7. \u0418\u0449\u0435\u043c \u0441\u0440\u0435\u0434\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 ef_search \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query.<\/p>\n<p>2.8. \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u044d\u0442\u0438 top_k \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043f\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0434\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 query \u043f\u043e\u0440\u044f\u0434\u043a\u0435.<\/p>\n<\/li>\n<\/ol>\n<h3>\u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/h3>\n<p>M &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u0431\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432\u0435\u0440\u0448\u0438\u043d\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0433\u0440\u0430\u0444\u0430.<\/p>\n<p>ef_construction &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043f\u0438\u0441\u043a\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430.<\/p>\n<p>ef_search &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043f\u0438\u0441\u043a\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>\u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 ef_search \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 recall, \u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435.<\/p>\n<p>\u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 M \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 Python<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import heapqimport mathimport randomfrom dataclasses import dataclass, fieldtype HNSWGraph = dict[int, dict[int, list[int]]]MAX_LEVEL = 16@dataclassclass Point2D:    x: float    y: float@dataclassclass HNSWIndex:    graph:       HNSWGraph = field(default_factory=dict)    levels:      dict[int, int] = field(default_factory=dict)    entry_point: int | None = None    max_level:   int = 0def distance(point_1: Point2D, point_2: Point2D) -&gt; float:    return math.sqrt((point_1.x - point_2.x) ** 2 + (point_1.y - point_2.y) ** 2)def random_level(level_prob: float = 0.5) -&gt; int:    level = 0    while random.random() &lt; level_prob and level &lt; MAX_LEVEL:        level += 1    return leveldef greedy_search(query: Point2D, points: list[Point2D], graph: HNSWGraph, entry_point: int, level: int) -&gt; int:    current      = entry_point    current_dist = distance(points[current], query)    changed = True    while changed:        changed = False        for neighbor in graph.get(level, {}).get(current, []):            neighbor_dist = distance(points[neighbor], query)            if neighbor_dist &lt; current_dist:                current      = neighbor                current_dist = neighbor_dist                changed = True    return currentdef search_layer(    query:       Point2D,    points:      list[Point2D],    graph:       HNSWGraph,    entry_point: int,    level:       int,    ef:          int,) -&gt; list[int]:    entry_dist = distance(points[entry_point], query)    candidates = [( entry_dist, entry_point)]    closest    = [(-entry_dist, entry_point)]    visited = set()    visited.add(entry_point)    while candidates:        current_dist, current =  heapq.heappop(candidates)        worst_dist            = -closest[0][0]        if current_dist &gt; worst_dist and len(closest) &gt;= ef:            break        for neighbor in graph.get(level, {}).get(current, []):            if neighbor in visited:                continue            visited.add(neighbor)            neighbor_dist =  distance(points[neighbor], query)            worst_dist    = -closest[0][0]            if len(closest) &lt; ef or neighbor_dist &lt; worst_dist:                heapq.heappush(candidates, ( neighbor_dist, neighbor))                heapq.heappush(closest,    (-neighbor_dist, neighbor))                if len(closest) &gt; ef:                    heapq.heappop(closest)    return [node for _, node in sorted([(-dist, node) for dist, node in closest])]def select_neighbors(query: Point2D, points: list[Point2D], candidates: list[int], M: int) -&gt; list[int]:    return sorted(candidates, key=lambda p_index: distance(points[p_index], query))[:M]def add_edge(graph: HNSWGraph, level: int, from_node: int, to_node: int) -&gt; None:    graph.setdefault(level, {})    graph[level].setdefault(from_node, [])    if to_node not in graph[level][from_node]:        graph[level][from_node].append(to_node)def shrink_neighbors(points: list[Point2D], graph: HNSWGraph, level: int, node: int, M: int) -&gt; None:    neighbors = graph[level][node]    if len(neighbors) &lt;= M:        return    graph[level][node] = sorted(neighbors, key=lambda neighbor: distance(points[node], points[neighbor]))[:M]def insert_hnsw(index: HNSWIndex, points: list[Point2D], new_point_index: int, ef_construction: int, M: int) -&gt; None:    new_point           = points[new_point_index]    new_point_max_level = random_level()    index.levels[new_point_index] = new_point_max_level    for level in range(new_point_max_level + 1):        index.graph.setdefault(level, {})        index.graph[level].setdefault(new_point_index, [])    if index.entry_point is None:        index.entry_point = new_point_index        index.max_level   = new_point_max_level        return    entry_point = index.entry_point    for level in range(index.max_level, new_point_max_level, -1):        entry_point = greedy_search(            query       = new_point,            points      = points,            graph       = index.graph,            entry_point = entry_point,            level       = level,        )    for level in range(min(new_point_max_level, index.max_level), -1, -1):        candidates = search_layer(            query       = new_point,            points      = points,            graph       = index.graph,            entry_point = entry_point,            level       = level,            ef          = ef_construction,        )        neighbors = select_neighbors(            query      = new_point,            points     = points,            candidates = candidates,            M          = M,        )        for neighbor in neighbors:            add_edge(index.graph, level, new_point_index, neighbor)            add_edge(index.graph, level, neighbor, new_point_index)            shrink_neighbors(points, index.graph, level, neighbor, M)        shrink_neighbors(points, index.graph, level, new_point_index, M)        if candidates:            entry_point = candidates[0]    if new_point_max_level &gt; index.max_level:        index.entry_point = new_point_index        index.max_level   = new_point_max_leveldef build_hnsw(points: list[Point2D], ef_construction: int, M: int) -&gt; HNSWIndex:    index = HNSWIndex()    for p_index in range(len(points)):        insert_hnsw(            index           = index,            points          = points,            new_point_index = p_index,            ef_construction = ef_construction,            M               = M,        )    return indexdef search_hnsw(ef_search: int, top_k: int, query: Point2D, points: list[Point2D], index: HNSWIndex) -&gt; list[Point2D]:    if index.entry_point is None:        return []    entry_point = index.entry_point    for level in range(index.max_level, 0, -1):        entry_point = greedy_search(            query       = query,            points      = points,            graph       = index.graph,            entry_point = entry_point,            level       = level,        )    candidates = search_layer(        query       = query,        points      = points,        graph       = index.graph,        entry_point = entry_point,        level       = 0,        ef          = ef_search,    )    closest_points = sorted(candidates, key=lambda p_index: distance(points[p_index], query))    closest_points = closest_points[:top_k]    return [points[p_index] for p_index in closest_points]points = [Point2D(random.random(), random.random()) for _ in range(100)]top_k = 3query = Point2D(random.random(), random.random())index = build_hnsw(points=points, ef_construction=20, M=5)closest_points = search_hnsw(ef_search=20, top_k=top_k, query=query, points=points, index=index)print('Query:', query)print('Closest points:', closest_points)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>IVF &#8212; \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438, \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u043c\u0430\u043b\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 recall, \u0430 \u0441\u0430\u043c\u044b\u0439 \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0435\u0433\u043e \u043f\u043b\u044e\u0441 \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438.<\/p>\n<p>HNSW &#8212; \u0447\u0443\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0432 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438, \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0438\u0439 recall \u043f\u0440\u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u043e\u0438\u0441\u043a\u0430, \u0435\u0441\u0442\u044c \u043c\u043d\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u043e\u043d \u043f\u043b\u043e\u0445\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438.<\/p>\n<p>\u041c\u044b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0434\u0432\u0430 \u0441\u0430\u043c\u044b\u0445 \u0432\u0430\u0436\u043d\u044b\u0445 \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u043e\u0438\u0441\u043a\u0435 \u0438 \u043d\u0430\u0434\u0435\u044e\u0441\u044c \u044d\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0433\u043b\u0443\u0431\u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0442\u043e, \u043a\u0430\u043a \u043e\u043d\u0438 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438 \u0432 \u043a\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u0442 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c.<\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043a\u0442\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u043b \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u0442\u043e\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u043e\u043b\u043e\u0434\u0435\u0446!<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1046654\/\">https:\/\/habr.com\/ru\/articles\/1046654\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041e \u0447\u0435\u043c \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f?\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0447\u0443 \u043f\u0440\u043e\u0439\u0442\u0438\u0441\u044c \u043f\u043e \u0434\u0432\u0443\u043c \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a\u0443.\u0417\u0430\u043e\u0434\u043d\u043e \u043c\u044b \u0437\u0430\u0442\u0440\u043e\u043d\u0435\u043c \u0442\u0435\u043c\u0443 \u043c\u0435\u0442\u0440\u0438\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c k-means \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e ML\u2019\u0430, \u043b\u0435\u0436\u0430\u0449\u0438\u0439 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 IVF.\u0418 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0434\u0432\u0430 \u0441\u0430\u043c\u044b\u0445 \u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 IVF \u0438 HNSW \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u0438\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Python\u2019\u0435.Curse of Dimensionality\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0437\u044f\u0442\u044c \u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a\u0438\u043c-\u043d\u0438\u0431\u0443\u0434\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0432\u0440\u043e\u0434\u0435 kd-tree \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a\u0443. \u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0432\u0441\u0435 \u0434\u0435\u043b\u043e \u0432 \u0448\u0442\u0443\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043a\u043b\u044f\u0442\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 (curse of dimensionality).\u0421 \u0440\u043e\u0441\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432 \u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0436\u0435 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u0435\u043a \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438. \u0410 \u044d\u0442\u043e \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0435\u0439. \u0412 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0439 \u0438 \u0441\u0430\u043c\u043e\u0439 \u0434\u0430\u043b\u0435\u043a\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c. \u042d\u0442\u043e \u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f concentration of distances.\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044f\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439:1D &#8212; \u043c\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043e\u0434\u043d\u0443 \u043f\u0440\u044f\u043c\u0443\u044e2D &#8212; \u043c\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u04423D &#8212; \u043c\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u0443\u0431\u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432 d-\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0443 \u043d\u0430\u0441 \u0433\u0438\u043f\u0435\u0440\u043a\u0443\u0431. \u0421 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u0447\u0435\u043a \u0434\u043b\u044f \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.\u041a \u043a\u0430\u043a\u0438\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442?Data sparsity. \u0414\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c, \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0443\u0441\u0442\u043e\u0439. \u042d\u0442\u043e \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u043f\u043e\u0438\u0441\u043a\u0430.Increased computation. \u0411\u043e\u043b\u044c\u0448\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445.Overfitting. \u041c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u0447\u0438\u043d\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0434 \u0448\u0443\u043c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u0430 \u043d\u0435 \u043f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c. \u042d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 \u043d\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.Distances lose meaning. \u0420\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0442\u043e\u0447\u0435\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u0430\u043a \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0442\u0435\u0440\u044f\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.Performance degradation. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, k-means), \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0445\u0443\u0436\u0435.\u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e PCA, \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044f \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\u043c\u0438.\u041d\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435.Exact Nearest NeighborExact nearest neighbor search \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0441\u0430\u043c\u044b\u0439 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043e\u0431\u044a\u0435\u043a\u0442. \u0427\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u043e, \u0438\u043d\u0434\u0435\u043a\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u0443\u043c\u0435\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u0442\u0441\u0435\u043a\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 (pruning).\u041d\u043e \u0432 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445:\u043d\u0430\u0434\u0435\u0436\u043d\u043e \u043e\u0442\u0441\u0435\u0447\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0432 \u0438\u0442\u043e\u0433\u0435 exact indexes \u0442\u0435\u0440\u044f\u044e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, kd-tree \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u0430\u0437\u0430\u0442\u044c:\u0432\u0441\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432 \u044d\u0442\u043e\u043c \u043f\u043e\u0434\u0434\u0435\u0440\u0435\u0432\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u0430\u043b\u0435\u043a\u043e\u0432 \u044d\u0442\u0443 \u0432\u0435\u0442\u0432\u044c \u0434\u0435\u0440\u0435\u0432\u0430 \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u041d\u043e, \u0432 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445:bounding regions \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0442\u044c\u0441\u044f\u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u0435\u0442\u0432\u0435\u0439\u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0431\u043e\u0440Approximate Nearest Neighbor\u0412\u043c\u0435\u0441\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u044b \u0441\u043e\u0433\u043b\u0430\u0448\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 approximate answer, \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430\u0439\u0442\u0438 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432.\u0422\u0435\u043f\u0435\u0440\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c:\u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u0442\u0431\u0440\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u0442\u043e\u0447\u043d\u043e \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0415\u043c\u0443 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e:\u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0439\u0442\u0438 \u043e\u0431\u043b\u0430\u0441\u0442\u044c, \u0433\u0434\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043b\u0435\u0436\u0430\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0441\u043e\u0441\u0435\u0434\u0438\u0422\u043e \u0435\u0441\u0442\u044c exact pruning \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 heuristic candidate generation.\u041c\u0435\u0442\u0440\u0438\u043a\u0438 (L2, Inner Product, Cosine Similarity)\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u041c\u044b \u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u044b \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0431\u0443\u0434\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u0422\u0443\u0442 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043d\u0435\u0441\u0443\u0449\u0438\u0435 \u0432 \u0441\u0435\u0431\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443. \u0410 \u0432\u0435\u0434\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430.\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0440\u044b \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438:L2Inner ProductCosine Similarity\u0412\u044b\u0431\u043e\u0440 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0443\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 Cosine Similarity, \u044d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0434\u043b\u0438\u043d\u0443. \u0410 \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445-\u043d\u0438\u0431\u0443\u0434\u044c \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u043e\u0436\u0435 \u043d\u0435\u0441\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u0438\u043b\u0443 \u0438\u043b\u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.L2 &#8212; \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u0438\u043d\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f squared L2\u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u0434\u0430\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435.\u200b\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044fL2 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441:\u201c\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0434\u0432\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435?\u201d\u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0442\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0431\u043b\u0438\u0436\u0435.\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e\u041d\u0430 L2 \u0432\u043b\u0438\u044f\u044e\u0442 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u0432\u0435\u0449\u0438:\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u043d\u043e \u043e\u0434\u0438\u043d \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u0434\u0440\u0443\u0433\u043e\u0433\u043e, L2 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u043c.Inner Product\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044fInner Product \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043a\u043e\u0433\u0434\u0430:\u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443\u0443 \u043d\u0438\u0445 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u043b\u0438\u043d\u044b\u0422\u043e \u0435\u0441\u0442\u044c \u044d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u201c\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u201d. \u042d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u043c\u0435\u0440\u0430 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0432\u0443\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432.\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043eInner Product \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u043d\u043e\u0440\u043c\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430.\u0415\u0441\u043b\u0438 \u043e\u0434\u0438\u043d \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u201c\u0434\u043b\u0438\u043d\u043d\u0435\u0435\u201d, Inner Product \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438.Cosine Similarity\u0418\u043d\u0442\u0443\u0438\u0446\u0438\u044fCosine Similarity \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441:\u201c\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u043c\u043e\u0442\u0440\u044f\u0442 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443?\u201d\u041e\u043d\u0430 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043b\u0438\u043d\u0443 \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435.\u0414\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u041e\u0431\u044b\u0447\u043d\u043e:1 \u2014 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0435\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u04350 \u2014 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b-1 \u2014 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u0447\u0430\u0441\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043b\u0438 \u043e\u043a\u043e\u043b\u043e \u043d\u0443\u043b\u044f, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430.\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043eCosine Similarity \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430.\u0415\u0441\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430 10, Cosine Similarity \u0441 \u0434\u0440\u0443\u0433\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f.\u0421\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 Cosine Similarity \u0438 Inner Product\u0415\u0441\u043b\u0438 \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043a \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435:\u0442\u043e\u0433\u0434\u0430:\u0422\u043e \u0435\u0441\u0442\u044c Inner Product \u0438 Cosine Similarity \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b.\u0421\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 Cosine Similarity \u0438 L2\u0415\u0441\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b, \u043c\u0435\u0436\u0434\u0443 Cosine Similarity \u0438 L2 \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0441\u0432\u044f\u0437\u044c.\u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442:\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 L2 distance\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442.\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043f\u043e\u0441\u043b\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u043e\u0439 \u0433\u0438\u043f\u0435\u0440\u0441\u0444\u0435\u0440\u044b.\u0422\u043e\u0433\u0434\u0430:Cosine Similarity \u2014 \u044d\u0442\u043e \u201c\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0443\u0433\u043e\u043b \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438\u201dInner Product \u2014 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u043b\u0438\u043d\u044b \u0443\u0436\u0435 \u0440\u0430\u0432\u043d\u044b 1L2 distance \u2014 \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0445\u043e\u0440\u0434\u044b \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0442\u043e\u0447\u043a\u0430\u043c\u0438 \u043d\u0430 \u0441\u0444\u0435\u0440\u0435\u0410 \u043d\u0430 \u0433\u0438\u043f\u0435\u0440\u0441\u0444\u0435\u0440\u0435:\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0443\u0433\u043e\u043b\u0431\u043e\u043b\u044c\u0448\u043e\u0439 cosine\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0445\u043e\u0440\u0434\u0430\u0432\u0441\u0435 \u044d\u0442\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445.k-means\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043c\u044b \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c \u043a \u0440\u0430\u0437\u0431\u043e\u0440\u0443 IVF, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 k-means, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u043f\u043e \u0441\u0443\u0442\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u043a\u0438\u0440\u043f\u0438\u0447\u0438\u043a\u043e\u043c \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f IVF \u0438 \u0431\u0435\u0437 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 k-means \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 IVF.\u0414\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f (unsupervised learning). \u041d\u0430 \u0432\u0445\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 (unlabeled data), \u0430 \u043e\u043d \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432 k \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435.\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0421\u0430\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u0432\u043e\u0442 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0448\u0430\u0433\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u043e \u0441\u043e\u0441\u0442\u043e\u0438\u0442:\u041c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 k \u0442\u043e\u0447\u0435\u043a \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u0431\u0443\u0434\u0443\u0442 \u043d\u0430\u0448\u0438\u043c\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0430\u043c\u0438.\u041f\u0440\u043e\u0431\u0435\u0433\u0430\u0435\u043c\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c, \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a \u043a\u0430\u043a\u043e\u0439 \u0438\u0437 \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434 \u043e\u043d\u0430 \u0431\u043b\u0438\u0436\u0435 \u0432\u0441\u0435\u0433\u043e. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f k \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.\u0412\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u0446\u0435\u043d\u0442\u0440\u043e\u0438\u0434\u0443, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f mean \u0442\u043e\u0447\u043a\u0443 \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0442\u043e\u0447\u0435\u043a \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.\u0417\u0430\u043d\u043e\u0432\u043e \u043f\u0440\u043e\u0431\u0435\u0433\u0430\u0435\u043c\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u0447\u043a\u0430\u043c \u0438 \u0441\u043d\u043e\u0432\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c, \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0443 \u043e\u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f.\u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0437\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0437\u043d\u0430\u0447\u0438\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u043e\u0448\u0435\u043b\u0441\u044f \u0438 \u043c\u044b \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u043c. \u041b\u0438\u0431\u043e, \u043c\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043b\u0438\u043c\u0438\u0442\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 Pythonimport mathimport randomfrom dataclasses import dataclassMAX_STEPS = 100@dataclassclass Point2D:    x: float    y: floatdef distance(point_1: Point2D, point_2: Point2D) -&gt; float:    return math.sqrt((point_1.x &#8212; point_2.x) ** 2 + (point_1.y &#8212; point_2.y) ** 2)def assign_points(points: list[Point2D], centroids: dict[int, Point2D]) -&gt; list[int]:    clusters = [0 for _ in range(len(points))]    for p_index in range(len(points)):        min_dist    = None        min_cluster = None        for cluster, centroid in centroids.items():            dist = distance(points[p_index], centroid)            if min_dist is None or dist &lt; min_dist:                min_dist    = dist                min_cluster = cluster        clusters[p_index] = min_cluster    return clustersdef update_centroids(points: list[Point2D], clusters: list[int], centroids: dict[int, Point2D]) -&gt; dict[int, Point2D]:    updated_centroids = {}    for cluster, _ in centroids.items():        mean_x = 0        mean_y = 0        mean_n = 0        for p_index in range(len(points)):            if cluster == clusters[p_index]:                mean_x += points[p_index].x                mean_y += points[p_index].y                mean_n += 1        if mean_n &gt; 0:            updated_centroids[cluster] = Point2D(mean_x \/ mean_n, mean_y \/ mean_n)        else:            updated_centroids[cluster] = centroids[cluster]    return updated_centroidsdef k_means(k: int, points: list[Point2D]) -&gt; tuple[dict[int, Point2D], list[int]]:    clusters = [0 for _ in range(len(points))]    # initialize centroids    centroids = {cluster: points[p_index] for cluster, p_index in enumerate(random.sample(range(len(points)), k), 1)}    step = 0    while step &lt; MAX_STEPS:        updated_clusters = assign_points(points, centroids)        if clusters == updated_clusters:            return centroids, updated_clusters        clusters  = updated_clusters        centroids = update_centroids(points, clusters, centroids)        step += 1    return centroids, clusterspoints = [Point2D(random.random(), random.random()) for _ in&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-483357","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/483357","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=483357"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/483357\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=483357"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=483357"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=483357"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}