{"id":486647,"date":"2026-07-08T14:38:48","date_gmt":"2026-07-08T14:38:48","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=486647"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=486647","title":{"rendered":"\u041a\u0430\u043a \u044f \u043f\u0438\u0441\u0430\u043b in-memory \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u043d\u0430 Go \u2014 \u0438 \u0432 \u043a\u0430\u043a\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u043d \u043e\u0431\u043e\u0433\u043d\u0430\u043b hnswilb"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041d\u0438\u043a\u043e\u043b\u0430\u0439, \u043c\u043d\u0435 32 \u0433\u043e\u0434\u0430. \u041f\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u044f \u0432\u0440\u0430\u0447, \u0430\u043d\u0435\u0441\u0442\u0435\u0437\u0438\u043e\u043b\u043e\u0433-\u0440\u0435\u0430\u043d\u0438\u043c\u0430\u0442\u043e\u043b\u043e\u0433 \u2014 \u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0441\u044c \u0432 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e\u0439 \u0441\u0444\u0435\u0440\u0435, \u0438, \u0447\u0435\u0441\u0442\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u043d\u0430 \u0437\u0430\u0442\u044f\u043d\u0443\u043b\u0430 \u043c\u0435\u043d\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u2014 \u0432\u0441\u0451 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435: \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043f\u0430\u043c\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0434 \u043b\u043e\u043a\u0430\u043c\u0438, \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u043b\u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439. \u0420\u0435\u0430\u043d\u0438\u043c\u0430\u0446\u0438\u044f \u043d\u0430\u0443\u0447\u0438\u043b\u0430 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438: \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c, \u0430 \u043d\u0435 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u044f\u043c.<\/p>\n<p>\u041f\u0440\u043e\u0435\u043a\u0442, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0439\u0434\u0451\u0442 \u0440\u0435\u0447\u044c, \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u2014 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0432\u043e\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438 \u043f\u043e\u0449\u0443\u043f\u0430\u0442\u044c, \u043a\u0430\u043a \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u0437\u043d\u0443\u0442\u0440\u0438: event loop, \u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440\u044b, WAL, \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b. \u041d\u043e \u0447\u0435\u043c \u0433\u043b\u0443\u0431\u0436\u0435 \u044f \u043a\u043e\u043f\u0430\u043b, \u0442\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u043e\u0441\u044c, \u0438 \u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u00bb \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432\u044b\u0440\u043e\u0441 \u0432 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u044f \u0445\u043e\u0447\u0443 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f.<\/p>\n<p>\u041d\u0435 \u0431\u0443\u0434\u0443 \u0441\u043a\u0440\u044b\u0432\u0430\u0442\u044c: \u043c\u043e\u0438\u043c \u043d\u0430\u043f\u0430\u0440\u043d\u0438\u043a\u043e\u043c \u0432 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0431\u044b\u043b Claude. \u0427\u0430\u0441\u0442\u044c \u0432\u0435\u0449\u0435\u0439 \u043e\u043d \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u043b, \u044f \u0432\u043d\u0438\u043a\u0430\u043b, \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b, \u0441\u043f\u043e\u0440\u0438\u043b \u2014 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0442\u0432\u043e\u0440\u0438\u043b\u0438 \u0432\u043c\u0435\u0441\u0442\u0435. \u041a\u0430\u0436\u0434\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u043a\u0430\u0436\u0434\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f \u043f\u043e\u043d\u0438\u043c\u0430\u044e \u0438 \u043c\u043e\u0433\u0443 \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c, \u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0432 \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0443\u043a\u0438, \u0438 \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u0440\u044f\u043c\u043e.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043a \u0434\u0435\u043b\u0443. \u041f\u043e\u043b\u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434 \u044f \u043d\u0430\u0447\u0430\u043b \u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u043d\u043e\u0434\u043e\u0432\u0443\u044e in-memory \u0431\u0430\u0437\u0443 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u043d\u0430 Go. \u0411\u0435\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432, \u0431\u0435\u0437 Raft, \u0431\u0435\u0437 \u00ab\u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d Kubernetes-\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u00bb. \u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441, RESP-\u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b (\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 <code>redis-cli<\/code>), HNSW-\u0438\u043d\u0434\u0435\u043a\u0441 \u0432\u043d\u0443\u0442\u0440\u0438, WAL \u043d\u0430 \u0434\u0438\u0441\u043a\u0435.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u2014 \u043f\u0443\u0442\u044c \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 18 QPS, \u0434\u043e \u0434\u0432\u0438\u0436\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u0431\u0445\u043e\u0434\u0438\u0442 hnswlib \u043d\u0430 36\u201338%, \u0430 \u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 \u0441 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u2014 \u0432 2.5 \u0440\u0430\u0437\u0430 \u043f\u0440\u0438 \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u0421\u043e \u0432\u0441\u0435\u043c\u0438 \u0446\u0438\u0444\u0440\u0430\u043c\u0438, \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0433\u0440\u0430\u0431\u043b\u044f\u043c\u0438 \u0438 \u0447\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041a\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442: <a href=\"https:\/\/github.com\/Nikolay1994Kaz\/storage_in_memory\" rel=\"noopener noreferrer nofollow\">\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043d\u0430 \u0413\u0438\u0442\u0445\u0430\u0431\u0435<\/a>.<\/p>\n<h3>\u0417\u0430\u0447\u0435\u043c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0411\u0414<\/h3>\n<p>\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442: \u043c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u0434 RAG\/\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0438\u0441\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0436\u0438\u0432\u0451\u0442 <strong>\u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u044f\u0434\u043e\u043c \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438<\/strong>, \u0430 \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 \u0442\u0440\u0438 \u043d\u043e\u0434\u044b \u0441 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u043c.<\/p>\n<p>\u0422\u0435\u0437\u0438\u0441, \u0432\u043e\u043a\u0440\u0443\u0433 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u0440\u043e\u0435\u043a\u0442: \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u2014 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u041c\u0438\u043b\u043b\u0438\u043e\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u043e 1536 float32 \u2014 \u044d\u0442\u043e 6 \u0413\u0411. \u0421 int8-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u2014 1.5 \u0413\u0411. \u042d\u0442\u043e \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430, \u043d\u0435 \u0442\u043e \u0447\u0442\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u041a\u043b\u0430\u0441\u0442\u0435\u0440 \u0437\u0434\u0435\u0441\u044c \u2014 \u043d\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u0430 \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0430, \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043e\u0442 \u044d\u043f\u043e\u0445\u0438, \u043a\u043e\u0433\u0434\u0430 \u00ab\u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb \u043e\u0437\u043d\u0430\u0447\u0430\u043b\u043e \u00ab\u0434\u0438\u0441\u043a\u00bb.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><strong>\u041e\u0434\u043d\u0430 \u043d\u043e\u0434\u0430.<\/strong> Durability \u0438 disaster recovery \u2014 \u0447\u0435\u0440\u0435\u0437 WAL + \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b + \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0448\u0438\u043f\u043f\u0438\u043d\u0433 WAL \u043d\u0430 S3 (\u0432 \u0441\u0442\u0438\u043b\u0435 Litestream), \u0430 \u043d\u0435 \u0447\u0435\u0440\u0435\u0437 \u0440\u0435\u043f\u043b\u0438\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>RESP-\u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b.<\/strong> \u041a\u043b\u0438\u0435\u043d\u0442 \u2014 \u043b\u044e\u0431\u043e\u0439 Redis-\u043a\u043b\u0438\u0435\u043d\u0442 \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0441\u0432\u043e\u0435\u0433\u043e SDK.<\/p>\n<\/li>\n<li>\n<p><strong>KV\/TTL\/Pub-Sub-\u0441\u043b\u043e\u0439 \u0432\u043e\u043a\u0440\u0443\u0433 \u2014 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d.<\/strong> \u041e\u043d \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435, payload, RAG-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b), \u0438 \u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u044b\u0442\u044c \u0437\u0430\u043c\u0435\u043d\u043e\u0439 Redis. \u041f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442\u043e\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u0435\u043a: Go 1.25, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0439 \u043d\u0430 AVX2-\u0430\u0441\u0441\u0435\u043c\u0431\u043b\u0435\u0440\u0435, \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e wazero \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e WASM-\u043c\u043e\u0434\u0443\u043b\u044f (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d \u0438\u0437 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438).<\/p>\n<h3>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u044f\u0434\u0440\u0430<\/h3>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e \u043a\u0430\u043a LSM-\u0434\u0435\u0440\u0435\u0432\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u043e\u0432:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/4d\/2b\/e8\/4d2be8fadf9cbdcb9179b6cf63bb9bc5.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/4d\/2b\/e8\/4d2be8fadf9cbdcb9179b6cf63bb9bc5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/4d\/2b\/e8\/4d2be8fadf9cbdcb9179b6cf63bb9bc5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<ul>\n<li>\n<p><strong>\u0414\u0435\u043b\u044c\u0442\u0430<\/strong> \u2014 \u043c\u0443\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0439 HNSW-\u0433\u0440\u0430\u0444, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u0440\u043e\u0433\u0430 (<code>deltaMax<\/code>) \u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>Frozen-\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b<\/strong> \u2014 \u0438\u043c\u043c\u0443\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u044b \u0432 CSR-\u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0435 (\u043f\u043b\u043e\u0441\u043a\u0438\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439), \u0441 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 SQ8-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (float32 \u2192 int8, 4\u00d7 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438). \u0418\u043c\u043c\u0443\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u0451\u0442 \u043b\u043e\u043a-\u0444\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0434\u0435\u0448\u0451\u0432\u0443\u044e \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e: \u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u2014 \u044d\u0442\u043e \u043f\u043e \u0441\u0443\u0442\u0438 <code>write()<\/code> \u043f\u0430\u0440\u044b \u0441\u043b\u0430\u0439\u0441\u043e\u0432 \u0441 CRC.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043e\u0438\u0441\u043a<\/strong> \u2014 fan-out \u043f\u043e \u0434\u0435\u043b\u044c\u0442\u0435 \u0438 \u0432\u0441\u0435\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u043c, merge top-K. \u0427\u0438\u0441\u043b\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u0441\u044f \u043d\u0438\u0436\u0435, \u2014 \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043b\u044e\u0447\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u043a\u0430\u043a <code>[]string<\/code> \u2014 \u043e\u043d\u0438 \u0438\u043d\u0442\u0435\u0440\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u043e\u0434\u0438\u043d \u0431\u0430\u0439\u0442\u043e\u0432\u044b\u0439 \u0431\u043b\u043e\u0431 \u0441\u043e \u0441\u0440\u0435\u0437\u043e\u043c \u043e\u0444\u0444\u0441\u0435\u0442\u043e\u0432. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043d\u0435 \u0432 \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u044f\u0445 \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441, \u0430 \u0432 GC: <code>[]string<\/code> \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u044d\u0442\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 GC \u0441\u043a\u0430\u043d\u0438\u0440\u0443\u0435\u0442 <strong>\u043a\u0430\u0436\u0434\u044b\u0439 \u0446\u0438\u043a\u043b<\/strong>. \u0414\u0432\u0430 \u043f\u043b\u043e\u0441\u043a\u0438\u0445 \u0441\u043b\u0430\u0439\u0441\u0430 \u0431\u0435\u0437 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 GC \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u042d\u0442\u043e steady-state \u0446\u0435\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e <code>benchmem<\/code> \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0430 p99 \u0434\u043e\u043b\u0433\u043e\u0436\u0438\u0432\u0443\u0449\u0435\u0439 \u0431\u0430\u0437\u044b \u2014 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442.<\/p>\n<h3>\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0440\u0430\u0431\u043b\u0438, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0434\u043e \u0446\u0438\u0444\u0440<\/h3>\n<h4>\u0413\u0440\u0430\u0431\u043b\u044f \u21161: \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432\u0440\u0443\u0442<\/h4>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e\u0438\u0441\u043a\u0430 \u0432\u044b\u0434\u0430\u043b <strong>18 QPS<\/strong>. \u041f\u0430\u043d\u0438\u043a\u0430, \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0438\u0441\u043a \u0431\u0430\u0433\u0430\u2026 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e. \u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 768 \u2014 \u0430 \u0432 \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u0441\u0435 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u0440\u0430\u0432\u043d\u044b (\u043f\u0440\u043e\u043a\u043b\u044f\u0442\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438), HNSW-\u0433\u0440\u0430\u0444 \u0432\u044b\u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0438 \u043f\u043e\u0438\u0441\u043a \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0443\u0442\u0444\u043e\u0440\u0441.<\/p>\n<p>\u041d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c MNIST-784 \u0442\u043e\u0442 \u0436\u0435 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b ~1100 QPS. <strong>\u0412\u044b\u0432\u043e\u0434: \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 ANN-\u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435 \u043d\u0435 \u0437\u043d\u0430\u0447\u0430\u0442 \u043d\u0438\u0447\u0435\u0433\u043e.<\/strong> \u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043d\u0438\u0436\u0435 \u2014 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 (MNIST-784, SIFT-1M, GIST-960, DBpedia\/OpenAI-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438) \u0441 held-out \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0438 \u0442\u043e\u0447\u043d\u044b\u043c brute-force ground truth.<\/p>\n<h4>\u0413\u0440\u0430\u0431\u043b\u044f \u21162: \u043f\u0435\u0440\u0435\u043c\u0435\u0440\u044c, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0447\u0438\u043d\u0438\u0442\u044c<\/h4>\n<p>\u0412 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u044f \u0441\u0435\u043b \u00ab\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e 1100 QPS \u043c\u0430\u043b\u043e\u00bb. \u0414\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0440\u0438\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u0443\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0442\u0435 \u0436\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0434\u0430\u044e\u0442 <strong>3605 QPS<\/strong>. \u0421\u0442\u0430\u0440\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0442\u0430\u0440\u0435\u043b\u043e, \u0438 \u044f \u0447\u0443\u0442\u044c \u043d\u0435 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u043d\u0435\u0434\u0435\u043b\u044e \u043d\u0430 \u0440\u0435\u0448\u0451\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u041d\u0435 \u0434\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0447\u0438\u0441\u043b\u0430\u043c \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u0435\u0441\u0441\u0438\u0439.<\/p>\n<h4>\u0413\u0440\u0430\u0431\u043b\u044f \u21163: \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e iso-recall<\/h4>\n<p>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u00ab\u043c\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0442\u0438\u0432 hnswlib \u043f\u0440\u0438 ef=64\u00bb \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e: \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 ef \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 recall. \u0427\u0435\u0441\u0442\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u2014 \u043a\u0430\u043a \u0432 ann-benchmarks: \u0441\u0442\u0440\u043e\u0438\u043c \u043a\u0440\u0438\u0432\u0443\u044e recall\u2194QPS \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c QPS <strong>\u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c recall<\/strong>. \u0412\u0441\u0435 head-to-head \u043d\u0438\u0436\u0435 \u2014 iso-recall, \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0448\u0438\u043d\u0435.<\/p>\n<p>\u0416\u0435\u043b\u0435\u0437\u043e \u0432\u0441\u0435\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432: i7-9750H (6 \u044f\u0434\u0435\u0440 \/ 12 \u043f\u043e\u0442\u043e\u043a\u043e\u0432), \u043d\u043e\u0443\u0442\u0431\u0443\u043a 2019 \u0433\u043e\u0434\u0430, \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0442\u0440\u043e\u0442\u0442\u043b\u0438\u0442. QPS_1 \u2014 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a, QPS_12 \u2014 12 \u043f\u043e\u0442\u043e\u043a\u043e\u0432.<\/p>\n<h3>\u0422\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u043b\u0438 \u043a\u0440\u0430\u0442\u043d\u044b\u0439 \u0440\u043e\u0441\u0442<\/h3>\n<h4>1. \u042d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043e\u0441\u0435\u0434\u0435\u0439: \u00d72.66 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e<\/h4>\n<p>\u041d\u0430\u0438\u0432\u043d\u044b\u0439 HNSW \u043f\u0440\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 M \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0432 \u0441\u043e\u0441\u0435\u0434\u0438. \u042d\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u0432\u0437\u0430\u0438\u043c\u043d\u043e-\u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0440\u0451\u0431\u0435\u0440: greedy-\u043f\u043e\u0438\u0441\u043a \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0438 recall \u043f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c ef \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0435\u0442. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 Algorithm 4 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 Malkov &amp; Yashunin: \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u043d \u0431\u043b\u0438\u0436\u0435 \u043a \u0431\u0430\u0437\u043e\u0432\u043e\u043c\u0443 \u0443\u0437\u043b\u0443, \u0447\u0435\u043c \u043a \u043b\u044e\u0431\u043e\u043c\u0443 \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 \u0441\u043e\u0441\u0435\u0434\u0443. \u041f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u0440\u0451\u0431\u0440\u0430 \u2014 \u043d\u0430\u0432\u0438\u0433\u0430\u0446\u0438\u044f \u043f\u043e \u0433\u0440\u0430\u0444\u0443 \u0440\u0435\u0437\u043a\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0440 \u043d\u0430 MNIST-784 (60k, M=32, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0439 seed, \u0447\u0442\u043e\u0431\u044b \u0443\u0440\u043e\u0432\u043d\u0438 HNSW \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0432\u0430\u0440\u0438\u0430\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">efSearch \u0434\u043b\u044f recall\u22650.96<\/p>\n<\/th>\n<th>\n<p align=\"left\">QPS_12<\/p>\n<\/th>\n<th>\n<p align=\"left\">insert\/s<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">top-M (\u043d\u0430\u0438\u0432\u043d\u044b\u0439)<\/p>\n<\/td>\n<td>\n<p align=\"left\">200<\/p>\n<\/td>\n<td>\n<p align=\"left\">3611<\/p>\n<\/td>\n<td>\n<p align=\"left\">561<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>50<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>9595<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>834<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u00d72.66 QPS \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c recall \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u00d71.49 \u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0438<\/strong> \u2014 \u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0430\u0441\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u0432\u0438\u0433\u0438\u0440\u0443\u0435\u043c\u043e\u043c\u0443 \u0433\u0440\u0430\u0444\u0443 \u0438 \u0432\u0441\u0442\u0430\u0432\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041e\u0434\u043d\u0430 \u043f\u0440\u0430\u0432\u043a\u0430 build-time \u043b\u043e\u0433\u0438\u043a\u0438, \u0444\u043e\u0440\u043c\u0430\u0442 \u0438 \u043f\u043e\u0438\u0441\u043a \u043d\u0435 \u0442\u0440\u043e\u043d\u0443\u0442\u044b.<\/p>\n<h4>2. \u0428\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0434\u0435\u043b\u044c\u0442\u0430: \u00d74.25 \u043a \u0437\u0430\u043f\u0438\u0441\u0438<\/h4>\n<p>\u041a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0443\u043f\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u043a \u0434\u0435\u043b\u044c\u0442\u044b: \u043f\u043e\u0442\u043e\u043b\u043e\u043a ~800 insert\/s \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442 \u043f\u043e\u0442\u043e\u043a\u043e\u0432. \u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0434\u0435\u043b\u044c\u0442\u0443 \u043d\u0430 N \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0448\u0430\u0440\u0434\u043e\u0432 (\u043a\u043b\u044e\u0447 \u2192 <code>maphash(key) % N<\/code>), \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u043b\u043e\u043a\u043e\u043c. <code>Add<\/code> \u0442\u0435\u043f\u0435\u0440\u044c \u0431\u0435\u0440\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e RLock \u0432\u0435\u0440\u0445\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f, \u043f\u0438\u0441\u0430\u0442\u0435\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p>MNIST-784, \u0432\u0441\u0442\u0430\u0432\u043a\u0430: 1 \u0448\u0430\u0440\u0434 \u2014 906\/s, 4 \u2014 2205\/s (\u00d72.43), 12 \u2014 3848\/s (<strong>\u00d74.25<\/strong>). Recall \u043d\u0435 \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442.<\/p>\n<p>\u0426\u0435\u043d\u0430: \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0434\u0435\u043b\u044c\u0442\u0435 \u2014 fan-out \u043f\u043e \u0448\u0430\u0440\u0434\u0430\u043c. \u041d\u0430 \u043f\u0440\u043e\u0434\u0435 \u0434\u0435\u043b\u044c\u0442\u0430 \u2014 1\u20132% \u0434\u0430\u043d\u043d\u044b\u0445, \u0448\u0442\u0440\u0430\u0444 \u043f\u043e\u0438\u0441\u043a\u0430 ~2\u20135%. \u0424\u0438\u0447\u0430 gated: \u0434\u0435\u0444\u043e\u043b\u0442 \u2014 1 \u0448\u0430\u0440\u0434, \u0441\u0442\u0430\u0440\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435.<\/p>\n<h4>3. \u041a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432: \u00d74\u20137 \u043a \u043f\u043e\u0438\u0441\u043a\u0443<\/h4>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041d\u0430 SIFT-1M \u043c\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0432 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u043b hnswlib \u0432 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u043f\u043e \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u043c\u0443 QPS \u2014 \u0438 \u044f \u043f\u043e\u0447\u0442\u0438 \u0441\u043f\u0438\u0441\u0430\u043b \u044d\u0442\u043e \u043d\u0430 \u00ab\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432\u00bb. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b A\/B-\u0442\u0435\u0441\u0442\u043e\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">recall<\/p>\n<\/th>\n<th>\n<p align=\"left\">QPS_1<\/p>\n<\/th>\n<th>\n<p align=\"left\">QPS_12<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">14 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 (deltaMax=50k)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.996<\/p>\n<\/td>\n<td>\n<p align=\"left\">1123<\/p>\n<\/td>\n<td>\n<p align=\"left\">2064<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.84\u00d7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 (deltaMax=250k)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.993<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">5338<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>1 \u0441\u0435\u0433\u043c\u0435\u043d\u0442<\/strong> (deltaMax=N)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.991<\/p>\n<\/td>\n<td>\n<p align=\"left\">2840<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>14464<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">5.09\u00d7<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u0443\u043b\u044c\u0442\u0438\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043d\u044b\u0439 fan-out \u0443\u0431\u0438\u0432\u0430\u043b \u0438 QPS, \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u044f\u0434\u0440\u0430\u043c: \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u0430\u0442\u0438\u043b \u0437\u0430 \u043f\u043e\u0438\u0441\u043a \u0432 14 \u0433\u0440\u0430\u0444\u0430\u0445 \u0438 merge. \u041a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0432 1\u20132 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u2014 <strong>\u00d77 QPS \u043e\u0434\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439, \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043a\u043e\u0434\u0430<\/strong>. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 LSM-tradeoff \u0437\u0430\u043f\u0438\u0441\u044c\u2194\u0447\u0442\u0435\u043d\u0438\u0435: read-heavy \u043f\u0440\u043e\u0444\u0438\u043b\u044e \u2014 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u044b\u0439 merge, write-heavy \u2014 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h3>Head-to-head \u043f\u0440\u043e\u0442\u0438\u0432 hnswlib<\/h3>\n<p>hnswlib \u2014 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u0430\u044f C++ \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f HNSW \u0441 \u0432\u044b\u043b\u0438\u0437\u0430\u043d\u043d\u044b\u043c SIMD. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 M=16\/efC=200, \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 500 held-out \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 ground truth.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/7e\/8b\/6f\/7e8b6f95c2e8fde11ddba11c71da3470.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/7e\/8b\/6f\/7e8b6f95c2e8fde11ddba11c71da3470.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/7e\/8b\/6f\/7e8b6f95c2e8fde11ddba11c71da3470.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>SIFT-1M (1 \u043c\u043b\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, dim 128, float32)<\/h4>\n<p>Iso-recall, \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0442\u0438\u0432 hnswlib:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">recall<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u0430\u0448 QPS_1<\/p>\n<\/th>\n<th>\n<p align=\"left\">hnswlib QPS_1<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u0430\u0448 QPS_12<\/p>\n<\/th>\n<th>\n<p align=\"left\">hnswlib QPS_12<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~0.96<\/p>\n<\/td>\n<td>\n<p align=\"left\">5115 (84%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">6082<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>25697 (136%)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">18833<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">~0.99<\/p>\n<\/td>\n<td>\n<p align=\"left\">2840 (86%)<\/p>\n<\/td>\n<td>\n<p align=\"left\">3300<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>14464 (138%)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">10500<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a \u2014 84\u201386% \u043e\u0442 hnswlib (\u0438\u0445 \u0440\u0443\u0447\u043d\u043e\u0439 SIMD \u043f\u0440\u043e\u0442\u0438\u0432 \u043c\u043e\u0435\u0433\u043e AVX2-\u0430\u0441\u0441\u0435\u043c\u0431\u043b\u0435\u0440\u0430, \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448). \u041d\u043e \u043d\u0430 12 \u043f\u043e\u0442\u043e\u043a\u0430\u0445 \u0434\u0432\u0438\u0436\u043e\u043a <strong>\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430 36\u201338%<\/strong>: \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 5.0\u00d7 \u043d\u0430 6 \u044f\u0434\u0440\u0430\u0445 \u043f\u0440\u043e\u0442\u0438\u0432 3.2\u00d7 \u0443 hnswlib. \u0423\u0436\u0435 \u043d\u0430 128-\u043c\u0435\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0443\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u0437\u0434\u0435\u0441\u044c \u043f\u043b\u043e\u0441\u043a\u0430\u044f CSR-\u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u043e\u0442\u044b\u0433\u0440\u044b\u0432\u0430\u0435\u0442.<\/p>\n<h4>GIST-960 (500k \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, dim 960) \u2014 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043a\u0435\u0439\u0441<\/h4>\n<p>\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (768\u20131536). \u0417\u0434\u0435\u0441\u044c \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f SQ8: \u043d\u0430\u0448 int8 \u043f\u0440\u043e\u0442\u0438\u0432 float32 hnswlib (\u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438 \u043d\u0435\u0442):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">ef<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u0430\u0448 recall (SQ8)<\/p>\n<\/th>\n<th>\n<p align=\"left\">hnswlib recall (fp32)<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u0430\u0448 QPS_12<\/p>\n<\/th>\n<th>\n<p align=\"left\">hnswlib QPS_12<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.815<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.808<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>9968<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">3667<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">128<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.895<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.898<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>5512 (\u00d72.54)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2167<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">256<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.938<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.955<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>3050 (\u00d72.61)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1167<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Recall \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 (\u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438), <strong>QPS_12 \u2014 \u0432 2.5\u20132.6 \u0440\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u043f\u0430\u043c\u044f\u0442\u044c \u2014 \u0432 4 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435<\/strong>. \u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u0430: 960-\u043c\u0435\u0440\u043d\u044b\u0439 float32-\u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u044d\u0442\u043e 3.75 \u041a\u0411, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0442\u0430\u043a\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u043d\u0430\u0441\u044b\u0449\u0430\u0435\u0442 \u0448\u0438\u043d\u0443 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e (hnswlib \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u00d71.8 \u043d\u0430 6 \u044f\u0434\u0440\u0430\u0445). SQ8-\u0432\u0435\u043a\u0442\u043e\u0440 \u2014 960 \u0431\u0430\u0439\u0442, \u0432 4 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u00d75.2, \u043f\u043e\u0447\u0442\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 ANN-\u0434\u0432\u0438\u0436\u043e\u043a: \u043d\u0430 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u2014 \u043d\u0435 FLOPS, \u0430 memory bandwidth. \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044e RAM, \u044d\u0442\u043e \u043f\u0440\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.<\/strong><\/p>\n<p>\u0427\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u0443 SQ8 \u0435\u0441\u0442\u044c \u043f\u043e\u0442\u043e\u043b\u043e\u043a recall (~0.94 \u043d\u0430 GIST \u043f\u0440\u0438 M=16). \u0412\u044b\u0448\u0435 \u2014 \u043d\u0443\u0436\u0435\u043d rerank \u043f\u043e float32 \u0438\u043b\u0438 M=32.<\/p>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u2014 \u0438 \u0434\u0432\u0430 \u0431\u0430\u0433\u0430 \u0432 \u043f\u043e\u0434\u0430\u0440\u043e\u043a<\/h3>\n<p>MNIST\/SIFT\/GIST \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0430, \u043d\u043e \u043d\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u2014 DBpedia-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 OpenAI ada-002 (1536 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439, cosine, 100k \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0440\u0435\u0436\u0438\u043c<\/p>\n<\/th>\n<th>\n<p align=\"left\">recall@10<\/p>\n<\/th>\n<th>\n<p align=\"left\">QPS_12<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0430\u043c\u044f\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.984<\/p>\n<\/td>\n<td>\n<p align=\"left\">1936<\/p>\n<\/td>\n<td>\n<p align=\"left\">614 \u041c\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SQ8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.977<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>4545<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>165 \u041c\u0411<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 1536 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445 SQ8 \u2014 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0434\u0435\u0444\u043e\u043b\u0442: \u22120.7 \u043f.\u043f. recall \u0437\u0430 \u00d72.3 QPS \u0438 \u00d73.7 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/66\/4f\/5a\/664f5a9846e9baefef12366e160285fc.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/66\/4f\/5a\/664f5a9846e9baefef12366e160285fc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/66\/4f\/5a\/664f5a9846e9baefef12366e160285fc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043b\u0443\u0447\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c. \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u2014 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043d\u0451\u043c \u2014 \u0432\u0441\u043f\u043b\u044b\u043b\u0438 <strong>\u0434\u0432\u0430 \u0431\u0430\u0433\u0430 \u0432 SQ8-\u043f\u0443\u0442\u0438 \u0434\u043b\u044f dot-product<\/strong>, \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u043d\u0430 euclidean-\u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<ol>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u00ab\u044d\u0442\u043e dot-\u043c\u0435\u0442\u0440\u0438\u043a\u0430?\u00bb \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0430 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u043e\u0431\u0451\u0440\u0442\u043a\u0438 <code>CosineDistance<\/code>\/<code>DotProductDistance<\/code> \u0438\u043c\u0435\u044e\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c. \u0423\u0441\u043b\u043e\u0432\u0438\u0435 \u043d\u0435 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u043e <strong>\u043d\u0438\u043a\u043e\u0433\u0434\u0430<\/strong> \u2014 SQ8 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u0447\u0438\u0442\u0430\u043b euclidean-ADC. \u041d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 euclidean \u0438 dot \u0434\u0430\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0440\u0430\u043d\u0433, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 recall \u043d\u0435 \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u043b, \u0438 \u0431\u0430\u0433 \u0431\u044b\u043b \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d.<\/p>\n<\/li>\n<li>\n<p>Dot-\u0440\u0435\u0436\u0438\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u043b <em>\u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e<\/em> \u0432\u043c\u0435\u0441\u0442\u043e <em>\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f<\/em> \u2014 \u0438\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, recall \u0431\u044b\u043b \u0431\u044b 0. \u041d\u0435 \u0441\u0442\u0440\u0435\u043b\u044f\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0438\u0437-\u0437\u0430 \u0431\u0430\u0433\u0430 \u21161 \u044d\u0442\u043e\u0442 \u043a\u043e\u0434 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u043b\u0441\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u0432\u0430 \u0431\u0430\u0433\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u043e \u043f\u0440\u044f\u0442\u0430\u043b\u0438 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430. \u0424\u0438\u043a\u0441 \u0434\u0430\u043b +17% QPS (dot-ADC \u0434\u0435\u0448\u0435\u0432\u043b\u0435 euclidean-ADC: \u043e\u0434\u0438\u043d MAC \u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435). \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0445\u0440\u0443\u043f\u043a\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u043e \u043d\u0430 \u044f\u0432\u043d\u044b\u0439 enum \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 \u043a\u043b\u0430\u0441\u0441 \u0431\u0430\u0433\u043e\u0432 \u0443\u0441\u0442\u0440\u0430\u043d\u0451\u043d by design. \u041c\u043e\u0440\u0430\u043b\u044c \u0441\u0442\u0430\u0440\u0430\u044f, \u043d\u043e \u0432\u0435\u0447\u043d\u0430\u044f: <strong>\u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0435\u0439, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0434 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u0438\u0442.<\/strong><\/p>\n<h3>\u0424\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u0442\u0435\u043d\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c: \u0433\u0434\u0435 \u0436\u0438\u0432\u0443\u0442 \u0442\u0440\u0438 \u043f\u043e\u0440\u044f\u0434\u043a\u0430<\/h3>\n<p>\u0424\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a (\u00ab\u043d\u0430\u0439\u0434\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0441\u0440\u0435\u0434\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0442\u0435\u043d\u0430\u043d\u0442\u0430 X \u0441 price &lt; 500\u00bb) \u2014 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u0431\u043e\u043b\u044c HNSW: post-filtering \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0445\u043e\u0434\u0430, \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0445\u043e\u0434 \u0433\u0440\u0430\u0444\u0430 \u0440\u0432\u0451\u0442 \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c \u0438 \u0440\u043e\u043d\u044f\u0435\u0442 recall.<\/p>\n<p>\u0427\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e:<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u0435\u043d\u0430\u043d\u0442-\u043a\u043e\u043d\u0442\u0438\u0433\u0443\u043e\u0437\u043d\u0430\u044f \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430<\/strong>: \u043f\u0440\u0438 merge \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0441\u043e\u0440\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u0443-\u043f\u0430\u0440\u0442\u0438\u0446\u0438\u0438, \u0431\u043b\u043e\u043a \u0442\u0435\u043d\u0430\u043d\u0442\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u043c ID.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u043e\u0432<\/strong>: uint-\u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432, <code>Eq<\/code>\/<code>Range<\/code>-\u043f\u0440\u0435\u0434\u0438\u043a\u0430\u0442\u044b \u0437\u0430 O(1) \u043d\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u043e\u0443\u0442\u0438\u043d\u0433 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0431\u043b\u043e\u043a\u0430<\/strong>: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0442\u0435\u043d\u0430\u043d\u0442 (&lt; ~16k \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432) \u2014 \u0442\u043e\u0447\u043d\u044b\u0439 brute-force \u043f\u043e \u0435\u0433\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443 (SIMD \u043f\u043e \u043f\u043b\u043e\u0442\u043d\u043e\u043c\u0443 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0443 \u2014 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e); \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u2014 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0445\u043e\u0434 \u0433\u0440\u0430\u0444\u0430 \u0441 range-\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0430\u043c\u0435\u0440 \u043d\u0430 SIFT-1M \u043f\u0440\u043e\u0442\u0438\u0432 baseline \u00ab\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a\u00bb (\u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u0445\u043e\u0434 \u0433\u0440\u0430\u0444\u0430 \u0441\u043e \u0441\u0442\u0440\u043e\u043a\u043e\u0432\u044b\u043c \u043f\u0440\u0435\u0434\u0438\u043a\u0430\u0442\u043e\u043c), recall = 1.0 \u0443 \u043e\u0431\u043e\u0438\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043c\u0430\u0440\u0448\u0440\u0443\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 (\u043e\u0434\u0438\u043d \u0430\u0442\u0440\u0438\u0431\u0443\u0442)<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 (\u0442\u0435\u043d\u0430\u043d\u0442 + \u0440\u0435\u0433\u0438\u043e\u043d + range)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1k<\/p>\n<\/td>\n<td>\n<p align=\"left\">brute<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u00d77350<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>\u00d728620<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">16k<\/p>\n<\/td>\n<td>\n<p align=\"left\">brute<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d748.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d7735<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">50k<\/p>\n<\/td>\n<td>\n<p align=\"left\">graph<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d71.19<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d71.28<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">200k<\/p>\n<\/td>\n<td>\n<p align=\"left\">graph<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d71.14<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d71.23<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0438\u0441\u043b\u0430 \u0432\u0438\u0434\u0430 \u00ab\u00d728620\u00bb \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0437\u0443 \u0447\u0435\u0441\u0442\u043d\u043e: \u044d\u0442\u043e \u043d\u0435 \u00ab\u043c\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0438 \u043f\u043e\u0438\u0441\u043a \u0432 28 \u0442\u044b\u0441\u044f\u0447 \u0440\u0430\u0437\u00bb, \u044d\u0442\u043e \u00ab\u043d\u0430\u0438\u0432\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0433\u0440\u0430\u0444\u0435 \u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0438\u0440\u0443\u0435\u0442 \u0434\u043e 12\u2013158 QPS, \u0430 \u0431\u0440\u0443\u0442\u0444\u043e\u0440\u0441 \u043f\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c\u0443 \u0431\u043b\u043e\u043a\u0443 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f O(\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430)\u00bb. \u0412\u044b\u0438\u0433\u0440\u044b\u0448 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u0432\u0435\u0440\u0445\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0441 N \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442 baseline. \u041d\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u0436\u0435\u043b\u0435\u0437\u043d\u044b\u0439: <strong>\u0434\u043b\u044f \u043c\u0443\u043b\u044c\u0442\u0438\u0442\u0435\u043d\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u0430\u0436\u043d\u0435\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0438\u043d\u0434\u0435\u043a\u0441\u0430.<\/strong> \u0418 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0442\u043e \u0436\u0435: \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b (\u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0434\u0440\u043e\u0431\u0438\u0442 \u0431\u043b\u043e\u043a \u0442\u0435\u043d\u0430\u043d\u0442\u0430).<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/c7\/ff\/b8\/c7ffb86351a0c012f7292cffb5cf699b.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/c7\/ff\/b8\/c7ffb86351a0c012f7292cffb5cf699b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/c7\/ff\/b8\/c7ffb86351a0c012f7292cffb5cf699b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p> \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b \u0442\u043e\u0433\u043e \u0436\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u043d\u0430 SIFT-200k (\u0442\u0435\u043d\u0430\u043d\u0442-\u0440\u043e\u0443\u0442\u0438\u043d\u0433 \u043f\u0440\u043e\u0442\u0438\u0432 post-filter, recall = 1.0 \u0443 \u043e\u0431\u043e\u0438\u0445): baseline \u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0438\u0440\u0443\u0435\u0442 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0433\u0440\u0430\u0444\u0430, \u0431\u0440\u0443\u0442\u0444\u043e\u0440\u0441 \u043f\u043e \u0431\u043b\u043e\u043a\u0443 \u0442\u0435\u043d\u0430\u043d\u0442\u0430 \u2014 \u043d\u0435\u0442. <\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0443\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0431\u0430\u0433 \u0438\u0437 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438: \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043f\u043e <em>\u0434\u0435\u043b\u044c\u0442\u0435<\/em> \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b \u0444\u0438\u043b\u044c\u0442\u0440 post-hoc \u2014 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 top-K, \u043f\u043e\u0442\u043e\u043c \u043e\u0442\u0441\u0435\u0432. \u041d\u0430 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u0435 recall \u043f\u0430\u0434\u0430\u043b \u0434\u043e <strong>0.128<\/strong>: \u0442\u043e\u043f \u0437\u0430\u0431\u0438\u0432\u0430\u043b\u0438 \u0447\u0443\u0436\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u043b\u0438\u0441\u044c. \u0424\u0438\u043a\u0441 \u2014 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 brute-force \u043f\u043e \u0434\u0435\u043b\u044c\u0442\u0435. Recall 1.0 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0443\u0442\u044f\u0445. \u0415\u0441\u043b\u0438 \u043f\u0438\u0448\u0435\u0442\u0435 \u0441\u0432\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439, \u043e\u043d \u043b\u0435\u0433\u043a\u043e \u0443\u0441\u043a\u043e\u043b\u044c\u0437\u0430\u0435\u0442: \u043d\u0430 \u043d\u0435\u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0445 \u0432\u0441\u0451 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0437\u0434\u043e\u0440\u043e\u0432\u044b\u043c.<\/p>\n<h3>\u041e\u0431\u0432\u044f\u0437\u043a\u0430: \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441 \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u2014 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u044b. \u0412\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u2014 \u0441\u043a\u0443\u0447\u043d\u0430\u044f \u0438 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f:<\/p>\n<ul>\n<li>\n<p><strong>\u0421\u0435\u0442\u044c<\/strong>: epoll-\u0441\u0435\u0440\u0432\u0435\u0440 \u0441 per-worker event-loop, zero-alloc RESP-\u043f\u0430\u0440\u0441\u0435\u0440, \u043a\u043e\u043b\u044c\u0446\u0435\u0432\u044b\u0435 \u0431\u0443\u0444\u0435\u0440\u044b. \u041b\u0438\u043c\u0438\u0442\u044b \u043d\u0430 \u0432\u0441\u0451: max-connections, idle-\u0442\u0430\u0439\u043c\u0430\u0443\u0442\u044b (\u0441 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0434\u043b\u044f pub\/sub-\u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u043e\u0432 \u2014 \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435), write-\u0434\u0435\u0434\u043b\u0430\u0439\u043d\u044b \u043f\u0440\u043e\u0442\u0438\u0432 slow-reader.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0430\u043c\u044f\u0442\u044c<\/strong>: tcmalloc-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440 \u0434\u043b\u044f KV (per-worker MCache, \u043b\u043e\u043a-\u0444\u0440\u0438 GET), OOM-\u0433\u0435\u0439\u0442 \u043d\u0430 \u0432\u0441\u0435\u0445 \u043f\u0443\u0442\u044f\u0445 \u0437\u0430\u043f\u0438\u0441\u0438 (<code>--maxmemory<\/code> \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u0438, \u0430 \u043d\u0435 \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441).<\/p>\n<\/li>\n<li>\n<p><strong>Durability<\/strong>: WAL \u0441 CRC32 \u0438 \u0431\u0430\u0442\u0447-\u0437\u0430\u043f\u0438\u0441\u044c\u044e, LSN \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438, \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b \u0441 atomic-load \u00ab\u0432\u0441\u0451 \u0438\u043b\u0438 \u043d\u0438\u0447\u0435\u0433\u043e\u00bb (read \u2192 CRC \u2192 commit; \u0441\u0435\u0440\u0432\u0435\u0440 \u0441 \u0431\u0438\u0442\u044b\u043c \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u043c \u0433\u0440\u043e\u043c\u043a\u043e \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 WAL, \u0430 \u043d\u0435 \u043c\u043e\u043b\u0447\u0430 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445).<\/p>\n<\/li>\n<li>\n<p><strong>Disaster recovery<\/strong>: \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0448\u0438\u043f\u043f\u0438\u043d\u0433 WAL+\u0441\u043d\u0430\u043f\u0448\u043e\u0442\u043e\u0432 \u043d\u0430 <code>file:\/\/<\/code> \u0438\u043b\u0438 <code>s3:\/\/<\/code> \u0441 \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u043c 1 \u0441\u0435\u043a\u0443\u043d\u0434\u0430 (\u2248RPO \u043f\u0440\u0438 crash, \u043d\u043e\u043b\u044c \u043f\u0440\u0438 graceful shutdown). Restore \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0444\u043b\u0430\u0433\u043e\u043c <code>--ship-restore<\/code>. \u042d\u0442\u043e \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u0440\u0435\u043f\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u043d\u043e\u0434\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c<\/strong>: AUTH \u0441\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u043c \u0437\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, TLS\/mTLS, bind \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043d\u0430 127.0.0.1, non-root Docker.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u043e\u0441\u0442\u044c<\/strong>: Prometheus <code>\/metrics<\/code>, <code>\/health<\/code>, <code>\/ready<\/code>, \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043b\u043e\u0433\u0438 (slog), Grafana-\u0441\u0442\u0435\u043a \u0432 docker-compose.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0436\u0438\u043c\u0430\u0435\u0442 \u0434\u0432\u0438\u0436\u043e\u043a \u0431\u0435\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432<\/h3>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u2014 compute-heavy \u0438 \u0436\u0438\u0432\u0451\u0442 \u0432 \u0442\u044b\u0441\u044f\u0447\u0430\u0445 QPS. \u041d\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442 \u043f\u043e\u0434 \u043d\u0438\u043c \u2014 KV-\u0441\u043b\u043e\u0439, \u0441\u0435\u0442\u044c, WAL \u2014 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u043e\u0440\u044f\u0434\u043a\u0430\u0445, \u0438 \u0435\u0433\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0421\u043a\u0432\u043e\u0437\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0447\u0435\u0440\u0435\u0437 \u0441\u043e\u043a\u0435\u0442 (RESP, loopback, \u0442\u043e\u0442 \u0436\u0435 i7-9750H):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0440\u0435\u0436\u0438\u043c<\/p>\n<\/th>\n<th>\n<p align=\"left\">GET<\/p>\n<\/th>\n<th>\n<p align=\"left\">SET<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0431\u0435\u0437 pipeline<\/p>\n<\/td>\n<td>\n<p align=\"left\">~66K RPS<\/p>\n<\/td>\n<td>\n<p align=\"left\">~66K RPS<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pipeline P=16<\/p>\n<\/td>\n<td>\n<p align=\"left\">890K<\/p>\n<\/td>\n<td>\n<p align=\"left\">874K<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pipeline P=64<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.2M<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.49M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pipeline P=128, 200 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>3.06M<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u0432\u0430 \u0447\u0435\u0441\u0442\u043d\u044b\u0445 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f \u043a \u0442\u0430\u0431\u043b\u0438\u0446\u0435. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0431\u0435\u0437 pipeline \u0432\u0441\u0451 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 TCP round-trip: ~100 \u043c\u043a\u0441 \u043d\u0430 \u0446\u0438\u043a\u043b \u2014 \u044d\u0442\u043e \u043f\u043e\u0442\u043e\u043b\u043e\u043a ~10K RPS \u043d\u0430 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435, \u043a\u0430\u043a\u043e\u0439 \u0431\u044b \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043d\u0438 \u0431\u044b\u043b\u0430 \u0431\u0430\u0437\u0430. Redis \u00a9 \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435 \u0434\u0430\u0451\u0442 80\u2013110K, Dragonfly \u2014 80\u2013100K, \u043c\u043e\u0439 Go \u2014 66K; \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u2014 \u0446\u0435\u043d\u0430 Go-\u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0430, \u0438 \u044f \u0441 \u043d\u0435\u0439 \u043e\u043a. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, 3M GET RPS \u2014 \u044d\u0442\u043e \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430, \u043d\u043e \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0434\u043e\u0432\u044b\u0439 \u0440\u0435\u0436\u0438\u043c: \u0432\u0441\u0435 \u0431\u043e\u0435\u0432\u044b\u0435 Redis-\u043a\u043b\u0438\u0435\u043d\u0442\u044b (go-redis, redis-py, Jedis, ioredis) \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044f\u0442.<\/p>\n<p>\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u044d\u0442\u0438\u0445 \u0446\u0438\u0444\u0440 \u2014 \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u0443\u0440\u043e\u043a. \u041c\u043e\u0439 \u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440 \u0432 \u043c\u0438\u043a\u0440\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u0432\u044b\u0434\u0430\u0432\u0430\u043b \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443, \u0430 \u0441\u0435\u0440\u0432\u0435\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u2014 66K. \u0414\u043e\u043b\u0433\u043e \u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0434\u043e\u0448\u043b\u043e: \u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440 \u2014 \u044d\u0442\u043e 0.05% \u043f\u0443\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u2014 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0441\u0442\u0435\u043a, syscalls, epoll wakeup. \u041c\u0438\u043a\u0440\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043c\u0435\u0440\u044f\u0435\u0442 \u043e\u0434\u043d\u0443 \u0448\u0435\u0441\u0442\u0435\u0440\u0451\u043d\u043a\u0443, \u0430 \u043d\u0435 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440. \u0414\u0430\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0447\u0438\u043d\u0438\u043b\u0441\u044f \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u043e: \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 pipeline (\u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0442\u0440\u0438 \u0441\u0442\u0440\u043e\u043a\u0438 \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 <code>Buffered()<\/code>, \u0446\u0438\u043a\u043b, \u043e\u0434\u0438\u043d <code>Flush()<\/code> \u043d\u0430 \u043f\u0430\u043a\u0435\u0442) \u0434\u0430\u043b\u0430 <strong>\u00d737<\/strong>; per-worker \u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440 \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u2014 \u0435\u0449\u0451 +19\u201341% \u043d\u0430 SET; \u043a\u043e\u043b\u044c\u0446\u0435\u0432\u043e\u0439 \u0431\u0443\u0444\u0435\u0440 \u0441 zero-alloc RESP-\u043f\u0430\u0440\u0441\u0435\u0440\u043e\u043c (\u0441\u043b\u0430\u0439\u0441\u044b \u043f\u0440\u044f\u043c\u043e \u0432\u043d\u0443\u0442\u0440\u044c read-\u0431\u0443\u0444\u0435\u0440\u0430, \u043d\u043e\u043b\u044c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u0439 \u043d\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0443) \u2014 \u0435\u0449\u0451 +27% \u043d\u0430 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c pipeline. \u0414\u043e \u043f\u0430\u0440\u0441\u0435\u0440\u0430 \u043f\u0440\u0438 77K RPS \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u043b\u043e\u0441\u044c ~230K \u043c\u0443\u0441\u043e\u0440\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u2014 GC \u0442\u0430\u043a\u043e\u0435 \u043d\u0435 \u043f\u0440\u043e\u0449\u0430\u0435\u0442.<\/p>\n<p>\u041c\u0438\u043a\u0440\u043e\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0433\u043e\u0440\u044f\u0447\u0438\u0445 \u043f\u0443\u0442\u0435\u0439, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u044d\u0442\u043e \u0441\u0442\u043e\u0438\u0442 (\u0432\u0441\u0435 \u2014 0 allocs\/op):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0440\u0435\u043c\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 store<\/p>\n<\/td>\n<td>\n<p align=\"left\">GET<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.9 ns<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 store<\/p>\n<\/td>\n<td>\n<p align=\"left\">SET<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.4 ns<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">tcmalloc-\u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">109 ns<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BatchWAL<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u0430\u043f\u0438\u0441\u044c (\u0433\u043e\u0440\u044f\u0447\u0438\u0439 \u043f\u0443\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\">138 ns (~7M ops\/s \u043d\u0430 \u044f\u0434\u0440\u043e)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BatchWAL<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f+CRC \u0432 \u0431\u0430\u0442\u0447\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">~82 ns\/\u0437\u0430\u043f\u0438\u0441\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">WAL<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1.5M \u0437\u0430\u043f\u0438\u0441\u0435\u0439\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TTL-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">set \/ check<\/p>\n<\/td>\n<td>\n<p align=\"left\">53\u201369 ns<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0428\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0445\u044d\u0448-\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0438\u0432\u043d\u043e\u0439 \u00ab\u043c\u0430\u043f\u0430 \u043f\u043e\u0434 RWMutex\u00bb \u2014 \u00d76 \u043d\u0430 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435; \u0437\u0430\u043f\u0438\u0441\u044c \u0432 WAL \u0438\u0434\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0431\u043b\u043e\u043a\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u043a\u0430\u043d\u0430\u043b \u0432 \u0444\u043e\u043d\u043e\u0432\u044b\u0439 flusher \u0441 \u0431\u0430\u0442\u0447\u0430\u043c\u0438 \u043f\u043e 256 \u0437\u0430\u043f\u0438\u0441\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 durability \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432\u043e\u0440\u043a\u0435\u0440\u0430\u043c.<\/p>\n<h3>\u0427\u0442\u043e \u0435\u0449\u0451 \u0432 \u043a\u043e\u0440\u043e\u0431\u043a\u0435<\/h3>\n<p>\u0412\u043e\u043a\u0440\u0443\u0433 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u044f\u0434\u0440\u0430 \u0435\u0441\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u2014 \u043d\u0435 \u00abRedis-\u0437\u0430\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u00bb, \u0430 payload-\u0441\u043b\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u0440\u044f\u0434\u043e\u043c \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0436\u0438\u043b\u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b:<\/p>\n<ul>\n<li>\n<p><strong>KV + TTL.<\/strong> \u041e\u0431\u044b\u0447\u043d\u044b\u0435 <code>SET<\/code>\/<code>GET<\/code>\/<code>EXPIRE<\/code>. TTL \u2014 \u043a\u0443\u0447\u0430 \u043d\u0430 256 \u0448\u0430\u0440\u0434\u043e\u0432 \u0441 \u043b\u0435\u043d\u0438\u0432\u043e\u0439 \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u0438\u0440\u0430\u0446\u0438\u0435\u0439; \u0438\u0441\u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0430 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u043e \u043d\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0438 KV-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440.<\/p>\n<\/li>\n<li>\n<p><strong>Sorted sets \u043d\u0430 B+Tree<\/strong> (<code>ZADD<\/code>\/<code>ZRANGEBYSCORE<\/code>\/\u2026). \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u043d\u0435 \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435, \u0430 \u0432 \u0441\u0432\u044f\u0437\u043a\u0435: <code>VSIM.SEARCHRANGE<\/code> \u0434\u0435\u043b\u0430\u0435\u0442 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u2014 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u043f\u043e score \u0438\u0437 B+Tree \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c\u044e. \u00ab\u041f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0442\u043e\u0432\u0430\u0440, \u043d\u043e \u0432 \u0446\u0435\u043d\u0430\u0445 \u043e\u0442 1000 \u0434\u043e 5000\u00bb \u2014 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0424\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c.<\/strong> <code>VSIM.SEARCHFILTER<\/code> \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u0442 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043f\u043e KV-\u043f\u043e\u043b\u044e \u0438\u043b\u0438 \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0443 \u043a\u043b\u044e\u0447\u0430 \u2014 \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u043b\u043e\u043d\u043e\u0447\u043d\u044b\u0435 \u0430\u0442\u0440\u0438\u0431\u0443\u0442\u044b (\u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043f\u0440\u043e \u043c\u0443\u043b\u044c\u0442\u0438\u0442\u0435\u043d\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c) \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>Pub\/Sub \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439.<\/strong> \u041a\u043b\u0430\u0441\u0441\u0438\u043a\u0430 \u043a\u0430\u043a \u0432 Redis: \u043a\u0430\u043d\u0430\u043b\u044b, back-pressure, \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u043e\u0432. \u0410 \u0432\u043e\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u2014 \u043c\u043e\u044f \u043b\u044e\u0431\u0438\u043c\u0430\u044f \u0444\u0438\u0447\u0430: <code>VSIM.SUBSCRIBE \u043f\u043e\u0440\u043e\u0433 v1 \u2026 vN<\/code> \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043d\u0435 \u043d\u0430 \u043a\u0430\u043d\u0430\u043b, \u0430 \u043d\u0430 <strong>\u0432\u0435\u043a\u0442\u043e\u0440<\/strong>. <code>VSIM.PUBLISH<\/code> \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 HNSW-\u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u043e\u0432 \u2014 \u0435\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0442\u0435, \u0447\u044c\u044f \u043f\u043e\u0434\u043f\u0438\u0441\u043a\u0430 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u043b\u0438\u0436\u0435 \u043f\u043e\u0440\u043e\u0433\u0430. \u041f\u043e\u0434\u043f\u0438\u0441\u043a\u0430 \u043d\u0430 \u0441\u043c\u044b\u0441\u043b, \u0430 \u043d\u0435 \u043d\u0430 \u0442\u043e\u043f\u0438\u043a: \u043e\u0434\u0438\u043d \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a \u0441\u043b\u0443\u0448\u0430\u0435\u0442 \u00ab\u0436\u0430\u043b\u043e\u0431\u044b \u043d\u0430 \u043e\u043f\u043b\u0430\u0442\u0443\u00bb, \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u00ab\u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u0440\u043e \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0443\u00bb, \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0440\u043e\u0443\u0442\u0438\u043d\u0433\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>RAG-\u0434\u0435\u043c\u043e (\u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e).<\/strong> \u0414\u0432\u0438\u0436\u043e\u043a \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 BYO-embeddings \u2014 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442\u0435 \u043e\u0442 \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u0447\u0435\u0440\u0435\u0437 <code>VSIM.ADD<\/code>. \u041d\u043e \u0435\u0441\u0442\u044c \u0438 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445: <code>docker compose --profile ai up<\/code> \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 Ollama \u0438 \u043a\u0430\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e <code>AI.INGEST key text<\/code> \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0438 \u043a\u043b\u0430\u0434\u0451\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442+\u0432\u0435\u043a\u0442\u043e\u0440 (\u0441 \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c \u0447\u0435\u0440\u0435\u0437 WAL \u0438 OOM-\u0433\u0435\u0439\u0442, \u043a\u0430\u043a \u043b\u044e\u0431\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c), \u0430 <code>AI.ASK \u0432\u043e\u043f\u0440\u043e\u0441<\/code> \u2014 \u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440: \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u2192 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0439 \u0442\u043e\u043f-3 \u2192 \u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u043d\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438\u0437 KV \u2192 \u043e\u0442\u0432\u0435\u0442 LLM \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u0421\u0435\u0440\u0432\u0435\u0440 \u043f\u043e\u0434\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 Ollama \u0444\u043e\u043d\u043e\u0432\u044b\u043c \u043f\u0438\u043d\u0433\u043e\u043c \u2014 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043e\u0432 \u043d\u0435 \u0432\u0430\u0436\u0435\u043d.<\/p>\n<\/li>\n<\/ul>\n<pre><code>redis-cli -p 6380&gt; AI.INGEST doc:1 \"Go \u2014 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0438\u043f\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u044f\u0437\u044b\u043a\"+QUEUED&gt; AI.ASK \"\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Go?\"\"Go \u2014 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0438\u043f\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u044f\u0437\u044b\u043a...\"<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438 <code>MULTI<\/code>\/<code>EXEC<\/code> \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u2014 \u043f\u0440\u043e \u0438\u0445 \u0447\u0435\u0441\u0442\u043d\u044b\u0439 (\u043d\u0435 \u0440\u0435\u0434\u0438\u0441\u043e\u0432\u044b\u0439) \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442 \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 \u0441\u043c. \u0440\u0430\u0437\u0434\u0435\u043b \u00ab\u0427\u0435\u0441\u0442\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u044b\u00bb.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u2014 \u043f\u0440\u043e \u0442\u043e, \u0447\u0435\u0433\u043e \u0432 \u043a\u043e\u0440\u043e\u0431\u043a\u0435 <strong>\u043d\u0435\u0442<\/strong>, \u0445\u043e\u0442\u044f \u043e\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e. \u0417\u0430 \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0431\u044b\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0435\u0449\u0451 \u0434\u0432\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b: WASM-compute (\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0443\u043b\u0438 \u043d\u0430 wazero, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0435 \u0440\u044f\u0434\u043e\u043c \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0441 reactor-\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u043c \u0434\u043b\u044f zero-alloc \u0433\u043e\u0440\u044f\u0447\u0435\u0433\u043e \u043f\u0443\u0442\u0438) \u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c (hash-slot \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, gossip-\u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b, \u0436\u0438\u0432\u0430\u044f \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u044f \u0441\u043b\u043e\u0442\u043e\u0432). \u041e\u0431\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442. \u041d\u043e \u043a\u043e\u0433\u0434\u0430 \u0434\u043e\u0448\u043b\u043e \u0434\u043e \u043f\u0440\u043e\u0434-\u0437\u0430\u043a\u0430\u043b\u043a\u0438, \u0430\u0443\u0434\u0438\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043b: \u0434\u043e\u0442\u044f\u043d\u0443\u0442\u044c \u0438\u0445 \u0434\u043e \u0442\u043e\u0439 \u0436\u0435 \u043f\u043b\u0430\u043d\u043a\u0438, \u0447\u0442\u043e \u0438 \u044f\u0434\u0440\u043e, \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 \u043c\u0435\u0441\u044f\u0446\u044b \u0440\u0430\u0431\u043e\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0435 \u043e\u043a\u0443\u043f\u0430\u044e\u0442\u0441\u044f. \u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0432\u043e\u043b\u0435\u0432\u043e\u0435: \u043e\u0431\u0435 \u043f\u043e\u0434\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u044b \u0437\u0430 build-\u0442\u0435\u0433\u043e\u043c <code>experimental<\/code> \u0438 \u0432 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u0443\u044e \u0441\u0431\u043e\u0440\u043a\u0443 \u043d\u0435 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432\u043e\u043e\u0431\u0449\u0435. \u041f\u043e\u043a\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0441\u044c \u0442\u0435\u043c, \u0447\u0442\u043e \u0434\u043e\u0432\u0435\u0434\u0435\u043d\u043e \u0434\u043e \u043a\u043e\u043d\u0446\u0430; \u0432\u0435\u0440\u043d\u0443\u0441\u044c \u043a \u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043f\u0440\u043e\u0441. \u041f\u0440\u0438\u0437\u043d\u0430\u044e\u0441\u044c, \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0444\u0438\u0447\u0443 \u0438\u0437 \u0441\u0431\u043e\u0440\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u0441\u0438\u0445\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0440\u0443\u0434\u043d\u0435\u0435, \u0447\u0435\u043c \u0435\u0451 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c, \u2014 \u043d\u043e \u0443\u0440\u043e\u043a \u00ab\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0435\u0434\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0439\u00bb \u0441\u0442\u043e\u0438\u043b \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430.<\/p>\n<h3>Soak-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435: \u043a\u0430\u043a \u043d\u0430\u0448\u043b\u0430\u0441\u044c \u0443\u0442\u0435\u0447\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435 \u0431\u044b\u043b\u043e \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445<\/h3>\n<p>\u041d\u0438 \u043e\u0434\u0438\u043d \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u043c\u043d\u043e\u0433\u043e\u0447\u0430\u0441\u043e\u0432\u043e\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u043f\u043e\u0434 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439. \u0421\u0442\u0435\u043d\u0434: ~6k RPS \u043c\u0438\u043a\u0441\u0430 (KV + \u0432\u0435\u043a\u0442\u043e\u0440\u044b + TTL + pub\/sub + zset \u2014 \u044d\u0442\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0440 \u043f\u043e\u0442\u043e\u043b\u043a\u0430, \u043a\u0430\u043a 3M \u0432\u044b\u0448\u0435, \u0430 \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0431\u0435\u0437 pipeline, \u043f\u043e\u0434 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0438\u0449\u0443\u0442 \u0434\u0440\u0435\u0439\u0444), durability-\u043e\u0440\u0430\u043a\u0443\u043b (n=500 \u043a\u043b\u044e\u0447\u0435\u0439, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 lost\/resurrect\/tenant-leak \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430), \u0434\u0440\u0435\u0439\u0444 RSS\/p99\/goroutines, \u043f\u043b\u044e\u0441 \u0434\u0432\u0430 \u0434\u0440\u0438\u043b\u043b\u0430 \u2014 restore \u0438\u0437 \u0448\u0438\u043f\u043f\u0438\u043d\u0433\u0430 \u0432 \u0447\u0438\u0441\u0442\u044b\u0439 \u043a\u0430\u0442\u0430\u043b\u043e\u0433 \u0438 \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u0440\u0447\u0430 \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0430.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0436\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0434\u0430\u043b <strong>\u0440\u043e\u0441\u0442 RSS ~26 \u041c\u0411\/\u043c\u0438\u043d<\/strong>, \u0440\u0430\u0437\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u043e\u0442 \u043e\u0431\u044a\u0451\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0416\u0438\u0432\u043e\u0439 pprof \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u043c \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b: \u0437\u0430 6 \u043c\u0438\u043d\u0443\u0442 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0430\u043b\u043b\u043e\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043e <strong>173 \u0413\u0411<\/strong>, \u0438\u0437 \u043d\u0438\u0445 118 \u0413\u0411 \u2014 \u0432 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u043e\u0440\u0435 \u0434\u0435\u043b\u044c\u0442\u0430-\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430. \u041a\u043e\u0440\u0435\u043d\u044c: \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0439 flush \u043a\u0440\u0443\u0442\u0438\u043b\u0441\u044f \u0432 \u0446\u0438\u043a\u043b\u0435 \u00ab\u043f\u043e\u043a\u0430 \u0434\u0435\u043b\u044c\u0442\u0430 \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0443\u0441\u0442\u043e\u0439\u00bb, \u0430 \u043f\u043e\u0434 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u043e\u043d\u0430 \u043f\u0443\u0441\u0442\u043e\u0439 \u043d\u0435 \u0431\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u2192 <strong>2577 flush-\u0435\u0439 \u0437\u0430 6 \u043c\u0438\u043d\u0443\u0442, ~1.4 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 flush<\/strong>, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 flush \u0430\u043b\u043b\u043e\u0446\u0438\u0440\u043e\u0432\u0430\u043b \u043d\u043e\u0432\u044b\u0439 \u0434\u0435\u043b\u044c\u0442\u0430-\u0441\u0435\u0433\u043c\u0435\u043d\u0442 \u0441 ~100 \u041c\u0411 \u043f\u0440\u0435\u0434\u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 slab-\u043e\u0432 \u0438 \u043c\u0430\u043f.<\/p>\n<p>\u0414\u0432\u0430 \u0444\u0438\u043a\u0441\u0430: (1) flush \u0436\u0434\u0451\u0442 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430, \u0447\u0442\u043e \u0431\u044b\u043b \u0432 \u0434\u0435\u043b\u044c\u0442\u0435 \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b\u0437\u043e\u0432\u0430, \u0430 \u043d\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043e\u043f\u0443\u0441\u0442\u043e\u0448\u0435\u043d\u0438\u044f; (2) \u043b\u0435\u043d\u0438\u0432\u0430\u044f \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u044f \u0434\u0435\u043b\u044c\u0442\u0430-\u0448\u0430\u0440\u0434\u0430. A\/B \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u043c\u0438\u043a\u0441\u0435: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/webt\/01\/fd\/d6\/01fdd6e2a2f02416bc7f766fd8246c90.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/webt\/01\/fd\/d6\/01fdd6e2a2f02416bc7f766fd8246c90.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/webt\/01\/fd\/d6\/01fdd6e2a2f02416bc7f766fd8246c90.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p> \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 7-\u0447\u0430\u0441\u043e\u0432\u043e\u0439 soak: 6498\/6080 RPS \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e throughput \u043f\u043e \u0444\u0430\u0437\u0430\u043c, p99 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 17\u201318.6 \u043c\u0441 \u0431\u0435\u0437 \u0434\u0440\u0435\u0439\u0444\u0430, <strong>durability-\u043e\u0440\u0430\u043a\u0443\u043b: lost=0, resurrect=0, tenant-leak=0<\/strong> \u0432\u043e \u0432\u0441\u0435\u0445 verify (graceful-\u0440\u0435\u0441\u0442\u0430\u0440\u0442, kill -9, ship-restore), \u043e\u0431\u0430 \u0434\u0440\u0438\u043b\u043b\u0430 \u0447\u0438\u0441\u0442\u044b\u0435 \u2014 \u0441\u0435\u0440\u0432\u0435\u0440 \u043e\u0442\u0432\u0435\u0440\u0433 \u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u0441 \u0431\u0438\u0442\u044b\u043c CRC \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0440\u043e\u0438\u043b 74k \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438\u0437 WAL. \u0414\u0440\u0435\u0439\u0444 RSS \u0443\u043f\u0430\u043b \u0432 18 \u0440\u0430\u0437. <\/p>\n<p>\u0411\u043e\u043d\u0443\u0441-\u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u043e\u0442\u0442\u0443\u0434\u0430 \u0436\u0435: \u0440\u043e\u0432\u043d\u043e 8 \u043e\u0448\u0438\u0431\u043e\u043a \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0437\u0430 \u0444\u0430\u0437\u0443. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u2014 idle-\u0440\u0435\u0430\u043f\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0432\u0430\u043b \u00ab\u043c\u043e\u043b\u0447\u0430\u0449\u0438\u0435\u00bb \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f pub\/sub-\u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u043e\u0432 (\u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a \u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u043e\u043b\u0447\u0430\u0442\u044c!). \u0424\u0438\u043a\u0441 \u2014 \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u0438\u0437 idle-\u0442\u0430\u0439\u043c\u0430\u0443\u0442\u0430, \u0440\u043e\u0432\u043d\u043e \u043a\u0430\u043a <code>CLIENT_PUBSUB<\/code>-\u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0432 Redis. \u0422\u0430\u043a\u0438\u0435 \u0432\u0435\u0449\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e soak-\u043e\u043c.<\/p>\n<h3>\u0427\u0435\u0441\u0442\u043d\u044b\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u044b<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u043b\u0430\u0441\u044c \u0432 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0439 \u0431\u0443\u043a\u043b\u0435\u0442 \u2014 \u0447\u0435\u0433\u043e \u0434\u0432\u0438\u0436\u043e\u043a <strong>\u043d\u0435<\/strong> \u0434\u0435\u043b\u0430\u0435\u0442:<\/p>\n<ul>\n<li>\n<p><strong>\u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u043d\u043e\u0434\u0430.<\/strong> \u041d\u0435\u0442 \u0440\u0435\u043f\u043b\u0438\u043a, \u043d\u0435\u0442 failover \u0437\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u044b. RTO = \u0432\u0440\u0435\u043c\u044f \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430 + restore \u0438\u0437 \u0448\u0438\u043f\u043f\u0438\u043d\u0433\u0430. \u041a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u0434 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430 build-\u0442\u0435\u0433\u043e\u043c <code>experimental<\/code> \u0438 \u043d\u0435 production-ready.<\/p>\n<\/li>\n<li>\n<p><strong>ANN \u2014 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a.<\/strong> Recall \u22480.98 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u2014 \u044d\u0442\u043e \u043d\u0435 1.0; \u043f\u043e\u0434 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u044b\u043c churn ~2% \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u043f\u0430\u0434\u0430\u0442\u044c \u0438\u0437 top-K (\u0435\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u044b\u0439 <code>VSIM.EXISTS<\/code>).<\/p>\n<\/li>\n<li>\n<p><code><strong>MULTI<\/strong><\/code><strong>\/<\/strong><code><strong>EXEC<\/strong><\/code><strong> \u2014 \u044d\u0442\u043e \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u043a\u043e\u043c\u0430\u043d\u0434, \u043d\u0435 \u0438\u0437\u043e\u043b\u044f\u0446\u0438\u044f.<\/strong> \u0414\u0432\u0438\u0436\u043e\u043a \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0430 \u0448\u0430\u0440\u0434\u0430\u0445 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e; \u0447\u0443\u0436\u043e\u0439 <code>SET<\/code> \u043c\u043e\u0436\u0435\u0442 \u0432\u043a\u043b\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c\u0438 \u0442\u0440\u0430\u043d\u0437\u0430\u043a\u0446\u0438\u0438. \u0427\u0435\u0441\u0442\u043d\u043e \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u2014 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0441\u0435\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u2014 \u0443\u0431\u0438\u043b\u0430 \u0431\u044b \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a \u043f\u043e\u0438\u0441\u043a\u0430 \u2014 84\u201386% \u043e\u0442 hnswlib.<\/strong> \u041c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0441\u0442\u0440\u043e\u0433\u043e \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0439 \u043a\u043b\u0438\u0435\u043d\u0442 \u2014 hnswlib \u0441 \u0440\u0443\u0447\u043d\u044b\u043c SIMD \u0432\u044b\u0436\u043c\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>SQ8 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 ~0.94 recall<\/strong> \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u0440\u0438 M=16; rerank \u043f\u043e float32 \u0432 roadmap.<\/p>\n<\/li>\n<li>\n<p><strong>Bulk-load \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e build hnswlib<\/strong> (3006\/s \u043f\u0440\u043e\u0442\u0438\u0432 7755\/s \u043d\u0430 SIFT-1M) \u2014 write-path \u0435\u0441\u0442\u044c \u043a\u0443\u0434\u0430 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u041d\u0435 \u0432\u0435\u0440\u044c\u0442\u0435 \u043d\u0430 \u0441\u043b\u043e\u0432\u043e: \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443<\/h3>\n<p>\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439, \u0438 \u043f\u043e\u0447\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u043e \u043a\u043d\u043e\u043f\u043a\u043e\u0439:<\/p>\n<ul>\n<li>\n<p><strong>CI \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 push<\/strong> (\u0432\u043a\u043b\u0430\u0434\u043a\u0430 Actions). \u041f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0441\u0431\u043e\u0440\u043a\u0443 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445 (\u043f\u0440\u043e\u0434 \u0438 <code>-tags experimental<\/code>), gofmt, <code>go vet<\/code>, \u0442\u0435\u0441\u0442\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e-\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u043a\u0435\u0442\u043e\u0432 \u2014 \u0441\u0435\u0440\u0432\u0435\u0440, store\/tcmalloc, WAL, \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u043f\u043e\u0434 <code>-race<\/code>, \u043f\u043b\u044e\u0441 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u044f\u0434\u0440\u0430. \u0417\u0435\u043b\u0451\u043d\u0430\u044f \u0433\u0430\u043b\u043e\u0447\u043a\u0430 \u0442\u0443\u0442 \u043d\u0435 \u0434\u0435\u043a\u043e\u0440\u0430\u0446\u0438\u044f: \u0433\u043e\u043d\u043a\u0443 \u0432 tcmalloc-\u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440\u0435 \u0432 \u0441\u0432\u043e\u0451 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0439\u043c\u0430\u043b \u0438\u043c\u0435\u043d\u043d\u043e CI-\u043f\u0440\u043e\u0433\u043e\u043d \u0441 <code>-race<\/code>, \u0430 \u043d\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>Soak-workflow \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0432\u0440\u0443\u0447\u043d\u0443\u044e<\/strong> (workflow_dispatch \u2192 \u00abSoak Test\u00bb). \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0435 \u0441\u0430\u043c\u0438: \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0444\u0430\u0437 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u0440\u0435\u0436\u0438\u043c \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430 \u043c\u0435\u0436\u0434\u0443 \u0444\u0430\u0437\u0430\u043c\u0438 \u2014 graceful (SIGTERM, \u043f\u043e\u043b\u043d\u044b\u0439 flush) \u0438\u043b\u0438 crash (SIGKILL). \u0412 \u043b\u043e\u0433\u0435 \u2014 \u0432\u0435\u0440\u0434\u0438\u043a\u0442 durability-\u043e\u0440\u0430\u043a\u0443\u043b\u0430 (lost\/resurrect\/tenant-leak) \u0438 \u0434\u0440\u0435\u0439\u0444 RSS\/\u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0435\u043a\u0442\u043e\u0440-\u0441\u0442\u043e\u0440\u0430 \u043f\u043e \u0444\u0430\u0437\u0430\u043c. \u0424\u043e\u0440\u043a\u043d\u0438\u0442\u0435 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u2014 \u0438 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0433\u043e\u043d \u0438\u0437 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043f\u0440\u043e soak \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0443 \u0432\u0430\u0441.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b.<\/strong> \u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f, \u043f\u043e\u043b\u043d\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u0447\u0435\u0441\u0442\u043d\u044b\u0435 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438 \u2014 \u0432 <code>docs\/BENCHMARKS.md<\/code>; \u0431\u0435\u043d\u0447-\u043a\u043e\u0434 \u043b\u0435\u0436\u0438\u0442 \u0432 \u0440\u0435\u043f\u043e (<code>go test -bench<\/code>), \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0438 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 (SIFT\/GIST \u0441 corpus-texmex, dbpedia-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 ada-002 \u0441 Hugging Face).<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u043b\u0438\u0437\u044b<\/strong> \u2014 \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u0438\u043d\u0430\u0440\u0438 amd64\/arm64 \u0441 sha256-checksums: \u0441\u043a\u0430\u0447\u0430\u043b\u0438, \u0441\u0432\u0435\u0440\u0438\u043b\u0438, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u044b\u0441\u0442\u0440\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e<\/strong>: <code>go test -short .\/...<\/code> \u2014 ~30 \u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0433\u043e\u043d (\u0442\u044f\u0436\u0451\u043b\u044b\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b \u0433\u0435\u0439\u0442\u043e\u0432\u0430\u043d\u044b \u0437\u0430 <code>-short<\/code>). Guided tour \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u2014 \u043e\u0434\u0438\u043d Go-\u0444\u0430\u0439\u043b \u0432 <code>kvstore\/examples\/quickstart<\/code> (\u0435\u043c\u0443 \u043d\u0443\u0436\u0435\u043d \u043f\u0440\u043e\u0444\u0438\u043b\u044c <code>ai<\/code>).<\/p>\n<\/li>\n<\/ul>\n<h3>\u0427\u0442\u043e \u044f \u0432\u044b\u043d\u0435\u0441 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043c\u0435\u0441\u044f\u0446\u0435\u0432<\/h3>\n<ol>\n<li>\n<p><strong>\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u2014 \u043d\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/strong> HNSW \u043d\u0430 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 768 \u0432\u044b\u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0443\u0442\u0444\u043e\u0440\u0441. \u0412\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u0441 held-out \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0435\u043c\u0435\u0440\u044f\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0434 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439.<\/strong> \u042f \u0434\u0432\u0430\u0436\u0434\u044b \u0447\u0443\u0442\u044c \u043d\u0435 \u043d\u0430\u0447\u0430\u043b \u0447\u0438\u043d\u0438\u0442\u044c \u0443\u0436\u0435 \u0440\u0435\u0448\u0451\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0432\u0441\u0451 \u0440\u0435\u0448\u0430\u0435\u0442 memory bandwidth.<\/strong> \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0430\u044e\u0442 \u043a\u0440\u0430\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u044b\u043b\u0438\u0437\u044b\u0432\u0430\u043d\u0438\u0435 SIMD.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0438\u0441\u043b\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u2014 \u0441\u0430\u043c\u0430\u044f \u0434\u0435\u0448\u0451\u0432\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/strong> LSM-\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430: \u00d77 QPS \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 merge-\u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043b\u044f \u043c\u0443\u043b\u044c\u0442\u0438\u0442\u0435\u043d\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044c\u0451\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c.<\/strong> \u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0442\u0435\u043d\u0430\u043d\u0442\u0430 + brute-force \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 \u043b\u044e\u0431\u043e\u0439 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0431\u0445\u043e\u0434 \u0433\u0440\u0430\u0444\u0430 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u0430\u0433\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.<\/strong> \u0414\u0432\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u043e \u0437\u0430\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0431\u0430\u0433\u0430 SQ8 \u0436\u0438\u043b\u0438 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e cosine-\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>Soak-\u0442\u0435\u0441\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0442\u043e, \u0447\u0442\u043e \u043d\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u0438\u0447\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435:<\/strong> flush-\u0448\u0442\u043e\u0440\u043c, \u0440\u0435\u0430\u043f\u0435\u0440 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u043e\u0432, \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u0431\u0438\u0442\u043e\u043c \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u0440\u043e\u0435\u043a\u0442 \u043e\u0442\u043a\u0440\u044b\u0442, \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439: <code>docker compose up -d<\/code> (\u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0434\u0438\u043d \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0438\u043d\u0430\u0440\u044c \u0441 Releases \u2014 13MB, \u0431\u0435\u0437 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439), \u043b\u044e\u0431\u043e\u0439 Redis-\u043a\u043b\u0438\u0435\u043d\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443. RAG-\u043a\u043e\u043c\u0430\u043d\u0434\u044b <code>AI.INGEST<\/code>\/<code>AI.ASK<\/code> \u2014 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043b\u043e\u0439: <code>docker compose --profile ai up -d<\/code> \u0434\u043e\u0431\u0430\u0432\u0438\u0442 Ollama \u0438 \u0441\u043a\u0430\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438. \u0411\u0443\u0434\u0443 \u0440\u0430\u0434 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c, \u043a\u0440\u0438\u0442\u0438\u043a\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438 \u0438 \u0447\u0443\u0436\u0438\u043c \u0446\u0438\u0444\u0440\u0430\u043c \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u0431\u0435\u0437 \u0442\u0440\u043e\u0442\u0442\u043b\u0438\u043d\u0433\u0430. \u041d\u0435 \u0441\u0443\u0434\u0438\u0442\u0435 \u0441\u0442\u0440\u043e\u0433\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0441\u044c \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u043c \u0438 \u0432\u0441\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u043d\u0430 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0437\u043c\u0435 \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e\u043c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u043e\u0432\u0430\u043d\u0438\u0438 \u0437\u043d\u0430\u043d\u0438\u0439 \u0438 \u043d\u0430\u0432\u044b\u043a\u043e\u0432.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1057136\/\">https:\/\/habr.com\/ru\/articles\/1057136\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041d\u0438\u043a\u043e\u043b\u0430\u0439, \u043c\u043d\u0435 32 \u0433\u043e\u0434\u0430. \u041f\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u044f \u0432\u0440\u0430\u0447, \u0430\u043d\u0435\u0441\u0442\u0435\u0437\u0438\u043e\u043b\u043e\u0433-\u0440\u0435\u0430\u043d\u0438\u043c\u0430\u0442\u043e\u043b\u043e\u0433 \u2014 \u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0441\u044c \u0432 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u043e\u0439 \u0441\u0444\u0435\u0440\u0435, \u0438, \u0447\u0435\u0441\u0442\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u043d\u0430 \u0437\u0430\u0442\u044f\u043d\u0443\u043b\u0430 \u043c\u0435\u043d\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u2014 \u0432\u0441\u0451 \u043d\u0438\u0437\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u043e\u0435: \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u043f\u0430\u043c\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0434 \u043b\u043e\u043a\u0430\u043c\u0438, \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043d\u0434\u0435\u043a\u0441 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u043b\u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439. \u0420\u0435\u0430\u043d\u0438\u043c\u0430\u0446\u0438\u044f \u043d\u0430\u0443\u0447\u0438\u043b\u0430 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u0432 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438: \u0434\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c, \u0430 \u043d\u0435 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u044f\u043c.\u041f\u0440\u043e\u0435\u043a\u0442, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0439\u0434\u0451\u0442 \u0440\u0435\u0447\u044c, \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u2014 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0441\u0432\u043e\u0438\u043c\u0438 \u0440\u0443\u043a\u0430\u043c\u0438 \u043f\u043e\u0449\u0443\u043f\u0430\u0442\u044c, \u043a\u0430\u043a \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u0437\u043d\u0443\u0442\u0440\u0438: event loop, \u0430\u043b\u043b\u043e\u043a\u0430\u0442\u043e\u0440\u044b, WAL, \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b. \u041d\u043e \u0447\u0435\u043c \u0433\u043b\u0443\u0431\u0436\u0435 \u044f \u043a\u043e\u043f\u0430\u043b, \u0442\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u043e\u0441\u044c, \u0438 \u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u00bb \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0432\u044b\u0440\u043e\u0441 \u0432 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u044f \u0445\u043e\u0447\u0443 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f.\u041d\u0435 \u0431\u0443\u0434\u0443 \u0441\u043a\u0440\u044b\u0432\u0430\u0442\u044c: \u043c\u043e\u0438\u043c \u043d\u0430\u043f\u0430\u0440\u043d\u0438\u043a\u043e\u043c \u0432 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0431\u044b\u043b Claude. \u0427\u0430\u0441\u0442\u044c \u0432\u0435\u0449\u0435\u0439 \u043e\u043d \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u043b, \u044f \u0432\u043d\u0438\u043a\u0430\u043b, \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b, \u0441\u043f\u043e\u0440\u0438\u043b \u2014 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0442\u0432\u043e\u0440\u0438\u043b\u0438 \u0432\u043c\u0435\u0441\u0442\u0435. \u041a\u0430\u0436\u0434\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u043a\u0430\u0436\u0434\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f \u043f\u043e\u043d\u0438\u043c\u0430\u044e \u0438 \u043c\u043e\u0433\u0443 \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c, \u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0432 \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0443\u043a\u0438, \u0438 \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u0440\u044f\u043c\u043e.\u0422\u0435\u043f\u0435\u0440\u044c \u043a \u0434\u0435\u043b\u0443. \u041f\u043e\u043b\u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434 \u044f \u043d\u0430\u0447\u0430\u043b \u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u043d\u043e\u0434\u043e\u0432\u0443\u044e in-memory \u0431\u0430\u0437\u0443 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u043d\u0430 Go. \u0411\u0435\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432, \u0431\u0435\u0437 Raft, \u0431\u0435\u0437 \u00ab\u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d Kubernetes-\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u00bb. \u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0446\u0435\u0441\u0441, RESP-\u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b (\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 redis-cli), HNSW-\u0438\u043d\u0434\u0435\u043a\u0441 \u0432\u043d\u0443\u0442\u0440\u0438, WAL \u043d\u0430 \u0434\u0438\u0441\u043a\u0435.\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u2014 \u043f\u0443\u0442\u044c \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 18 QPS, \u0434\u043e \u0434\u0432\u0438\u0436\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u043c \u043f\u043e\u0438\u0441\u043a\u0435 \u043e\u0431\u0445\u043e\u0434\u0438\u0442 hnswlib \u043d\u0430 36\u201338%, \u0430 \u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 \u0441 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u2014 \u0432 2.5 \u0440\u0430\u0437\u0430 \u043f\u0440\u0438 \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438. \u0421\u043e \u0432\u0441\u0435\u043c\u0438 \u0446\u0438\u0444\u0440\u0430\u043c\u0438, \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0433\u0440\u0430\u0431\u043b\u044f\u043c\u0438 \u0438 \u0447\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438.\u041a\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442: \u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043d\u0430 \u0413\u0438\u0442\u0445\u0430\u0431\u0435.\u0417\u0430\u0447\u0435\u043c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0411\u0414\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442: \u043c\u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u0431\u044b\u043b \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u0434 RAG\/\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0438\u0441\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0436\u0438\u0432\u0451\u0442 \u0432 \u043e\u0434\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u044f\u0434\u043e\u043c \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0430 \u043d\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 \u0442\u0440\u0438 \u043d\u043e\u0434\u044b \u0441 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043e\u0440\u043e\u043c.\u0422\u0435\u0437\u0438\u0441, \u0432\u043e\u043a\u0440\u0443\u0433 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u0440\u043e\u0435\u043a\u0442: \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u2014 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u041c\u0438\u043b\u043b\u0438\u043e\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u043e 1536 float32 \u2014 \u044d\u0442\u043e 6 \u0413\u0411. \u0421 int8-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u2014 1.5 \u0413\u0411. \u042d\u0442\u043e \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043f\u0430\u043c\u044f\u0442\u044c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430, \u043d\u0435 \u0442\u043e \u0447\u0442\u043e \u0441\u0435\u0440\u0432\u0435\u0440\u0430. \u041a\u043b\u0430\u0441\u0442\u0435\u0440 \u0437\u0434\u0435\u0441\u044c \u2014 \u043d\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u0430 \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0430, \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043e\u0442 \u044d\u043f\u043e\u0445\u0438, \u043a\u043e\u0433\u0434\u0430 \u00ab\u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb \u043e\u0437\u043d\u0430\u0447\u0430\u043b\u043e \u00ab\u0434\u0438\u0441\u043a\u00bb.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f:\u041e\u0434\u043d\u0430 \u043d\u043e\u0434\u0430. Durability \u0438 disaster recovery \u2014 \u0447\u0435\u0440\u0435\u0437 WAL + \u0441\u043d\u0430\u043f\u0448\u043e\u0442\u044b + \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0448\u0438\u043f\u043f\u0438\u043d\u0433 WAL \u043d\u0430 S3 (\u0432 \u0441\u0442\u0438\u043b\u0435 Litestream), \u0430 \u043d\u0435 \u0447\u0435\u0440\u0435\u0437 \u0440\u0435\u043f\u043b\u0438\u043a\u0438.RESP-\u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b. \u041a\u043b\u0438\u0435\u043d\u0442 \u2014 \u043b\u044e\u0431\u043e\u0439 Redis-\u043a\u043b\u0438\u0435\u043d\u0442 \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u044f\u0437\u044b\u043a\u0435. \u041d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0441\u0432\u043e\u0435\u0433\u043e SDK.KV\/TTL\/Pub-Sub-\u0441\u043b\u043e\u0439 \u0432\u043e\u043a\u0440\u0443\u0433 \u2014 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d. \u041e\u043d \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e (\u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435, payload, RAG-\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b), \u0438 \u043d\u0435 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u044b\u0442\u044c \u0437\u0430\u043c\u0435\u043d\u043e\u0439 Redis. \u041f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442\u043e\u043c.\u0421\u0442\u0435\u043a: Go 1.25, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0439 \u043d\u0430 AVX2-\u0430\u0441\u0441\u0435\u043c\u0431\u043b\u0435\u0440\u0435, \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u043b\u044c\u043a\u043e wazero \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e WASM-\u043c\u043e\u0434\u0443\u043b\u044f (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d \u0438\u0437 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438).\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u044f\u0434\u0440\u0430\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u044f\u0434\u0440\u043e \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e \u043a\u0430\u043a LSM-\u0434\u0435\u0440\u0435\u0432\u043e, \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u043e\u0432:\u0414\u0435\u043b\u044c\u0442\u0430 \u2014 \u043c\u0443\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0439 HNSW-\u0433\u0440\u0430\u0444, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u0438. \u041f\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u0440\u043e\u0433\u0430 (deltaMax) \u0437\u0430\u043c\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f.Frozen-\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u044b \u2014 \u0438\u043c\u043c\u0443\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u044b \u0432 CSR-\u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0435 (\u043f\u043b\u043e\u0441\u043a\u0438\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439), \u0441 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0439 SQ8-\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (float32 \u2192 int8, 4\u00d7 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438). \u0418\u043c\u043c\u0443\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u0430\u0451\u0442 \u043b\u043e\u043a-\u0444\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u0438 \u0434\u0435\u0448\u0451\u0432\u0443\u044e \u0441\u0435\u0440\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e: \u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u2014 \u044d\u0442\u043e \u043f\u043e \u0441\u0443\u0442\u0438 write() \u043f\u0430\u0440\u044b \u0441\u043b\u0430\u0439\u0441\u043e\u0432 \u0441 CRC.\u041f\u043e\u0438\u0441\u043a \u2014 fan-out \u043f\u043e \u0434\u0435\u043b\u044c\u0442\u0435 \u0438 \u0432\u0441\u0435\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u043c, merge top-K. \u0427\u0438\u0441\u043b\u043e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u0430\u043a \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u0441\u044f \u043d\u0438\u0436\u0435, \u2014 \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.\u041a\u043b\u044e\u0447\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0435 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u043a\u0430\u043a []string \u2014 \u043e\u043d\u0438 \u0438\u043d\u0442\u0435\u0440\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u043e\u0434\u0438\u043d \u0431\u0430\u0439\u0442\u043e\u0432\u044b\u0439 \u0431\u043b\u043e\u0431 \u0441\u043e \u0441\u0440\u0435\u0437\u043e\u043c \u043e\u0444\u0444\u0441\u0435\u0442\u043e\u0432. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043d\u0435 \u0432 \u0430\u043b\u043b\u043e\u043a\u0430\u0446\u0438\u044f\u0445 \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441, \u0430 \u0432 GC: []string \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u044d\u0442\u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 GC \u0441\u043a\u0430\u043d\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0446\u0438\u043a\u043b. \u0414\u0432\u0430 \u043f\u043b\u043e\u0441\u043a\u0438\u0445 \u0441\u043b\u0430\u0439\u0441\u0430 \u0431\u0435\u0437 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 GC \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u042d\u0442\u043e steady-state \u0446\u0435\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e benchmem \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0430 p99 \u0434\u043e\u043b\u0433\u043e\u0436\u0438\u0432\u0443\u0449\u0435\u0439 \u0431\u0430\u0437\u044b \u2014 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442.\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0440\u0430\u0431\u043b\u0438, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0434\u043e \u0446\u0438\u0444\u0440\u0413\u0440\u0430\u0431\u043b\u044f \u21161: \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432\u0440\u0443\u0442\u041f\u0435\u0440\u0432\u044b\u0439 \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u043e\u0438\u0441\u043a\u0430 \u0432\u044b\u0434\u0430\u043b 18 QPS. \u041f\u0430\u043d\u0438\u043a\u0430, \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0438\u0441\u043a \u0431\u0430\u0433\u0430\u2026 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e. \u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 768 \u2014 \u0430 \u0432 \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u0441\u0435 \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u0440\u0430\u0432\u043d\u044b (\u043f\u0440\u043e\u043a\u043b\u044f\u0442\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438), HNSW-\u0433\u0440\u0430\u0444 \u0432\u044b\u0440\u043e\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0438 \u043f\u043e\u0438\u0441\u043a \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0431\u0440\u0443\u0442\u0444\u043e\u0440\u0441.\u041d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c MNIST-784 \u0442\u043e\u0442 \u0436\u0435 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b ~1100 QPS. \u0412\u044b\u0432\u043e\u0434: \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 ANN-\u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0435 \u043d\u0435 \u0437\u043d\u0430\u0447\u0430\u0442 \u043d\u0438\u0447\u0435\u0433\u043e. \u0412\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043d\u0438\u0436\u0435 \u2014 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 (MNIST-784, SIFT-1M, GIST-960, DBpedia\/OpenAI-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438) \u0441 held-out \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0438 \u0442\u043e\u0447\u043d\u044b\u043c brute-force ground truth.\u0413\u0440\u0430\u0431\u043b\u044f \u21162: \u043f\u0435\u0440\u0435\u043c\u0435\u0440\u044c, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0447\u0438\u043d\u0438\u0442\u044c\u0412 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u044f \u0441\u0435\u043b \u00ab\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e 1100 QPS \u043c\u0430\u043b\u043e\u00bb. \u0414\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0440\u0435\u043c\u0435\u0440\u0438\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u0443\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0442\u0435 \u0436\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0434\u0430\u044e\u0442 3605 QPS. \u0421\u0442\u0430\u0440\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0442\u0430\u0440\u0435\u043b\u043e, \u0438 \u044f \u0447\u0443\u0442\u044c \u043d\u0435 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u043d\u0435\u0434\u0435\u043b\u044e \u043d\u0430 \u0440\u0435\u0448\u0451\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u041d\u0435 \u0434\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0447\u0438\u0441\u043b\u0430\u043c \u0438\u0437 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u0435\u0441\u0441\u0438\u0439.\u0413\u0440\u0430\u0431\u043b\u044f \u21163: \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e iso-recall\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u00ab\u043c\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0442\u0438\u0432 hnswlib \u043f\u0440\u0438 ef=64\u00bb \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e: \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 ef \u0440\u0430\u0437\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 recall. \u0427\u0435\u0441\u0442\u043d\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u2014 \u043a\u0430\u043a \u0432 ann-benchmarks: \u0441\u0442\u0440\u043e\u0438\u043c \u043a\u0440\u0438\u0432\u0443\u044e recall\u2194QPS \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c QPS \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c recall. \u0412\u0441\u0435 head-to-head \u043d\u0438\u0436\u0435 \u2014 iso-recall, \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0448\u0438\u043d\u0435.\u0416\u0435\u043b\u0435\u0437\u043e \u0432\u0441\u0435\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432: i7-9750H (6 \u044f\u0434\u0435\u0440 \/ 12 \u043f\u043e\u0442\u043e\u043a\u043e\u0432), \u043d\u043e\u0443\u0442\u0431\u0443\u043a 2019 \u0433\u043e\u0434\u0430, \u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0442\u0440\u043e\u0442\u0442\u043b\u0438\u0442. QPS_1 \u2014 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a, QPS_12 \u2014 12 \u043f\u043e\u0442\u043e\u043a\u043e\u0432.\u0422\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u043b\u0438 \u043a\u0440\u0430\u0442\u043d\u044b\u0439 \u0440\u043e\u0441\u04421. \u042d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043e\u0441\u0435\u0434\u0435\u0439: \u00d72.66 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u041d\u0430\u0438\u0432\u043d\u044b\u0439 HNSW \u043f\u0440\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 M \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0432 \u0441\u043e\u0441\u0435\u0434\u0438. \u042d\u0442\u043e \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u0432\u0437\u0430\u0438\u043c\u043d\u043e-\u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0440\u0451\u0431\u0435\u0440: greedy-\u043f\u043e\u0438\u0441\u043a \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 \u0438 recall \u043f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c ef \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0435\u0442. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 Algorithm 4 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 Malkov &amp; Yashunin: \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u043d \u0431\u043b\u0438\u0436\u0435 \u043a \u0431\u0430\u0437\u043e\u0432\u043e\u043c\u0443 \u0443\u0437\u043b\u0443, \u0447\u0435\u043c \u043a \u043b\u044e\u0431\u043e\u043c\u0443 \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 \u0441\u043e\u0441\u0435\u0434\u0443. \u041f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u0440\u0451\u0431\u0440\u0430 \u2014 \u043d\u0430\u0432\u0438\u0433\u0430\u0446\u0438\u044f \u043f\u043e \u0433\u0440\u0430\u0444\u0443 \u0440\u0435\u0437\u043a\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f.\u0417\u0430\u043c\u0435\u0440 \u043d\u0430 MNIST-784 (60k, M=32, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u044b\u0439 seed, \u0447\u0442\u043e\u0431\u044b \u0443\u0440\u043e\u0432\u043d\u0438 HNSW \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438):\u0432\u0430\u0440\u0438\u0430\u043d\u0442efSearch \u0434\u043b\u044f recall\u22650.96QPS_12insert\/stop-M (\u043d\u0430\u0438\u0432\u043d\u044b\u0439)2003611561\u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430509595834\u00d72.66 QPS \u043f\u0440\u0438 \u0440\u0430\u0432\u043d\u043e\u043c recall \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u00d71.49 \u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u2014 \u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0430\u0441\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u0432\u0438\u0433\u0438\u0440\u0443\u0435\u043c\u043e\u043c\u0443 \u0433\u0440\u0430\u0444\u0443 \u0438 \u0432\u0441\u0442\u0430\u0432\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041e\u0434\u043d\u0430 \u043f\u0440\u0430\u0432\u043a\u0430 build-time \u043b\u043e\u0433\u0438\u043a\u0438, \u0444\u043e\u0440\u043c\u0430\u0442 \u0438 \u043f\u043e\u0438\u0441\u043a \u043d\u0435 \u0442\u0440\u043e\u043d\u0443\u0442\u044b.2. \u0428\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0434\u0435\u043b\u044c\u0442\u0430: \u00d74.25 \u043a \u0437\u0430\u043f\u0438\u0441\u0438\u041a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u044b\u0435 \u0432\u0441\u0442\u0430\u0432\u043a\u0438 \u0443\u043f\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u043a \u0434\u0435\u043b\u044c\u0442\u044b: \u043f\u043e\u0442\u043e\u043b\u043e\u043a ~800 insert\/s \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442 \u043f\u043e\u0442\u043e\u043a\u043e\u0432. \u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0434\u0435\u043b\u044c\u0442\u0443 \u043d\u0430 N \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0448\u0430\u0440\u0434\u043e\u0432 (\u043a\u043b\u044e\u0447 \u2192 maphash(key) % N), \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0432\u043e\u0438\u043c \u043b\u043e\u043a\u043e\u043c. Add \u0442\u0435\u043f\u0435\u0440\u044c \u0431\u0435\u0440\u0451\u0442 \u0442\u043e\u043b\u044c\u043a\u043e RLock \u0432\u0435\u0440\u0445\u043d\u0435\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f, \u043f\u0438\u0441\u0430\u0442\u0435\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e.MNIST-784, \u0432\u0441\u0442\u0430\u0432\u043a\u0430: 1 \u0448\u0430\u0440\u0434 \u2014 906\/s, 4 \u2014 2205\/s (\u00d72.43), 12 \u2014 3848\/s (\u00d74.25). Recall \u043d\u0435 \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u0435\u0442.\u0426\u0435\u043d\u0430: \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0434\u0435\u043b\u044c\u0442\u0435 \u2014 fan-out \u043f\u043e \u0448\u0430\u0440\u0434\u0430\u043c. \u041d\u0430 \u043f\u0440\u043e\u0434\u0435 \u0434\u0435\u043b\u044c\u0442\u0430 \u2014 1\u20132% \u0434\u0430\u043d\u043d\u044b\u0445, \u0448\u0442\u0440\u0430\u0444 \u043f\u043e\u0438\u0441\u043a\u0430 ~2\u20135%. \u0424\u0438\u0447\u0430 gated: \u0434\u0435\u0444\u043e\u043b\u0442 \u2014 1 \u0448\u0430\u0440\u0434, \u0441\u0442\u0430\u0440\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435.3. \u041a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432: \u00d74\u20137 \u043a \u043f\u043e\u0438\u0441\u043a\u0443\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430. \u041d\u0430 SIFT-1M \u043c\u043e\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u0432 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u043b hnswlib \u0432 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u043f\u043e \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u043e\u043c\u0443 QPS \u2014 \u0438 \u044f \u043f\u043e\u0447\u0442\u0438 \u0441\u043f\u0438\u0441\u0430\u043b \u044d\u0442\u043e \u043d\u0430 \u00ab\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432\u00bb. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b A\/B-\u0442\u0435\u0441\u0442\u043e\u043c:\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044frecallQPS_1QPS_12\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u043514 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432 (deltaMax=50k)0.996112320641.84\u00d74 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 (deltaMax=250k)0.993\u20145338\u20141 \u0441\u0435\u0433\u043c\u0435\u043d\u0442 (deltaMax=N)0.9912840144645.09\u00d7\u041c\u0443\u043b\u044c\u0442\u0438\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043d\u044b\u0439 fan-out \u0443\u0431\u0438\u0432\u0430\u043b \u0438 QPS, \u0438 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u044f\u0434\u0440\u0430\u043c: \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043b\u0430\u0442\u0438\u043b \u0437\u0430 \u043f\u043e\u0438\u0441\u043a \u0432 14 \u0433\u0440\u0430\u0444\u0430\u0445 \u0438 merge. \u041a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0432 1\u20132 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430 \u2014 \u00d77 QPS \u043e\u0434\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439, \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u043a\u043e\u0434\u0430. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 LSM-tradeoff \u0437\u0430\u043f\u0438\u0441\u044c\u2194\u0447\u0442\u0435\u043d\u0438\u0435: read-heavy \u043f\u0440\u043e\u0444\u0438\u043b\u044e \u2014 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u044b\u0439 merge, write-heavy \u2014 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u043e\u0432.Head-to-head \u043f\u0440\u043e\u0442\u0438\u0432 hnswlibhnswlib \u2014 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u0430\u044f C++ \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f HNSW \u0441 \u0432\u044b\u043b\u0438\u0437\u0430\u043d\u043d\u044b\u043c SIMD. \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435, \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 M=16\/efC=200, \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 500 held-out \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 ground truth.SIFT-1M (1 \u043c\u043b\u043d \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, dim 128, float32)Iso-recall, \u043a\u043e\u043d\u0441\u043e\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0442\u0438\u0432 hnswlib:recall\u043d\u0430\u0448 QPS_1hnswlib QPS_1\u043d\u0430\u0448 QPS_12hnswlib QPS_12~0.965115 (84%)608225697 (136%)18833~0.992840 (86%)330014464 (138%)10500\u041e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a \u2014 84\u201386% \u043e\u0442 hnswlib (\u0438\u0445 \u0440\u0443\u0447\u043d\u043e\u0439 SIMD \u043f\u0440\u043e\u0442\u0438\u0432 \u043c\u043e\u0435\u0433\u043e AVX2-\u0430\u0441\u0441\u0435\u043c\u0431\u043b\u0435\u0440\u0430, \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448). \u041d\u043e \u043d\u0430 12 \u043f\u043e\u0442\u043e\u043a\u0430\u0445 \u0434\u0432\u0438\u0436\u043e\u043a \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430 36\u201338%: \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 5.0\u00d7 \u043d\u0430 6 \u044f\u0434\u0440\u0430\u0445 \u043f\u0440\u043e\u0442\u0438\u0432 3.2\u00d7 \u0443 hnswlib. \u0423\u0436\u0435 \u043d\u0430 128-\u043c\u0435\u0440\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u0445 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0443\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u0437\u0434\u0435\u0441\u044c \u043f\u043b\u043e\u0441\u043a\u0430\u044f CSR-\u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u043e\u0442\u044b\u0433\u0440\u044b\u0432\u0430\u0435\u0442.GIST-960 (500k \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, dim 960) \u2014 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043a\u0435\u0439\u0441\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (768\u20131536). \u0417\u0434\u0435\u0441\u044c \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f SQ8: \u043d\u0430\u0448 int8 \u043f\u0440\u043e\u0442\u0438\u0432 float32 hnswlib (\u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438 \u043d\u0435\u0442):ef\u043d\u0430\u0448 recall (SQ8)hnswlib recall (fp32)\u043d\u0430\u0448 QPS_12hnswlib QPS_12640.8150.808996836671280.8950.8985512 (\u00d72.54)21672560.9380.9553050 (\u00d72.61)1167Recall \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 (\u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438), QPS_12 \u2014 \u0432 2.5\u20132.6 \u0440\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u043f\u0430\u043c\u044f\u0442\u044c \u2014 \u0432 4 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435. \u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u0430: 960-\u043c\u0435\u0440\u043d\u044b\u0439 float32-\u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u044d\u0442\u043e 3.75 \u041a\u0411, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0442\u0430\u043a\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c \u043d\u0430\u0441\u044b\u0449\u0430\u0435\u0442 \u0448\u0438\u043d\u0443 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e (hnswlib \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u00d71.8 \u043d\u0430 6 \u044f\u0434\u0440\u0430\u0445). SQ8-\u0432\u0435\u043a\u0442\u043e\u0440 \u2014 960 \u0431\u0430\u0439\u0442, \u0432 4 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u00d75.2, \u043f\u043e\u0447\u0442\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435.\u0412\u044b\u0432\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 ANN-\u0434\u0432\u0438\u0436\u043e\u043a: \u043d\u0430 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044f\u0445 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u2014 \u043d\u0435 FLOPS, \u0430 memory bandwidth. \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044e RAM, \u044d\u0442\u043e \u043f\u0440\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.\u0427\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u0443 SQ8 \u0435\u0441\u0442\u044c \u043f\u043e\u0442\u043e\u043b\u043e\u043a recall (~0.94 \u043d\u0430 GIST \u043f\u0440\u0438 M=16). \u0412\u044b\u0448\u0435 \u2014 \u043d\u0443\u0436\u0435\u043d rerank \u043f\u043e float32 \u0438\u043b\u0438 M=32.\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u2014 \u0438 \u0434\u0432\u0430 \u0431\u0430\u0433\u0430 \u0432 \u043f\u043e\u0434\u0430\u0440\u043e\u043aMNIST\/SIFT\/GIST \u2014 \u043a\u043b\u0430\u0441\u0441\u0438\u043a\u0430, \u043d\u043e \u043d\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043d\u0430\u044f \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044f. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u2014 DBpedia-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 OpenAI ada-002 (1536 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439, cosine, 100k \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432):\u0440\u0435\u0436\u0438\u043crecall@10QPS_12\u043f\u0430\u043c\u044f\u0442\u044cfloat320.9841936614 \u041c\u0411SQ80.9774545165 \u041c\u0411\u041d\u0430 1536 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u0445 SQ8 \u2014 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0434\u0435\u0444\u043e\u043b\u0442: \u22120.7 \u043f.\u043f. recall \u0437\u0430 \u00d72.3 QPS \u0438 \u00d73.7 \u043f\u0430\u043c\u044f\u0442\u0438.\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043b\u0443\u0447\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c. \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u2014 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043d\u0451\u043c \u2014 \u0432\u0441\u043f\u043b\u044b\u043b\u0438 \u0434\u0432\u0430 \u0431\u0430\u0433\u0430 \u0432 SQ8-\u043f\u0443\u0442\u0438 \u0434\u043b\u044f dot-product, \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u043d\u0430 euclidean-\u0434\u0430\u043d\u043d\u044b\u0445:\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u00ab\u044d\u0442\u043e dot-\u043c\u0435\u0442\u0440\u0438\u043a\u0430?\u00bb \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0430 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u043e\u0431\u0451\u0440\u0442\u043a\u0438&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-486647","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/486647","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=486647"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/486647\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=486647"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=486647"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=486647"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}