{"id":367153,"date":"2024-05-21T03:15:11","date_gmt":"2024-05-21T03:15:11","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=367153"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=367153","title":{"rendered":"<span>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 RAG: \u043f\u043e\u043b\u043d\u044b\u0439 \u0433\u0430\u0439\u0434<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0415\u0441\u043b\u0438, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u0445\u043e\u043b\u043e\u0434\u0438\u043b\u044c\u043d\u0438\u043a, \u0432\u044b \u0435\u0449\u0435 \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u0438\u0437 \u043d\u0435\u0433\u043e \u043f\u0440\u043e RAG &#8212; \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0441\u043a\u043e\u0440\u043e \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435. \u041e\u0434\u043d\u0430\u043a\u043e, \u0432 \u0441\u0435\u0442\u0438 \u043d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0430\u043b\u043e \u043f\u043e\u043b\u043d\u044b\u0445 \u0433\u0430\u0439\u0434\u043e\u0432, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0432\u0441\u0435 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 (\u043e\u0446\u0435\u043d\u043a\u0430 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438, \u0431\u043e\u0440\u044c\u0431\u0430 \u0441 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u0442.\u0434.) \u0430 \u043d\u0435 \u043e\u0431\u0440\u044b\u0432\u043e\u0447\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432. \u0411\u0430\u0437\u0438\u0440\u0443\u044f\u0441\u044c \u043d\u0430 \u043e\u043f\u044b\u0442\u0435 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b, \u044f \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0433\u0430\u0439\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043d\u043e.<\/p>\n<h4>\u0418\u0442\u0430\u043a, \u0437\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d RAG?<\/h4>\n<p>\u0412\u044b \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c LLM \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0438\u043f\u0430 ChatGPT \u0434\u043b\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0433\u043e\u0440\u043e\u0441\u043a\u043e\u043f\u043e\u0432 (\u0447\u0442\u043e \u043e\u043d \u0432\u043f\u043e\u043b\u043d\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442), \u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u0434\u043b\u044f \u0447\u0435\u0433\u043e-\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0431\u043e\u0442\u044b). \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0435\u0441\u0442\u044c \u043a\u0443\u0447\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0430\u0432\u0438\u043b, \u043d\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043e\u0432 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435, \u043e \u0447\u0435\u043c ChatGPT \u043d\u0438\u0447\u0435\u0433\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0437\u043d\u0430\u0435\u0442.\u00a0\u00a0<\/p>\n<h4>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c?<\/h4>\n<p>\u0422\u0443\u0442 \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430: \u0434\u043e\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0430\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c RAG.<\/p>\n<p>\u0414\u043e\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u043e, \u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0443 \u0432\u0430\u0441 <strong>\u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0432\u044b\u0439\u0434\u0435\u0442<\/strong> (\u043d\u0435 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0439\u0442\u0435, \u0434\u0435\u043b\u043e \u043d\u0435 \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0432\u044b \u043f\u043b\u043e\u0445\u043e\u0439 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u044d\u0442\u043e \u043c\u0430\u043b\u043e \u043a\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0438 \u0443\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c).<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 \u044d\u0442\u043e <strong>Retrieval-Augmented Generation<\/strong> (\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0442\u0430\u043a \u0436\u0435 \u043f\u043e\u0434 \u043f\u043e\u0437\u044b\u0432\u043d\u044b\u043c RAG). \u041f\u043e \u0441\u0443\u0442\u0438, \u0438\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043a\u0430\u043a \u043f\u044f\u0442\u044c \u043a\u043e\u043f\u0435\u0435\u043a &#8212; \u0432\u0437\u044f\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u0442\u043e\u0442 \u0436\u0435 OpenAI), \u0438 \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0435\u0439 \u0441\u0431\u043e\u043a\u0443 \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u0441\u0435 \u0435\u0449\u0435 \u043c\u0430\u043b\u043e \u0447\u0442\u043e \u043f\u0440\u043e \u0432\u0430\u0448\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u0437\u043d\u0430\u0435\u0442, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0435\u0435 \u0435\u0441\u0442\u044c \u0433\u0434\u0435 \u043f\u043e\u0433\u043b\u044f\u0434\u0435\u0442\u044c. \u042d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d\u0430 \u0437\u043d\u0430\u043b\u0430, \u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u0411\u0430\u0437\u043e\u0432\u043e RAG \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/223\/d0a\/658\/223d0a658e7cead555e4761f5f6857d8.png\" alt=\"\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RAG\" title=\"\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RAG\" width=\"1270\" height=\"364\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/223\/d0a\/658\/223d0a658e7cead555e4761f5f6857d8.png\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RAG<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a <\/strong>(\u043e\u043d \u0436\u0435 Retreiver) &#8212; \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0449\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0443\u044e \u0432\u0430\u0448\u0435\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 (\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0432\u044b \u0431\u044b \u0438\u0441\u043a\u0430\u043b\u0438 \u0435\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c wiki \u0438\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u0432 \u0413\u0443\u0433\u043b\u0435). \u041e\u0431\u044b\u0447\u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0438\u043f\u0430 Qdrant, \u0433\u0434\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432\u0441\u0435 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u043d\u043e \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e.<\/p>\n<p><strong>\u0413\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 <\/strong>&#8212; \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0438\u0445 (\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u0442, \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u043e\u0435) \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e. \u042d\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLM \u0442\u0438\u043f\u0430 OpenAI. \u0415\u0439 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u044f (\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044c) \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0441 \u043f\u0440\u043e\u0441\u044c\u0431\u043e\u0439 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0438 \u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442.<\/p>\n<details class=\"spoiler\">\n<summary>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 RAG \u043d\u0430 python \u0438 langchain<\/summary>\n<div class=\"spoiler__content\">\n<pre><code>import os import wget from langchain.vectorstores import Qdrant from langchain.embeddings import OpenAIEmbeddings from langchain import OpenAI from langchain_community.document_loaders import BSHTMLLoader from langchain.chains import RetrievalQA  #download War and Peace by Tolstoy wget.download(\"http:\/\/az.lib.ru\/t\/tolstoj_lew_nikolaewich\/text_0073.shtml\")  #load text from html loader = BSHTMLLoader(\"text_0073.shtml\", open_encoding='ISO-8859-1') war_and_peace = loader.load()  #init Vector DB embeddings = OpenAIEmbeddings()  doc_store = Qdrant.from_documents( \u00a0\u00a0\u00a0\u00a0war_and_peace,\u00a0 \u00a0\u00a0\u00a0\u00a0embeddings, \u00a0\u00a0\u00a0\u00a0location=\":memory:\",\u00a0 \u00a0\u00a0\u00a0\u00a0collection_name=\"docs\", )  llm = OpenAI() # ask questions  while True: \u00a0\u00a0\u00a0\u00a0question = input('\u0412\u0430\u0448 \u0432\u043e\u043f\u0440\u043e\u0441: ') \u00a0\u00a0\u00a0\u00a0qa = RetrievalQA.from_chain_type( \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0llm=llm, \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0chain_type=\"stuff\", \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0retriever=doc_store.as_retriever(), \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0return_source_documents=False, \u00a0\u00a0\u00a0\u00a0)  \u00a0\u00a0\u00a0\u00a0result = qa(question) \u00a0\u00a0\u00a0\u00a0print(f\"Answer: {result}\")<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u043e \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d <strong>\u043d\u044e\u0430\u043d\u0441<\/strong>:<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u043d\u0430\u043d\u0438\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0437\u0430\u0448\u0438\u0442\u044b, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0443 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0430\u0439\u0434\u0435\u0442 Retriver, \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0435. \u0417\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u043c \u0431\u0430\u0440\u0434\u0430\u043a\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0438 \u043b\u044e\u0434\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0441 \u0442\u0440\u0443\u0434\u043e\u043c. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u043f\u043b\u043e\u0445\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0435\u0441\u0442\u0430\u0445, \u0438\u043d\u043e\u0433\u0434\u0430 \u0432 \u0432\u0438\u0434\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0438 \u0437\u0430\u043f\u0438\u0441\u043e\u043a \u043e\u0442 \u0440\u0443\u043a\u0443 \u0438 \u0442.\u043f. \u0427\u0430\u0441\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c, \u0438 \u0432\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e\u043c \u0437\u043e\u043e\u043f\u0430\u0440\u043a\u0435 \u043d\u0430\u0434\u043e \u043a\u0430\u043a-\u0442\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f.\u00a0<\/p>\n<p>\u0427\u0430\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0431\u0435\u0437 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0438\u043c\u0435\u043d\u0430 \u0438 \u0444\u0430\u043c\u0438\u043b\u0438\u0438.<\/p>\n<h4>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c?<\/h4>\n<p>\u0412\u043e\u0442 \u0442\u0443\u0442 \u0432 \u0445\u043e\u0434 \u0438\u0434\u0443\u0442 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0438\u0441\u043a\u0430 (aka \u043a\u043e\u0441\u0442\u044b\u043b\u0438). \u041e\u043d\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0434\u0438\u044f\u0445 \u043f\u043e\u0438\u0441\u043a\u0430. \u0423\u0441\u043b\u043e\u0432\u043d\u043e \u043f\u043e\u0438\u0441\u043a \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430:<\/p>\n<ol>\n<li>\n<p>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0438 \u043e\u0447\u0438\u0441\u0442\u043a\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u0445<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0437 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0438 \u0438 \u0442\u043e\u043d\u0430<\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f:<\/p>\n<h3>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/h3>\n<p>\u0412\u044b \u043d\u0435 \u043f\u043e\u0432\u0435\u0440\u0438\u0442\u0435, \u0447\u0435\u0433\u043e \u043f\u0438\u0448\u0443\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u041d\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0443\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f &#8212; \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d \u043a\u0430\u043a: \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435, \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435, \u0436\u0430\u043b\u043e\u0431\u0430, \u0443\u0433\u0440\u043e\u0437\u0430, \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0434\u043d\u0430 \u0431\u0443\u043a\u0432\u0430 \u0438\u043b\u0438 \u0426\u0415\u041b\u041e\u0415 \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0441 \u201c\u0412\u043e\u0439\u043d\u0430 \u0438 \u041c\u0438\u0440\u201d. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f40\/537\/1bc\/f405371bcf26047a1d780858bab2a474.png\" alt=\"\u00a0\u0427\u0442\u043e \u0438?\" title=\"\u00a0\u0427\u0442\u043e \u0438?\" width=\"1585\" height=\"600\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f40\/537\/1bc\/f405371bcf26047a1d780858bab2a474.png\"\/><\/p>\n<div><figcaption>\u00a0\u0427\u0442\u043e \u0438?<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043b\u0438<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8aa\/5b2\/faa\/8aa5b2faa598b041f10a6d7cb9a2a269.png\" alt=\"\u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0433\u043d\u0435\u0432\u0430\u043d\u043d\u044b\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0425\u0430\u0431\u0440\u0430 \u0441\u0432\u043e\u0438\u043c\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441 \u044d\u0442\u0438\u043c \u043f\u043e\u043c\u0435\u0440\u044f\u0442\u0441\u044f\" title=\"\u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0433\u043d\u0435\u0432\u0430\u043d\u043d\u044b\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0425\u0430\u0431\u0440\u0430 \u0441\u0432\u043e\u0438\u043c\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441 \u044d\u0442\u0438\u043c \u043f\u043e\u043c\u0435\u0440\u044f\u0442\u0441\u044f\" width=\"1431\" height=\"158\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8aa\/5b2\/faa\/8aa5b2faa598b041f10a6d7cb9a2a269.png\"\/><\/p>\n<div><figcaption>\u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0433\u043d\u0435\u0432\u0430\u043d\u043d\u044b\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0425\u0430\u0431\u0440\u0430 \u0441\u0432\u043e\u0438\u043c\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441 \u044d\u0442\u0438\u043c \u043f\u043e\u043c\u0435\u0440\u044f\u0442\u0441\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0443\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432\u0445\u043e\u0434, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432 \u0435\u0433\u043e \u0432 \u0437\u0430\u043f\u0440\u043e\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a \u0441 \u044f\u0437\u044b\u043a\u0430 \u044e\u0437\u0435\u0440\u0430 \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439. \u041a\u0442\u043e \u0431\u044b \u044d\u0442\u043e \u043c\u043e\u0433 \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 <strong>LLM<\/strong>. \u0411\u0430\u0437\u043e\u0432\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/840\/4f1\/ec8\/8404f1ec840c79c57201548ff2cda52a.png\" alt=\"\u0415\u0449\u0435 \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e... \u043a\u0442\u043e \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0442\u043e\u0442 \u0432 \u0446\u0438\u0440\u043a\u0435 \u043d\u0435 \u0441\u043c\u0435\u0435\u0442\u0441\u044f ?\u00a0\" title=\"\u0415\u0449\u0435 \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e... \u043a\u0442\u043e \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0442\u043e\u0442 \u0432 \u0446\u0438\u0440\u043a\u0435 \u043d\u0435 \u0441\u043c\u0435\u0435\u0442\u0441\u044f ?\u00a0\" width=\"1431\" height=\"710\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/840\/4f1\/ec8\/8404f1ec840c79c57201548ff2cda52a.png\"\/><\/p>\n<div><figcaption>\u0415\u0449\u0435 \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e&#8230; \u043a\u0442\u043e \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0442\u043e\u0442 \u0432 \u0446\u0438\u0440\u043a\u0435 \u043d\u0435 \u0441\u043c\u0435\u0435\u0442\u0441\u044f ?\u00a0<\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 &#8212; \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c LLM \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041d\u043e, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u0430\u0448\u0435\u0439 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438, \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e!!!!!1111\u00a0<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0432 \u0445\u043e\u0434 \u0438\u0434\u0435\u0442 \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0447\u0443\u0442\u044c \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435 &#8212; <strong>RAG Fusion<\/strong>.\u00a0<\/p>\n<h4>Rag Fusion<\/h4>\n<p>\u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c LLM \u0434\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e \u043d\u0438\u043c \u043f\u043e\u0438\u0441\u043a, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0432 \u0438\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e \u0445\u0438\u0442\u0440\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <strong>Cross Encoder<\/strong>. Cross Encoder \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e &#8212; \u043e\u0434\u043d\u0430\u043a\u043e \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 &#8212; \u0432\u043f\u043e\u043b\u043d\u0435.<\/p>\n<p><strong>\u041e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043e Cross \u0438 Bi encoders<\/strong><\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 <strong>Bi-encoder<\/strong> \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u0434\u0432\u0443\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u042d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0442\u043e\u0436\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440, \u0438 \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0443. \u041d\u043e \u0442\u0430\u043a\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cbe\/49d\/819\/cbe49d819469c655fefb10357f877a55.png\" alt=\"* BERT - \u044d\u0442\u043e Bidirectional Encoder Representations from Transformers, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (embedding)\" title=\"* BERT - \u044d\u0442\u043e Bidirectional Encoder Representations from Transformers, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (embedding)\" width=\"598\" height=\"289\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbe\/49d\/819\/cbe49d819469c655fefb10357f877a55.png\"\/><\/p>\n<div><figcaption>* BERT &#8212; \u044d\u0442\u043e Bidirectional Encoder Representations from Transformers, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (embedding)<\/figcaption><\/div>\n<\/figure>\n<p><strong>Cross Encoder<\/strong> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443. \u041e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u0432\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u0442\u0435\u043a\u0441\u0442\u0430, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0442.\u043f.) \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u0445 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c (similarity) \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430. \u0415\u0433\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e <a href=\"https:\/\/arxiv.org\/abs\/1908.10084\"><u>\u043b\u0443\u0447\u0448\u0435 <\/u><\/a>\u0447\u0435\u043c \u0443 Bi Encoder. \u041e\u0431\u044b\u0447\u043d\u043e, \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0447\u0435\u043c \u043d\u0443\u0436\u043d\u043e (\u043d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c 30) \u0438 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u044e\u0442 \u0438\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Cross Encoder \u0438\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438, \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u043f\u0435\u0440\u0432\u044b\u0435 3.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/511\/982\/f89\/511982f89952b8e5c0e574c595c9d34c.png\" alt=\"Cross Encoder\" title=\"Cross Encoder\" width=\"203\" height=\"336\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/511\/982\/f89\/511982f89952b8e5c0e574c595c9d34c.png\"\/><\/p>\n<div><figcaption><strong>Cross Encoder<\/strong><\/figcaption><\/div>\n<\/figure>\n<p>\u041a \u043f\u0440\u0435-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0442\u0430\u043a-\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0436\u0430\u043b\u043e\u0431\u044b, \u043f\u0440\u043e\u0441\u044c\u0431\u044b \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041c\u043e\u0436\u043d\u043e \u0434\u0430\u043b\u0435\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u0441\u0440\u043e\u0447\u043d\u044b\u0435, \u043d\u0435 \u0441\u0440\u043e\u0447\u043d\u044b\u0435, \u0441\u043f\u0430\u043c, \u0444\u0440\u043e\u0434. \u041c\u043e\u0436\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u044f, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u043e, HR) \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u042d\u0442\u043e \u0432\u0441\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0437\u0438\u0442\u044c \u043a\u0440\u0443\u0433 \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<p>\u0414\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043e\u043f\u044f\u0442\u044c \u0436\u0435, LLM \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c-\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440.<\/p>\n<h3>\u041f\u043e\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u0445<\/h3>\n<p>\u0417\u0430 \u043f\u043e\u0438\u0441\u043a \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <strong>retreiver<\/strong> (\u043f\u0435\u0440\u0432\u0430\u044f \u0431\u0443\u043a\u0432\u0430 \u0432 RAG).<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0443\u0434\u0430 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 (\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, wiki, CRM \u0438 \u0442.\u043f.). \u041d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c, \u044d\u0442\u043e \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 elasticsearch \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u043f\u043e\u0438\u0441\u043a \u0432 \u0433\u0443\u0433\u043b\u0435.\u00a0<\/p>\n<p>\u041f\u043e\u0438\u0441\u043a \u0432\u043d\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437 \u044f \u0442\u0443\u0442 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443, \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0432\u0435\u0437\u0434\u0435 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435.<\/p>\n<p><strong>\u041e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437\u0430\u0445<\/strong><\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438\u0445 \u043a\u0430\u043a \u0432\u0437\u0430\u0438\u043c\u043e\u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f, \u0445\u043e\u0442\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e\u0436\u0435) \u2014 \u044d\u0442\u043e \u0442\u0438\u043f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043f\u043e \u0441\u0443\u0442\u0438, \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0447\u0438\u0441\u0435\u043b). \u042d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u0442\u0435\u043a\u0441\u0442\u044b \u0438\u043b\u0438 \u0437\u0432\u0443\u043a\u0438 \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435) \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u0441\u0445\u043e\u0436\u0438\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043a\u043e, \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u043e\u0432\u0430 \u201c\u0441\u043e\u0431\u0430\u043a\u0430\u201d \u0438 \u201c\u0431\u0443\u043b\u044c\u0434\u043e\u0433\u201d \u0431\u0443\u0434\u0443\u0442 \u0431\u043b\u0438\u0437\u043a\u043e, \u0430 \u0441\u043b\u043e\u0432\u0430 \u201c\u0437<strong>\u0430<\/strong>\u043c\u043e\u043a\u201d \u0438 \u201c\u0437\u0430\u043c<strong>\u043e<\/strong>\u043a\u201d &#8212; \u0434\u0430\u043b\u0435\u043a\u043e. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443.<\/p>\n<p>\u0421\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b (\u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442):<\/p>\n<ul>\n<li>\n<p>QDrant &#8212; \u0431\u0430\u0437\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c (\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0442\u0435\u043c \u0447\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u0430 \u043d\u0430\u0448\u0438\u043c\u0438 \u0440\u0435\u0431\u044f\u0442\u0430\u043c\u0438, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0410\u043d\u0434\u0440\u0435\u0439 \u0412\u0430\u0441\u043d\u0435\u0446\u043e\u0432 \u0443\u0447\u0438\u043b\u0441\u044f \u0432 \u0411\u0430\u0443\u043c\u0430\u043d\u043a\u0435)\u00a0<\/p>\n<\/li>\n<li>\n<p>Pinecone &#8212; cloud-native (\u0447\u0438\u0442\u0430\u0439 &#8212; \u0441\u0434\u0435\u0440\u0443\u0442 3 \u0448\u043a\u0443\u0440\u044b) \u0431\u0430\u0437\u0430<\/p>\n<\/li>\n<li>\n<p>Chroma &#8212; \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u0431\u0430\u0437\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c (Apache-2.0 license)<\/p>\n<\/li>\n<li>\n<p>Weaviate &#8212; \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u043f\u043e BSD-3-Clause license<\/p>\n<\/li>\n<li>\n<p>Milvus &#8212; \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u043f\u043e\u0434 Apache-2.0 license<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/facebookresearch\/faiss\">FAISS <\/a>&#8212; \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0432\u0435\u0440\u044c, \u043d\u0435 \u0431\u0430\u0437\u0430 \u0430 \u0444\u0440\u0435\u0439\u0432\u043e\u0440\u043a \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0438\u0441\u0442\u043a\u043e\u0439 <a href=\"https:\/\/www.facebook.com\/\"><u>\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438<\/u><\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a \u0436\u0435, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u043d\u0435-\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0441\u0442\u0430\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>Pgvector \u0434\u043b\u044f postgres\u00a0<\/p>\n<\/li>\n<li>\n<p>Atlas \u0434\u043b\u044f Mongo<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0435\u043c\u043e\u0432:<\/p>\n<p><strong>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432 \u0438\/\u0438\u043b\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u0430\u044f \u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u0430 \u0437\u0430\u0442\u0435\u043c \u043a\u0430\u043a \u0442\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0442\u0432\u0435\u0442 (\u043d\u0443 \u0445\u043e\u0442\u044c \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c) &#8212; \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435. \u0412 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u043e\u0433 \u201c\u0421\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043c\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u043b\u0430\u201d.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440 &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0442\u0438\u043f\u043e\u0432 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432 \u0438\u0437 <a href=\"https:\/\/python.langchain.com\/docs\/modules\/data_connection\/retrievers\/\"><u>langchain<\/u><\/a>. \u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u043d\u0433 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043f\u0440\u0438 \u043e\u0431\u044c\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0438 sparse (\u0434\u0430\u0436\u0435 \u043d\u0435 \u0437\u043d\u0430\u044e \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0443\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a)\u00a0 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432(\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/python.langchain.com\/docs\/integrations\/retrievers\/bm25\"><u>BM25<\/u><\/a>) \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432 \u0438 dense \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432(\u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 embdedding similarity, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0435 \u0436\u0435 <a href=\"https:\/\/python.langchain.com\/docs\/modules\/data_connection\/retrievers\/vectorstore\"><u>\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 <\/u><\/a>\u0431\u0430\u0437\u044b) \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p><strong>Dense Retriever<\/strong> &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 BERT, \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0430\u043a \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0421\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c\u044e \u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e (cosine similarity) \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0438\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438. \u042d\u0442\u043e \u0442\u043e \u043d\u0430 \u0447\u0435\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445. \u0422\u0430\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 (\u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0435) \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u0412 \u0441\u0438\u043b\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043c\u044b\u0441\u043b\u0430 (\u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0438), \u043e\u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430\u043c\u0438.<\/p>\n<p><strong>Sparse Retriever &#8212; <\/strong>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a TF-IDF (\u0427\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0422\u0435\u0440\u043c\u0438\u043d\u0430) \u0438\u043b\u0438 BM25. \u042d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u043e\u0437\u0434\u0430\u044e\u0442 <strong>\u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0435 <\/strong>\u0432\u0435\u043a\u0442\u043e\u0440\u044b, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c\u0443 \u0442\u0435\u0440\u043c\u0438\u043d\u0443 \u0438\u0437 \u043f\u0440\u0435\u0434\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f. \u0420\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 (\u043d\u0443 \u0441\u043b\u043e\u0432, \u0441\u043a\u0430\u0436\u0435\u043c) \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435. \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0434\u043b\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0445, \u0438 \u043a\u043e\u0433\u0434\u0430 \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445. \u0420\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a \u0442\u043e\u0447\u043d\u043e \u043a\u0430\u043a dense, \u043d\u043e \u0437\u0430\u0442\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043d\u0430 \u043f\u043e\u0438\u0441\u043a \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p><a href=\"https:\/\/python.langchain.com\/docs\/modules\/data_connection\/retrievers\/ensemble\"><u>EnsembleRetriever <\/u><\/a>\u0437\u0430\u0442\u0435\u043c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/plg.uwaterloo.ca\/~gvcormac\/cormacksigir09-rrf.pdf\"><u>Reciprocal Rank Fusion<\/u><\/a>:<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f<\/summary>\n<div class=\"spoiler__content\">\n<pre><code>!pip install rank_bm25  from langchain.retrievers import BM25Retriever, EnsembleRetriever from langchain.vectorstores import Chroma  embedding = OpenAIEmbeddings() documents = \"\/all_tolstoy_novels.txt\"  bm25_retriever = BM25Retriever.from_texts(doc_list) bm25_retriever.k = 2  vectorstore = Chroma.from_texts(doc_list, embedding) vectorstore_retriever = vectorstore.as_retriever(search_kwargs={\"k\": 2})  # initialize the ensemble retriever ensemble_retriever = EnsembleRetriever(retrievers=[bm25_retriever, vectorstore_retriever ], weights=[0.4, 0.6])  docs = ensemble_retriever.get_relevant_documents(\"\u0412\u043e\u0439\u043d\u0430 \u0438 \u041c\u0438\u0440\")<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041a\u0430\u043a \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u0438\u0437 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e\u0433\u043e \u0437\u043e\u043e\u043f\u0430\u0440\u043a\u0430? \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0418\u043b\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/github.com\/Marker-Inc-Korea\/AutoRAG\">https:\/\/github.com\/Marker-Inc-Korea\/AutoRAG<\/a>.<\/p>\n<p>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043a\u0441\u0442\u0430\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e LLM, \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0421\u043c. <a href=\"https:\/\/arxiv.org\/abs\/2402.05120\">More agents is all you need<\/a>.<\/p>\n<p><strong>RELP<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, Retrieval Augmented Language Model based Prediction. \u041e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0443\u0442 \u0448\u0430\u0433 \u043f\u043e\u0438\u0441\u043a\u0430 &#8212; \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0432\u044b\u0448\u0435, &#8212; \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0435 \u043d\u0435 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLM \u0430 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 (\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Few-shot_learning\"><u>few-shot prompting<\/u><\/a>) \u0434\u043b\u044f LLM, \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 LLM \u043a\u0430\u043a \u0431\u044b \u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u0438\u043d\u0438-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u042d\u0442\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u043e\u0439 <strong>\u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong>, \u0447\u0442\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u0435\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e \u0447\u0435\u043c \u0434\u043e-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/912\/803\/9da\/9128039da014c7c0b488914da7c9d83e.png\" alt=\"\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RELP\" title=\"\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RELP\" width=\"451\" height=\"597\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/912\/803\/9da\/9128039da014c7c0b488914da7c9d83e.png\"\/><\/p>\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RELP<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043e few-shot (learning) prompting<\/strong><\/p>\n<p>\u0415\u0441\u0442\u044c \u0434\u0432\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u043f\u0440\u043e\u043c\u043f\u0442\u0438\u043d\u0433\u0430 LLM: zero shot \u0438 few-shot. <strong>Zero-shot<\/strong> \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0435 LLM \u0441\u0432\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u044f \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/eaa\/cb6\/51e\/eaacb651e16e16f49cf80f7003fb964d.png\" width=\"1431\" height=\"453\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eaa\/cb6\/51e\/eaacb651e16e16f49cf80f7003fb964d.png\"\/><\/figure>\n<p><strong>Few-shot <\/strong>\u2014 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 LLM \u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0432 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440<strong>:<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bfb\/453\/2b8\/bfb4532b8b0115f10856a8a60999b2eb.png\" alt=\"\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u0442\u0435, \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0441\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f\" title=\"\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u0442\u0435, \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0441\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f\" width=\"1431\" height=\"555\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bfb\/453\/2b8\/bfb4532b8b0115f10856a8a60999b2eb.png\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u0442\u0435, \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0441\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f<\/figcaption><\/div>\n<\/figure>\n<h3>\u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432<\/h3>\n<p>\u041c\u044b \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0443\u0436\u0435 \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u043b\u0438 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u044c RAG Fusion \u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432. \u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0437 (\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e) \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u0441\u044b\u043b\u0430\u0442\u044c \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 LLM \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 &#8212; \u043d\u0430\u0434\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u0442\u044c \u043d\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435. \u0422\u043e, \u0432 \u043a\u0430\u043a\u043e\u043c <strong>\u043f\u043e\u0440\u044f\u0434\u043a\u0435 <\/strong>\u0432\u044b \u0434\u0430\u0434\u0438\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0438\u0441\u043a\u0430 LLM \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u0438\u0433\u0440\u0430\u0435\u0442 <strong>\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/strong>. \u0422\u043e \u0447\u0442\u043e LLM \u0443\u0432\u0438\u0434\u0438\u0442 \u0440\u0430\u043d\u044c\u0448\u0435 &#8212; \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 <a href=\"https:\/\/www-cs.stanford.edu\/~nfliu\/papers\/lost-in-the-middle.arxiv2023.pdf\"><u>\u0442\u0443\u0442<\/u><\/a>).<\/p>\n<p>\u00a0\u0414\u043b\u044f \u0440\u0435\u043d\u043a\u0438\u043d\u0433\u0430 (\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0447\u0430\u0441\u0442\u044b\u0435:<\/p>\n<ol>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 <strong>Cross Encoder<\/strong> (\u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0432\u044b\u0448\u0435) \u0434\u043b\u044f \u0440\u0435-\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438 \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0438\u043c\u0435\u043d\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043e\u0441\u0442\u0430\u0435\u043c \u0442\u043e\u043f 30 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u044b (top k), \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u043c Cross Encoder\u2019\u043e\u043c, \u0431\u0435\u0440\u0435\u043c \u043f\u0435\u0440\u0432\u044b\u0435 10).<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u0442\u044c \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0446\u0435\u043b\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043e\u0442 <a href=\"https:\/\/cohere.com\/rerankhttps:\/cohere.com\/rerank\"><u>Cohere<\/u><\/a>.<\/p>\n<ol start=\"2\">\n<li>\n<p><a href=\"https:\/\/plg.uwaterloo.ca\/~gvcormac\/cormacksigir09-rrf.pdf\"><u>Reciprocal Rank Fusion<\/u><\/a>. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f RRF \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0434\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c, \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u043c \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e\u0438\u0441\u043a\u0430. \u0412 RRF \u043e\u0446\u0435\u043d\u043a\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0435\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u0432 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430. \u041e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1\/(k + \u0440\u0430\u043d\u0433), \u0433\u0434\u0435 &#171;\u0440\u0430\u043d\u0433&#187; &#8212; \u044d\u0442\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e\u0438\u0441\u043a\u0430, \u0430 &#171;k&#187; &#8212; \u044d\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 (\u0447\u0430\u0441\u0442\u043e \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043e\u043a\u043e\u043b\u043e 60). \u042d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u043b\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u043c \u0440\u0430\u043d\u0433\u043e\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0446\u0435\u043d\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0437\u0430\u0442\u0435\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438. \u042d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0441\u043e\u0440\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u044d\u0442\u0438\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u043c \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<p>RRF \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u043e\u0446\u0435\u043d\u043e\u043a, \u043f\u0440\u0438\u0441\u0432\u043e\u0435\u043d\u043d\u044b\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u0448\u043a\u0430\u043b\u0435 \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e. RRF \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e \u043f\u043e\u0434\u0447\u0435\u0440\u043a\u0438\u0432\u0430\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0441\u043e\u043a\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b.<\/p>\n<ol start=\"3\">\n<li>\n<p>LLM based \u0440\u0435\u043d\u043a\u0438\u043d\u0433 \u0438 \u043e\u0446\u0435\u043d\u043a\u0430: \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u043d\u0430\u043f\u0440\u044f\u0433\u0430\u0442\u044c\u0441\u044f \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c LLM \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 ?. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 OpenAI \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441 \u044d\u0442\u0438\u043c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u043e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u041e\u0446\u0435\u043d\u043a\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u043e\u0438\u0441\u043a\u0430 \u0432 Vector Store<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u0432\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0440\u0435\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043b\u0438 \u0435\u0449\u0435 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f &#8212; \u043a\u0430\u043a \u0442\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u043e\u043d\u043e \u0447\u0435\u0433\u043e \u0442\u043e \u0434\u0430\u043b\u043e? \u041f\u043e\u0432\u044b\u0441\u0438\u043b\u0430\u0441\u044c \u043b\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u043b\u0438 \u043d\u0435\u0442? \u0410 \u0432 \u0446\u0435\u043b\u043e\u043c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442? \u042d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432\u0430\u0448\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442, \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0431 \u0435\u0435 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0439 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0435.<\/p>\n<p>\u041e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: P@K, MAP@K, NDCG@K (\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435). \u041e\u0431\u044b\u0447\u043d\u043e \u043e\u043d\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1, \u0433\u0434\u0435 1 &#8212; \u044d\u0442\u043e \u0441\u0430\u043c\u0430\u044f \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c.\u00a0 \u041e\u043d\u0438 \u043f\u043e\u0445\u043e\u0436\u0438 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443, \u043e\u0442\u043b\u0438\u0447\u0438\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u044f\u0445:<\/p>\n<p><strong>P@K<\/strong> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 precision at K, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 k \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0445. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441 \u043e \u0437\u0430\u0439\u0446\u0430\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0430\u0448\u043b\u0430 4 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430:<\/p>\n<p><em>[ \u201c\u0417\u0430\u0439\u0446\u044b \u0432 \u0434\u0438\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435\u201d, \u201c\u041a\u0430\u043a \u0435\u0437\u0434\u0438\u0442\u044c \u0437\u0430\u0439\u0446\u0435\u043c \u0432 \u0430\u0432\u0442\u043e\u0431\u0443\u0441\u0435\u201d, \u201c\u0422\u0440\u0430\u043a\u0442\u0430\u0442 \u043e \u041c\u043e\u0440\u043a\u043e\u0432\u0438\u201d, \u201c\u0417\u0430\u0439\u043a\u0430 \u043c\u043e\u044f: \u043c\u0435\u043c\u0443\u0430\u0440\u044b by \u041a\u0438\u0440\u043a\u043e\u0440\u043e\u0432\u201d]<\/em><\/p>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0436\u0438\u0437\u043d\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u041a\u0438\u0440\u043a\u043e\u0440\u043e\u0432\u0430 \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u0431\u0443\u0441\u044b \u043a \u0437\u0430\u0439\u0446\u0430\u043c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043d\u0435 \u0438\u043c\u0435\u044e\u0442, \u0432 \u044d\u0442\u0438\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445 \u0441\u0442\u043e\u0438\u0442 0, \u0438 \u043e\u0431\u0449\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/567\/6d2\/9a5\/5676d29a556b8b10fca004167167b40d.png\" width=\"1021\" height=\"130\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/567\/6d2\/9a5\/5676d29a556b8b10fca004167167b40d.png\"\/><\/figure>\n<pre><code>P@K \u043f\u0440\u0438 \u041a=4, \u0438\u0434\u0438 P@4 = 2 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \/ (2 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 + 2 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445) = \u00bd = 0.5<\/code><\/pre>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e, \u0442\u0443\u0442 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043e\u043a. \u0427\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p><em>[ \u201c\u041a\u0430\u043a \u0435\u0437\u0434\u0438\u0442\u044c \u0437\u0430\u0439\u0446\u0435\u043c \u0432 \u0430\u0432\u0442\u043e\u0431\u0443\u0441\u0435\u201d, \u201c\u0417\u0430\u0439\u043a\u0430 \u043c\u043e\u044f: \u043c\u0435\u043c\u0443\u0430\u0440\u044b by \u041a\u0438\u0440\u043a\u043e\u0440\u043e\u0432\u201d, \u201c\u0417\u0430\u0439\u0446\u044b \u0432 \u0434\u0438\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435\u201d, \u201c\u0422\u0440\u0430\u043a\u0442\u0430\u0442 \u043e \u041c\u043e\u0440\u043a\u043e\u0432\u0438\u201d]<\/em><\/p>\n<p>P@K \u0432\u0441\u0435 \u0435\u0449\u0435 \u0440\u0430\u0432\u0435\u043d 0.5, \u043d\u043e \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 \u0438 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435! (\u043a\u0430\u043a \u0434\u043b\u044f \u043b\u044e\u0434\u0435\u0439 \u0442\u0430\u043a \u0438 \u0434\u043b\u044f LLM, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c).<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0431\u0435\u0440\u0435\u043c<strong> AP@K<\/strong> \u0438\u043b\u0438 average precision at K. \u0418\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f, \u043d\u0430\u0434\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0442\u0430\u043a \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0441\u044f, \u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u043a\u043e\u043d\u0446\u0435 \u043d\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u043b\u0438 \u043e\u0431\u0449\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0442\u0435 \u0447\u0442\u043e \u0432\u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u043f\u0438\u0441\u043a\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/608\/ff8\/5ef\/608ff85ef451ddf587325e8bfc9b113c.png\" width=\"1487\" height=\"127\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/608\/ff8\/5ef\/608ff85ef451ddf587325e8bfc9b113c.png\"\/><\/figure>\n<p>\u0418\u043b\u0438 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u044b\u0448\u0435:<\/p>\n<pre><code>AP@4 = (0 * 0 + 0 *\u00bd\u00a0 + 1 * \u2153 + 1 + 1 * 2\/4) .2\u00a0 =\u00a0 (\u2153 + 2\/4) \/ 2 = 0.41<\/code><\/pre>\n<p>\u0422\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0430\u0440\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432: \u0430 \u043a\u0430\u043a \u043c\u044b \u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u044d\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u042d\u0442\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0432, <strong>\u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441<\/strong>.<\/p>\n<p>\u0412 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 RAG \u043c\u044b \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0438\u043c LLM \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u043c LLM \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0443 &#8212; \u044d\u0442\u043e\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0447\u0442\u043e \u043c\u044b \u043d\u0430\u0448\u043b\u0438 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 &#8212; \u043e\u043d\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e \u0432\u043e\u0442 \u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443?<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043b\u0438 \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a? \u041e\u0442\u0432\u0435\u0442 &#8212; \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u041d\u0443\u0436\u043d\u044b \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043a LLM, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0441\u044f\u0442 \u0435\u0435 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432\u044b\u0448\u0435 \u044d\u0442\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b:<\/p>\n<ol>\n<li>\n<p>\u042d\u0442\u043e\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438\u043c\u0435\u044e\u0442 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a \u0442\u0438\u043f\u0443 \u0436\u0438\u0432\u043e\u0442\u043d\u043e\u0433\u043e \u0437\u0430\u044f\u0446?<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u044f\u0446 \u0432 \u044d\u0442\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u043b\u0438 \u0430\u043b\u043b\u0435\u0433\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439?<\/p>\n<\/li>\n<\/ol>\n<p>\u0418 \u0442.\u0434. \u0412\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u043d\u043e\u0433\u043e (\u043e\u0442 \u0434\u0432\u0443\u0445 \u0434\u043e \u0441\u043e\u0442\u0435\u043d), \u0438 \u043e\u043d\u0438 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0432\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c. \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438 \u043d\u0430 \u0441\u0446\u0435\u043d\u0443 \u0432\u044b\u0445\u043e\u0434\u0438\u0442:<\/p>\n<p><strong>MAP@K<\/strong> (Mean Average Precision at K) \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0442 \u0441\u0443\u043c\u043c\u044b AP@K \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<p><strong>NDCG@K<\/strong> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 normalized discounted cumulative gain at K, \u0434\u0430\u0436\u0435 \u043d\u0435 \u0431\u0443\u0434\u0443 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u044c ?. \u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0441\u0430\u043c\u0438.<\/p>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u0430 LLM<\/h3>\n<p>\u041d\u0435 \u0432\u0441\u0435 \u0437\u043d\u0430\u044e\u0442, \u043d\u043e LLM (\u0432\u043a\u043b\u044e\u0447\u0430\u044f Llama \u0438 OpenAI) \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043d\u0435 \u0442\u043e\u043a\u0435\u043d\u044b (\u0442\u0435\u043a\u0441\u0442) \u0430 \u043b\u043e\u0433\u0438\u0442\u044b (logits). \u0422.\u0435. \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0435 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u0438\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e, \u0438 \u043f\u043e\u0433\u043b\u044f\u0434\u0435\u0442\u044c &#8212; \u0430 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0435\u0433\u043e \u043e\u043d\u0430 \u043d\u0430\u0431\u0440\u0435\u0434\u0438\u043b\u0430 (\u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0432 token level uncertainty). \u0415\u0441\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043d\u0438\u0437\u043a\u0438\u0435 (\u0447\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0438\u0437\u043a\u0438\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438), \u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c (\u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c) \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u0430 \u0432 \u0441\u0432\u043e\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0435. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u0430, \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u044e\u0437\u0435\u0440\u0443 \u0447\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u201c\u042f \u043d\u0435 \u0437\u043d\u0430\u044e\u201d.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0438 \u0438 \u0442\u043e\u043d\u0430<\/h3>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0443\u043d\u043a\u0442 ?. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c LLM \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u043d. \u041b\u0443\u0447\u0448\u0435 \u0434\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a \u043e\u043d\u0430 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e\u043d \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/970\/4b4\/8ce\/9704b48ce6ffb2043c1ce1bd32386222.png\" width=\"1600\" height=\"599\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/970\/4b4\/8ce\/9704b48ce6ffb2043c1ce1bd32386222.png\"\/><\/figure>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u044b \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043d\u043e, \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0448\u0430\u0433\u0435 RAG &#8212; \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u043a LLM \u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<pre><code>\u00a0\u00a0\u00a0\u00a0question = input('\u0412\u0430\u0448 \u0432\u043e\u043f\u0440\u043e\u0441: ') \u00a0\u00a0\u00a0\u00a0style = '\u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043e\u0431\u043d\u0430\u0433\u043b\u0435\u043b\u0438. \u041e\u0442\u0432\u0435\u0447\u0430\u0439 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e, \u043a\u0430\u043a \u0431\u0430\u043d\u0434\u0438\u0442 \u0438\u0437 90\u0445.' \u00a0\u00a0\u00a0\u00a0qa = RetrievalQA.from_chain_type( \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0llm=llm, \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0chain_type=\"stuff\", \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0retriever=doc_store.as_retriever() \u00a0\u00a0\u00a0\u00a0)  \u00a0\u00a0\u00a0\u00a0result = qa(style + \u201c \u0412\u043e\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \u201d + question) \u00a0\u00a0\u00a0\u00a0print(f\"Answer: {result}\")<\/code><\/pre>\n<h3>Fine-tuning \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h3>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u0430\u043c \u0442\u0430\u043a\u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043e\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0430. \u0414\u0430, \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u044f \u0433\u043e\u0432\u043e\u0440\u0438\u043b, \u0447\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0443 \u0432\u0430\u0441 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0432\u044b\u0439\u0434\u0435\u0442, \u043e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0438 \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043d\u043e. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440\u044b, \u0438\u043c\u0435\u043d\u0430\/\u0444\u0430\u043c\u0438\u043b\u0438\u0438 \u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u0438 \u0437\u043d\u0430\u0442\u044c \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 &#8212; RAG \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043f\u043b\u043e\u0445\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u043c \u0444\u0430\u043c\u0438\u043b\u0438\u044f\u043c, \u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e \u0438\u0445 \u0441\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f\u043c. \u0422\u0443\u0442 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043b\u0435\u0433\u043a\u0438\u0439 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 <a href=\"https:\/\/arxiv.org\/abs\/2106.09685\">LORA<\/a>, \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0443\u0437\u043a\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0438. \u041c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u0442\u0438\u043f\u0430 <a href=\"https:\/\/github.com\/bclavie\/RAGatouille?tab=readme-ov-file\">https:\/\/github.com\/bclavie\/RAGatouille<\/a>.<\/p>\n<p>\u041f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441 &#8212; \u044f \u043e\u043f\u0438\u0448\u0443 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n<h3>\u0421\u0438\u0441\u0442\u0435\u043c\u044b, \u0431\u0430\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435\u0441\u044f \u043d\u0430 RAG<\/h3>\n<p>\u0415\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0430\u0437\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043d\u0430 RAG. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u043e\u0432\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0447\u0443\u0442\u044c \u043b\u0438 \u043d\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c, \u0438\u0445 \u0430\u0432\u0442\u043e\u0440\u044b \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u0442\u0430\u043b\u0438 \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c&#8230;<\/p>\n<p>\u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043e\u0434\u043d\u0430 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f &#8212; \u044d\u0442\u043e <a href=\"https:\/\/arxiv.org\/abs\/2305.06983\"><u>FLARE <\/u><\/a>(Forward Looking Active REtrieval Augmented Generation).\u00a0<\/p>\n<p>\u041e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0438\u0434\u0435\u044f, \u0431\u0430\u0437\u0438\u0440\u0443\u044e\u0449\u0430\u044f\u0441\u044f \u043d\u0430 \u0442\u043e\u043c \u0447\u0442\u043e RAG \u043d\u0430\u0434\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u0430\u043a \u043f\u043e\u043f\u0430\u043b\u043e, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0433\u0434\u0430 LLM \u0441\u0430\u043c\u0430 \u0442\u043e\u0433\u043e \u0445\u043e\u0447\u0435\u0442. \u0415\u0441\u043b\u0438 LLM \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0431\u0435\u0437 RAG &#8212; \u043d\u0443 \u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430. \u0415\u0441\u043b\u0438 \u0436\u0435 \u043e\u043d\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u043e\u043c\u043d\u0435\u0432\u0430\u0442\u044c\u0441\u044f &#8212; \u0432\u043e\u0442 \u0442\u043e\u0433\u0434\u0430 \u043d\u0430\u0434\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0418 \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u043e\u0434\u0438\u043d \u0440\u0430\u0437, \u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041a\u043e\u0433\u0434\u0430 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 LLM \u0441\u0447\u0438\u0442\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0439 \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; \u043e\u043d\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 RAG \u043f\u043e\u0438\u0441\u043a.<\/p>\n<p>\u0412 \u043a\u0430\u043a\u043e\u043c \u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043b\u044e\u0434\u0438. \u041c\u044b \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c, \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>\u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u0442\u0443\u0442 \u0432\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0434\u0435\u0442\u0430\u043b\u0438, \u044d\u0442\u043e \u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f &#8212; \u043f\u0438\u0448\u0438\u0442\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445.<\/p>\n<hr\/>\n<p>\u042f \u0441\u043e-\u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438\u00a0<a href=\"https:\/\/ai.raftds.ru?utm_source=habr&amp;utm_medium=igor\">\u0420\u0430\u0444\u0442<\/a>. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c\u00a0<strong>\u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e<\/strong>\u00a0\u043e \u0447\u0451\u043c \u044f \u043f\u0438\u0448\u0443 \u2013 \u043d\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0439\u0442\u0435\u0441\u044c\u00a0<a href=\"https:\/\/t.me\/church_of_ai\">\u043d\u0430 \u043c\u043e\u0439 \u043b\u0438\u0447\u043d\u044b\u0439 \u0431\u043b\u043e\u0433,<\/a>\u00a0\u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430!<\/p>\n<p>\u0412\u0441\u0435\u043c \u0434\u043e\u0431\u0440\u0430 \u0438 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f!<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/791034\/\"> https:\/\/habr.com\/ru\/articles\/791034\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0415\u0441\u043b\u0438, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u0445\u043e\u043b\u043e\u0434\u0438\u043b\u044c\u043d\u0438\u043a, \u0432\u044b \u0435\u0449\u0435 \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u0438\u0437 \u043d\u0435\u0433\u043e \u043f\u0440\u043e RAG &#8212; \u0442\u043e \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0441\u043a\u043e\u0440\u043e \u0443\u0441\u043b\u044b\u0448\u0438\u0442\u0435. \u041e\u0434\u043d\u0430\u043a\u043e, \u0432 \u0441\u0435\u0442\u0438 \u043d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0430\u043b\u043e \u043f\u043e\u043b\u043d\u044b\u0445 \u0433\u0430\u0439\u0434\u043e\u0432, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0432\u0441\u0435 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 (\u043e\u0446\u0435\u043d\u043a\u0430 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438, \u0431\u043e\u0440\u044c\u0431\u0430 \u0441 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u0442.\u0434.) \u0430 \u043d\u0435 \u043e\u0431\u0440\u044b\u0432\u043e\u0447\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432. \u0411\u0430\u0437\u0438\u0440\u0443\u044f\u0441\u044c \u043d\u0430 \u043e\u043f\u044b\u0442\u0435 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b, \u044f \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0433\u0430\u0439\u0434 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043d\u043e.<\/p>\n<h4>\u0418\u0442\u0430\u043a, \u0437\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d RAG?<\/h4>\n<p>\u0412\u044b \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c LLM \u043c\u043e\u0434\u0435\u043b\u0438 \u0442\u0438\u043f\u0430 ChatGPT \u0434\u043b\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0433\u043e\u0440\u043e\u0441\u043a\u043e\u043f\u043e\u0432 (\u0447\u0442\u043e \u043e\u043d \u0432\u043f\u043e\u043b\u043d\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442), \u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u0434\u043b\u044f \u0447\u0435\u0433\u043e-\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0431\u043e\u0442\u044b). \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0435\u0441\u0442\u044c \u043a\u0443\u0447\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0430\u0432\u0438\u043b, \u043d\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043e\u0432 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435, \u043e \u0447\u0435\u043c ChatGPT \u043d\u0438\u0447\u0435\u0433\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0435 \u0437\u043d\u0430\u0435\u0442.\u00a0\u00a0<\/p>\n<h4>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c?<\/h4>\n<p>\u0422\u0443\u0442 \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430: \u0434\u043e\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0430\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c RAG.<\/p>\n<p>\u0414\u043e\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u043e, \u0434\u043e\u0440\u043e\u0433\u043e \u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0443 \u0432\u0430\u0441 <strong>\u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0435 \u0432\u044b\u0439\u0434\u0435\u0442<\/strong> (\u043d\u0435 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0439\u0442\u0435, \u0434\u0435\u043b\u043e \u043d\u0435 \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0432\u044b \u043f\u043b\u043e\u0445\u043e\u0439 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u044d\u0442\u043e \u043c\u0430\u043b\u043e \u043a\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0438 \u0443\u043c\u0435\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c).<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u2014 \u044d\u0442\u043e <strong>Retrieval-Augmented Generation<\/strong> (\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u0442\u0430\u043a \u0436\u0435 \u043f\u043e\u0434 \u043f\u043e\u0437\u044b\u0432\u043d\u044b\u043c RAG). \u041f\u043e \u0441\u0443\u0442\u0438, \u0438\u0434\u0435\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043a\u0430\u043a \u043f\u044f\u0442\u044c \u043a\u043e\u043f\u0435\u0435\u043a &#8212; \u0432\u0437\u044f\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u0442\u043e\u0442 \u0436\u0435 OpenAI), \u0438 \u043f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0435\u0439 \u0441\u0431\u043e\u043a\u0443 \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u0441\u0435 \u0435\u0449\u0435 \u043c\u0430\u043b\u043e \u0447\u0442\u043e \u043f\u0440\u043e \u0432\u0430\u0448\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u0437\u043d\u0430\u0435\u0442, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0435\u0435 \u0435\u0441\u0442\u044c \u0433\u0434\u0435 \u043f\u043e\u0433\u043b\u044f\u0434\u0435\u0442\u044c. \u042d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d\u0430 \u0437\u043d\u0430\u043b\u0430, \u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u0411\u0430\u0437\u043e\u0432\u043e RAG \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b RAG<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a <\/strong>(\u043e\u043d \u0436\u0435 Retreiver) &#8212; \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0449\u0435\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0443\u044e \u0432\u0430\u0448\u0435\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 (\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u0432\u044b \u0431\u044b \u0438\u0441\u043a\u0430\u043b\u0438 \u0435\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c wiki \u0438\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u0432 \u0413\u0443\u0433\u043b\u0435). \u041e\u0431\u044b\u0447\u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0438\u043f\u0430 Qdrant, \u0433\u0434\u0435 \u043b\u0435\u0436\u0430\u0442 \u0432\u0441\u0435 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u043d\u043e \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e.<\/p>\n<p><strong>\u0413\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 <\/strong>&#8212; \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0438\u0445 (\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u0442, \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442, \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u043e\u0435) \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e. \u042d\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLM \u0442\u0438\u043f\u0430 OpenAI. \u0415\u0439 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u044f (\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044c) \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0441 \u043f\u0440\u043e\u0441\u044c\u0431\u043e\u0439 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0438 \u0434\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442.<\/p>\n<details class=\"spoiler\">\n<summary>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 RAG \u043d\u0430 python \u0438 langchain<\/summary>\n<div class=\"spoiler__content\">\n<pre><code>import os import wget from langchain.vectorstores import Qdrant from langchain.embeddings import OpenAIEmbeddings from langchain import OpenAI from langchain_community.document_loaders import BSHTMLLoader from langchain.chains import RetrievalQA  #download War and Peace by Tolstoy wget.download(\"http:\/\/az.lib.ru\/t\/tolstoj_lew_nikolaewich\/text_0073.shtml\")  #load text from html loader = BSHTMLLoader(\"text_0073.shtml\", open_encoding='ISO-8859-1') war_and_peace = loader.load()  #init Vector DB embeddings = OpenAIEmbeddings()  doc_store = Qdrant.from_documents( \u00a0\u00a0\u00a0\u00a0war_and_peace,\u00a0 \u00a0\u00a0\u00a0\u00a0embeddings, \u00a0\u00a0\u00a0\u00a0location=\":memory:\",\u00a0 \u00a0\u00a0\u00a0\u00a0collection_name=\"docs\", )  llm = OpenAI() # ask questions  while True: \u00a0\u00a0\u00a0\u00a0question = input('\u0412\u0430\u0448 \u0432\u043e\u043f\u0440\u043e\u0441: ') \u00a0\u00a0\u00a0\u00a0qa = RetrievalQA.from_chain_type( \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0llm=llm, \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0chain_type=\"stuff\", \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0retriever=doc_store.as_retriever(), \u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0return_source_documents=False, \u00a0\u00a0\u00a0\u00a0)  \u00a0\u00a0\u00a0\u00a0result = qa(question) \u00a0\u00a0\u00a0\u00a0print(f\"Answer: {result}\")<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u043e \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d <strong>\u043d\u044e\u0430\u043d\u0441<\/strong>:<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0437\u043d\u0430\u043d\u0438\u044f \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0437\u0430\u0448\u0438\u0442\u044b, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0443 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0430\u0439\u0434\u0435\u0442 Retriver, \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0435. \u0417\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u043c \u0431\u0430\u0440\u0434\u0430\u043a\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0438 \u043b\u044e\u0434\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0441 \u0442\u0440\u0443\u0434\u043e\u043c. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432 \u043f\u043b\u043e\u0445\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0435\u0441\u0442\u0430\u0445, \u0438\u043d\u043e\u0433\u0434\u0430 \u0432 \u0432\u0438\u0434\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0438 \u0437\u0430\u043f\u0438\u0441\u043e\u043a \u043e\u0442 \u0440\u0443\u043a\u0443 \u0438 \u0442.\u043f. \u0427\u0430\u0441\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c, \u0438 \u0432\u043e \u0432\u0441\u0435\u043c \u044d\u0442\u043e\u043c \u0437\u043e\u043e\u043f\u0430\u0440\u043a\u0435 \u043d\u0430\u0434\u043e \u043a\u0430\u043a-\u0442\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f.\u00a0<\/p>\n<p>\u0427\u0430\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0431\u0435\u0437 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440\u044b \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u0438\u043c\u0435\u043d\u0430 \u0438 \u0444\u0430\u043c\u0438\u043b\u0438\u0438.<\/p>\n<h4>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c?<\/h4>\n<p>\u0412\u043e\u0442 \u0442\u0443\u0442 \u0432 \u0445\u043e\u0434 \u0438\u0434\u0443\u0442 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0438\u0441\u043a\u0430 (aka \u043a\u043e\u0441\u0442\u044b\u043b\u0438). \u041e\u043d\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0434\u0438\u044f\u0445 \u043f\u043e\u0438\u0441\u043a\u0430. \u0423\u0441\u043b\u043e\u0432\u043d\u043e \u043f\u043e\u0438\u0441\u043a \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430:<\/p>\n<ol>\n<li>\n<p>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0438 \u043e\u0447\u0438\u0441\u0442\u043a\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u0445<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0437 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0438 \u0438 \u0442\u043e\u043d\u0430<\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f:<\/p>\n<h3>\u041f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/h3>\n<p>\u0412\u044b \u043d\u0435 \u043f\u043e\u0432\u0435\u0440\u0438\u0442\u0435, \u0447\u0435\u0433\u043e \u043f\u0438\u0448\u0443\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u041d\u0430 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0443\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f &#8212; \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d \u043a\u0430\u043a: \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435, \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435, \u0436\u0430\u043b\u043e\u0431\u0430, \u0443\u0433\u0440\u043e\u0437\u0430, \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0434\u043d\u0430 \u0431\u0443\u043a\u0432\u0430 \u0438\u043b\u0438 \u0426\u0415\u041b\u041e\u0415 \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0441 \u201c\u0412\u043e\u0439\u043d\u0430 \u0438 \u041c\u0438\u0440\u201d. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u00a0\u0427\u0442\u043e \u0438?<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043b\u0438<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0422\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0437\u0433\u043d\u0435\u0432\u0430\u043d\u043d\u044b\u0435 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0438 \u0425\u0430\u0431\u0440\u0430 \u0441\u0432\u043e\u0438\u043c\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441 \u044d\u0442\u0438\u043c \u043f\u043e\u043c\u0435\u0440\u044f\u0442\u0441\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0443\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432\u0445\u043e\u0434, \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0432 \u0435\u0433\u043e \u0432 \u0437\u0430\u043f\u0440\u043e\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0447\u0438\u043a \u0441 \u044f\u0437\u044b\u043a\u0430 \u044e\u0437\u0435\u0440\u0430 \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0439. \u041a\u0442\u043e \u0431\u044b \u044d\u0442\u043e \u043c\u043e\u0433 \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 <strong>LLM<\/strong>. \u0411\u0430\u0437\u043e\u0432\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0415\u0449\u0435 \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e&#8230; \u043a\u0442\u043e \u0432 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0442\u043e\u0442 \u0432 \u0446\u0438\u0440\u043a\u0435 \u043d\u0435 \u0441\u043c\u0435\u0435\u0442\u0441\u044f ?\u00a0<\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 &#8212; \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c LLM \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041d\u043e, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u0430\u0448\u0435\u0439 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438, \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e!!!!!1111\u00a0<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0432 \u0445\u043e\u0434 \u0438\u0434\u0435\u0442 \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0447\u0443\u0442\u044c \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435 &#8212; <strong>RAG Fusion<\/strong>.\u00a0<\/p>\n<h4>Rag Fusion<\/h4>\n<p>\u0418\u0434\u0435\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c LLM \u0434\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e \u043d\u0438\u043c \u043f\u043e\u0438\u0441\u043a, \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0432 \u0438\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e \u0445\u0438\u0442\u0440\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <strong>Cross Encoder<\/strong>. Cross Encoder \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e &#8212; \u043e\u0434\u043d\u0430\u043a\u043e \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 &#8212; \u0432\u043f\u043e\u043b\u043d\u0435.<\/p>\n<p><strong>\u041e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043e Cross \u0438 Bi encoders<\/strong><\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 <strong>Bi-encoder<\/strong> \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u0434\u0432\u0443\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u042d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0442\u043e\u0436\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440, \u0438 \u043f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0435 \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0443. \u041d\u043e \u0442\u0430\u043a\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 \u043e\u0442\u0432\u0435\u0442.\u00a0<\/p>\n<figure class=\"full-width\">\n<div><figcaption>* BERT &#8212; \u044d\u0442\u043e Bidirectional Encoder Representations from Transformers, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (embedding)<\/figcaption><\/div>\n<\/figure>\n<p><strong>Cross Encoder<\/strong> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443. \u041e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u0432\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 (\u0442\u0435\u043a\u0441\u0442\u0430, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0442.\u043f.) \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u0445 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c (similarity) \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430. \u0415\u0433\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e <a href=\"https:\/\/arxiv.org\/abs\/1908.10084\"><u>\u043b\u0443\u0447\u0448\u0435 <\/u><\/a>\u0447\u0435\u043c \u0443 Bi Encoder. \u041e\u0431\u044b\u0447\u043d\u043e, \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u044b \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0447\u0435\u043c \u043d\u0443\u0436\u043d\u043e (\u043d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c 30) \u0438 \u043f\u043e\u0442\u043e\u043c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u044e\u0442 \u0438\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Cross Encoder \u0438\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438, \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 \u043f\u0435\u0440\u0432\u044b\u0435 3.<\/p>\n<figure class=\"\">\n<div><figcaption><strong>Cross Encoder<\/strong><\/figcaption><\/div>\n<\/figure>\n<p>\u041a \u043f\u0440\u0435-\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0442\u0430\u043a-\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0436\u0430\u043b\u043e\u0431\u044b, \u043f\u0440\u043e\u0441\u044c\u0431\u044b \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041c\u043e\u0436\u043d\u043e \u0434\u0430\u043b\u0435\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u0441\u0440\u043e\u0447\u043d\u044b\u0435, \u043d\u0435 \u0441\u0440\u043e\u0447\u043d\u044b\u0435, \u0441\u043f\u0430\u043c, \u0444\u0440\u043e\u0434. \u041c\u043e\u0436\u043d\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0431\u0443\u0445\u0433\u0430\u043b\u0442\u0435\u0440\u0438\u044f, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u043e, HR) \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u042d\u0442\u043e \u0432\u0441\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0437\u0438\u0442\u044c \u043a\u0440\u0443\u0433 \u043f\u043e\u0438\u0441\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<p>\u0414\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043e\u043f\u044f\u0442\u044c \u0436\u0435, LLM \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c-\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440.<\/p>\n<h3>\u041f\u043e\u0438\u0441\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u0445<\/h3>\n<p>\u0417\u0430 \u043f\u043e\u0438\u0441\u043a \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <strong>retreiver<\/strong> (\u043f\u0435\u0440\u0432\u0430\u044f \u0431\u0443\u043a\u0432\u0430 \u0432 RAG).<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u0443\u0434\u0430 \u043f\u0440\u043e\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 (\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0431\u0430\u0437 \u0434\u0430\u043d\u043d\u044b\u0445, wiki, CRM \u0438 \u0442.\u043f.). \u041d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c, \u044d\u0442\u043e \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 elasticsearch \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u043f\u043e\u0438\u0441\u043a \u0432 \u0433\u0443\u0433\u043b\u0435.\u00a0<\/p>\n<p>\u041f\u043e\u0438\u0441\u043a \u0432\u043d\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437 \u044f \u0442\u0443\u0442 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443, \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0432\u0435\u0437\u0434\u0435 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435.<\/p>\n<p><strong>\u041e\u0442\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0431\u0430\u0437\u0430\u0445<\/strong><\/p>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0431\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0438\u043b\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435, \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438\u0445 \u043a\u0430\u043a \u0432\u0437\u0430\u0438\u043c\u043e\u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f, \u0445\u043e\u0442\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e\u0436\u0435) \u2014 \u044d\u0442\u043e \u0442\u0438\u043f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043f\u043e \u0441\u0443\u0442\u0438, \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0447\u0438\u0441\u0435\u043b). \u042d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u0442\u0435\u043a\u0441\u0442\u044b \u0438\u043b\u0438 \u0437\u0432\u0443\u043a\u0438 \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435) \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u0441\u0445\u043e\u0436\u0438\u0435 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043a\u043e, \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u043e\u0432\u0430 \u201c\u0441\u043e\u0431\u0430\u043a\u0430\u201d \u0438 \u201c\u0431\u0443\u043b\u044c\u0434\u043e\u0433\u201d \u0431\u0443\u0434\u0443\u0442 \u0431\u043b\u0438\u0437\u043a\u043e, \u0430 \u0441\u043b\u043e\u0432\u0430 \u201c\u0437<strong>\u0430<\/strong>\u043c\u043e\u043a\u201d \u0438 \u201c\u0437\u0430\u043c<strong>\u043e<\/strong>\u043a\u201d &#8212; \u0434\u0430\u043b\u0435\u043a\u043e. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443.<\/p>\n<p>\u0421\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b (\u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442):<\/p>\n<ul>\n<li>\n<p>QDrant &#8212; \u0431\u0430\u0437\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c (\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0442\u0435\u043c \u0447\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u0430 \u043d\u0430\u0448\u0438\u043c\u0438 \u0440\u0435\u0431\u044f\u0442\u0430\u043c\u0438, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0410\u043d\u0434\u0440\u0435\u0439 \u0412\u0430\u0441\u043d\u0435\u0446\u043e\u0432 \u0443\u0447\u0438\u043b\u0441\u044f \u0432 \u0411\u0430\u0443\u043c\u0430\u043d\u043a\u0435)\u00a0<\/p>\n<\/li>\n<li>\n<p>Pinecone &#8212; cloud-native (\u0447\u0438\u0442\u0430\u0439 &#8212; \u0441\u0434\u0435\u0440\u0443\u0442 3 \u0448\u043a\u0443\u0440\u044b) \u0431\u0430\u0437\u0430<\/p>\n<\/li>\n<li>\n<p>Chroma &#8212; \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u0431\u0430\u0437\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c (Apache-2.0 license)<\/p>\n<\/li>\n<li>\n<p>Weaviate &#8212; \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u043f\u043e BSD-3-Clause license<\/p>\n<\/li>\n<li>\n<p>Milvus &#8212; \u043e\u0442\u043a\u0440\u044b\u0442\u0430 \u043f\u043e\u0434 Apache-2.0 license<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/facebookresearch\/faiss\">FAISS <\/a>&#8212; \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0437\u0432\u0435\u0440\u044c, \u043d\u0435 \u0431\u0430\u0437\u0430 \u0430 \u0444\u0440\u0435\u0439\u0432\u043e\u0440\u043a \u043e\u0442 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0438\u0441\u0442\u043a\u043e\u0439 <a href=\"https:\/\/www.facebook.com\/\"><u>\u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438<\/u><\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a \u0436\u0435, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u043d\u0435-\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u0441\u0442\u0430\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>Pgvector \u0434\u043b\u044f postgres\u00a0<\/p>\n<\/li>\n<li>\n<p>Atlas \u0434\u043b\u044f Mongo<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0435\u043c\u043e\u0432:<\/p>\n<p><strong>\u0410\u043d\u0441\u0430\u043c\u0431\u043b\u044c \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432 \u0438\/\u0438\u043b\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u0430\u044f \u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u0430 \u0437\u0430\u0442\u0435\u043c \u043a\u0430\u043a \u0442\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u043e\u0442\u0432\u0435\u0442 (\u043d\u0443 \u0445\u043e\u0442\u044c \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c) &#8212; \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435. \u0412 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u043e\u0433 \u201c\u0421\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043c\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u043b\u0430\u201d.<\/p>\n<p>\u041a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440 &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0442\u0438\u043f\u043e\u0432 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432 \u0438\u0437 <a href=\"https:\/\/python.langchain.com\/docs\/modules\/data_connection\/retrievers\/\"><u>langchain<\/u><\/a>. \u0410\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u043d\u0433 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043f\u0440\u0438 \u043e\u0431\u044c\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0438 sparse (\u0434\u0430\u0436\u0435 \u043d\u0435 \u0437\u043d\u0430\u044e \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0443\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a)\u00a0 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432(\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/python.langchain.com\/docs\/integrations\/retrievers\/bm25\"><u>BM25<\/u><\/a>) \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432 \u0438 dense \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u043e\u0432(\u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 embdedding similarity, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0435 \u0436\u0435 <a href=\"https:\/\/python.langchain.com\/docs\/modules\/data_connection\/retrievers\/vectorstore\"><u>\u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 <\/u><\/a>\u0431\u0430\u0437\u044b) \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p><strong>Dense Retriever<\/strong> &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 BERT, \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u043a \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0430\u043a \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u0432 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0421\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c\u044e \u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u044d\u0442\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-367153","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/367153","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=367153"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/367153\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=367153"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=367153"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=367153"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}