{"id":373730,"date":"2024-05-21T05:42:54","date_gmt":"2024-05-21T05:42:54","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=373730"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=373730","title":{"rendered":"\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0411\u0414 vs \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u2014 \u0447\u0430\u0441\u0442\u044c 1<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0420\u0435\u0448\u0438\u043b \u044f \u0441\u043e\u0431\u0440\u0430\u0442\u044c «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443» \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 RAG(retrieval augmentation generation), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u0438\u0437 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u041e\u0436\u0435\u0433\u043e\u0432\u0430. \u0418\u0437\u0443\u0447\u0438\u0432 \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u044b \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430, \u043f\u043e\u043d\u044f\u043b. \u0412\u0441\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0446\u0435\u043f\u0442\u0443 (\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f):<\/p>\n

    \n
  1. \n

    \u0411\u0435\u0440\u0435\u043c \u043d\u0443\u0436\u043d\u044b\u0439 \u043d\u0430\u043c \u0442\u0435\u043a\u0441\u0442 \u0438 \u043d\u0430\u0440\u0435\u0437\u0430\u0435\u043c \u043d\u0430 \u043a\u0443\u0441\u043a\u0438<\/p>\n<\/li>\n

  2. \n

    \u0421\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u00ab\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430\u00bb \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0432\u00a0\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/p>\n<\/li>\n

  3. \n

    \u0413\u0440\u0443\u0437\u0438\u043c \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0443\u044e \u0411\u0414<\/p>\n<\/li>\n

  4. \n

    \u0426\u0435\u043f\u043b\u044f\u0435\u043c ChatGPT \u0438\u043b\u0438 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0443 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Langchain<\/p>\n<\/li>\n

  5. \n

    \u041f\u0438\u0448\u0435\u043c \u043f\u0440\u043e\u043c\u043f\u0442<\/p>\n<\/li>\n

  6. \n

    \u0420\u0430\u0434\u0443\u0435\u043c\u0441\u044f<\/p>\n<\/li>\n<\/ol>\n

    \"\u0421\u0445\u0435\u043c\u0430<\/p>\n
    \u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b<\/figcaption><\/div>\n<\/figure>\n

    \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0442\u043e\u043b\u043a\u043e\u0432\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u043c \u041e\u0436\u0435\u0433\u043e\u0432\u0430, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c 2 \u0442\u0438\u043f\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432:<\/p>\n

      \n
    1. \n

      \u041f\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u043c\u0443 \u0438\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043d\u0430\u0439\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d<\/p>\n<\/li>\n

    2. \n

      \u041d\u0430\u0439\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d, \u0447\u0442\u043e \u043e\u043d \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442<\/p>\n<\/li>\n<\/ol>\n

      \u0420\u0430\u0434\u043e\u0432\u0430\u043b\u0441\u044f \u044f \u043d\u0435 \u0434\u043e\u043b\u0433\u043e. \u0427\u0435\u0440\u0435\u0437 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0447\u0430\u043b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u043f\u0443\u0442\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0442\u0438\u043f\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/strong>. \u041f\u0440\u043e\u0448\u0443 \u043e\u0434\u0438\u043d \u0442\u0435\u0440\u043c\u0438\u043d, \u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u044e \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u043e\u0439. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n

      \u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e. \u0414\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f «\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0438\u0441\u043a\u0430 + \u0432\u043e\u043f\u0440\u043e\u0441» — \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043e\u0442\u0432\u0435\u0442 \u0438\u0437 \u0411\u0414. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0441\u0430\u043c\u0438 \u0433\u0440\u0443\u0437\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0437\u043d\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u043d\u0430\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0411\u0414 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e \u043d\u0430\u0448\u0435\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443.<\/p>\n

      \u0413\u043e\u0442\u043e\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435<\/h3>\n

      \u0411\u0435\u0440\u0435\u043c \u043d\u0443\u0436\u043d\u044b\u0439 \u043d\u0430\u043c \u0442\u0435\u043a\u0441\u0442 \u0438 \u043d\u0430\u0440\u0435\u0437\u0430\u0435\u043c \u043d\u0430 \u043a\u0443\u0441\u043a\u0438.<\/p>\n

      import re import pandas as pd  with open(\"ozhegov.txt\", mode=\"r\", encoding=\"UTF-8\") as file:     text_lines = file.readlines()  def return_first_match(pattern, text):     result = re.findall(pattern,text)     result = result[0] if result else \"\"     return result  data = []  for line in text_lines:      title = return_first_match(r\"^[\u0430-\u044f\u0410-\u042f]{2,}(?=,)\", line)     text = return_first_match(r\"\\.\\s([\u0410-\u042f]+.*)\\n\", line)      if(len(title) > 3):         data.append(             {                 \"title\": title,                 \"text\" : text             })  dataset = pd.DataFrame(data) dataset.to_csv('ozhegov_dataset.csv') dataset.head()<\/code><\/pre>\n
      \n
      \n\n\n\n\n\n\n\n\n
      \n<\/th>\n\n
      title<\/p>\n<\/th>\n
      		\n
      text<\/p>\n<\/th>\n<\/tr>\n
      \n
      0<\/p>\n<\/th>\n
      		\n
      \u0410\u0411\u0410\u0416\u0423\u0420<\/p>\n<\/td>\n
      		\n
      \u041a\u043e\u043b\u043f\u0430\u043a \u0434\u043b\u044f \u043b\u0430\u043c\u043f\u044b, \u0441\u0432\u0435\u0442\u0438\u043b\u044c\u043d\u0438\u043a\u0430. \u0417\u0435\u043b\u0435\u043d\u044b\u0439 \u0430. 11 \u043f…<\/p>\n<\/td>\n<\/tr>\n
      \n
      1<\/p>\n<\/th>\n
      		\n
      \u0410\u0411\u0410\u0417\u0418\u041d\u0421\u041a\u0418\u0419<\/p>\n<\/td>\n
      		\n
      \u041e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0439\u0441\u044f \u043a \u0430\u0431\u0430\u0437\u0438\u043d\u0430\u043c, \u043a \u0438\u0445 \u044f\u0437\u044b\u043a\u0443, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d…<\/p>\n<\/td>\n<\/tr>\n
      \n
      2<\/p>\n<\/th>\n
      		\n
      \u0410\u0411\u0410\u0417\u0418\u041d\u042b<\/p>\n<\/td>\n
      		\n
      \u041d\u0430\u0440\u043e\u0434, \u0436\u0438\u0432\u0443\u0449\u0438\u0439 \u0432 \u041a\u0430\u0440\u0430\u0447\u0430\u0435\u0432\u043e-\u0427\u0435\u0440\u043a\u0435\u0441\u0438\u0438 \u0438 \u0432 \u0410\u0434\u044b\u0433\u0435\u0435…<\/p>\n<\/td>\n<\/tr>\n
      \n
      3<\/p>\n<\/th>\n
      		\n
      \u0410\u0411\u0411\u0410\u0422<\/p>\n<\/td>\n
      		\n
      \u041d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c \u043c\u0443\u0436\u0441\u043a\u043e\u0433\u043e \u043a\u0430\u0442\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u043d\u0430\u0441\u0442\u044b\u0440\u044f. 2…<\/p>\n<\/td>\n<\/tr>\n
      \n
      4<\/p>\n<\/th>\n
      		\n
      \u0410\u0411\u0411\u0410\u0422\u0421\u0422\u0412\u041e<\/p>\n<\/td>\n
      		\n
      \u041a\u0430\u0442\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u043e\u043d\u0430\u0441\u0442\u044b\u0440\u044c.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
      \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e 1000 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0448\u0442\u0443\u043a.<\/p>\n
      #\u0431\u044b\u0432\u0430\u044e\u0442 \u043f\u0443\u0441\u0442\u044b\u0435 \u0432 \u043c\u043e\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 dataset = dataset[dataset['title'].str.len() > 0] dataset = dataset[dataset['text'].str.len() > 0] dataset = dataset.sample(n=1000)  dataset.astype({\"text\": str, \"title\": str}) dataset.info(show_counts=True)  dataset.head()<\/code><\/pre>\n
      <class 'pandas.core.frame.DataFrame'> Index: 1000 entries, 28934 to 16721 Data columns (total 3 columns):  #   Column      Non-Null Count  Dtype  ---  ------      --------------  -----   0   Unnamed: 0  1000 non-null   int64   1   title       1000 non-null   object  2   text        1000 non-null   object dtypes: int64(1), object(2) memory usage: 31.2+ KB<\/code><\/pre>\n
      \n
      \n\n\n\n\n\n\n\n\n
      \n
      Unnamed: 0<\/p>\n<\/th>\n
      		\n
      title<\/p>\n<\/th>\n
      		\n
      text<\/p>\n<\/th>\n<\/tr>\n
      \n
      28934<\/p>\n<\/td>\n
      		\n
      \u0423\u0422\u041e\u041b\u0429\u0415\u041d\u0418\u0415<\/p>\n<\/td>\n
      		\n
      \u0423\u0442\u043e\u043b\u0449\u0435\u043d\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043d\u0430 \u0447\u0435\u043c-\u043d. \u0423. \u0441\u0442\u0432\u043e\u043b\u0430. \u0423. \u0441\u043e\u0441\u0443\u0434\u0430.<\/p>\n<\/td>\n<\/tr>\n
      \n
      30193<\/p>\n<\/td>\n
      		\n
      \u0427\u0415\u0420\u041d\u041e\u0421\u041e\u0422\u0415\u041d\u0415\u0426<\/p>\n<\/td>\n
      		\n
      \u0412 \u0420\u043e\u0441\u0441\u0438\u0438 \u0432 \u043d\u0430\u0447. 20 \u0432.: \u0447\u043b\u0435\u043d \u0448\u043e\u0432\u0438\u043d\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0440…<\/p>\n<\/td>\n<\/tr>\n
      \n
      14378<\/p>\n<\/td>\n
      		\n
      \u041d\u0415\u041f\u0420\u0415\u041e\u0411\u041e\u0420\u0418\u041c\u042b\u0419<\/p>\n<\/td>\n
      		\n
      \u0422\u0430\u043a\u043e\u0439, \u0447\u0442\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0431\u043e\u0440\u043e\u0442\u044c. \u041d\u0435\u043f\u0440\u0435\u043e\u0431\u043e\u0440\u0438\u043c\u0430\u044f …<\/p>\n<\/td>\n<\/tr>\n
      \n
      27420<\/p>\n<\/td>\n
      		\n
      \u0422\u0415\u0420\u041c\u0418\u0427\u0415\u0421\u041a\u0418\u0419<\/p>\n<\/td>\n
      		\n
      \u041e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0439\u0441\u044f \u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0442\u0435\u043f\u043b\u043e\u0432\u043e\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 \u0442\u0435…<\/p>\n<\/td>\n<\/tr>\n
      \n
      27021<\/p>\n<\/td>\n
      		\n
      \u0421\u0425\u0415\u041c\u0410\u0422\u0418\u0417\u0418\u0420\u041e\u0412\u0410\u0422\u042c<\/p>\n<\/td>\n
      		\n
      \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c (-\u0432\u043b\u044f\u0442\u044c) \u0432 \u0432\u0438\u0434\u0435 \u0441\u0445\u0435\u043c\u044b (\u0432\u043e 2 \u0437\u043d\u0430\u0447.)…<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
      \u041f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/h3>\n
      \u00ab\u042d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u00bb \u0434\u043e\u043b\u0433\u043e \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u043b, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0420\u0435\u0439\u0442\u0438\u043d\u0433 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439<\/a> <\/p>\n
      \u041f\u0440\u043e \u0441\u0430\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0411\u0414 \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c — \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443. \u041f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0432\u043e\u0434\u0443 \u0443\u0436\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u0441\u0442\u0430\u0442\u044c\u0438. \u0411\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Chroma (\u0442\u043e\u043f-1 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438<\/a>).<\/p>\n
      \u0414\u043b\u044f \u0447\u0438\u0441\u0442\u043e\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0440\u0435\u0448\u0438\u043b \u0432\u0437\u044f\u0442\u044c \u0442\u043e\u043f-5 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 3 \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0432 Chroma<\/a> <\/p>\n
      models = [     \"intfloat\/multilingual-e5-large\",     \"sentence-transformers\/paraphrase-multilingual-mpnet-base-v2\",     \"symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli\",     \"cointegrated\/LaBSE-en-ru\",     \"sentence-transformers\/LaBSE\" ]  distances = [     \"l2\",     \"ip\",     \"cosine\" ]<\/code><\/pre>\n
      \u0413\u043e\u0442\u043e\u0432\u0438\u043c Chroma<\/h3>\n
      \u0421\u0442\u0430\u0432\u0438\u043c \u043d\u0443\u0436\u043d\u044b\u0435 pip<\/strong> \u043f\u0430\u043a\u0435\u0442\u044b<\/p>\n
      %pip install -U sentence-transformers ipywidgets chromadb chardet charset-normalizer<\/code><\/pre>\n
      \n\u0411\u044b\u0432\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0430 \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439, \u0432 \u0441\u0430\u043c\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/summary>\n
      \n
      HINT: This error might have occurred since this system does not have Windows Long Path support enabled. You can find information on how to enable this at https:\/\/pip.pypa.io\/warnings\/enable-long-paths <\/p>\n
      https:\/\/learn.microsoft.com\/en-us\/windows\/win32\/fileio\/maximum-file-path-limitation?tabs=powershell#enable-long-paths-in-windows-10-version-1607-and-later<\/p>\n<\/div>\n<\/details>\n
      \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c Chroma \u0432 Docker<\/p>\n
      docker pull chromadb\/chroma docker run -p 8000:8000 chromadb\/chroma<\/code><\/pre>\n
      \u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 Chroma<\/h2>\n
      \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0439. \u0410 \u0442\u0430\u043a\u0436\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u044c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0435\u0439 + \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0418\u043d\u0434\u0435\u043a\u0441\u044b \u0432 \u0411\u0414 \u0440\u0430\u0432\u043d\u044b \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435.<\/p>\n
      from chromadb.utils import embedding_functions import chromadb chroma_client = chromadb.HttpClient(host=\"localhost\", port=8000)  def create_collection(model_name, distance):          chroma_client = chromadb.HttpClient(host=\"localhost\", port=8000)      sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name=model_name)          #\u0432 \u044d\u0442\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d     #text_collection = chroma_client.create_collection(name='text', embedding_function=sentence_transformer_ef)          title_collection = chroma_client.create_collection(name=\"title\", embedding_function=sentence_transformer_ef, metadata={\"hnsw:space\": distance})      ids = list(map(str, dataset.index.values.tolist()))     #text_collection.add(ids = ids, documents=dataset[\"text\"].tolist())     title_collection.add(ids = ids, documents=dataset[\"title\"].tolist())      return title_collection  def delete_collection():     chroma_client.delete_collection(\"title\")   def query_collection(collection, query, max_results, dataframe, model_name, distance):     results = collection.query(query_texts=query, n_results=max_results, include=['distances'])      #print(results)     df = pd.DataFrame({                 'id':results['ids'][0],                  'score':list(map(float,results['distances'][0])),                 'query': query,                 'title': dataframe[dataframe.index.isin(list(map(int,results['ids'][0])))]['title'],                 'content': dataframe[dataframe.index.isin(list(map(int,results['ids'][0])))]['text'],                 'model_name': model_name,                 'distance': distance                 })          # \u0417\u0430\u0431\u0438\u0440\u0430\u0435\u043c \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0435\u0439, \u0437\u043d\u0430\u0447\u0438\u0442 \u043e\u043d \u0431\u043b\u0438\u0436\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436     df = df[df.score == df.score.min()]     df['is_found'] = df.apply(lambda row: row.query == row.title, axis=1)          return df <\/code><\/pre>\n
      \u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u043c <\/h2>\n
      \u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 100 \u0448\u0442\u0443\u043a \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432 Chroma.<\/p>\n
      test_dataset = dataset.sample(n=100) test_dataset.head() test_results = pd.DataFrame()<\/code><\/pre>\n
      \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n
      for model in models:     for distance in distances:         print(f\"{model} - {distance}\")         try:             delete_collection()         except Exception as ex:             print(f\"delete_collection error: {ex}\")          collection = create_collection(model, distance)          for title in test_dataset[\"title\"].tolist():             test_results = test_results._append(query_collection(             collection=collection,             query=title,             max_results=5,             dataframe=dataset,             model_name=model,             distance=distance))              print(f\"{len(test_results)}\")            test_results.to_csv(\"results_ozhegov2.csv\") test_results.head()<\/code><\/pre>\n
      \n
      \n\n\n\n\n\n\n\n\n
      \n<\/th>\n\n
      id<\/p>\n<\/th>\n
      		\n
      score<\/p>\n<\/th>\n
      		\n
      query<\/p>\n<\/th>\n
      		\n
      title<\/p>\n<\/th>\n
      		\n
      content<\/p>\n<\/th>\n
      		\n
      model_name<\/p>\n<\/th>\n
      		\n
      distance<\/p>\n<\/th>\n
      		\n
      is_found<\/p>\n<\/th>\n<\/tr>\n
      \n
      10363<\/p>\n<\/th>\n
      		\n
      10363<\/p>\n<\/td>\n
      		\n
      1.315708e-12<\/p>\n<\/td>\n
      		\n
      \u041a\u041e\u0420\u041d\u0418\u0428\u041e\u041d\u042b<\/p>\n<\/td>\n
      		\n
      \u041a\u041e\u0420\u041d\u0418\u0428\u041e\u041d\u042b<\/p>\n<\/td>\n
      		\n
      \u041c\u0435\u043b\u043a\u0438\u0435 \u043d\u0435\u0434\u043e\u0437\u0440\u0435\u043b\u044b\u0435 \u043e\u0433\u0443\u0440\u0446\u044b, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u043b\u044f …<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n
      		\n
      True<\/p>\n<\/td>\n<\/tr>\n
      \n
      8566<\/p>\n<\/th>\n
      		\n
      8566<\/p>\n<\/td>\n
      		\n
      7.252605e-13<\/p>\n<\/td>\n
      		\n
      \u0418\u041c\u041c\u0418\u0413\u0420\u0410\u041d\u0422<\/p>\n<\/td>\n
      		\n
      \u0418\u041c\u041c\u0418\u0413\u0420\u0410\u041d\u0422<\/p>\n<\/td>\n
      		\n
      \u0427\u0435\u043b\u043e\u0432\u0435\u043a, \u043a-\u0440\u044b\u0439 \u0438\u043c\u043c\u0438\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043a\u0443\u0434\u0430-\u043d. II \u0436. \u0438\u043c\u043c\u0438…<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n
      		\n
      True<\/p>\n<\/td>\n<\/tr>\n
      \n
      12175<\/p>\n<\/th>\n
      		\n
      17352<\/p>\n<\/td>\n
      		\n
      1.157366e-12<\/p>\n<\/td>\n
      		\n
      \u041f\u0415\u041d\u0421\u0418\u042f<\/p>\n<\/td>\n
      		\n
      \u041c\u0415\u041d\u0421\u0422\u0420\u0423\u0410\u0426\u0418\u042f<\/p>\n<\/td>\n
      		\n
      \u0415\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u044b\u0435 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u0440\u043e\u0432\u0438 \u0438\u0437 \u043c\u0430\u0442\u043a\u0438 \u0436\u0435\u043d\u0449\u0438\u043d\u044b (…<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n
      		\n
      False<\/p>\n<\/td>\n<\/tr>\n
      \n
      18297<\/p>\n<\/th>\n
      		\n
      11029<\/p>\n<\/td>\n
      		\n
      7.939077e-13<\/p>\n<\/td>\n
      		\n
      \u041a\u0423\u0422\u0410\u0422\u042c<\/p>\n<\/td>\n
      		\n
      \u041f\u041b\u0423\u0422\u0410\u0422\u042c<\/p>\n<\/td>\n
      		\n
      \u0425\u043e\u0434\u0438\u0442\u044c \u043d\u0435 \u0437\u043d\u0430\u044f \u0434\u043e\u0440\u043e\u0433\u0438, \u0431\u043b\u0443\u0436\u0434\u0430\u0442\u044c. \u041f. \u043f\u043e \u043b\u0435\u0441\u0443.<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n
      		\n
      False<\/p>\n<\/td>\n<\/tr>\n
      \n
      14052<\/p>\n<\/th>\n
      		\n
      5394<\/p>\n<\/td>\n
      		\n
      1.371903e-12<\/p>\n<\/td>\n
      		\n
      \u0414\u0415\u041a\u0410\u0414\u0410<\/p>\n<\/td>\n
      		\n
      \u041d\u0415\u0414\u0415\u041b\u042f<\/p>\n<\/td>\n
      		\n
      \u0415\u0434\u0438\u043d\u0438\u0446\u0430 \u0438\u0441\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0440\u0430\u0432\u043d\u0430\u044f \u0441\u0435\u043c\u0438 \u0434\u043d\u044f\u043c, …<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n
      		\n
      False<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
      \u0421\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n
      \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 (\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432)<\/p>\n
      finally_result = pd.DataFrame() for model in models:     for distance in distances:         df = test_results.loc[test_results['model_name'].str.contains(model) == True]         df = df.loc[df['distance'].str.contains(distance) == True]          finally_result = finally_result._append(pd.DataFrame({                 'founded': [len(df[df['is_found'] == True])],                 'model_name': [model],                 'distance': [distance]                 }))          finally_result.head(15)<\/code><\/pre>\n
      \n
      \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
      \n
      founded<\/p>\n<\/th>\n
      		\n
      model_name<\/p>\n<\/th>\n
      		\n
      distance<\/p>\n<\/th>\n<\/tr>\n
      \n
      24<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n<\/tr>\n
      \n
      24<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      ip<\/p>\n<\/td>\n<\/tr>\n
      \n
      24<\/p>\n<\/td>\n
      		\n
      intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
      		\n
      cosine<\/p>\n<\/td>\n<\/tr>\n
      \n
      17<\/p>\n<\/td>\n
      		\n
      sentence-transformers\/paraphrase-multilingual-…<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n<\/tr>\n
      \n
      0<\/p>\n<\/td>\n
      		\n
      sentence-transformers\/paraphrase-multilingual-…<\/p>\n<\/td>\n
      		\n
      ip<\/p>\n<\/td>\n<\/tr>\n
      \n
      19<\/p>\n<\/td>\n
      		\n
      sentence-transformers\/paraphrase-multilingual-…<\/p>\n<\/td>\n
      		\n
      cosine<\/p>\n<\/td>\n<\/tr>\n
      \n
      23<\/p>\n<\/td>\n
      		\n
      symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n<\/tr>\n
      \n
      25<\/strong><\/p>\n<\/td>\n
      		\n
      symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli<\/strong><\/p>\n<\/td>\n
      		\n
      ip<\/strong><\/p>\n<\/td>\n<\/tr>\n
      \n
      21<\/p>\n<\/td>\n
      		\n
      symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli<\/p>\n<\/td>\n
      		\n
      cosine<\/p>\n<\/td>\n<\/tr>\n
      \n
      14<\/p>\n<\/td>\n
      		\n
      cointegrated\/LaBSE-en-ru<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n<\/tr>\n
      \n
      14<\/p>\n<\/td>\n
      		\n
      cointegrated\/LaBSE-en-ru<\/p>\n<\/td>\n
      		\n
      ip<\/p>\n<\/td>\n<\/tr>\n
      \n
      14<\/p>\n<\/td>\n
      		\n
      cointegrated\/LaBSE-en-ru<\/p>\n<\/td>\n
      		\n
      cosine<\/p>\n<\/td>\n<\/tr>\n
      \n
      14<\/p>\n<\/td>\n
      		\n
      sentence-transformers\/LaBSE<\/p>\n<\/td>\n
      		\n
      l2<\/p>\n<\/td>\n<\/tr>\n
      \n
      14<\/p>\n<\/td>\n
      		\n
      sentence-transformers\/LaBSE<\/p>\n<\/td>\n
      		\n
      ip<\/p>\n<\/td>\n<\/tr>\n
      \n
      14<\/p>\n<\/td>\n
      		\n
      sentence-transformers\/LaBSE<\/p>\n<\/td>\n
      		\n
      cosine<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
      \u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
      \u0421\u043e\u0431\u0440\u0430\u0442\u044c «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443» \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 RAG \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043c\u0438 \u043f\u043e\u043a\u0430 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0438 \u0432\u044b\u0434\u0430\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442. <\/p>\n
      \u0422\u0435\u043a\u0443\u0449\u0438\u0435 ~25% — \u0441\u043b\u043e\u0436\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e<\/strong>. <\/p>\n
      \u041a\u0430\u043a\u0438\u0435 \u044f \u0432\u0438\u0436\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e:<\/p>\n
        \n
      1. \n
        \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a c BM25, \u043d\u0435 \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0411\u0414 \u0435\u0433\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442<\/p>\n
          \n
        1. \n
          Chroma — \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438<\/a><\/p>\n<\/li>\n
        2. \n
          Pinecone — public preview<\/a> — \u043d\u0435\u0442\u0443 \u0432 Docker — \u0437\u0430\u043f\u0440\u043e\u0441 \u0444\u0438\u0447\u0438<\/a><\/p>\n<\/li>\n
        3. \n
          Milvus — \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438<\/a><\/p>\n<\/li>\n
        4. \n
          Weaviate — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n
        5. \n
          Qdrant — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n
        6. \n
          Elasticsearch — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n
        7. \n
          Opensearch — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n<\/ol>\n<\/li>\n
        8. \n
          \u041f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u0430 Postgres + BM25 \u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0432 \u0434\u0432\u0443\u0445 — \u0437\u0432\u0443\u0447\u0438\u0442 \u0442\u0430\u043a \u0441\u0435\u0431\u0435 + \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e…<\/p>\n<\/li>\n
        9. \n
          \u0422\u044e\u043d\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443»<\/p>\n<\/li>\n
        10. \n
          \u041f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u043c (\u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0442.\u043f.) — \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u043c\u043d\u0435\u0432\u0430\u044e\u0441\u044c, \u0447\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442.<\/p>\n<\/li>\n<\/ol>\n
          <\/h4>\n
          \u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434<\/a><\/p>\n
          \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a<\/p>\n
          P.S. \u0411\u0443\u0434\u0443 \u0436\u0434\u0430\u0442\u044c \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0435\u0449\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443» \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n
          <\/div>\n

           \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438            https:\/\/habr.com\/ru\/articles\/807957\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
          <\/div>\n
          \n
          \n
          \n
          \n
          \u0420\u0435\u0448\u0438\u043b \u044f \u0441\u043e\u0431\u0440\u0430\u0442\u044c «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443» \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 RAG(retrieval augmentation generation), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u0438\u0437 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u041e\u0436\u0435\u0433\u043e\u0432\u0430. \u0418\u0437\u0443\u0447\u0438\u0432 \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u044b \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430, \u043f\u043e\u043d\u044f\u043b. \u0412\u0441\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0446\u0435\u043f\u0442\u0443 (\u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f):<\/p>\n
            \n
          1. \n
            \u0411\u0435\u0440\u0435\u043c \u043d\u0443\u0436\u043d\u044b\u0439 \u043d\u0430\u043c \u0442\u0435\u043a\u0441\u0442 \u0438 \u043d\u0430\u0440\u0435\u0437\u0430\u0435\u043c \u043d\u0430 \u043a\u0443\u0441\u043a\u0438<\/p>\n<\/li>\n
          2. \n
            \u0421\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u00ab\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430\u00bb \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0432\u00a0\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/p>\n<\/li>\n
          3. \n
            \u0413\u0440\u0443\u0437\u0438\u043c \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0443\u044e \u0411\u0414<\/p>\n<\/li>\n
          4. \n
            \u0426\u0435\u043f\u043b\u044f\u0435\u043c ChatGPT \u0438\u043b\u0438 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0443 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Langchain<\/p>\n<\/li>\n
          5. \n
            \u041f\u0438\u0448\u0435\u043c \u043f\u0440\u043e\u043c\u043f\u0442<\/p>\n<\/li>\n
          6. \n
            \u0420\u0430\u0434\u0443\u0435\u043c\u0441\u044f<\/p>\n<\/li>\n<\/ol>\n
            \n
            \u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b<\/figcaption><\/div>\n<\/figure>\n
            \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0442\u043e\u043b\u043a\u043e\u0432\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u043c \u041e\u0436\u0435\u0433\u043e\u0432\u0430, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c 2 \u0442\u0438\u043f\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432:<\/p>\n
              \n
            1. \n
              \u041f\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u043c\u0443 \u0438\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043d\u0430\u0439\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d<\/p>\n<\/li>\n
            2. \n
              \u041d\u0430\u0439\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d, \u0447\u0442\u043e \u043e\u043d \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442<\/p>\n<\/li>\n<\/ol>\n
              \u0420\u0430\u0434\u043e\u0432\u0430\u043b\u0441\u044f \u044f \u043d\u0435 \u0434\u043e\u043b\u0433\u043e. \u0427\u0435\u0440\u0435\u0437 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0447\u0430\u043b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043d \u043f\u0443\u0442\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0442\u0438\u043f\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/strong>. \u041f\u0440\u043e\u0448\u0443 \u043e\u0434\u0438\u043d \u0442\u0435\u0440\u043c\u0438\u043d, \u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u044e \u0441\u043e\u0432\u0441\u0435\u043c \u0434\u0440\u0443\u0433\u043e\u0439. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u0447\u0435\u043c\u0443.<\/p>\n
              \u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e. \u0414\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f «\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u0438\u0441\u043a\u0430 + \u0432\u043e\u043f\u0440\u043e\u0441» — \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0437\u0430\u043f\u0440\u043e\u0441 \u0438 \u043e\u0442\u0432\u0435\u0442 \u0438\u0437 \u0411\u0414. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0441\u0430\u043c\u0438 \u0433\u0440\u0443\u0437\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0437\u043d\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043b\u0438 \u043d\u0430\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0411\u0414 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e \u043d\u0430\u0448\u0435\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443.<\/p>\n
              \u0413\u043e\u0442\u043e\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435<\/h3>\n
              \u0411\u0435\u0440\u0435\u043c \u043d\u0443\u0436\u043d\u044b\u0439 \u043d\u0430\u043c \u0442\u0435\u043a\u0441\u0442 \u0438 \u043d\u0430\u0440\u0435\u0437\u0430\u0435\u043c \u043d\u0430 \u043a\u0443\u0441\u043a\u0438.<\/p>\n
              import re import pandas as pd  with open(\"ozhegov.txt\", mode=\"r\", encoding=\"UTF-8\") as file:     text_lines = file.readlines()  def return_first_match(pattern, text):     result = re.findall(pattern,text)     result = result[0] if result else \"\"     return result  data = []  for line in text_lines:      title = return_first_match(r\"^[\u0430-\u044f\u0410-\u042f]{2,}(?=,)\", line)     text = return_first_match(r\"\\.\\s([\u0410-\u042f]+.*)\\n\", line)      if(len(title) > 3):         data.append(             {                 \"title\": title,                 \"text\" : text             })  dataset = pd.DataFrame(data) dataset.to_csv('ozhegov_dataset.csv') dataset.head()<\/code><\/pre>\n
              \n
              \n\n\n\n\n\n\n\n\n
              \n<\/th>\n\n
              title<\/p>\n<\/th>\n
              		\n
              text<\/p>\n<\/th>\n<\/tr>\n
              \n
              0<\/p>\n<\/th>\n
              		\n
              \u0410\u0411\u0410\u0416\u0423\u0420<\/p>\n<\/td>\n
              		\n
              \u041a\u043e\u043b\u043f\u0430\u043a \u0434\u043b\u044f \u043b\u0430\u043c\u043f\u044b, \u0441\u0432\u0435\u0442\u0438\u043b\u044c\u043d\u0438\u043a\u0430. \u0417\u0435\u043b\u0435\u043d\u044b\u0439 \u0430. 11 \u043f…<\/p>\n<\/td>\n<\/tr>\n
              \n
              1<\/p>\n<\/th>\n
              		\n
              \u0410\u0411\u0410\u0417\u0418\u041d\u0421\u041a\u0418\u0419<\/p>\n<\/td>\n
              		\n
              \u041e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0439\u0441\u044f \u043a \u0430\u0431\u0430\u0437\u0438\u043d\u0430\u043c, \u043a \u0438\u0445 \u044f\u0437\u044b\u043a\u0443, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d…<\/p>\n<\/td>\n<\/tr>\n
              \n
              2<\/p>\n<\/th>\n
              		\n
              \u0410\u0411\u0410\u0417\u0418\u041d\u042b<\/p>\n<\/td>\n
              		\n
              \u041d\u0430\u0440\u043e\u0434, \u0436\u0438\u0432\u0443\u0449\u0438\u0439 \u0432 \u041a\u0430\u0440\u0430\u0447\u0430\u0435\u0432\u043e-\u0427\u0435\u0440\u043a\u0435\u0441\u0438\u0438 \u0438 \u0432 \u0410\u0434\u044b\u0433\u0435\u0435…<\/p>\n<\/td>\n<\/tr>\n
              \n
              3<\/p>\n<\/th>\n
              		\n
              \u0410\u0411\u0411\u0410\u0422<\/p>\n<\/td>\n
              		\n
              \u041d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c \u043c\u0443\u0436\u0441\u043a\u043e\u0433\u043e \u043a\u0430\u0442\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u043d\u0430\u0441\u0442\u044b\u0440\u044f. 2…<\/p>\n<\/td>\n<\/tr>\n
              \n
              4<\/p>\n<\/th>\n
              		\n
              \u0410\u0411\u0411\u0410\u0422\u0421\u0422\u0412\u041e<\/p>\n<\/td>\n
              		\n
              \u041a\u0430\u0442\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u043e\u043d\u0430\u0441\u0442\u044b\u0440\u044c.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
              \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e 1000 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0448\u0442\u0443\u043a.<\/p>\n
              #\u0431\u044b\u0432\u0430\u044e\u0442 \u043f\u0443\u0441\u0442\u044b\u0435 \u0432 \u043c\u043e\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 dataset = dataset[dataset['title'].str.len() > 0] dataset = dataset[dataset['text'].str.len() > 0] dataset = dataset.sample(n=1000)  dataset.astype({\"text\": str, \"title\": str}) dataset.info(show_counts=True)  dataset.head()<\/code><\/pre>\n
              <class 'pandas.core.frame.DataFrame'> Index: 1000 entries, 28934 to 16721 Data columns (total 3 columns):  #   Column      Non-Null Count  Dtype  ---  ------      --------------  -----   0   Unnamed: 0  1000 non-null   int64   1   title       1000 non-null   object  2   text        1000 non-null   object dtypes: int64(1), object(2) memory usage: 31.2+ KB<\/code><\/pre>\n
              \n
              \n\n\n\n\n\n\n\n\n
              \n
              Unnamed: 0<\/p>\n<\/th>\n
              		\n
              title<\/p>\n<\/th>\n
              		\n
              text<\/p>\n<\/th>\n<\/tr>\n
              \n
              28934<\/p>\n<\/td>\n
              		\n
              \u0423\u0422\u041e\u041b\u0429\u0415\u041d\u0418\u0415<\/p>\n<\/td>\n
              		\n
              \u0423\u0442\u043e\u043b\u0449\u0435\u043d\u043d\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u043d\u0430 \u0447\u0435\u043c-\u043d. \u0423. \u0441\u0442\u0432\u043e\u043b\u0430. \u0423. \u0441\u043e\u0441\u0443\u0434\u0430.<\/p>\n<\/td>\n<\/tr>\n
              \n
              30193<\/p>\n<\/td>\n
              		\n
              \u0427\u0415\u0420\u041d\u041e\u0421\u041e\u0422\u0415\u041d\u0415\u0426<\/p>\n<\/td>\n
              		\n
              \u0412 \u0420\u043e\u0441\u0441\u0438\u0438 \u0432 \u043d\u0430\u0447. 20 \u0432.: \u0447\u043b\u0435\u043d \u0448\u043e\u0432\u0438\u043d\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0440…<\/p>\n<\/td>\n<\/tr>\n
              \n
              14378<\/p>\n<\/td>\n
              		\n
              \u041d\u0415\u041f\u0420\u0415\u041e\u0411\u041e\u0420\u0418\u041c\u042b\u0419<\/p>\n<\/td>\n
              		\n
              \u0422\u0430\u043a\u043e\u0439, \u0447\u0442\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0431\u043e\u0440\u043e\u0442\u044c. \u041d\u0435\u043f\u0440\u0435\u043e\u0431\u043e\u0440\u0438\u043c\u0430\u044f …<\/p>\n<\/td>\n<\/tr>\n
              \n
              27420<\/p>\n<\/td>\n
              		\n
              \u0422\u0415\u0420\u041c\u0418\u0427\u0415\u0421\u041a\u0418\u0419<\/p>\n<\/td>\n
              		\n
              \u041e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0439\u0441\u044f \u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0442\u0435\u043f\u043b\u043e\u0432\u043e\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 \u0442\u0435…<\/p>\n<\/td>\n<\/tr>\n
              \n
              27021<\/p>\n<\/td>\n
              		\n
              \u0421\u0425\u0415\u041c\u0410\u0422\u0418\u0417\u0418\u0420\u041e\u0412\u0410\u0422\u042c<\/p>\n<\/td>\n
              		\n
              \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c (-\u0432\u043b\u044f\u0442\u044c) \u0432 \u0432\u0438\u0434\u0435 \u0441\u0445\u0435\u043c\u044b (\u0432\u043e 2 \u0437\u043d\u0430\u0447.)…<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
              \u041f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/h3>\n
              \u00ab\u042d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u00bb \u0434\u043e\u043b\u0433\u043e \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u043b, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0420\u0435\u0439\u0442\u0438\u043d\u0433 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0445 \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439<\/a> <\/p>\n
              \u041f\u0440\u043e \u0441\u0430\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0411\u0414 \u0438 \u043a\u0430\u043a \u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u043a\u0430\u043a\u0438\u0435 \u0435\u0441\u0442\u044c — \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443. \u041f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0432\u043e\u0434\u0443 \u0443\u0436\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u0441\u0442\u0430\u0442\u044c\u0438. \u0411\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Chroma (\u0442\u043e\u043f-1 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438<\/a>).<\/p>\n
              \u0414\u043b\u044f \u0447\u0438\u0441\u0442\u043e\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0440\u0435\u0448\u0438\u043b \u0432\u0437\u044f\u0442\u044c \u0442\u043e\u043f-5 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 3 \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0432 Chroma<\/a> <\/p>\n
              models = [     \"intfloat\/multilingual-e5-large\",     \"sentence-transformers\/paraphrase-multilingual-mpnet-base-v2\",     \"symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli\",     \"cointegrated\/LaBSE-en-ru\",     \"sentence-transformers\/LaBSE\" ]  distances = [     \"l2\",     \"ip\",     \"cosine\" ]<\/code><\/pre>\n
              \u0413\u043e\u0442\u043e\u0432\u0438\u043c Chroma<\/h3>\n
              \u0421\u0442\u0430\u0432\u0438\u043c \u043d\u0443\u0436\u043d\u044b\u0435 pip<\/strong> \u043f\u0430\u043a\u0435\u0442\u044b<\/p>\n
              %pip install -U sentence-transformers ipywidgets chromadb chardet charset-normalizer<\/code><\/pre>\n
              \n\u0411\u044b\u0432\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0430 \u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u043e\u0439, \u0432 \u0441\u0430\u043c\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0435\u0441\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/summary>\n
              \n
              HINT: This error might have occurred since this system does not have Windows Long Path support enabled. You can find information on how to enable this at https:\/\/pip.pypa.io\/warnings\/enable-long-paths <\/p>\n
              https:\/\/learn.microsoft.com\/en-us\/windows\/win32\/fileio\/maximum-file-path-limitation?tabs=powershell#enable-long-paths-in-windows-10-version-1607-and-later<\/p>\n<\/div>\n<\/details>\n
              \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c Chroma \u0432 Docker<\/p>\n
              docker pull chromadb\/chroma docker run -p 8000:8000 chromadb\/chroma<\/code><\/pre>\n
              \u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 Chroma<\/h2>\n
              \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0439. \u0410 \u0442\u0430\u043a\u0436\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0437\u0430\u0431\u0438\u0440\u0430\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u044c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0435\u0439 + \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0443 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. \u0418\u043d\u0434\u0435\u043a\u0441\u044b \u0432 \u0411\u0414 \u0440\u0430\u0432\u043d\u044b \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435.<\/p>\n
              from chromadb.utils import embedding_functions import chromadb chroma_client = chromadb.HttpClient(host=\"localhost\", port=8000)  def create_collection(model_name, distance):          chroma_client = chromadb.HttpClient(host=\"localhost\", port=8000)      sentence_transformer_ef = embedding_functions.SentenceTransformerEmbeddingFunction(model_name=model_name)          #\u0432 \u044d\u0442\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d     #text_collection = chroma_client.create_collection(name='text', embedding_function=sentence_transformer_ef)          title_collection = chroma_client.create_collection(name=\"title\", embedding_function=sentence_transformer_ef, metadata={\"hnsw:space\": distance})      ids = list(map(str, dataset.index.values.tolist()))     #text_collection.add(ids = ids, documents=dataset[\"text\"].tolist())     title_collection.add(ids = ids, documents=dataset[\"title\"].tolist())      return title_collection  def delete_collection():     chroma_client.delete_collection(\"title\")   def query_collection(collection, query, max_results, dataframe, model_name, distance):     results = collection.query(query_texts=query, n_results=max_results, include=['distances'])      #print(results)     df = pd.DataFrame({                 'id':results['ids'][0],                  'score':list(map(float,results['distances'][0])),                 'query': query,                 'title': dataframe[dataframe.index.isin(list(map(int,results['ids'][0])))]['title'],                 'content': dataframe[dataframe.index.isin(list(map(int,results['ids'][0])))]['text'],                 'model_name': model_name,                 'distance': distance                 })          # \u0417\u0430\u0431\u0438\u0440\u0430\u0435\u043c \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0435\u0439, \u0437\u043d\u0430\u0447\u0438\u0442 \u043e\u043d \u0431\u043b\u0438\u0436\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0445\u043e\u0436     df = df[df.score == df.score.min()]     df['is_found'] = df.apply(lambda row: row.query == row.title, axis=1)          return df <\/code><\/pre>\n
              \u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u0441\u0442\u0430\u0440\u0442\u0443\u0435\u043c <\/h2>\n
              \u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 100 \u0448\u0442\u0443\u043a \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432 Chroma.<\/p>\n
              test_dataset = dataset.sample(n=100) test_dataset.head() test_results = pd.DataFrame()<\/code><\/pre>\n
              \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n
              for model in models:     for distance in distances:         print(f\"{model} - {distance}\")         try:             delete_collection()         except Exception as ex:             print(f\"delete_collection error: {ex}\")          collection = create_collection(model, distance)          for title in test_dataset[\"title\"].tolist():             test_results = test_results._append(query_collection(             collection=collection,             query=title,             max_results=5,             dataframe=dataset,             model_name=model,             distance=distance))              print(f\"{len(test_results)}\")            test_results.to_csv(\"results_ozhegov2.csv\") test_results.head()<\/code><\/pre>\n
              \n
              \n\n\n\n\n\n\n\n\n
              \n<\/th>\n\n
              id<\/p>\n<\/th>\n
              		\n
              score<\/p>\n<\/th>\n
              		\n
              query<\/p>\n<\/th>\n
              		\n
              title<\/p>\n<\/th>\n
              		\n
              content<\/p>\n<\/th>\n
              		\n
              model_name<\/p>\n<\/th>\n
              		\n
              distance<\/p>\n<\/th>\n
              		\n
              is_found<\/p>\n<\/th>\n<\/tr>\n
              \n
              10363<\/p>\n<\/th>\n
              		\n
              10363<\/p>\n<\/td>\n
              		\n
              1.315708e-12<\/p>\n<\/td>\n
              		\n
              \u041a\u041e\u0420\u041d\u0418\u0428\u041e\u041d\u042b<\/p>\n<\/td>\n
              		\n
              \u041a\u041e\u0420\u041d\u0418\u0428\u041e\u041d\u042b<\/p>\n<\/td>\n
              		\n
              \u041c\u0435\u043b\u043a\u0438\u0435 \u043d\u0435\u0434\u043e\u0437\u0440\u0435\u043b\u044b\u0435 \u043e\u0433\u0443\u0440\u0446\u044b, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0435 \u0434\u043b\u044f …<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n
              		\n
              True<\/p>\n<\/td>\n<\/tr>\n
              \n
              8566<\/p>\n<\/th>\n
              		\n
              8566<\/p>\n<\/td>\n
              		\n
              7.252605e-13<\/p>\n<\/td>\n
              		\n
              \u0418\u041c\u041c\u0418\u0413\u0420\u0410\u041d\u0422<\/p>\n<\/td>\n
              		\n
              \u0418\u041c\u041c\u0418\u0413\u0420\u0410\u041d\u0422<\/p>\n<\/td>\n
              		\n
              \u0427\u0435\u043b\u043e\u0432\u0435\u043a, \u043a-\u0440\u044b\u0439 \u0438\u043c\u043c\u0438\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043a\u0443\u0434\u0430-\u043d. II \u0436. \u0438\u043c\u043c\u0438…<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n
              		\n
              True<\/p>\n<\/td>\n<\/tr>\n
              \n
              12175<\/p>\n<\/th>\n
              		\n
              17352<\/p>\n<\/td>\n
              		\n
              1.157366e-12<\/p>\n<\/td>\n
              		\n
              \u041f\u0415\u041d\u0421\u0418\u042f<\/p>\n<\/td>\n
              		\n
              \u041c\u0415\u041d\u0421\u0422\u0420\u0423\u0410\u0426\u0418\u042f<\/p>\n<\/td>\n
              		\n
              \u0415\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u044b\u0435 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u0440\u043e\u0432\u0438 \u0438\u0437 \u043c\u0430\u0442\u043a\u0438 \u0436\u0435\u043d\u0449\u0438\u043d\u044b (…<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n
              		\n
              False<\/p>\n<\/td>\n<\/tr>\n
              \n
              18297<\/p>\n<\/th>\n
              		\n
              11029<\/p>\n<\/td>\n
              		\n
              7.939077e-13<\/p>\n<\/td>\n
              		\n
              \u041a\u0423\u0422\u0410\u0422\u042c<\/p>\n<\/td>\n
              		\n
              \u041f\u041b\u0423\u0422\u0410\u0422\u042c<\/p>\n<\/td>\n
              		\n
              \u0425\u043e\u0434\u0438\u0442\u044c \u043d\u0435 \u0437\u043d\u0430\u044f \u0434\u043e\u0440\u043e\u0433\u0438, \u0431\u043b\u0443\u0436\u0434\u0430\u0442\u044c. \u041f. \u043f\u043e \u043b\u0435\u0441\u0443.<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n
              		\n
              False<\/p>\n<\/td>\n<\/tr>\n
              \n
              14052<\/p>\n<\/th>\n
              		\n
              5394<\/p>\n<\/td>\n
              		\n
              1.371903e-12<\/p>\n<\/td>\n
              		\n
              \u0414\u0415\u041a\u0410\u0414\u0410<\/p>\n<\/td>\n
              		\n
              \u041d\u0415\u0414\u0415\u041b\u042f<\/p>\n<\/td>\n
              		\n
              \u0415\u0434\u0438\u043d\u0438\u0446\u0430 \u0438\u0441\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0440\u0430\u0432\u043d\u0430\u044f \u0441\u0435\u043c\u0438 \u0434\u043d\u044f\u043c, …<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n
              		\n
              False<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
              \u0421\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n
              \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 (\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432)<\/p>\n
              finally_result = pd.DataFrame() for model in models:     for distance in distances:         df = test_results.loc[test_results['model_name'].str.contains(model) == True]         df = df.loc[df['distance'].str.contains(distance) == True]          finally_result = finally_result._append(pd.DataFrame({                 'founded': [len(df[df['is_found'] == True])],                 'model_name': [model],                 'distance': [distance]                 }))          finally_result.head(15)<\/code><\/pre>\n
              \n
              \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
              \n
              founded<\/p>\n<\/th>\n
              		\n
              model_name<\/p>\n<\/th>\n
              		\n
              distance<\/p>\n<\/th>\n<\/tr>\n
              \n
              24<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n<\/tr>\n
              \n
              24<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              ip<\/p>\n<\/td>\n<\/tr>\n
              \n
              24<\/p>\n<\/td>\n
              		\n
              intfloat\/multilingual-e5-large<\/p>\n<\/td>\n
              		\n
              cosine<\/p>\n<\/td>\n<\/tr>\n
              \n
              17<\/p>\n<\/td>\n
              		\n
              sentence-transformers\/paraphrase-multilingual-…<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n<\/tr>\n
              \n
              0<\/p>\n<\/td>\n
              		\n
              sentence-transformers\/paraphrase-multilingual-…<\/p>\n<\/td>\n
              		\n
              ip<\/p>\n<\/td>\n<\/tr>\n
              \n
              19<\/p>\n<\/td>\n
              		\n
              sentence-transformers\/paraphrase-multilingual-…<\/p>\n<\/td>\n
              		\n
              cosine<\/p>\n<\/td>\n<\/tr>\n
              \n
              23<\/p>\n<\/td>\n
              		\n
              symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n<\/tr>\n
              \n
              25<\/strong><\/p>\n<\/td>\n
              		\n
              symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli<\/strong><\/p>\n<\/td>\n
              		\n
              ip<\/strong><\/p>\n<\/td>\n<\/tr>\n
              \n
              21<\/p>\n<\/td>\n
              		\n
              symanto\/sn-xlm-roberta-base-snli-mnli-anli-xnli<\/p>\n<\/td>\n
              		\n
              cosine<\/p>\n<\/td>\n<\/tr>\n
              \n
              14<\/p>\n<\/td>\n
              		\n
              cointegrated\/LaBSE-en-ru<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n<\/tr>\n
              \n
              14<\/p>\n<\/td>\n
              		\n
              cointegrated\/LaBSE-en-ru<\/p>\n<\/td>\n
              		\n
              ip<\/p>\n<\/td>\n<\/tr>\n
              \n
              14<\/p>\n<\/td>\n
              		\n
              cointegrated\/LaBSE-en-ru<\/p>\n<\/td>\n
              		\n
              cosine<\/p>\n<\/td>\n<\/tr>\n
              \n
              14<\/p>\n<\/td>\n
              		\n
              sentence-transformers\/LaBSE<\/p>\n<\/td>\n
              		\n
              l2<\/p>\n<\/td>\n<\/tr>\n
              \n
              14<\/p>\n<\/td>\n
              		\n
              sentence-transformers\/LaBSE<\/p>\n<\/td>\n
              		\n
              ip<\/p>\n<\/td>\n<\/tr>\n
              \n
              14<\/p>\n<\/td>\n
              		\n
              sentence-transformers\/LaBSE<\/p>\n<\/td>\n
              		\n
              cosine<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
              \u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
              \u0421\u043e\u0431\u0440\u0430\u0442\u044c «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443» \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 RAG \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043c\u0438 \u043f\u043e\u043a\u0430 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0438 \u0432\u044b\u0434\u0430\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442. <\/p>\n
              \u0422\u0435\u043a\u0443\u0449\u0438\u0435 ~25% — \u0441\u043b\u043e\u0436\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e<\/strong>. <\/p>\n
              \u041a\u0430\u043a\u0438\u0435 \u044f \u0432\u0438\u0436\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e:<\/p>\n
                \n
              1. \n
                \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a c BM25, \u043d\u0435 \u0432\u0441\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0411\u0414 \u0435\u0433\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442<\/p>\n
                  \n
                1. \n
                  Chroma — \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438<\/a><\/p>\n<\/li>\n
                2. \n
                  Pinecone — public preview<\/a> — \u043d\u0435\u0442\u0443 \u0432 Docker — \u0437\u0430\u043f\u0440\u043e\u0441 \u0444\u0438\u0447\u0438<\/a><\/p>\n<\/li>\n
                3. \n
                  Milvus — \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438<\/a><\/p>\n<\/li>\n
                4. \n
                  Weaviate — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n
                5. \n
                  Qdrant — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n
                6. \n
                  Elasticsearch — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n
                7. \n
                  Opensearch — \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442<\/a><\/p>\n<\/li>\n<\/ol>\n<\/li>\n
                8. \n
                  \u041f\u0440\u0438\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u0430 Postgres + BM25 \u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0432 \u0434\u0432\u0443\u0445 — \u0437\u0432\u0443\u0447\u0438\u0442 \u0442\u0430\u043a \u0441\u0435\u0431\u0435 + \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e…<\/p>\n<\/li>\n
                9. \n
                  \u0422\u044e\u043d\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 «\u043f\u043e-\u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443»<\/p>\n<\/li>\n
                10. \n
                  \u041f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-373730","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/373730","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=373730"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/373730\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=373730"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=373730"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=373730"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}