{"id":443470,"date":"2024-12-26T09:00:13","date_gmt":"2024-12-26T09:00:13","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=443470"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=443470","title":{"rendered":"<span>\u041a\u0430\u043a TF-IDF \u043e\u0431\u043e\u0448\u0435\u043b SOTA-\u043c\u043e\u0434\u0435\u043b\u044c BERT4Rec \u0432 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u0445<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041a\u043e\u043d\u043e\u0432\u0430\u043b\u043e\u0432 \u0410\u043d\u0434\u0440\u0435\u0439, \u044f Data Scientist \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 Wildberries. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, <strong>\u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0442\u044e\u043d\u0438\u043d\u0433\u043e\u043c TF-IDF \u043f\u043e\u0431\u0438\u0442\u044c BERT4Rec \u0432 \u0440\u0435\u0442\u0440\u043e-\u0442\u0435\u0441\u0442\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b<\/strong>.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u043d\u044b\u0445. \u0412 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438:\u00a0<\/p>\n<ul>\n<li>\n<p>\u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f,<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u2014 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0438 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043f\u043e \u043f\u043e\u043b\u043e\u0447\u043a\u0430\u043c \u0441\u0430\u043c\u044b\u0435 \u0441\u043e\u0447\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0430. \u041e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u043d\u043e\u0432\u043e\u0435, \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0441 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u0435\u043b\u0435\u043c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0432\u043e\u043b\u043d\u0435, \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0447\u0438\u0442\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u043e\u043a.\u00a0<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043a\u0430\u043a \u0440\u0430\u0437 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u00ab\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430\u00bb, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0433\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<h2>\u041e\u043a\u0443\u043d\u0435\u043c\u0441\u044f \u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u044e<\/h2>\n<p>\u041f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043c\u0441\u044f \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0443\u0447\u0435\u0431\u043d\u0438\u043a\u043e\u0432 \u043f\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u0432 \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u041e\u0446\u0435\u043d\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f7c\/5c9\/964\/f7c5c9964e86b04876d191cf9d1d0852.svg\" width=\"14\" height=\"12\"\/> \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c84\/a36\/397\/c84a363976f7d9372a96475f459ad4b1.svg\" width=\"17\" height=\"17\"\/> \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430<em> <\/em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/646\/3ac\/a28\/6463aca2861ae430bed064e050505e2b.svg\" width=\"16\" height=\"17\"\/>:\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(w)=  p_w= \\frac{N_w}{N}\" alt=\"p(w)=  p_w= \\frac{N_w}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff0\/3f4\/f3e\/ff03f4f3e12c91cebe5aba906bb1c87a.svg\" width=\"148\" height=\"43\"\/><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043b\u043e\u0432 \u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c, \u0441\u0430\u043c\u0438 \u0441\u043b\u043e\u0432\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b, \u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u044b \u043f\u043e \u043e\u0431\u044a\u0435\u043c\u0443 \u0441\u043b\u043e\u0432. \u0422\u043e\u0433\u0434\u0430 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0441\u043b\u043e\u0432\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/838\/22b\/8f7\/83822b8f7c1a23a5221166e854c61e06.svg\" width=\"14\" height=\"12\"\/>\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/229\/553\/425\/22955342594cdaebf334bb1d8964b7e4.svg\" width=\"10\" height=\"17\"\/> \u0440\u043e\u0432\u043d\u043e \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n_{dw}\" alt=\"n_{dw}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c24\/2d4\/fa0\/c242d4fa049cd470884878890f00f569.svg\" width=\"31\" height=\"15\"\/>\u0440\u0430\u0437:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(w,d)=  p^{d}_w=(p_w)^{n_{dw}}= \\left(\\frac{N_w}{N}\\right)^{n_{dw}}\" alt=\"p(w,d)=  p^{d}_w=(p_w)^{n_{dw}}= \\left(\\frac{N_w}{N}\\right)^{n_{dw}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7e\/c35\/88e\/b7ec3588e539c0552ad9d6cebf85e316.svg\" width=\"307\" height=\"51\"\/><\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q = (w_1, w_2, \u2026)\" alt=\"q = (w_1, w_2, \u2026)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ee\/693\/cdc\/9ee693cdc1bf2dac77b4f91de813535a.svg\" width=\"136\" height=\"22\"\/> \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d97\/e2a\/bfc\/d97e2abfcaa2475df8db2b5630ea9fe0.svg\" width=\"10\" height=\"17\"\/> \u0440\u0430\u0432\u043d\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(q,d)=\\prod_{w\\in q}p(w,d)=\\prod_{w\\in q}\\left(\\frac{N_w}{N}\\right)^{n_{dw}}\" alt=\"p(q,d)=\\prod_{w\\in q}p(w,d)=\\prod_{w\\in q}\\left(\\frac{N_w}{N}\\right)^{n_{dw}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b4b\/ece\/829\/b4bece829a70c27e578a790e53af3a19.svg\" width=\"309\" height=\"58\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c <strong>\u043f\u0440\u043e\u0441\u0442\u0430\u044f<\/strong> \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0438\u0441\u043a\u0430: \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u0435\u0433\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <strong>term frequency\u2013inverse document frequency<\/strong> (TF-IDF), \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439, \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u044e\u0449\u0438\u0445 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0441\u043b\u043e\u0432\u0430 \u0434\u043b\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 (<strong>TF<\/strong>) \u0438 \u0438\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0441\u043b\u043e\u0432\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 (<strong>IDF<\/strong>):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"TFIDF(q,d) = -\\log(P(q,d)) = \\sum_{w \\in q}n_{dw}\\log\\left(\\frac{N}{N_w}\\right)\\to \\max_{d \\in D} \\tag{1}\" alt=\"TFIDF(q,d) = -\\log(P(q,d)) = \\sum_{w \\in q}n_{dw}\\log\\left(\\frac{N}{N_w}\\right)\\to \\max_{d \\in D} \\tag{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/866\/6d8\/a83\/8666d8a83f4d963ac76b8ff91141b45b.svg\" width=\"697\" height=\"56\"\/><\/p>\n<p>\u0418\u0437\u0431\u0430\u0432\u0438\u043c\u0441\u044f \u043e\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e \u0440\u0430\u0432\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u0441\u0435\u0441\u0441\u0438\u0439 (\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430) \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0441\u044c\u00a0 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 TF-IDF \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u0441\u0435\u0441\u0441\u0438\u0438 (\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"tf(q,d)\\cdot{idf(q,D)} = \\sum_{w \\in q}\\frac{n_{dw}}{|d|}\\cdot{\\log\\left(\\frac{|D|}{N_w}\\right)} \\tag{2}\" alt=\"tf(q,d)\\cdot{idf(q,D)} = \\sum_{w \\in q}\\frac{n_{dw}}{|d|}\\cdot{\\log\\left(\\frac{|D|}{N_w}\\right)} \\tag{2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6f\/ec8\/284\/d6fec8284e31e7445312d8aab403bc96.svg\" width=\"697\" height=\"57\"\/><\/p>\n<p>TF-IDF \u2014 \u044d\u0442\u043e <strong>\u0443\u0434\u043e\u0431\u043d\u0430\u044f<\/strong> \u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430: \u0447\u0435\u043c \u0432\u044b\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0435\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a56\/066\/d5f\/a56066d5f028e6ff37078e3ec4c0fbbc.svg\" width=\"10\" height=\"17\"\/> \u0437\u0430\u043f\u0440\u043e\u0441\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d4\/ba2\/461\/1d4ba246137a7368319eb047527fa837.svg\" width=\"9\" height=\"15\"\/>:\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\max_{d \\in D} \\text{TFIDF}(q, d) \\label{eq:max_tfidf}\" alt=\"\\max_{d \\in D} \\text{TFIDF}(q, d) \\label{eq:max_tfidf}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec6\/95b\/d76\/ec695bd764bc88a67e6f03e53e29504a.svg\" width=\"145\" height=\"33\"\/><\/p>\n<h2>\u041e\u0442 \u0442\u0435\u043e\u0440\u0438\u0438 \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/h2>\n<p>\u0412\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044f \u0441 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u043e\u0439, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044f \u043f\u043e\u043a\u0443\u043f\u043a\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0442\u043e\u0432\u0430\u0440\u044b \u0432 \u0432\u0438\u0448\u043b\u0438\u0441\u0442 \u0438 \u043a\u043e\u0440\u0437\u0438\u043d\u0443, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u0441\u0430\u043c\u0438 \u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u044f, \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412 \u043d\u0435\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0441\u0435\u0441\u0441\u0438\u0438, \u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u043b\u043e\u0432 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b \u0442\u043e\u0432\u0430\u0440\u043e\u0432.<\/p>\n<h3>\u041e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u043d\u0430 \u0444\u0438\u0434\u0431\u0435\u043a\u0430\u0445 \u0438 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435<\/h3>\n<p>\u041f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u0444\u0438\u0434\u0431\u0435\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043d\u0430 \u044f\u0432\u043d\u044b\u0439 \u0438 \u043d\u0435\u044f\u0432\u043d\u044b\u0439 (implicit\/explicit). <\/p>\n<p><em>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435\u044f\u0432\u043d\u043e\u0433\u043e \u0444\u0438\u0434\u0431\u0435\u043a\u0430 \u043d\u0443\u0443\u0443 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e. \u0427\u0435\u043b\u043e\u0432\u0435\u043a \u0437\u0430\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0441\u044f \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443: \u043e\u043d \u044f\u0432\u043d\u043e \u0445\u043e\u0447\u0435\u0442 \u044d\u0442\u043e \u043a\u0443\u043f\u0438\u0442\u044c! \u0418\u043b\u0438 \u043d\u0435\u0442? \u041c\u043e\u0436\u0435\u0442, \u0435\u043c\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c, \u0438\u043b\u0438 \u043e\u043d \u043e\u0442\u0432\u043b\u0435\u043a\u0441\u044f \u0438 \u043d\u0430 \u044d\u043a\u0440\u0430\u043d \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u043b. \u0418\u043b\u0438 \u0435\u0449\u0435 \u043b\u0443\u0447\u0448\u0435 \u043a\u0443\u043f\u0438\u043b \u0442\u043e\u0432\u0430\u0440! \u041e\u043d \u0435\u043c\u0443 \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0438\u043b\u0438 \u044d\u0442\u043e \u043f\u043e\u0434\u0430\u0440\u043e\u043a \u0434\u0440\u0443\u0433\u0443?<\/em><\/p>\n<p>\u041a\u0430\u043a \u043e\u0442\u043c\u0435\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0448\u0435, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432 \u043b\u043e\u0433. \u0411\u0443\u0434\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c. \u0418 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435, \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0435. \u041f\u043e\u043a\u0443\u043f\u043a\u0438, \u041b\u0430\u0439\u043a\u0438, \u041e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u2014 \u0432\u0441\u0435 \u044d\u0442\u043e \u043d\u0435\u0441\u043e\u043c\u043d\u0435\u043d\u043d\u043e \u00ab\u043f\u041e\u0437\u0438\u0442\u0438\u0432\u044b\u00bb. \u0414\u0438\u0437\u043b\u0430\u0439\u043a\u0438 \u0438 \u0416\u0430\u043b\u043e\u0431\u044b \u2014 \u00ab\u043d\u0415\u0433\u0430\u0442\u0438\u0432\u044b\u00bb.<\/p>\n<p>\u0421\u0435\u0441\u0441\u0438\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0442\u044c<strong> \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439,<\/strong> \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0442\u043e\u0432\u0430\u0440\u0430\u043c. \u041f\u0440\u0430\u0432\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u044b \u0438\u0437 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u043f\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0443 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u043d\u0430\u043c\u0438.<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0440 \u043b\u043e\u0433\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f:<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>timestamp<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>item_id<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>event_type<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235760<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">252306530<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235761<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">171350921<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235767<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">171350921<\/p>\n<\/td>\n<td>\n<p align=\"left\">click<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235770<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>171350921<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>add_to_cart<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235780<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">111232192<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235785<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">111232192<\/p>\n<\/td>\n<td>\n<p align=\"left\">click<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235800<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>111232192<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>longview<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235990<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">162802784<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235992<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>162802784<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>add_to_wish<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235992<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">148455972<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235998<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>148455972<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>add_to_cart<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235989<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">229796745<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729236156<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>171350921<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>order<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0412\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0446\u0435\u043f\u043e\u0447\u0435\u043a \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432:<\/strong><\/p>\n<p>[171350921, 111232192, 162802784, 148455972, 171350921 ]<br \/>[111232192, 162802784, 148455972, 171350921 ]<br \/>[171350921, 162802784, 148455972, 171350921 ]<br \/>[162802784, 148455972, 171350921 ]<br \/><em>\u2026<\/em><\/p>\n<p>\u0418\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0433\u0435\u043d\u0438\u0439 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u044b\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u043d\u0430 \u0448\u0443\u0442\u043a\u0443, \u0432\u043f\u0430\u0434\u0430\u044f \u0432 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443\u0442 \u0447\u0438\u0441\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a \u00ab\u043f\u041e\u0437\u0438\u0442\u0438\u0432\u0443\u00bb \u043f\u043e\u0436\u0438\u0440\u043d\u0435\u0435 \u0438 \u0447\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c, \u0430 \u0447\u0442\u043e \u0448\u0443\u043c\u043e\u043c.<\/p>\n<h3>\u0427\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0442 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430?<\/h3>\n<ul>\n<li>\n<p>\u0421\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u0430\u043f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043c [\u0413\u041e\u0422\u041e\u0412\u041e]<\/p>\n<\/li>\n<li>\n<p>90% \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u00a0 [\u0413\u041e\u0422\u041e\u0412\u041e]<\/p>\n<\/li>\n<\/ul>\n<p>\u0421 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 TF-IDF \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u043e\u0439, \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044f, \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0440\u0430\u0441\u0447\u0435\u0442 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0438 \u0442\u044e\u043d\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041f\u043e\u0431\u0435\u0436\u0430\u043b\u0438 \u0434\u0430\u043b\u044c\u0448\u0435!<\/p>\n<h3>Peek OR Filtering Pre-processing<\/h3>\n<p>\u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438 \u0442\u043e\u0432\u0430\u0440\u044b \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0434\u043b\u044f \u0432\u0430\u0441 \u043c\u044b \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0435\u0435.\u00a0<\/p>\n<p>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0427\u0430\u0441\u0442\u043e\u00a0 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 CORE, HOT, WARM \u0438 \u0421OLD \u043f\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u043f\u043e\u0441\u0435\u0449\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b, \u043e\u0431\u044a\u0435\u043c\u0443 \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u0438 \u043b\u043e\u044f\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0422\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0443\u0434\u043e\u0431\u043d\u044b \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441-\u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442\u0430 \u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432, \u043e\u043d\u0438 \u0436\u0435 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0441\u0442\u0430\u0442\u0443\u0441\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0430\u044f \u0436\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430 \u0438 \u043a \u0442\u043e\u0432\u0430\u0440\u0430\u043c. \u0421\u0430\u043c\u044b\u0435 \u0433\u043e\u0440\u044f\u0447\u0438\u0435 \u043f\u0438\u0440\u043e\u0436\u043a\u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442, \u043a\u0430\u043a \u0438 \u043d\u0435\u043b\u0438\u043a\u0432\u0438\u0434. \u041e\u0431\u0449\u0438\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0431\u0435\u0440\u0438\u0442\u0435 <u>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u0440\u043e\u0434\u0430\u0436<\/u> \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 (\u043d.\u0440. \u043f\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0443: \u0434\u0436\u0438\u043d\u0441\u044b, \u0444\u0435\u043d\u044b \u0432 \u0442.\u0434.)<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0431\u0435\u0440\u0438\u0442\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u0438 \u0438 \u0434\u043b\u0438\u043d\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0438\u043e\u0434\u0430 \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u0435\u0441\u0441\u0438\u0438.<\/p>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0434\u0435\u043d\u044c\u0433\u0430\u043c\u0438 \u0438\/\u0438\u043b\u0438 \u043f\u0440\u043e\u0434\u0430\u0436\u0430\u043c\u0438, \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e \u043c\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0443\u0432\u0438\u0434\u0438\u043c \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u0432\u043f\u0440\u0430\u0432\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u0445\u0432\u043e\u0441\u0442\u043e\u043c \u0441\u043f\u0440\u0430\u0432\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/077\/4ed\/0eb\/0774ed0eb626deb943a2ef3ed140df84.png\" alt=\"\" title=\"\" width=\"1600\" height=\"604\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/077\/4ed\/0eb\/0774ed0eb626deb943a2ef3ed140df84.png\"\/><\/figure>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f, \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b <a href=\"https:\/\/habr.com\/ru\/companies\/hh\/articles\/413261\/?clckid=eab2b856#:~:text=%D0%B8%20%D1%82.%20%D0%B4.).-,1.1.%20%D0%98%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D1%8F,-%D0%9D%D0%B5%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%BE%D0%B5%20%D0%BB%D0%B8%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D0%BE%D1%82%D1%81%D1%82%D1%83%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5\">\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432<\/a><\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u0437\u0430\u0431\u043e\u0442\u0438\u0442\u044c\u0441\u044f \u043e \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u0430\u0442\u0447\u0438\u043d\u0433\u0430 \u0432 \u0432\u0430\u0448\u0435\u0439 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u2014 \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u043e\u0434\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u043e\u0432 \u0432 \u0432\u0430\u0448\u0443 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c TF-IDF<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 IDF! <em>(\u0411\u043b\u0430\u0433\u043e, \u0432\u044b \u0435\u0433\u043e \u0443\u0436\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043b\u0438!)<\/em><\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c <u>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u0440\u043e\u0434\u0430\u0436<\/u> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N_w\" alt=\"N_w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/05c\/fe8\/1d0\/05cfe81d009748fbb4c42078a249a92d.svg\" width=\"28\" height=\"20\"\/> \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f TF-IDF: \u043d\u0443\u0436\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c IDF:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"IDF(w, D) = \\log \\left( \\frac{\\left| D \\right|}{N_w} \\right) = log(\\left| D \\right|) - log(N_w) = const -\u00a0 log(N_w)\" alt=\"IDF(w, D) = \\log \\left( \\frac{\\left| D \\right|}{N_w} \\right) = log(\\left| D \\right|) - log(N_w) = const -\u00a0 log(N_w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/040\/494\/98a\/04049498a4032946e2914aeebc84f5e0.svg\" width=\"558\" height=\"50\"\/><\/p>\n<p><em>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435, \u0447\u0442\u043e \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 TF-IDF. \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b, \u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u0442\u0435, \u0447\u0442\u043e \u0438\u043c\u0435\u044e\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 IDF. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u044b \u043e\u0431\u0449\u0435\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445, \u0442\u043e \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0442\u043e\u0432\u0430\u0440\u044b \u0441 \u043d\u0438\u0437\u043a\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 IDF.\u00a0<\/em><\/p>\n<p>\u0417\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0442\u043e\u0432\u0430\u0440\u044b <a href=\"https:\/\/secrets.tinkoff.ru\/biznes-s-nulya\/fmcg\/?ysclid=m1z9f1wwvn901895255\">FMCG<\/a> \u0438\u043c\u0435\u044e\u0442 \u043d\u0438\u0437\u043a\u0438\u0439 IDF, \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u0422\u041e\u041f \u043f\u0440\u043e\u0434\u0430\u0436 \u0438 \u043a\u0443\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 Popularity Bias, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0430\u043a \u043e\u0442\u0447\u0430\u044f\u043d\u043d\u043e \u0431\u043e\u0440\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433\u0438\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u044b.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c TF-IDF \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u043a \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u0430, \u0442\u0430\u043a \u0438 \u0435\u0433\u043e \u043e\u0431\u0449\u0443\u044e \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043a\u043e\u0440\u043f\u0443\u0441\u0443, \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 <strong>\u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b (\u0441\u0438\u0433\u043d\u0430\u043b \u0434\u043b\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439)<\/strong> \u0438 <strong>\u0443\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442 \u0448\u0443\u043c.<\/strong><\/p>\n<h3>\u0411\u043e\u0440\u044c\u0431\u0430 \u043c\u0435\u0442\u0440\u0438\u043a<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044e, \u043d\u043e \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0433\u0440\u0443\u043f\u043f \u0442\u043e\u0432\u0430\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u044f\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b:<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u043a\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0435\u0441\u0441\u0438\u0435\u0439?<\/p>\n<\/li>\n<li>\n<p>\u0411\u0443\u0434\u0435\u043c \u043b\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u0441\u0435\u0441\u0441\u0438\u0438 \u043a \u043e\u0434\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435?<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043d\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0437\u0430\u043b\u0438\u0442\u044c \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/hh\/articles\/413261\/\">\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441<\/a>?\u00a0\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u043e\u0432\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432 \u0434\u043b\u044f \u043e\u0442\u0431\u043e\u0440\u0430 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441?<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0441\u0435\u0440\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u0438\u0441\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u043f\u0440\u0438\u0448\u043b\u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u044b\u043c\u0438 \u0441 \u043f\u0440\u043e\u0434\u043e\u0432\u044b\u043c\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043a\u0430\u043a \u043f\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c, \u0442\u0430\u043a \u0438 \u0431\u0438\u0437\u043d\u0435\u0441-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c.<\/p>\n<h3>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0435\u0437\u043e\u043d: \u042f\u043a\u043e\u0440\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f<\/h3>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u044b \u0443\u0436\u0435 \u0447\u0438\u0442\u0430\u043b\u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0441\u0435\u0437\u043e\u043d\u0435 \u043d\u0430\u0448\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a \u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u0445 \u043f\u0440\u043e <a href=\"https:\/\/t.me\/wildrecsys\/25\">\u044f\u043a\u043e\u0440\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f<\/a>. \u041a\u043e\u0440\u043e\u0442\u043a\u043e \u043e \u0441\u0443\u0442\u0438: \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u044e\u0437\u0435\u0440\u0430 \u043d\u0435 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0430 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0442\u043e\u0432\u0430\u0440\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0441 \u043a\u043e\u043d\u0446\u0430 \u0438 \u0431\u0435\u0440\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/360\/b2c\/39c\/360b2c39c4792692e6f14b2eff71fa44.svg\" width=\"17\" height=\"17\"\/> \u0442\u043e\u0432\u0430\u0440\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435, \u0442\u043e\u0439 \u0436\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u043c. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u043e\u0440\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e\u0445\u043e\u0436\u0438\u0445 (\u0431\u043b\u0438\u0437\u043a\u0438\u0445) \u043d\u0430 \u043d\u0438\u0445 \u0442\u043e\u0432\u0430\u0440\u043e\u0432.<\/p>\n<p>\u0412\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0438 \u043d\u0430\u0439\u0434\u0435\u043c \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0430\u0439\u0442\u0435\u043c\u043e\u0432 \u00ab\u0441\u043b\u043e\u0432\u0430\u0440\u044f\u00bb. \u0411\u043b\u0430\u0433\u043e, \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (2) \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u044b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c faiss, \u0442\u0443\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e)<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u0432 \u0441\u0445\u0435\u043c\u0443 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0441 \u044f\u043a\u043e\u0440\u043d\u044b\u043c\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c\u0438, \u043c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u043d\u0430 20\u201330% \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 200 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418 \u043d\u0430 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u043e\u0441\u044c.<\/p>\n<h2>\u0412 \u041f\u0420\u041e\u0414?\u00a0<\/h2>\n<p>\u0410 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0442\u043e \u0431\u0443\u0434\u0435\u0442? \u0411\u0438\u0437\u043d\u0435\u0441-\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u044b, \u043a\u0430\u043a \u0438 \u0432\u0441\u0435 \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u043e\u0435: \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u0442\u0443 \u0436\u0435 \u0433\u0440\u0443\u043f\u043f\u0443 \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u043a \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0439 \u043f\u043e\u043a\u0443\u043f\u043a\u0435 \u0438 \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043a\u0443\u043f\u043e\u043a. \u0417\u0434\u0435\u0441\u044c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u044b \u0434\u0430\u0432\u043d\u043e\u0441\u0442\u044c \u0438 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u044f\u043a\u043e\u0440\u043d\u044b\u043c\u0438 \u0442\u043e\u0432\u0430\u0440\u0430\u043c\u0438.<\/p>\n<p>\u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u043e\u0441\u0442\u0430\u0432 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439: \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u044b \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u0438 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0434\u0430\u0447\u0443 \u043a\u0432\u043e\u0442\u0430\u043c\u0438 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.\u00a0<\/p>\n<h3>\u041d\u043e\u0432\u044b\u0439 \u0432\u0438\u0442\u043e\u043a \u0438\u0441\u0442\u043e\u0440\u0438\u0438<\/h3>\n<p>\u041e\u043a\u0435\u0439, \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b, \u043a\u0432\u043e\u0442\u044b \u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u044b, \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438. \u041d\u043e \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438\u2026<\/p>\n<p>&#8230;\u0437\u0430\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u043f\u043e\u0436\u0435\u0441\u0442\u0447\u0435 \u043a\u0432\u043e\u0442\u044b \u0441 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0435\u0439 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u0435 \u0436\u0435 \u0441\u0430\u043c\u044b\u0435 \u0441\u043f\u0438\u0441\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0443\u0436\u0435 \u043a \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430\u043c?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f0b\/345\/41d\/f0b34541d1ec6b3c4ac4798774256cdf.png\" alt=\"\u0424\u043e\u0442\u043a\u0430 \u0444\u0440\u0430\u043a\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0431\u0438\u044f\" title=\"\u0424\u043e\u0442\u043a\u0430 \u0444\u0440\u0430\u043a\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0431\u0438\u044f\" width=\"1600\" height=\"1441\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0b\/345\/41d\/f0b34541d1ec6b3c4ac4798774256cdf.png\"\/><\/p>\n<div><figcaption>\u0424\u043e\u0442\u043a\u0430 \u0444\u0440\u0430\u043a\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u0430\u043b\u0435\u043a\u043e \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c: <strong>\u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u044f<\/strong> \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u044f\u043a\u043e\u0440\u044f \u0438 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430, \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 \u0438 \u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430 \u0441 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u043c\u0435\u0440\u0443 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0438 <strong>\u043d\u043e\u0432\u044b\u0439 \u0441\u0435\u0437\u043e\u043d<\/strong> \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h3>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>\u0417\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c, \u043d\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0435\u0437\u043e\u043d\u0430 \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0438. \u041d\u0430 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0435 \u0441 BERT4rec! HitRate \/ Precision \/ NDCG \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u043d\u0430 40\u201350%.\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u043c\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0438 \u043d\u0438\u0437\u043a\u0438\u043c \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0441 \u0442\u043e\u043f\u043e\u043c \u043f\u0440\u043e\u0434\u0430\u0436.\u00a0<\/p>\n<p>\u0412\u0441\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441 \u043c\u0430\u043b\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f CORE \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438 Wildberries.<\/p>\n<h3>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u0430<\/h3>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0434\u0430\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u0446\u0435\u043b\u044b\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u0410 \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c TF-IDF? \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u0435\u0437\u043e\u043d\u0435 \u0432\u044b\u0448\u0435\u043b item2item \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u043c\u0430\u043b\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u043b\u0433\u0438\u0439 \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440.<\/p>\n<h3>\u041c\u0438\u043d\u0443\u0441\u044b \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u044f\u0432\u0438\u0442\u044c<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434 TF-IDF \u0438\u043c\u0435\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u043e\u043d \u043d\u0435 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 (\u0442\u043e\u0432\u0430\u0440\u0430\u043c\u0438) \u0438 \u043f\u043b\u043e\u0445\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u0435\u0434\u0438\u0439\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u043e\u043c \u0438\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0435\u0433\u043e \u0447\u0430\u0441\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438, \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a \u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0438\u043b\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0443\u0447\u0448\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.\u00a0<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u00a0<\/h2>\n<p>\u041e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Term Frequency-Inverse Document Frequency (TF-IDF) \u0432 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u0445 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0435\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u0430 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c. \u041c\u0435\u0442\u043e\u0434 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f\u043c\u0438. TF-IDF \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u043d\u043e \u0438 \u0438\u0445 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0447\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.\u00a0<\/p>\n<p>\u0412 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0432 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043a \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 TF-IDF \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u043c \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0431\u044b\u043b \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0438 \u043f\u043e\u043c\u043e\u0433 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u0438 \u0435\u0433\u043e \u0440\u043e\u043b\u044c \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439!<\/p>\n<hr\/>\n<p><em>\u042d\u0442\u0430 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0432 Wildberries \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0432 Telegram-\u043a\u0430\u043d\u0430\u043b\u0435 <\/em><a href=\"https:\/\/t.me\/wildrecsys\"><em>@wildrecsys<\/em><\/a><em>. \u041f\u043e\u0434\u043f\u0438\u0441\u044b\u0432\u0430\u0439\u0442\u0435\u0441\u044c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438!<\/em><\/p>\n<p><em>\u0410 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 ML \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u043c\u0430\u0440\u043a\u0435\u0442\u043f\u043b\u0435\u0439\u0441 \u043b\u0443\u0447\u0448\u0435 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0430\u0432\u0446\u043e\u0432 \u0438 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u0435\u043b\u0435\u0439, \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0432 Telegram-\u043a\u0430\u043d\u0430\u043b\u0435 <\/em><a href=\"https:\/\/t.me\/wb_space\"><em>@wb_space<\/em><\/a><em>. \u0422\u0430\u043c \u0436\u0435 \u0434\u0435\u043b\u0438\u043c\u0441\u044f \u0430\u043d\u043e\u043d\u0441\u0430\u043c\u0438 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430\u043c\u0438 \u043e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432.<\/em><\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/861466\/\"> https:\/\/habr.com\/ru\/articles\/861466\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041a\u043e\u043d\u043e\u0432\u0430\u043b\u043e\u0432 \u0410\u043d\u0434\u0440\u0435\u0439, \u044f Data Scientist \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 Wildberries. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, <strong>\u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0442\u044e\u043d\u0438\u043d\u0433\u043e\u043c TF-IDF \u043f\u043e\u0431\u0438\u0442\u044c BERT4Rec \u0432 \u0440\u0435\u0442\u0440\u043e-\u0442\u0435\u0441\u0442\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b<\/strong>.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u043d\u044b\u0445. \u0412 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0443\u0445\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438:\u00a0<\/p>\n<ul>\n<li>\n<p>\u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043c\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043d\u0442 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u043a\u0440\u044b\u0442\u0438\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f,<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430 \u0432\u0442\u043e\u0440\u043e\u043c \u2014 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0438 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043f\u043e \u043f\u043e\u043b\u043e\u0447\u043a\u0430\u043c \u0441\u0430\u043c\u044b\u0435 \u0441\u043e\u0447\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0430. \u041e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0442\u044c \u043d\u043e\u0432\u043e\u0435, \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0441 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u0435\u043b\u0435\u043c \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0432\u043e\u043b\u043d\u0435, \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0447\u0438\u0442\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u043e\u043a.\u00a0<\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c, \u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0434\u0430\u043b\u044c\u0448\u0435, \u043a\u0430\u043a \u0440\u0430\u0437 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u00ab\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a\u0430\u00bb, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0433\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<h2>\u041e\u043a\u0443\u043d\u0435\u043c\u0441\u044f \u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u044e<\/h2>\n<p>\u041f\u0435\u0440\u0435\u043d\u0435\u0441\u0435\u043c\u0441\u044f \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u0443\u0447\u0435\u0431\u043d\u0438\u043a\u043e\u0432 \u043f\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u0432 \u0432\u043e \u0432\u0441\u0435\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u041e\u0446\u0435\u043d\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430  \u0432  \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430<em> <\/em>:\u00a0<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043b\u043e\u0432 \u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c, \u0441\u0430\u043c\u0438 \u0441\u043b\u043e\u0432\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b, \u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u044b \u043f\u043e \u043e\u0431\u044a\u0435\u043c\u0443 \u0441\u043b\u043e\u0432. \u0422\u043e\u0433\u0434\u0430 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0441\u043b\u043e\u0432\u043e \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435  \u0440\u043e\u0432\u043d\u043e \u0432 \u0440\u0430\u0437:<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430  \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435  \u0440\u0430\u0432\u043d\u0430:<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c <strong>\u043f\u0440\u043e\u0441\u0442\u0430\u044f<\/strong> \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0438\u0441\u043a\u0430: \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 \u0441\u043b\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u0435\u0433\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <strong>term frequency\u2013inverse document frequency<\/strong> (TF-IDF), \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439, \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u044e\u0449\u0438\u0445 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0441\u043b\u043e\u0432\u0430 \u0434\u043b\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 (<strong>TF<\/strong>) \u0438 \u0438\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0441\u043b\u043e\u0432\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430 (<strong>IDF<\/strong>):<\/p>\n<p>\u0418\u0437\u0431\u0430\u0432\u0438\u043c\u0441\u044f \u043e\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043e \u0440\u0430\u0432\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u0441\u0435\u0441\u0441\u0438\u0439 (\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430) \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0441\u044c\u00a0 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 TF-IDF \u043f\u043e \u0434\u043b\u0438\u043d\u0435 \u0441\u0435\u0441\u0441\u0438\u0438 (\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430):<\/p>\n<p>TF-IDF \u2014 \u044d\u0442\u043e <strong>\u0443\u0434\u043e\u0431\u043d\u0430\u044f<\/strong> \u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430: \u0447\u0435\u043c \u0432\u044b\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0435\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442  \u0437\u0430\u043f\u0440\u043e\u0441\u0443 :\u00a0<\/p>\n<h2>\u041e\u0442 \u0442\u0435\u043e\u0440\u0438\u0438 \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/h2>\n<p>\u0412\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044f \u0441 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u043e\u0439, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044f \u043f\u043e\u043a\u0443\u043f\u043a\u0438, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0442\u043e\u0432\u0430\u0440\u044b \u0432 \u0432\u0438\u0448\u043b\u0438\u0441\u0442 \u0438 \u043a\u043e\u0440\u0437\u0438\u043d\u0443, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u0441\u0430\u043c\u0438 \u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u043e\u0434\u043e\u0437\u0440\u0435\u0432\u0430\u044f, \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412 \u043d\u0435\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0441\u0435\u0441\u0441\u0438\u0438, \u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u043b\u043e\u0432 \u0431\u0435\u0440\u0443\u0442\u0441\u044f \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b \u0442\u043e\u0432\u0430\u0440\u043e\u0432.<\/p>\n<h3>\u041e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u043d\u0430 \u0444\u0438\u0434\u0431\u0435\u043a\u0430\u0445 \u0438 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435<\/h3>\n<p>\u041f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u0444\u0438\u0434\u0431\u0435\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043d\u0430 \u044f\u0432\u043d\u044b\u0439 \u0438 \u043d\u0435\u044f\u0432\u043d\u044b\u0439 (implicit\/explicit). <\/p>\n<p><em>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435\u044f\u0432\u043d\u043e\u0433\u043e \u0444\u0438\u0434\u0431\u0435\u043a\u0430 \u043d\u0443\u0443\u0443 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e. \u0427\u0435\u043b\u043e\u0432\u0435\u043a \u0437\u0430\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0441\u044f \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443: \u043e\u043d \u044f\u0432\u043d\u043e \u0445\u043e\u0447\u0435\u0442 \u044d\u0442\u043e \u043a\u0443\u043f\u0438\u0442\u044c! \u0418\u043b\u0438 \u043d\u0435\u0442? \u041c\u043e\u0436\u0435\u0442, \u0435\u043c\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c, \u0438\u043b\u0438 \u043e\u043d \u043e\u0442\u0432\u043b\u0435\u043a\u0441\u044f \u0438 \u043d\u0430 \u044d\u043a\u0440\u0430\u043d \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u043b. \u0418\u043b\u0438 \u0435\u0449\u0435 \u043b\u0443\u0447\u0448\u0435 \u043a\u0443\u043f\u0438\u043b \u0442\u043e\u0432\u0430\u0440! \u041e\u043d \u0435\u043c\u0443 \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0438\u043b\u0438 \u044d\u0442\u043e \u043f\u043e\u0434\u0430\u0440\u043e\u043a \u0434\u0440\u0443\u0433\u0443?<\/em><\/p>\n<p>\u041a\u0430\u043a \u043e\u0442\u043c\u0435\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0448\u0435, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432 \u043b\u043e\u0433. \u0411\u0443\u0434\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c. \u0418 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435, \u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0435. \u041f\u043e\u043a\u0443\u043f\u043a\u0438, \u041b\u0430\u0439\u043a\u0438, \u041e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u2014 \u0432\u0441\u0435 \u044d\u0442\u043e \u043d\u0435\u0441\u043e\u043c\u043d\u0435\u043d\u043d\u043e \u00ab\u043f\u041e\u0437\u0438\u0442\u0438\u0432\u044b\u00bb. \u0414\u0438\u0437\u043b\u0430\u0439\u043a\u0438 \u0438 \u0416\u0430\u043b\u043e\u0431\u044b \u2014 \u00ab\u043d\u0415\u0433\u0430\u0442\u0438\u0432\u044b\u00bb.<\/p>\n<p>\u0421\u0435\u0441\u0441\u0438\u0435\u0439 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0442\u044c<strong> \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439,<\/strong> \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0442\u043e\u0432\u0430\u0440\u0430\u043c. \u041f\u0440\u0430\u0432\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u044b \u0438\u0437 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u043f\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0443 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u043d\u0430\u043c\u0438.<\/p>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0440 \u043b\u043e\u0433\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f:<\/em><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>timestamp<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>item_id<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>event_type<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235760<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">252306530<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235761<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">171350921<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235767<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">171350921<\/p>\n<\/td>\n<td>\n<p align=\"left\">click<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235770<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>171350921<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>add_to_cart<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235780<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">111232192<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235785<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">111232192<\/p>\n<\/td>\n<td>\n<p align=\"left\">click<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235800<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>111232192<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>longview<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235990<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">162802784<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235992<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>162802784<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>add_to_wish<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235992<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">148455972<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729235998<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>148455972<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>add_to_cart<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">1729235989<\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">229796745<\/p>\n<\/td>\n<td>\n<p align=\"left\">view<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>1729236156<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\"><strong>171350921<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>order<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0412\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0446\u0435\u043f\u043e\u0447\u0435\u043a \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432:<\/strong><\/p>\n<p>[171350921, 111232192, 162802784, 148455972, 171350921 ]<br \/>[111232192, 162802784, 148455972, 171350921 ]<br \/>[171350921, 162802784, 148455972, 171350921 ]<br \/>[162802784, 148455972, 171350921 ]<br \/><em>\u2026<\/em><\/p>\n<p>\u0418\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0433\u0435\u043d\u0438\u0439 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u044b\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u043d\u0430 \u0448\u0443\u0442\u043a\u0443, \u0432\u043f\u0430\u0434\u0430\u044f \u0432 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443\u0442 \u0447\u0438\u0441\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a \u00ab\u043f\u041e\u0437\u0438\u0442\u0438\u0432\u0443\u00bb \u043f\u043e\u0436\u0438\u0440\u043d\u0435\u0435 \u0438 \u0447\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c, \u0430 \u0447\u0442\u043e \u0448\u0443\u043c\u043e\u043c.<\/p>\n<h3>\u0427\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0442 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430?<\/h3>\n<ul>\n<li>\n<p>\u0421\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u0430\u043f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043c [\u0413\u041e\u0422\u041e\u0412\u041e]<\/p>\n<\/li>\n<li>\n<p>90% \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043f\u043e\u0445\u043e\u0436\u0438 \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u00a0 [\u0413\u041e\u0422\u041e\u0412\u041e]<\/p>\n<\/li>\n<\/ul>\n<p>\u0421 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 TF-IDF \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438. \u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u043e\u0439, \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u044f, \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0440\u0430\u0441\u0447\u0435\u0442 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0438 \u0442\u044e\u043d\u0438\u043d\u0433 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041f\u043e\u0431\u0435\u0436\u0430\u043b\u0438 \u0434\u0430\u043b\u044c\u0448\u0435!<\/p>\n<h3>Peek OR Filtering Pre-processing<\/h3>\n<p>\u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0435 \u0432\u0441\u0435 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438 \u0442\u043e\u0432\u0430\u0440\u044b \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0434\u043b\u044f \u0432\u0430\u0441 \u043c\u044b \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0435\u0435.\u00a0<\/p>\n<p>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0441\u0432\u0435\u0436\u0438\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0427\u0430\u0441\u0442\u043e\u00a0 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 CORE, HOT, WARM \u0438 \u0421OLD \u043f\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u043f\u043e\u0441\u0435\u0449\u0435\u043d\u0438\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b, \u043e\u0431\u044a\u0435\u043c\u0443 \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u0438 \u043b\u043e\u044f\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0422\u0430\u043a\u0438\u0435 \u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0443\u0434\u043e\u0431\u043d\u044b \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441-\u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442\u0430 \u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432, \u043e\u043d\u0438 \u0436\u0435 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0441\u0442\u0430\u0442\u0443\u0441\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0430\u044f \u0436\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430 \u0438 \u043a \u0442\u043e\u0432\u0430\u0440\u0430\u043c. \u0421\u0430\u043c\u044b\u0435 \u0433\u043e\u0440\u044f\u0447\u0438\u0435 \u043f\u0438\u0440\u043e\u0436\u043a\u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442, \u043a\u0430\u043a \u0438 \u043d\u0435\u043b\u0438\u043a\u0432\u0438\u0434. \u041e\u0431\u0449\u0438\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0431\u0435\u0440\u0438\u0442\u0435 <u>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u0440\u043e\u0434\u0430\u0436<\/u> \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 (\u043d.\u0440. \u043f\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0443: \u0434\u0436\u0438\u043d\u0441\u044b, \u0444\u0435\u043d\u044b \u0432 \u0442.\u0434.)<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0431\u0435\u0440\u0438\u0442\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0438\u043b\u0438 \u0438 \u0434\u043b\u0438\u043d\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0438\u043e\u0434\u0430 \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u0435\u0441\u0441\u0438\u0438.<\/p>\n<p>\u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0434\u0435\u043d\u044c\u0433\u0430\u043c\u0438 \u0438\/\u0438\u043b\u0438 \u043f\u0440\u043e\u0434\u0430\u0436\u0430\u043c\u0438, \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e \u043c\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u0443\u0432\u0438\u0434\u0438\u043c \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u0432\u043f\u0440\u0430\u0432\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u0445\u0432\u043e\u0441\u0442\u043e\u043c \u0441\u043f\u0440\u0430\u0432\u0430:<\/p>\n<figure class=\"full-width\"><\/figure>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f, \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b <a href=\"https:\/\/habr.com\/ru\/companies\/hh\/articles\/413261\/?clckid=eab2b856#:~:text=%D0%B8%20%D1%82.%20%D0%B4.).-,1.1.%20%D0%98%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D1%8F,-%D0%9D%D0%B5%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%BE%D0%B5%20%D0%BB%D0%B8%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5%20%D0%BE%D1%82%D1%81%D1%82%D1%83%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5\">\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432<\/a><\/p>\n<\/li>\n<li>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u0437\u0430\u0431\u043e\u0442\u0438\u0442\u044c\u0441\u044f \u043e \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043c\u0430\u0442\u0447\u0438\u043d\u0433\u0430 \u0432 \u0432\u0430\u0448\u0435\u0439 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u2014 \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u043e\u0434\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u043e\u0432 \u0432 \u0432\u0430\u0448\u0443 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c TF-IDF<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 IDF! <em>(\u0411\u043b\u0430\u0433\u043e, \u0432\u044b \u0435\u0433\u043e \u0443\u0436\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043b\u0438!)<\/em><\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c <u>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u0440\u043e\u0434\u0430\u0436<\/u>  \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f TF-IDF: \u043d\u0443\u0436\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c IDF:<\/p>\n<p><em>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435, \u0447\u0442\u043e \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 TF-IDF. \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b, \u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u0442\u0435, \u0447\u0442\u043e \u0438\u043c\u0435\u044e\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 IDF. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u044b \u043e\u0431\u0449\u0435\u0433\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445, \u0442\u043e \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0442\u043e\u0432\u0430\u0440\u044b \u0441 \u043d\u0438\u0437\u043a\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 IDF.\u00a0<\/em><\/p>\n<p>\u0417\u0430 \u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0442\u043e\u0432\u0430\u0440\u044b <a href=\"https:\/\/secrets.tinkoff.ru\/biznes-s-nulya\/fmcg\/?ysclid=m1z9f1wwvn901895255\">FMCG<\/a> \u0438\u043c\u0435\u044e\u0442 \u043d\u0438\u0437\u043a\u0438\u0439 IDF, \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u0422\u041e\u041f \u043f\u0440\u043e\u0434\u0430\u0436 \u0438 \u043a\u0443\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 Popularity Bias, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0430\u043a \u043e\u0442\u0447\u0430\u044f\u043d\u043d\u043e \u0431\u043e\u0440\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433\u0438\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u044b.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c TF-IDF \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u0430\u043a \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u0430, \u0442\u0430\u043a \u0438 \u0435\u0433\u043e \u043e\u0431\u0449\u0443\u044e \u0440\u0435\u0434\u043a\u043e\u0441\u0442\u044c \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043a\u043e\u0440\u043f\u0443\u0441\u0443, \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 <strong>\u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b (\u0441\u0438\u0433\u043d\u0430\u043b \u0434\u043b\u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439)<\/strong> \u0438 <strong>\u0443\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442 \u0448\u0443\u043c.<\/strong><\/p>\n<h3>\u0411\u043e\u0440\u044c\u0431\u0430 \u043c\u0435\u0442\u0440\u0438\u043a<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044e, \u043d\u043e \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0433\u0440\u0443\u043f\u043f \u0442\u043e\u0432\u0430\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u044f\u043b\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b:<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u043a\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0435\u0441\u0441\u0438\u0435\u0439?<\/p>\n<\/li>\n<li>\n<p>\u0411\u0443\u0434\u0435\u043c \u043b\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u0441\u0435\u0441\u0441\u0438\u0438 \u043a \u043e\u0434\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435?<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043d\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0437\u0430\u043b\u0438\u0442\u044c \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/hh\/articles\/413261\/\">\u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441<\/a>?\u00a0\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u043e\u0432\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432 \u0434\u043b\u044f \u043e\u0442\u0431\u043e\u0440\u0430 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441?<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0441\u0435\u0440\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u0438\u0441\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b.<\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u044b \u043f\u0440\u0438\u0448\u043b\u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c, \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u044b\u043c\u0438 \u0441 \u043f\u0440\u043e\u0434\u043e\u0432\u044b\u043c\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043a\u0430\u043a \u043f\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c, \u0442\u0430\u043a \u0438 \u0431\u0438\u0437\u043d\u0435\u0441-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c.<\/p>\n<h3>\u0412\u0442\u043e\u0440\u043e\u0439 \u0441\u0435\u0437\u043e\u043d: \u042f\u043a\u043e\u0440\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f<\/h3>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u044b \u0443\u0436\u0435 \u0447\u0438\u0442\u0430\u043b\u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0441\u0435\u0437\u043e\u043d\u0435 \u043d\u0430\u0448\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a \u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u044f\u0445 \u043f\u0440\u043e <a href=\"https:\/\/t.me\/wildrecsys\/25\">\u044f\u043a\u043e\u0440\u043d\u044b\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f<\/a>. \u041a\u043e\u0440\u043e\u0442\u043a\u043e \u043e \u0441\u0443\u0442\u0438: \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u044e\u0437\u0435\u0440\u0430 \u043d\u0435 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0430 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0442\u043e\u0432\u0430\u0440\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0441 \u043a\u043e\u043d\u0446\u0430 \u0438 \u0431\u0435\u0440\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e  \u0442\u043e\u0432\u0430\u0440\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435, \u0442\u043e\u0439 \u0436\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438, \u0434\u0430\u043b\u044c\u0448\u0435 \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u043c. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u043e\u0440\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e\u0445\u043e\u0436\u0438\u0445 (\u0431\u043b\u0438\u0437\u043a\u0438\u0445) \u043d\u0430 \u043d\u0438\u0445 \u0442\u043e\u0432\u0430\u0440\u043e\u0432.<\/p>\n<p>\u0412\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0438 \u043d\u0430\u0439\u0434\u0435\u043c \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0445 \u0441\u043e\u0441\u0435\u0434\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0430\u0439\u0442\u0435\u043c\u043e\u0432 \u00ab\u0441\u043b\u043e\u0432\u0430\u0440\u044f\u00bb. \u0411\u043b\u0430\u0433\u043e, \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (2) \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u044b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c faiss, \u0442\u0443\u0442 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e)<\/p>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u0432 \u0441\u0445\u0435\u043c\u0443 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0441 \u044f\u043a\u043e\u0440\u043d\u044b\u043c\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c\u0438, \u043c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u043d\u0430 20\u201330% \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u044b\u0445 200 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418 \u043d\u0430 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u043e\u0441\u044c.<\/p>\n<h2>\u0412 \u041f\u0420\u041e\u0414?\u00a0<\/h2>\n<p>\u0410 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0442\u043e \u0431\u0443\u0434\u0435\u0442? \u0411\u0438\u0437\u043d\u0435\u0441-\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0441\u0442\u044b, \u043a\u0430\u043a \u0438 \u0432\u0441\u0435 \u0433\u0435\u043d\u0438\u0430\u043b\u044c\u043d\u043e\u0435: \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u0442\u0443 \u0436\u0435 \u0433\u0440\u0443\u043f\u043f\u0443 \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442 \u043a \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0439 \u043f\u043e\u043a\u0443\u043f\u043a\u0435 \u0438 \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043a\u0443\u043f\u043e\u043a. \u0417\u0434\u0435\u0441\u044c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u044b \u0434\u0430\u0432\u043d\u043e\u0441\u0442\u044c \u0438 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u044f\u043a\u043e\u0440\u043d\u044b\u043c\u0438 \u0442\u043e\u0432\u0430\u0440\u0430\u043c\u0438.<\/p>\n<p>\u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u043e\u0441\u0442\u0430\u0432 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439: \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u044b \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u0438 \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0434\u0430\u0447\u0443 \u043a\u0432\u043e\u0442\u0430\u043c\u0438 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.\u00a0<\/p>\n<h3>\u041d\u043e\u0432\u044b\u0439 \u0432\u0438\u0442\u043e\u043a \u0438\u0441\u0442\u043e\u0440\u0438\u0438<\/h3>\n<p>\u041e\u043a\u0435\u0439, \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b, \u043a\u0432\u043e\u0442\u044b \u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u044b, \u043c\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438. \u041d\u043e \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438\u2026<\/p>\n<p>&#8230;\u0437\u0430\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u043f\u043e\u0436\u0435\u0441\u0442\u0447\u0435 \u043a\u0432\u043e\u0442\u044b \u0441 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0435\u0439 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u0435 \u0436\u0435 \u0441\u0430\u043c\u044b\u0435 \u0441\u043f\u0438\u0441\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u0443\u0436\u0435 \u043a \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430\u043c?<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0424\u043e\u0442\u043a\u0430 \u0444\u0440\u0430\u043a\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u0430\u043b\u0435\u043a\u043e \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c: <strong>\u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u044f<\/strong> \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u044f\u043a\u043e\u0440\u044f \u0438 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430, \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 \u0438 \u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430 \u0441 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u043c\u0435\u0440\u0443 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0438 <strong>\u043d\u043e\u0432\u044b\u0439 \u0441\u0435\u0437\u043e\u043d<\/strong> \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h3>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>\u0417\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c, \u043d\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0435\u0437\u043e\u043d\u0430 \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0438. \u041d\u0430 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0435 \u0441 BERT4rec! HitRate \/ Precision \/ NDCG \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u043d\u0430 40\u201350%.\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u043c\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044f \u0438 \u043d\u0438\u0437\u043a\u0438\u043c \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0441 \u0442\u043e\u043f\u043e\u043c \u043f\u0440\u043e\u0434\u0430\u0436.\u00a0<\/p>\n<p>\u0412\u0441\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441 \u043c\u0430\u043b\u044b\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f CORE \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438 Wildberries.<\/p>\n<h3>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0445\u043e\u043b\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u0430<\/h3>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0434\u0430\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u0446\u0435\u043b\u044b\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b. \u0410 \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c TF-IDF? \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u0435\u0437\u043e\u043d\u0435 \u0432\u044b\u0448\u0435\u043b item2item \u043f\u043e\u0434\u0445\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u0435\u0441\u0435\u0442 \u043d\u0435\u043c\u0430\u043b\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043e\u0432, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u043b\u0433\u0438\u0439 \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440.<\/p>\n<h3>\u041c\u0438\u043d\u0443\u0441\u044b \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u044f\u0432\u0438\u0442\u044c<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434 TF-IDF \u0438\u043c\u0435\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u043e\u043d \u043d\u0435 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0435\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 (\u0442\u043e\u0432\u0430\u0440\u0430\u043c\u0438) \u0438 \u043f\u043b\u043e\u0445\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u0435\u0434\u0438\u0439\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u043e\u043c \u0438\u043b\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439). \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439 \u0435\u0433\u043e \u0447\u0430\u0441\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438, \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a \u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0438\u043b\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0443\u0447\u0448\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.\u00a0<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u00a0<\/h2>\n<p>\u041e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-443470","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/443470","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=443470"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/443470\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=443470"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=443470"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=443470"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}