{"id":412256,"date":"2024-06-29T22:26:01","date_gmt":"2024-06-29T22:26:01","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=412256"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=412256","title":{"rendered":"<span>\u0418\u0441\u0442\u043e\u0440\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c 120 \u0442\u044b\u0441\u044f\u0447 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u0438 \u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u0435\u044f\u0442\u044c\u0441\u044f \u0440\u0430\u043d\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041a\u0435\u0439\u0441 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0440\u0435\u0434\u0441\u0442\u0432 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 <a href=\"https:\/\/archive.org\/details\/120_tysyach_anekdotov\">\u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c<\/a><a href=\"https:\/\/archive.org\/stream\/120_tysyach_anekdotov\/anek_djvu.txt\"> <\/a>\u044f\u0437\u044b\u043a\u0435. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0438\u0445 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b, \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a Gensim \u0438 Sklearn <\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<p>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.<\/p>\n<p>\u041d\u043e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<h3>\u0414\u0432\u0430 \u0441\u043b\u043e\u0432\u0430 \u0437\u0430\u0447\u0435\u043c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043d\u0435 \u044d\u0442\u043e \u043d\u0430\u0434\u043e<\/h3>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u043f\u043e\u0434 \u0432\u043b\u0438\u044f\u043d\u0438\u0435\u043c \u043a\u0443\u0440\u0441\u0430 \u043f\u043e<a href=\"https:\/\/otus.pw\/HPrG\/\"> NLP<\/a> . \u041f\u0440\u0438\u0437\u043d\u0430\u044e\u0441\u044c, \u043c\u0435\u043d\u044f \u0437\u0430\u0432\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442 \u043c\u0430\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c  \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 NLP \u043f\u0440\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0438 \u0441\u043b\u043e\u0432 \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u0435\u0441\u0443\u0449\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u044b.<\/p>\n<p>\u041c\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u044d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0438\u043e\u0431\u0449\u0438\u0442\u044c\u0441\u044f, \u043a \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u044d\u0442\u0438\u0445 \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u0438\u043a\u043e\u0432 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u0441\u043a\u0440\u043e\u043c\u043d\u043e\u0439 \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u043e\u0439 \u043f\u0430\u043b\u043e\u0447\u043a\u043e\u0439. \u0412 \u0441\u0432\u043e\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e Data Science \u0438 Machine Learning, \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0430\u043c \u0432\u0441\u0435 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0431\u0435\u0437\u0443\u043c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0434\u043b\u044f \u043f\u044b\u0442\u043b\u0438\u0432\u043e\u0433\u043e \u0443\u043c\u0430, \u043d\u043e NLP \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435&#8230;. \u044d\u0442\u043e \u0438\u0433\u0440\u0430 \u043d\u0430 \u043f\u043e\u043b\u0435 \u0418\u0418 \u0438 \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442  \u0436\u0438\u0437\u043d\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u0438 \u043a \u0447\u0435\u043c\u0443 \u0435\u0449\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c\u0441\u044f.<\/p>\n<h3>\u0412\u043c\u0435\u0441\u0442\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f: \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h3>\n<details class=\"spoiler\">\n<summary>\u0422\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u00a0(topic model)<\/summary>\n<div class=\"spoiler__content\">\n<p>\u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043a \u043a\u0430\u043a\u0438\u043c \u0442\u0435\u043c\u0430\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0432\u044b\u0434\u0430\u0451\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0437 \u043e\u0446\u0435\u043d\u043e\u043a \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0442\u0435\u043c. \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0440\u0430\u0432\u043d\u0430\u044f \u0447\u0438\u0441\u043b\u0443 \u0442\u0435\u043c, \u043c\u043e\u0436\u0435\u0442 \u043b\u0438\u0431\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434\u0435, \u043b\u0438\u0431\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0442\u0435\u043c\u0430\u043c. \u0422\u0435\u043c\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u0443\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u044d\u0442\u0438 \u0442\u0435\u043c\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c <em>\u0447\u0438\u0441\u043b\u043e \u0442\u0435\u043c<\/em>, <em>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u043e\u0442 \u0441\u043b\u043e\u0432<\/em>, <em>\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u0435\u043c\u044b<\/em>, <em>\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u2014 \u0432 \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u043d \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0442\u0435\u043c.<\/em><\/p>\n<p>\u0412\u0445\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0430 \u0432\u044b\u0445\u043e\u0434\u043e\u043c \u2014 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043a \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u0435\u043c\u0435. \u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,\u00a0<a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%A2%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5\">\u0432\u043e\u0442 \u0437\u0434\u0435\u0441\u044c<\/a>, \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0432\u00a0<a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29\">\u043a\u0443\u0440\u0441\u0435 \u041a.\u00a0\u0412.\u00a0\u0412\u043e\u0440\u043e\u043d\u0446\u043e\u0432\u0430<\/a>.  <\/p>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0422\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/strong>\u00a0(topic modeling) \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0426\u0435\u043b\u044c\u044e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0445 \u0442\u0435\u043c, \u0442\u0430\u043a \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0439 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439; \u0430\u043d\u0430\u043b\u0438\u0437 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432; <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%A0%D1%83%D0%B1%D1%80%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F&amp;action=edit\">\u0440\u0443\u0431\u0440\u0438\u043a\u0430\u0446\u0438\u044f<\/a>\u00a0\u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0439 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0432\u0438\u0434\u0435\u043e, \u043c\u0443\u0437\u044b\u043a\u0438; <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%90%D0%BD%D0%BD%D0%BE%D1%82%D0%B0%D1%86%D0%B8%D1%8F_%D0%B3%D0%B5%D0%BD%D0%BE%D0%BC%D0%B0&amp;action=edit\">\u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u044f \u0433\u0435\u043d\u043e\u043c\u0430<\/a>\u00a0\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438\u00a0<a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%91%D0%B8%D0%BE%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0\">\u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0438<\/a>;  <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B0%D0%B1%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%B0%D1%8F_%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F\">\u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f<\/a>, \u0432 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445<\/p>\n<\/div>\n<\/details>\n<h2>\u041f\u043b\u0435\u0447\u0438 \u0433\u0438\u0433\u0430\u043d\u0442\u043e\u0432<\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503398\/\">https:\/\/habr.com\/ru\/company\/otus\/blog\/503398\/<\/a> \u043c\u043d\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043f\u044b\u0442\u0430\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0438 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0443\u0440\u043e\u043a <a href=\"https:\/\/otus.pw\/jl0B\/\">\u0410\u043d\u0430\u043b\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0412\u043a\u043e\u043d\u0442\u0430\u043a\u0442\u0435 \/\/ \u0411\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0443\u0440\u043e\u043a OTUS<\/a> \u0431\u044b\u043b \u0442\u0435\u043c \u043c\u043e\u0442\u0438\u0432\u0430\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u043b \u043c\u043d\u0435 \u0441\u0438\u043b\u044b \u0438 \u0442\u0435\u0440\u043f\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0441\u0442, \u043d\u043e \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 5 \u043a\u043e\u043f\u0435\u0435\u043a.<\/p>\n<h4>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0434\u0430\u043d\u043d\u044b\u0435<\/h4>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0432\u0435\u0441\u044c \u043a\u043e\u0434 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u043f\u044b\u0442\u043b\u0438\u0432\u044b\u0435 \u0443\u043c\u044b \u0441\u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u043c\u043e\u0439 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\">GitHub<\/a>.<\/p>\n<p><a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/c3d6c132885d1b93a79f57ff2549319d698473e3\/for_install.ipynb\">\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438<\/a><\/p>\n<p><a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/functions.ipynb\">\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438<\/a><\/p>\n<p><a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/anek_utf8.zip\">\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0414\u0430\u0442\u0430\u0441\u0435\u0442<\/a><\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438 \u0442\u0430\u043a&#8230;<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041d\u0435\u0442\u0435\u0440\u043f\u0435\u043b\u0438\u0432\u044b\u0435, \u043d\u0430\u0439\u0434\u0443\u0442 \u0442\u0430\u043c \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0435\u0441\u043b\u0438 \u0437\u0430\u0445\u043e\u0442\u044f\u0442 \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c  (\u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u0438 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u0442.\u0435. \u043d\u0430 \u0434\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0438 GitHub)<\/p>\n<\/div>\n<\/details>\n<h3>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 pymorphy2. <\/p>\n<pre><code class=\"python\">nltk_download(\"punkt\") !wget https:\/\/raw.githubusercontent.com\/dhhse\/dh2020\/master\/data\/stop_ru.txt with open (\"stop_ru.txt\", \"r\") as stop_ru:     rus_stops = [word.strip() for word in stop_ru.readlines()] punctuation = '!\\\"#$%&amp;\\'()*+,-.\/:;&lt;=>?@[\\]^_`{|}~\u2014\u00bb\u00ab...\u2013'     filter_token = rus_stops + list (punctuation)  from pymorphy2 import MorphAnalyzer parser = MorphAnalyzer() text = input_text.lower() tokenized_text = word_tokenize(text) clean_text = [word for word in tokenized_text if word not in filter_token] lemmatized_text = [parser.parse(word)[0].normal_form for word in clean_text] <\/code><\/pre>\n<p>\u0421 \u0435\u0435 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u044b \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043c \u0441\u043b\u043e\u0432\u0430 \u0432 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f &#171;\u043c\u0435\u0448\u043a\u0430 \u0441\u043b\u043e\u0432&#187;.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/adf\/e60\/fb8\/adfe60fb84b056b1c509560b98fdb3ec.png\" alt=\"\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435  \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\" title=\"\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435  \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\" width=\"974\" height=\"191\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/adf\/e60\/fb8\/adfe60fb84b056b1c509560b98fdb3ec.png\"\/><\/p>\n<div><figcaption>\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435  \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 Gensim \u0438 \u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/p>\n<pre><code class=\"python\">import gensim from gensim import corpora, models from ast import literal_eval<\/code><\/pre>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e corpora \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438\u0437 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u041f\u043e\u0441\u043b\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435 \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0438 \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0435\u0442\u043e\u0434 <em>filter_extremes<\/em>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u044b <em>no_above<\/em> (\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0431\u043e\u043b\u0435\u0435, \u0447\u0435\u043c \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432) \u0438 <em>no_below<\/em> (\u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432). \u041f\u043e\u0441\u043b\u0435 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043b\u0438\u0448\u043d\u0438\u0445 \u0441\u043b\u043e\u0432 \u0443\u0436\u0438\u043c\u0430\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445 (\u0443\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0438) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 <em>compactify<\/em>.<\/p>\n<pre><code class=\"python\">dictionary = gensim.corpora.Dictionary(ds_line[\"text_processed\"].values) # \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0438\u0437 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432              print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0434\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary))) dictionary.filter_extremes(no_below=3, no_above=0.4, keep_n=3*10**6) dictionary.compactify() print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary))) print(dictionary)<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/427\/7fa\/4f8\/4277fa4f8cb41d4fabdd6e5e944bb483.png\" alt=\"\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430\" title=\"\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430\" width=\"974\" height=\"78\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/427\/7fa\/4f8\/4277fa4f8cb41d4fabdd6e5e944bb483.png\"\/><\/p>\n<div><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f<\/p>\n<pre><code class=\"python\">corpus = [dictionary.doc2bow(text) for text in ds_line['text_processed']]<\/code><\/pre>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043a \u0442\u0430\u043a\u043e\u043c\u0443 \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0443 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0438 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 <em>\u0431\u0438\u0433\u0440\u0430\u043c\u043c\u044b<\/em> (\u043f\u043e\u043f\u0430\u0440\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438) , \u0438\u0434\u0435\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0447\u0435\u0440\u043f\u043d\u0443\u0442\u044b \u0438\u0437\u00a0<a href=\"https:\/\/www.youtube.com\/watch?v=0DnfzQdbwQw\">\u0410\u043d\u0430\u043b\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445..<\/a>. <\/p>\n<p>\u041d\u0435 \u0431\u0443\u0434\u0443 \u0437\u0434\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <em>\u0431\u0438\u0433\u0440\u0430\u043c\u043c<\/em>, \u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0432\u0448\u0438\u0439 \u0435\u0433\u043e, \u043f\u0440\u043e\u0437\u043e\u0440\u043b\u0438\u0432\u043e \u0443\u0447\u0435\u043b \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u0443\u044e \u0441\u0432\u044f\u0437\u043a\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043b\u0438\u044f\u0435\u0442 \u0438 \u043d\u0430 \u0438\u0445 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e &#171;\u043c\u0435\u0448\u043a\u0430 \u0441\u043b\u043e\u0432&#187;.<\/p>\n<pre><code class=\"python\"># Build the bigram  models texts=(ds_line[\"text_processed\"]) bigram = models.Phrases(texts, min_count=3, threshold=5) bigram_mod = models.phrases.Phraser(bigram) texts_bi = make_bigrams(texts) dictionary_bi = corpora.Dictionary(texts_bi)                 # \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0438\u0437 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0431\u0438\u0433\u0440\u0430\u043c\u043c \u0441\u043b\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u0436\u0435\u043d\u0438\u0439 print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0434\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary_bi))) dictionary_bi.filter_extremes(no_below=3, no_above=0.4, keep_n=3*10**6) print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary_bi))) corpus_bi = [dictionary_bi.doc2bow(text) for text in texts_bi]  # \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c\u0443 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0431\u0438\u0433\u0440\u0430\u043c\u043c<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e30\/fff\/026\/e30fff0268850cdaa89cd8ef2817d6e3.png\" alt=\"\u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c\" title=\"\u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c\" width=\"974\" height=\"76\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e30\/fff\/026\/e30fff0268850cdaa89cd8ef2817d6e3.png\"\/><\/p>\n<div><figcaption>\u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/372\/549\/186\/372549186ea900258dd6e36a791970db.png\" alt=\"\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u0439\" title=\"\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u0439\" width=\"974\" height=\"63\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/372\/549\/186\/372549186ea900258dd6e36a791970db.png\"\/><\/p>\n<div><figcaption>\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u0439<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>\u0412\u043e\u043f\u0440\u043e\u0441 &#171;\u0425\u043e\u0440\u043e\u0448\u043e \u0438\u043b\u0438 \u043f\u043b\u043e\u0445\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f?&#187;<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f &#8212; \u0443\u0441\u043b\u043e\u0436\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u0441 \u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0435\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0412\u043e \u0432\u0441\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u0431\u0430\u043b\u0430\u043d\u0441<\/p>\n<\/div>\n<\/details>\n<h3>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u043c, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 Latent Dirichlet allocation (LDA) \u0438\u0437 Gensim<\/h3>\n<details class=\"spoiler\">\n<summary>Latent Dirichlet allocation (LDA)<\/summary>\n<div class=\"spoiler__content\">\n<p>\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u043a \u0438\u043c\u0435\u0435\u0442 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u043f\u0440\u0438\u043e\u0440\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0414\u0438\u0440\u0438\u0445\u043b\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/247\/fe8\/f19\/247fe8f198d02cf7b1bed1a65c0230c2.png\" alt=\"\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u043a \u043c\u0430\u0442\u0440\u0438\u0446 W \u0438 H , \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043a \u043c\u0430\u0442\u0440\u0438\u0446\u0435 V. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 - \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 - \u0442\u043e\u043a\u0435\u043d, \u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e: W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 - \u0442\u043e\u043f\u0438\u043a. \u0430 H \u0442\u043e\u043f\u0438\u043a\u0438 - \u0442\u043e\u043a\u0435\u043d\u044b\" title=\"\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u043a \u043c\u0430\u0442\u0440\u0438\u0446 W \u0438 H , \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043a \u043c\u0430\u0442\u0440\u0438\u0446\u0435 V. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 - \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 - \u0442\u043e\u043a\u0435\u043d, \u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e: W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 - \u0442\u043e\u043f\u0438\u043a. \u0430 H \u0442\u043e\u043f\u0438\u043a\u0438 - \u0442\u043e\u043a\u0435\u043d\u044b\" width=\"626\" height=\"157\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/247\/fe8\/f19\/247fe8f198d02cf7b1bed1a65c0230c2.png\"\/><\/p>\n<div><figcaption>\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u043a \u043c\u0430\u0442\u0440\u0438\u0446 W \u0438 H , \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043a \u043c\u0430\u0442\u0440\u0438\u0446\u0435 V. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 &#8212; \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 &#8212; \u0442\u043e\u043a\u0435\u043d, \u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e: W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 &#8212; \u0442\u043e\u043f\u0438\u043a. \u0430 H \u0442\u043e\u043f\u0438\u043a\u0438 &#8212; \u0442\u043e\u043a\u0435\u043d\u044b<\/figcaption><\/div>\n<\/figure>\n<p> \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0414\u0438\u0440\u0438\u0445\u043b\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u0411\u0435\u0442\u0430\u2011\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u00a0\u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439<\/p>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043f\u0430\u0440 corpus,dictionary.<\/p>\n<p>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e <em>number_topics<\/em> \u043f\u043e\u043a\u0430 \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0432\u043d\u044b\u043c 20, \u0432\u043e\u043f\u0440\u043e\u0441 \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439.<\/p>\n<pre><code class=\"python\">ldamodel_base=lda_model_gensim(corpus,dictionary,number_topics) ldamodel_base.save('lda_20_base') ldamodel_bi=lda_model_gensim(corpus_bi,dictionary_bi,number_topics) ldamodel_bi.save('lda_20_bi')<\/code><\/pre>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0435\u043c\u043a\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u0430\u043a <em>\u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c<\/em>, \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u044d\u0442\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u0435\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043d\u0435\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0442\u0435\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0438 \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c.<\/summary>\n<div class=\"spoiler__content\">\n<p>UDP \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442 180 \u0442\u0435\u043c, \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e \u043d\u043e&#8230;. \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438 \u043f\u0440\u0430\u0432\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 20. <\/p>\n<p>\u0410 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 &#8212; 20 \u0438 \u0442\u043e\u0447\u043a\u0430.<\/p>\n<\/div>\n<\/details>\n<h3>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u043e\u043f\u0438\u043a\u043e\u0432<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<p>\u0412 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 Gensim \u0435\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c\u0430\u043c\u0438. \u0415\u0451 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0442\u0435\u043c\u044b \u0438 \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u0438.<\/p>\n<p>\u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u0441\u0430\u043c\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u044f \u043c\u043e\u0433\u0443 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u044d\u0442\u043e\u0442 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f35\/210\/3cf\/f352103cfdb7b2084bea4e62d64fa247.png\" alt=\"gensimvis\" title=\"gensimvis\" width=\"974\" height=\"583\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f35\/210\/3cf\/f352103cfdb7b2084bea4e62d64fa247.png\"\/><\/p>\n<div><figcaption>gensimvis<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u043e\u0442 \u0436\u0435, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 &#171;\u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f&#187; \u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432: <\/p>\n<p>&#171;base&#187; &#8212; \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437 BOW<\/p>\n<p>&#171;bi&#187; &#8212; \u0438\u0437 \u0431\u0438\u0433\u0440\u0430\u043c\u043c<\/p>\n<p>\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/tree\/main\/gensim_vis\">GitHub<\/a>.<\/p>\n<p>\u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 &#171;\u0438\u0433\u0440\u043e\u0432\u043e\u0439&#187; \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0442\u043e\u043f\u0438\u043a\u0438: \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043e\u0431\u043b\u0430\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 \u0442\u043e\u043f\u0438\u043a\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0443, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0447\u0430\u0441\u0442\u044c, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 &#171;\u043e\u0431\u043b\u0430\u043a\u043e\u0432&#187; \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/topic_clouds\/%D1%82%D0%BE%D0%BF%D0%B8%D0%BA%D0%B8%20gensim_habr.docx\">\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u0430\u0445 \u0432 GitHub<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ea6\/2a9\/c3e\/ea62a9c3e24d1dc77932f56cc7a26826.png\" alt=\"\u0432\u0438\u0434\u043d\u043e, \u0442\u043e\u043f\u0438\u043a\u0438 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u044d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u043e\u0439 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.   \" title=\"\u0432\u0438\u0434\u043d\u043e, \u0442\u043e\u043f\u0438\u043a\u0438 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u044d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u043e\u0439 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.   \" width=\"944\" height=\"1235\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea6\/2a9\/c3e\/ea62a9c3e24d1dc77932f56cc7a26826.png\"\/><\/p>\n<div><figcaption>\u0432\u0438\u0434\u043d\u043e, \u0442\u043e\u043f\u0438\u043a\u0438 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u044d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u043e\u0439 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.   <\/figcaption><\/div>\n<\/figure>\n<h3>\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u0432\u0435\u0434\u043e\u0447\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430<\/h3>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0442\u043e\u043f\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u0441\u043b\u043e\u0432\u0430\u0440\u0438 \u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u044b) \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439?<\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0438\u0434\u0435\u044e: \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u043c \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 (\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0439) \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u0442\u043e\u043f\u0438\u043a, \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439(<strong>base<\/strong> \u0438 <strong>bi<\/strong>) \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c &#171;\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0435&#187; &#8212; \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u043f\u0430\u0440\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u043c\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443. <\/p>\n<pre><code class=\"python\">ds_line[\"lda_base\"] = ds_line[\"text_processed\"].apply(get_topic, lda=ldamodel_base) ds_line[\"lda_bi\"] = ds_line[\"text_processed\"].apply(get_topic, lda=ldamodel_bi) ds_line[\"topic_base\"] = ds_line[\"lda_base\"].str[0] ds_line[\"probability_base\"] = ds_line[\"lda_base\"].str[1] del ds_line[\"lda_base\"] ds_line[\"topic_bi\"] = ds_line[\"lda_bi\"].str[0] ds_line[\"probability_bi\"] = ds_line[\"lda_bi\"].str[1] del ds_line[\"lda_bi\"] del ds_line[\"text_processed_new\"] del ds_line[\"text_processed\"]<\/code><\/pre>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 dataframe \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a8e\/281\/cdf\/a8e281cdfab6a80bddf646b5ee5ac5ba.png\" alt=\"\u0432\u0438\u0434\u043d\u044b id \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\" title=\"\u0432\u0438\u0434\u043d\u044b id \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\" width=\"879\" height=\"293\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a8e\/281\/cdf\/a8e281cdfab6a80bddf646b5ee5ac5ba.png\"\/><\/p>\n<div><figcaption>\u0432\u0438\u0434\u043d\u044b id \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0446\u0435\u043d\u0438\u043c \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <em>topic_base<\/em> \u0438 <em>topic_bi<\/em> . <\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443, \u043a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f\u00a0<em>probability<\/em>\u00a0\u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0431\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0435, \u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043c\u0438 \u0437\u0430\u043f\u0438\u0441\u044f\u043c\u0438 \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u043e \u0432\u044b\u0448\u0435\u00a0<strong>0.5 (<\/strong>\u0442.\u0435. \u043e\u0434\u0438\u043d \u0442\u043e\u043f\u0438\u043a \u043f\u0440\u0438\u0441\u0432\u043e\u0435\u043d \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e<strong>)<\/strong><\/p>\n<pre><code class=\"python\">ds_line_lite=ds_line[(ds_line['probability_base']>0.5)&amp;(ds_line['probability_bi']>0.5)] ds_top=ds_line_lite.groupby(['topic_base','topic_bi'])['text_base'].count().reset_index() ds_top.columns=['topic_base','topic_bi','rec_counts'] ds_top=ds_line_lite.groupby(['topic_base','topic_bi'])['text_base'].count().reset_index() ds_top.columns=['topic_base','topic_bi','rec_counts']<\/code><\/pre>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1fb\/7f2\/d93\/1fb7f2d93a6105e90fd35b7a3b818138.png\" alt=\"\u0412\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c (1) \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c (181)  \" title=\"\u0412\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c (1) \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c (181)  \" width=\"386\" height=\"273\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1fb\/7f2\/d93\/1fb7f2d93a6105e90fd35b7a3b818138.png\"\/><\/p>\n<div><figcaption>\u0412\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c (1) \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c (181)  <\/figcaption><\/div>\n<\/figure>\n<p>\u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0439 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0434\u0435\u0441\u044f\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u043e\u0442\u00a0<em>rec_counts<\/em><\/p>\n<pre><code>ds_top['log']=np.log10(ds_top['rec_counts']) topics_base_bi = pd.pivot_table(ds_top,                index='topic_base',                values='log',                columns='topic_bi',                fill_value=0) topics_base_bi_np=topics_base_bi.values<\/code><\/pre>\n<p>\u0418 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043f\u0438\u043a\u0430\u043c\u0438 \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c\u0438 c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 <a href=\"https:\/\/plotly.com\/\"><strong>plotly<\/strong><\/a><strong> \u0438 <\/strong><a href=\"https:\/\/seaborn.pydata.org\/\"><strong>seabon<\/strong><\/a><\/p>\n<pre><code class=\"python\">fig = px.imshow(topics_base_bi,width=600, height=600, labels = dict(y = \"\u0422\u043e\u043f\u0438\u043a\u0438 Base\", x = \"\u0422\u043e\u043f\u0438\u043a\u0438 Bi\", color = \"Legend\")) #fig.update_xaxes(side = \"top\") fig.show()<\/code><\/pre>\n<pre><code class=\"python\">plt.rcParams['figure.figsize']=15,15  sns.heatmap(topics_base_bi,\u00a0annot=True,\u00a0fmt=\".1f\")\u00a0<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/da5\/656\/765\/da56567651786755a0a1cf10db00eba2.png\" alt=\"\u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 - \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435 2 (\u0436\u0451\u043b\u0442\u044b\u0435 \u0438 \u0441\u0432\u0435\u0442\u043b\u043e-\u0436\u0451\u043b\u0442\u044b\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b), \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432.\" title=\"\u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 - \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435 2 (\u0436\u0451\u043b\u0442\u044b\u0435 \u0438 \u0441\u0432\u0435\u0442\u043b\u043e-\u0436\u0451\u043b\u0442\u044b\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b), \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432.\" width=\"1063\" height=\"1378\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da5\/656\/765\/da56567651786755a0a1cf10db00eba2.png\"\/><\/p>\n<div><figcaption>\u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 &#8212; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435 2 (\u0436\u0451\u043b\u0442\u044b\u0435 \u0438 \u0441\u0432\u0435\u0442\u043b\u043e-\u0436\u0451\u043b\u0442\u044b\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b), \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432.<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u043c \u043e\u0431\u043b\u0430\u043a\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0434\u0435\u0441\u044f\u0442\u0438\u0447\u043d\u043e\u0433\u043e \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u0447\u0438\u0441\u043b\u0430 \u043e\u0431\u0449\u0438\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439<\/p>\n<ol>\n<li>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 =<\/strong> <strong>2.25<\/strong><\/p>\n<\/li>\n<\/ol>\n<pre><code class=\"python\">plotWordCloud_Gensim(topic_number=7, topics=lda_topics_base,head='\u0422\u043e\u043f\u0438\u043a\u0438 base ') plotWordCloud_Gensim(topic_number=7, topics=lda_topics_bi,head='\u0422\u043e\u043f\u0438\u043a\u0438 bi ')<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4b8\/c9b\/277\/4b8c9b2778620608288e4562e5ae1a28.png\" alt=\"\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c \u043e\u043d\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0438 \u0438 \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b  \" title=\"\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c \u043e\u043d\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0438 \u0438 \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b  \" width=\"974\" height=\"521\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b8\/c9b\/277\/4b8c9b2778620608288e4562e5ae1a28.png\"\/><\/p>\n<div><figcaption>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c \u043e\u043d\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0438 \u0438 \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 \u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b  <\/figcaption><\/div>\n<\/figure>\n<ol start=\"2\">\n<li>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 = 2.23<\/strong><\/p>\n<\/li>\n<\/ol>\n<pre><code class=\"python\">plotWordCloud_Gensim(topic_number=5, topics=lda_topics_base,head='\u0422\u043e\u043f\u0438\u043a\u0438 base ') plotWordCloud_Gensim(topic_number=10, topics=lda_topics_bi,head='\u0422\u043e\u043f\u0438\u043a\u0438 bi ')<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/351\/e47\/ba5\/351e47ba5b3abe6cbfe859ac8f35070e.png\" alt=\"\u0412\u0438\u0434\u043d\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u0431\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u043e \u0438\u0445 \u0432\u0435\u0441 \u0432 \u043e\u0431\u043b\u0430\u043a\u0430\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0435\u043d\" title=\"\u0412\u0438\u0434\u043d\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u0431\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u043e \u0438\u0445 \u0432\u0435\u0441 \u0432 \u043e\u0431\u043b\u0430\u043a\u0430\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0435\u043d\" width=\"974\" height=\"530\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/351\/e47\/ba5\/351e47ba5b3abe6cbfe859ac8f35070e.png\"\/><\/p>\n<div><figcaption>\u0412\u0438\u0434\u043d\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u0431\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u043e \u0438\u0445 \u0432\u0435\u0441 \u0432 \u043e\u0431\u043b\u0430\u043a\u0430\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0435\u043d<\/figcaption><\/div>\n<\/figure>\n<pre><code class=\"python\">plotWordCloud_Gensim(topic_number=9, topics=lda_topics_base,head='\u0422\u043e\u043f\u0438\u043a\u0438 base ') plotWordCloud_Gensim(topic_number=9, topics=lda_topics_bi,head='\u0422\u043e\u043f\u0438\u043a\u0438 bi ')<\/code><\/pre>\n<ol start=\"3\">\n<li>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 =<\/strong> <strong>0 (\u043e\u0431\u0449\u0438\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u043d\u0435\u0442)<\/strong><\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a25\/a11\/129\/a25a11129c88eb5e205411d510601b2a.png\" alt=\"\u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u0432 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442\" title=\"\u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u0432 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442\" width=\"974\" height=\"489\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a25\/a11\/129\/a25a11129c88eb5e205411d510601b2a.png\"\/><\/p>\n<div><figcaption>\u0432\u0438\u0434\u043d\u043e \u0447\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u0432 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u0438\u0434\u0435\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c, \u0435\u0441\u043b\u0438 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c &#171;\u0441\u0432\u0435\u0434\u0435\u043d\u0438\u0435&#187; \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0448\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043a 3% \u043e\u0442 \u043e\u0431\u0449\u0435\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 (9*394=3546). <\/p>\n<p>\u0421\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0430 \u0434\u043b\u044f\u00a0<em>probability <\/em>\u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f 0.4 \u0438\u043b\u0438 0.3 &#8212; \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u043e \u0431\u044b \u0447\u0438\u0441\u043b\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043d\u043e \u0441\u043d\u0438\u0436\u0430\u043b\u043e \u0431\u044b \u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043f\u0438\u043a\u0443 \u0438 \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. <\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u043f\u0435\u0440\u0432\u044b\u043c \u0432\u044b\u0432\u043e\u0434\u0430\u043c.<\/p>\n<h3>\u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043a\u0440\u0430\u0442\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434:<\/h3>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Gensim \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0442\u043e\u043f\u0438\u043a\u0438 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0438\u043f\u0430 &#171;\u043c\u0435\u0448\u043e\u043a \u0441\u043b\u043e\u0432&#187;, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u044f. <\/p>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 &#8212; heatmap \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u043c\u0438\u0441\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0447\u0438\u0441\u043b\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0445 \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (<strong>base<\/strong> \u0438 <strong>bi<\/strong>) \u0432 Gensim \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442  50% (10-11). \u0422\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u044d\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u044f\u0434\u0440\u043e\u043c \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043d\u0430\u0448\u0435\u0433\u043e \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u0443\u0433\u043b\u0443\u0431\u043b\u0451\u043d\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043d\u0430 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0438\u0445 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043a \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u043c\u0443 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432, \u0434\u043b\u044f \u0447\u0435\u0433\u043e, \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u044c \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u043e\u0442 \u043b\u044e\u0434\u0435\u0439.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435, \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0446\u0435\u043b\u044f\u0445  \u0438\u0441\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0432\u0435\u0441\u043e\u0432 TF-IDF, \u0434\u043b\u044f \u0447\u0435\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0441\u044f \u043a \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435\u00a0<a href=\"https:\/\/scikit-learn.org\/stable\/modules\/generated\/sklearn.feature_extraction.text.TfidfTransformer.html\"><strong>Sklearn<\/strong><\/a>.<\/p>\n<h3>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443\u00a0Sklearn, \u0434\u043b\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h3>\n<p>\u0412 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435\u00a0Sklearn\u00a0\u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 BOW \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 TF-IDF \u0434\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u0442\u0435\u043a\u0441\u0442\u0430. <\/p>\n<details class=\"spoiler\">\n<summary>TF-IDF (TF \u2014 term frequency, IDF \u2014 inverse document frequency) \u2014 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u0435\u0440\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u044f\u0432\u043b\u044f\u044e\u0449\u0435\u0433\u043e\u0441\u044f \u0447\u0430\u0441\u0442\u044c\u044e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438\u043b\u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430. <\/summary>\n<div class=\"spoiler__content\">\n<p><strong>TF<\/strong>\u00a0(<em>term frequency<\/em>\u00a0\u2014 \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0441\u043b\u043e\u0432\u0430)\u00a0\u2014 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0430 \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u0441\u043b\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430.<\/p>\n<p><strong>IDF<\/strong>\u00a0(<em>inverse document frequency<\/em>\u00a0\u2014 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430)\u00a0\u2014 \u0438\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u044b, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438. \u0423\u0447\u0451\u0442 IDF \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0432\u0435\u0441 \u0448\u0438\u0440\u043e\u043a\u043e\u0443\u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 IDF.  <\/p>\n<\/div>\n<\/details>\n<p>\u0412\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/generated\/sklearn.feature_extraction.text.TfidfVectorizer.html\">Tfidfvectorizer<\/a>. \u041c\u043e\u0434\u0435\u043b\u044c Tfidfvectorizer \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0432 \u0432\u0438\u0434\u0435  \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 N\u0445M (N &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432, M &#8212; \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044f), \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0441\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u043c\u0435\u044e\u0449\u0438\u0445 \u043c\u0430\u043b\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u0432\u0435\u0441\u0430) TF-IDF.<\/p>\n<p>\u0418\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Gensim, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u044f \u044d\u0442\u0430\u043f\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u0438. \u041c\u043e\u0434\u0435\u043b\u044c TfidfVectorizer \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u0438 \u0441 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0438 \u0431\u0435\u0437 \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u0441\u043d\u044f\u0442\u043e.<\/p>\n<pre><code class=\"python\">from sklearn.feature_extraction.text import TfidfVectorizer #no_features = 300 #tfidf_vectorizer = TfidfVectorizer(max_df=0.95, min_df=2, max_features=no_features, stop_words=filter) tfidf_vectorizer = TfidfVectorizer(max_df=0.95, min_df=2,  stop_words=filter_token) tfidf = tfidf_vectorizer.fit_transform(ds_line[\"text_processed_new\"].values.astype('U')) tokens_sklearn = tfidf_vectorizer.get_feature_names_out() print('\u0414\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u044f',len(tokens_sklearn))<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/490\/0c7\/e35\/4900c7e35c7f17d8f5141c12a9ed21e5.png\" width=\"629\" height=\"38\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/490\/0c7\/e35\/4900c7e35c7f17d8f5141c12a9ed21e5.png\"\/><\/figure>\n<p>\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c (\u0434\u043b\u0438\u043d\u0430)  \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0441 \u0442\u043e\u0439, \u0447\u0442\u043e \u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 Gensim.<\/p>\n<h3>\u041c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0432 Sklearn<\/h3>\n<p>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Sklearn \u0434\u043b\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 2 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430:<\/p>\n<p>\u0421 \u043f\u0435\u0440\u0432\u044b\u043c <em>LatentDirichletAllocation, <\/em>\u043c\u044b \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 <em>Non-Negative Matrix Factorization.<\/em><\/p>\n<details class=\"spoiler\">\n<summary>Non-Negative Matrix Factorization (NMF) <\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u043b\u044f \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434 \u0444\u0430\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0441 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043c\u0430\u0442\u0440\u0438\u0446\u044b\u00a0<strong>W<\/strong>\u00a0\u0438 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0440\u043e\u043a \u043c\u0430\u0442\u0440\u0438\u0446\u044b\u00a0<strong>H<\/strong>\u00a0\u0432 NMF \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u00a0<strong>WH<\/strong>\u00a0\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435\u043c \u043a\u00a0<strong>V<\/strong>. \u041f\u043e\u043b\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b\u00a0<strong>V<\/strong>\u00a0\u0442\u043e\u0433\u0434\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446\u00a0<strong>W<\/strong>\u00a0\u0438\u00a0<strong>H<\/strong>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0437 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b\u00a0<strong>U<\/strong>, \u0442\u0430\u043a\u043e\u0439, \u0447\u0442\u043e\u00a0<strong>V<\/strong>=<strong>WH<\/strong>\u00a0+\u00a0<strong>U<\/strong>. \u042d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438, \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438.<\/p>\n<\/div>\n<\/details>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432 \u043d\u0430\u0448\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u043e\u0431\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430<\/p>\n<pre><code class=\"python\">from sklearn.decomposition import NMF, LatentDirichletAllocation no_topics = 20 no_top_words=10<\/code><\/pre>\n<p>\u0442\u0440\u0435\u043d\u0438\u0440\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<pre><code class=\"python\"># Model lda_tfidf lda_tfidf = LatentDirichletAllocation(n_components=no_topics, max_iter=5, learning_method='online', learning_offset=50.,random_state=1024).fit(tfidf) # Model NMF nmf = NMF(n_components=no_topics, random_state=1024, l1_ratio=.5, init='nndsvd').fit(tfidf)<\/code><\/pre>\n<p>\u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043c \u043f\u0440\u0438\u0441\u0432\u043e\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 Gensim.<\/p>\n<pre><code class=\"python\">top_lda=topics_max(tfidf,lda_tfidf) top_nmf=topics_max(tfidf,nmf) ds_topic=pd.read_csv('\/content\/anekdot_topics.csv') ds_topic['topic_nmf']=top_nmf[:,1] ds_topic['probability_nmf']=top_nmf[:,0] ds_topic['topic_lda']=top_lda[:,1] ds_topic['probability_lda']=top_lda[:,0]<\/code><\/pre>\n<h4>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c nmf \u0438 lda_tf-idf<\/h4>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e40\/bfe\/c7a\/e40bfec7a8e71a65b2399a19a2f65a92.png\" alt=\"\u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 lda\" title=\"\u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 lda\" width=\"714\" height=\"320\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e40\/bfe\/c7a\/e40bfec7a8e71a65b2399a19a2f65a92.png\"\/><\/p>\n<div><figcaption>\u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 lda<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/47c\/082\/490\/47c082490b04e4cd11441de11e4f5e10.png\" alt=\"\u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 NMF\" title=\"\u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 NMF\" width=\"774\" height=\"296\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/47c\/082\/490\/47c082490b04e4cd11441de11e4f5e10.png\"\/><\/p>\n<div><figcaption>\u0442\u043e\u043a\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 NMF<\/figcaption><\/div>\n<\/figure>\n<p>\u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u0437 Gensim, \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043e\u0431\u043b\u0430\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<pre><code class=\"python\">for i in range(20):     plotWordCloud_2(topic_number=i, topics=topic_lda)      plotWordCloud_2(topic_number=i, topics=topic_nmf) <\/code><\/pre>\n<p> \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043e\u0431\u043b\u0430\u043a\u0430, \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0432 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/topic_clouds\/%D0%A2%D0%BE%D0%BF%D0%B8%D0%BA%D0%B8%20sklearn_habr.docx\">\u0444\u0430\u0439\u043b<\/a>.<\/p>\n<p>\u041f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u043c \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0437 Gensim, \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0438 &#171;\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c&#187; \u0442\u043e\u043f\u0438\u043a\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c\u044b\u0435 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u0437 Gensim \u0438 Sklearn \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0439\u0442\u0438 \u043f\u043e \u043f\u0440\u043e\u0442\u043e\u0440\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u043d\u0435\u0435 \u0434\u043e\u0440\u043e\u0436\u043a\u0435, \u0447\u0435\u0440\u0435\u0437 \u0430\u043d\u0430\u043b\u0438\u0437 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432  \u0434\u043b\u044f \u043f\u0430\u0440 \u0442\u043e\u043f\u0438\u043a\u043e\u0432, \u043d\u043e \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u0440\u0443\u0433\u0438\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f <s>\u043e\u0441\u0442\u0440\u043e\u0443\u043c\u043d\u043e<\/s> \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043b &#171;\u043c\u0435\u0442\u043e\u0434\u043e\u043c 20 \u0432\u0435\u043a\u0430&#187;, \u043f\u043e \u0448\u043a\u0430\u043b\u0435 NLP (21 \u0432\u0435\u043a \u044d\u0442\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e GPT ?). <\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0441\u043b\u043e\u0432, \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 \u0442\u043e\u043f\u0438\u043a\u0438. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043d\u0430\u043c \u0440\u0435\u0448\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0430\u0447:<\/p>\n<ol>\n<li>\n<p>\u041d\u0435\u0436\u043d\u043e \u043f\u0440\u0438\u043a\u043e\u0441\u043d\u0443\u0442\u044c\u0441\u044f \u043a \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c<\/p>\n<\/li>\n<li>\n<p>\u0423\u0447\u0435\u0441\u0442\u044c \u043f\u0440\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u043e\u043f\u0438\u043a\u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d \u0441\u043e\u0441\u0442\u043e\u0438\u0442, \u043d\u043e \u0438 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 (\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u0430) \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0432 \u043e\u0431\u0449\u0438\u0445, \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c, \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435.<\/p>\n<\/li>\n<\/ol>\n<h4>\u0412\u043f\u0435\u0440\u0435\u0434, \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438<\/h4>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c <a href=\"https:\/\/habr.com\/ru\/post\/562064\/\">&#171;\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 BERT&#187; (rubert-tiny) <\/a>.  \u0412\u044b\u0431\u043e\u0440 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0437\u0432\u0430\u043d, \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c, \u043d\u043e \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b &#171;\u0437\u0430\u0447\u0435\u043c \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0434\u0432\u0430\u0436\u0434\u044b&#187;, \u0435\u0441\u043b\u0438 \u043c\u044b &#171;\u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0443&#187; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0435 \u043d\u0435 \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u043c, \u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u043b\u043e :(.<\/p>\n<p>\u0418\u0437 <em>rubert-tiny<\/em> \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432.  <\/p>\n<pre><code class=\"python\">import torch from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(\"cointegrated\/rubert-tiny\") model = AutoModel.from_pretrained(\"cointegrated\/rubert-tiny\") # model.cuda()  # \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c GPU<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f69\/a0f\/ff2\/f69a0fff29e5c891fa1d58ff7b007ba2.png\" width=\"974\" height=\"219\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f69\/a0f\/ff2\/f69a0fff29e5c891fa1d58ff7b007ba2.png\"\/><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438  \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0438\u043c\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0440\u0430\u043d\u0435\u0435 \u0442\u043e\u043f\u0438\u043a\u0438. \u041d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043e\u043a \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u0432\u0437\u044f\u0442\u044c \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043f\u0430\u0440\u0443 \u043d\u0430\u0443\u0433\u0430\u0434: <strong>topic_base<\/strong> (Gensim) \u0438 <strong>topic_nmf<\/strong> (Sklearn). \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0438\u0437 \u0440\u0435\u0441\u0443\u0440\u0441\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043c\u0441\u044f 15 \u043f\u0435\u0440\u0432\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0442\u043e\u043f\u0438\u043a\u043e\u0432. <\/p>\n<details class=\"spoiler\">\n<summary>\u0427\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 ?<\/summary>\n<div class=\"spoiler__content\">\n<p>312 \u043c\u0435\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0438\u0445 15 \u043f\u0435\u0440\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u0430. <\/p>\n<\/div>\n<\/details>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0438\u043c \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0439 \u0440\u0430\u0441\u0447\u0435\u0442 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. <em>\u041a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435,<\/em> \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u0438\u043c\u0435\u0435\u0442 \u0434\u043b\u044f \u043d\u0430\u0441 \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 &#8212; \u0434\u043b\u044f <em>\u043a\u043e\u043b\u043b\u0438\u043d\u0435\u0430\u0440\u043d\u044b\u0445<\/em> \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, <strong>cos<\/strong> \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d <strong>1<\/strong>, \u0434\u043b\u044f <em>\u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445<\/em> <strong>0<\/strong>. <\/p>\n<p>\u041f\u043e\u0435\u0445\u0430\u043b\u0438.<\/p>\n<pre><code class=\"python\">plt.rcParams['figure.figsize']=15,15 topic_sim=[] for i in range(20):   v1 = ' '.join(topic_base[topic_base['topic']==i]['topic_word'].values[:15])   v1_emb=embed_bert_cls(v1, model, tokenizer) #  print(v1)   for m in range(20):     sim_work=[]     v2 = ' '.join(topic_nmf[topic_nmf['topic']==m]['topic_word'].values[:15])     v2_emb=embed_bert_cls(v2, model, tokenizer)     sim=similarity(v1_emb, v2_emb)     sim_work.append(i)     sim_work.append(m)     sim_work.append(sim)     topic_sim.append(sim_work) #topic_sim topic_sim_ds=pd.DataFrame(topic_sim,columns=['base','nmf','cos_sim']) glue = topic_sim_ds.pivot('base', 'nmf', 'cos_sim') sns.heatmap(glue, annot=True, fmt=\".1f\")    <\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/db5\/f55\/246\/db5f552466d83cbc85529957294e8240.png\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \" width=\"967\" height=\"1518\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db5\/f55\/246\/db5f552466d83cbc85529957294e8240.png\"\/><\/p>\n<div><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 <\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0430\u0440\u044b \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u043d\u044b\u0445 \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438:<\/p>\n<pre><code class=\"python\">plotWordCloud_Sklearn(topic_number=0, topics=topic_nmf) plotWordCloud_Gensim(topic_number=16, topics=lda_topics_base,head='\u0422\u043e\u043f\u0438\u043a\u0438 base ')<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/70b\/0dd\/c74\/70b0ddc749dfb0232bd98c3876df8ffe.png\" alt=\"\u0422\u043e\u043f\u0438\u043a\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\" title=\"\u0422\u043e\u043f\u0438\u043a\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\" width=\"1063\" height=\"590\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/70b\/0dd\/c74\/70b0ddc749dfb0232bd98c3876df8ffe.png\"\/><\/p>\n<div><figcaption>\u0422\u043e\u043f\u0438\u043a\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b<\/figcaption><\/div>\n<\/figure>\n<pre><code class=\"python\">plotWordCloud_Sklearn(topic_number=2, topics=topic_nmf) plotWordCloud_Gensim(topic_number=3, topics=lda_topics_base,head='\u0422\u043e\u043f\u0438\u043a\u0438 base ')<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/616\/093\/923\/6160939231cc0844dfc6d21da2009823.png\" alt=\"\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a\u043e\u0432\" title=\"\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a\u043e\u0432\" width=\"1063\" height=\"585\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/616\/093\/923\/6160939231cc0844dfc6d21da2009823.png\"\/><\/p>\n<div><figcaption>\u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u0442\u043e\u043f\u0438\u043a\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<pre><code class=\"python\">plotWordCloud_Sklearn(topic_number=17, topics=topic_nmf) plotWordCloud_Gensim(topic_number=12, topics=lda_topics_base,head='\u0422\u043e\u043f\u0438\u043a\u0438 base ')<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ff5\/75a\/2f2\/ff575a2f24d0e2a9a968dbe6d648e8b4.png\" alt=\"\u041f\u043e\u043b\u0430\u0433\u0430\u044e, \u044d\u0442\u0438 \u0434\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u0430 \u044f\u0440\u043a\u043e\u0435 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 - \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u043f\u0438\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0431\u043b\u0438\u0437\u043a\u0438\" title=\"\u041f\u043e\u043b\u0430\u0433\u0430\u044e, \u044d\u0442\u0438 \u0434\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u0430 \u044f\u0440\u043a\u043e\u0435 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 - \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u043f\u0438\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0431\u043b\u0438\u0437\u043a\u0438\" width=\"1063\" height=\"592\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff5\/75a\/2f2\/ff575a2f24d0e2a9a968dbe6d648e8b4.png\"\/><\/p>\n<div><figcaption>\u041f\u043e\u043b\u0430\u0433\u0430\u044e, \u044d\u0442\u0438 \u0434\u0432\u0430 \u0442\u043e\u043f\u0438\u043a\u0430 \u044f\u0440\u043a\u043e\u0435 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 &#8212; \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u043f\u0438\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0431\u043b\u0438\u0437\u043a\u0438<\/figcaption><\/div>\n<\/figure>\n<h3>\u041f\u043e\u0434\u0432\u0435\u0434\u0435\u043c \u0438\u0442\u043e\u0433\u0438 \u043f\u043e \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u043c\u0443 \u0438 \u0443\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u043c\u0443 <\/h3>\n<ol>\n<li>\n<p>\u0411\u044b\u043b\u0438 \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043d\u044b \u0434\u0432\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0434\u0432\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041c\u0435\u0442\u043e\u0434 \u0431\u0430\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0439\u0441\u044f \u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0430\u0440 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u043c\u044b\u0445 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u043b, \u0447\u0442\u043e \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0435 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u0435 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043b\u0438\u0448\u044c \u0432 3% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u043c \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 20, \u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439. <\/p>\n<\/li>\n<li>\n<p>\u0412 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a \u0432\u044b\u0432\u043e\u0434 \u043f.2 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0442\u043e\u043f\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0435, \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u0445 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 &#8212; <em>\u0441\u043b\u043e\u0432\u0430\u0440\u0435\u0439 \u0442\u043e\u043f\u0438\u043a\u043e\u0432<\/em> \u0438 <em>\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438<\/em>, \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f, \u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0432 50% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u0442\u044c \u044f\u0434\u0440\u043e\u043c \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430. <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0443\u0447\u0435\u0442\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 &#171;\u0441\u0432\u043e\u0434\u0438\u0442\u044c&#187; \u0442\u043e\u043f\u0438\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u043e \u0440\u0430\u0437\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c, \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0439 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0442\u043e\u043f\u0438\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/tree\/main\/topics_files\">\u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u044b \u0442\u043e\u043f\u0438\u043a\u0438 \u0434\u043b\u044f 4 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/a> \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0421\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u044b\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p>  \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/topics_files\/anekdot_topics_.zip\">\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043a \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0442\u043d\u0435\u0441\u0435\u043d<\/a>.<\/p>\n<\/li>\n<\/ol>\n<h4>\u0427\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438 \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435:<\/h4>\n<ol>\n<li>\n<p>\u0421 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c BERT \u0438\u043b\u0438 &#171;\u0445\u043e\u0440\u043e\u0448\u043e \u0443\u0442\u0440\u0430\u043c\u0431\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e&#187;  \u0432 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u0438\u0437 <a href=\"https:\/\/docs.deeppavlov.ai\/en\/master\/features\/pretrained_vectors.html\">2\u0413\u0431<\/a> \u0432 24 \u041c\u0431) FastText  \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/489474\/\">\u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438<\/a>, \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u0430, \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0430\u043b\u0433\u0435\u0431\u0440\u0443 \u043e\u0442\u043a\u0440\u044b\u0442\u0443\u044e \u0432 w2v \u043f\u0440\u0438 \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0438 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0426\u0435\u043b\u0435\u0441\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u043f\u0440\u0438\u0441\u0432\u043e\u0435\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043a \u0442\u0435\u043a\u0441\u0442\u0430\u043c, \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0442\u043e\u043f\u0438\u043a\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0442\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0439\u0442\u0438 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0443 \u0434\u043b\u044f \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u043a \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u0438 \u0441\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445.<\/p>\n<\/li>\n<li>\n<p> \u0414\u043e\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 BERT, \u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432, \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u044d\u0442\u043e \u0433\u0434\u0435-\u0442\u043e \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043c\u0430\u0445\u043d\u0443\u0442\u044c\u0441\u044f \u043d\u0430 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u0433\u0434\u0430-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c \u0441\u043c\u0435\u0448\u043d\u043e\u0435 \u043e\u0442 \u043d\u0435\u0441\u043c\u0435\u0448\u043d\u043e\u0433\u043e \u0438 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b \u0432 \u0442\u0435\u043c\u0443.<\/p>\n<\/li>\n<\/ol>\n<h3>&#8230;\u0410 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b \u0442\u043e \u0431\u0443\u0434\u0443\u0442? <\/h3>\n<p>\u0410\u043d\u0435\u043a\u0434\u043e\u0442\u044b \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0431\u0443\u0434\u0443\u0442. \u0414\u043b\u044f \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/functions.ipynb\">\u0435\u0441\u0442\u044c <\/a>\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f <strong>&#171;\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432&#187;,<\/strong> \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0449\u0430\u044f \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b, \u043f\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c\u0443 \u0442\u043e\u043f\u0438\u043a\u0443 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<pre><code class=\"python\">joke_generator(ds_line,9,10,'topic_nmf')<\/code><\/pre>\n<p> \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0435, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0442\u0430\u043a\u043e\u0435:  <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1ff\/a9a\/9d9\/1ffa9a9d9864c151dcb54aa107a5afce.png\" alt=\"10 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u043a \u0442\u043e\u043f\u0438\u043a\u0443 \u0441 id 9 \u043c\u043e\u0434\u0435\u043b\u0438 &quot;topic_nmf&quot;\" title=\"10 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u043a \u0442\u043e\u043f\u0438\u043a\u0443 \u0441 id 9 \u043c\u043e\u0434\u0435\u043b\u0438 &quot;topic_nmf&quot;\" width=\"1517\" height=\"589\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ff\/a9a\/9d9\/1ffa9a9d9864c151dcb54aa107a5afce.png\"\/><\/p>\n<div><figcaption>10 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u043a \u0442\u043e\u043f\u0438\u043a\u0443 \u0441 id 9 \u043c\u043e\u0434\u0435\u043b\u0438 &#171;topic_nmf&#187;<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u0430, \u0438 \u043f\u043e\u0436\u0430\u043b\u0443\u0439 \u043f\u043e\u0439\u0434\u0443 \u043f\u043e\u0447\u0438\u0442\u0430\u044e \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b. \u0412\u0441\u0435\u043c \u0441\u043f\u0430\u0441\u0438\u0431\u043e.<\/p>\n<hr\/>\n<p><em>\u041a\u0441\u0442\u0430\u0442\u0438, <\/em><a href=\"https:\/\/otus.pw\/HPrG\/\"><em>\u043f\u043e \u044d\u0442\u043e\u0439 \u0441\u0441\u044b\u043b\u043a\u0435<\/em><\/a><em> \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u044c \u0432\u0435\u0431\u0438\u043d\u0430\u0440\u0430 \u043f\u0440\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f NLP.<\/em>  <\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/723306\/\"> https:\/\/habr.com\/ru\/articles\/723306\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041a\u0435\u0439\u0441 \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0440\u0435\u0434\u0441\u0442\u0432 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 <a href=\"https:\/\/archive.org\/details\/120_tysyach_anekdotov\">\u0430\u043d\u0435\u043a\u0434\u043e\u0442\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c<\/a><a href=\"https:\/\/archive.org\/stream\/120_tysyach_anekdotov\/anek_djvu.txt\"> <\/a>\u044f\u0437\u044b\u043a\u0435. \u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0435 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0438\u0445 \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u044b, \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a Gensim \u0438 Sklearn <\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<p>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430.<\/p>\n<p>\u041d\u043e \u043e\u0431\u043e \u0432\u0441\u0435\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<h3>\u0414\u0432\u0430 \u0441\u043b\u043e\u0432\u0430 \u0437\u0430\u0447\u0435\u043c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043d\u0435 \u044d\u0442\u043e \u043d\u0430\u0434\u043e<\/h3>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u043f\u043e\u0434 \u0432\u043b\u0438\u044f\u043d\u0438\u0435\u043c \u043a\u0443\u0440\u0441\u0430 \u043f\u043e<a href=\"https:\/\/otus.pw\/HPrG\/\"> NLP<\/a> . \u041f\u0440\u0438\u0437\u043d\u0430\u044e\u0441\u044c, \u043c\u0435\u043d\u044f \u0437\u0430\u0432\u043e\u0440\u0430\u0436\u0438\u0432\u0430\u0435\u0442 \u043c\u0430\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c  \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 NLP \u043f\u0440\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0438 \u0441\u043b\u043e\u0432 \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u044b \u043d\u0435\u0441\u0443\u0449\u0438\u0435 \u0441\u043c\u044b\u0441\u043b\u044b.<\/p>\n<p>\u041c\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u044d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0438\u043e\u0431\u0449\u0438\u0442\u044c\u0441\u044f, \u043a \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u044d\u0442\u0438\u0445 \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u0438\u043a\u043e\u0432 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u043e\u043a\u0430 \u0435\u0449\u0435 \u0441\u043a\u0440\u043e\u043c\u043d\u043e\u0439 \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u043e\u0439 \u043f\u0430\u043b\u043e\u0447\u043a\u043e\u0439. \u0412 \u0441\u0432\u043e\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e Data Science \u0438 Machine Learning, \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0430\u043c \u0432\u0441\u0435 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0431\u0435\u0437\u0443\u043c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0434\u043b\u044f \u043f\u044b\u0442\u043b\u0438\u0432\u043e\u0433\u043e \u0443\u043c\u0430, \u043d\u043e NLP \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435&#8230;. \u044d\u0442\u043e \u0438\u0433\u0440\u0430 \u043d\u0430 \u043f\u043e\u043b\u0435 \u0418\u0418 \u0438 \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442  \u0436\u0438\u0437\u043d\u044c \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u0438 \u043a \u0447\u0435\u043c\u0443 \u0435\u0449\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c\u0441\u044f.<\/p>\n<h3>\u0412\u043c\u0435\u0441\u0442\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f: \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h3>\n<details class=\"spoiler\">\n<summary>\u0422\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u00a0(topic model)<\/summary>\n<div class=\"spoiler__content\">\n<p>\u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u043a \u043a\u0430\u043a\u0438\u043c \u0442\u0435\u043c\u0430\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432. \u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0432\u044b\u0434\u0430\u0451\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u043e\u0432\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0437 \u043e\u0446\u0435\u043d\u043e\u043a \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0442\u0435\u043c. \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0440\u0430\u0432\u043d\u0430\u044f \u0447\u0438\u0441\u043b\u0443 \u0442\u0435\u043c, \u043c\u043e\u0436\u0435\u0442 \u043b\u0438\u0431\u043e \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434\u0435, \u043b\u0438\u0431\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0442\u0435\u043c\u0430\u043c. \u0422\u0435\u043c\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u0443\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u044d\u0442\u0438 \u0442\u0435\u043c\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c <em>\u0447\u0438\u0441\u043b\u043e \u0442\u0435\u043c<\/em>, <em>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u043e\u0442 \u0441\u043b\u043e\u0432<\/em>, <em>\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u043e\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u0435\u043c\u044b<\/em>, <em>\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u2014 \u0432 \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u043d \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0442\u0435\u043c.<\/em><\/p>\n<p>\u0412\u0445\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0430 \u0432\u044b\u0445\u043e\u0434\u043e\u043c \u2014 \u043d\u0430\u0431\u043e\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043a \u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u0435\u043c\u0435. \u0424\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,\u00a0<a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%A2%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5\">\u0432\u043e\u0442 \u0437\u0434\u0435\u0441\u044c<\/a>, \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0432\u00a0<a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29\">\u043a\u0443\u0440\u0441\u0435 \u041a.\u00a0\u0412.\u00a0\u0412\u043e\u0440\u043e\u043d\u0446\u043e\u0432\u0430<\/a>.  <\/p>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0422\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/strong>\u00a0(topic modeling) \u2014 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0426\u0435\u043b\u044c\u044e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0445 \u0442\u0435\u043c, \u0442\u0430\u043a \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0439 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439; \u0430\u043d\u0430\u043b\u0438\u0437 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432; <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%A0%D1%83%D0%B1%D1%80%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F&amp;action=edit\">\u0440\u0443\u0431\u0440\u0438\u043a\u0430\u0446\u0438\u044f<\/a>\u00a0\u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0439 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0432\u0438\u0434\u0435\u043e, \u043c\u0443\u0437\u044b\u043a\u0438; <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%90%D0%BD%D0%BD%D0%BE%D1%82%D0%B0%D1%86%D0%B8%D1%8F_%D0%B3%D0%B5%D0%BD%D0%BE%D0%BC%D0%B0&amp;action=edit\">\u0430\u043d\u043d\u043e\u0442\u0430\u0446\u0438\u044f \u0433\u0435\u043d\u043e\u043c\u0430<\/a>\u00a0\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438\u00a0<a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%91%D0%B8%D0%BE%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0\">\u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0438<\/a>;  <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B0%D0%B1%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%B0%D1%8F_%D1%84%D0%B8%D0%BB%D1%8C%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F\">\u043a\u043e\u043b\u043b\u0430\u0431\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f<\/a>, \u0432 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445<\/p>\n<\/div>\n<\/details>\n<h2>\u041f\u043b\u0435\u0447\u0438 \u0433\u0438\u0433\u0430\u043d\u0442\u043e\u0432<\/h2>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 <a href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/503398\/\">https:\/\/habr.com\/ru\/company\/otus\/blog\/503398\/<\/a> \u043c\u043d\u0435 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u0430\u0441\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043f\u044b\u0442\u0430\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0438 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0443\u0440\u043e\u043a <a href=\"https:\/\/otus.pw\/jl0B\/\">\u0410\u043d\u0430\u043b\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0412\u043a\u043e\u043d\u0442\u0430\u043a\u0442\u0435 \/\/ \u0411\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0443\u0440\u043e\u043a OTUS<\/a> \u0431\u044b\u043b \u0442\u0435\u043c \u043c\u043e\u0442\u0438\u0432\u0430\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0430\u043b \u043c\u043d\u0435 \u0441\u0438\u043b\u044b \u0438 \u0442\u0435\u0440\u043f\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0441\u0442, \u043d\u043e \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0438 5 \u043a\u043e\u043f\u0435\u0435\u043a.<\/p>\n<h4>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0434\u0430\u043d\u043d\u044b\u0435<\/h4>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0432\u0435\u0441\u044c \u043a\u043e\u0434 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u043f\u044b\u0442\u043b\u0438\u0432\u044b\u0435 \u0443\u043c\u044b \u0441\u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u043c\u043e\u0439 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\">GitHub<\/a>.<\/p>\n<p><a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/c3d6c132885d1b93a79f57ff2549319d698473e3\/for_install.ipynb\">\u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438<\/a><\/p>\n<p><a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/functions.ipynb\">\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438<\/a><\/p>\n<p><a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/anek_utf8.zip\">\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0414\u0430\u0442\u0430\u0441\u0435\u0442<\/a><\/p>\n<details class=\"spoiler\">\n<summary>\u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438 \u0442\u0430\u043a&#8230;<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041d\u0435\u0442\u0435\u0440\u043f\u0435\u043b\u0438\u0432\u044b\u0435, \u043d\u0430\u0439\u0434\u0443\u0442 \u0442\u0430\u043c \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u0435\u0441\u043b\u0438 \u0437\u0430\u0445\u043e\u0442\u044f\u0442 \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c  (\u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u0438 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u0442.\u0435. \u043d\u0430 \u0434\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e \u0438 GitHub)<\/p>\n<\/div>\n<\/details>\n<h3>\u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 pymorphy2. <\/p>\n<pre><code class=\"python\">nltk_download(\"punkt\") !wget https:\/\/raw.githubusercontent.com\/dhhse\/dh2020\/master\/data\/stop_ru.txt with open (\"stop_ru.txt\", \"r\") as stop_ru:     rus_stops = [word.strip() for word in stop_ru.readlines()] punctuation = '!\\\"#$%&amp;\\'()*+,-.\/:;&lt;=>?@[\\]^_`{|}~\u2014\u00bb\u00ab...\u2013'     filter_token = rus_stops + list (punctuation)  from pymorphy2 import MorphAnalyzer parser = MorphAnalyzer() text = input_text.lower() tokenized_text = word_tokenize(text) clean_text = [word for word in tokenized_text if word not in filter_token] lemmatized_text = [parser.parse(word)[0].normal_form for word in clean_text] <\/code><\/pre>\n<p>\u0421 \u0435\u0435 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u044b \u043f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043c \u0441\u043b\u043e\u0432\u0430 \u0432 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f &#171;\u043c\u0435\u0448\u043a\u0430 \u0441\u043b\u043e\u0432&#187;.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435  \u0438 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 Gensim \u0438 \u0435\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/p>\n<pre><code class=\"python\">import gensim from gensim import corpora, models from ast import literal_eval<\/code><\/pre>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e corpora \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438\u0437 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u041f\u043e\u0441\u043b\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435 \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0438 \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0435\u0442\u043e\u0434 <em>filter_extremes<\/em>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u044b <em>no_above<\/em> (\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u0431\u043e\u043b\u0435\u0435, \u0447\u0435\u043c \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432) \u0438 <em>no_below<\/em> (\u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0447\u0435\u043c \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432). \u041f\u043e\u0441\u043b\u0435 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043b\u0438\u0448\u043d\u0438\u0445 \u0441\u043b\u043e\u0432 \u0443\u0436\u0438\u043c\u0430\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0445 (\u0443\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0438) \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 <em>compactify<\/em>.<\/p>\n<pre><code class=\"python\">dictionary = gensim.corpora.Dictionary(ds_line[\"text_processed\"].values) # \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0438\u0437 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432              print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0434\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary))) dictionary.filter_extremes(no_below=3, no_above=0.4, keep_n=3*10**6) dictionary.compactify() print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary))) print(dictionary)<\/code><\/pre>\n<figure class=\"full-width\">\n<div><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f<\/p>\n<pre><code class=\"python\">corpus = [dictionary.doc2bow(text) for text in ds_line['text_processed']]<\/code><\/pre>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043a \u0442\u0430\u043a\u043e\u043c\u0443 \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0443 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0438 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 <em>\u0431\u0438\u0433\u0440\u0430\u043c\u043c\u044b<\/em> (\u043f\u043e\u043f\u0430\u0440\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438) , \u0438\u0434\u0435\u0438 \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0447\u0435\u0440\u043f\u043d\u0443\u0442\u044b \u0438\u0437\u00a0<a href=\"https:\/\/www.youtube.com\/watch?v=0DnfzQdbwQw\">\u0410\u043d\u0430\u043b\u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445..<\/a>. <\/p>\n<p>\u041d\u0435 \u0431\u0443\u0434\u0443 \u0437\u0434\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u0430\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <em>\u0431\u0438\u0433\u0440\u0430\u043c\u043c<\/em>, \u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0432\u0448\u0438\u0439 \u0435\u0433\u043e, \u043f\u0440\u043e\u0437\u043e\u0440\u043b\u0438\u0432\u043e \u0443\u0447\u0435\u043b \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u0443\u044e \u0441\u0432\u044f\u0437\u043a\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043b\u0438\u044f\u0435\u0442 \u0438 \u043d\u0430 \u0438\u0445 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e &#171;\u043c\u0435\u0448\u043a\u0430 \u0441\u043b\u043e\u0432&#187;.<\/p>\n<pre><code class=\"python\"># Build the bigram  models texts=(ds_line[\"text_processed\"]) bigram = models.Phrases(texts, min_count=3, threshold=5) bigram_mod = models.phrases.Phraser(bigram) texts_bi = make_bigrams(texts) dictionary_bi = corpora.Dictionary(texts_bi)                 # \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0438\u0437 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0431\u0438\u0433\u0440\u0430\u043c\u043c \u0441\u043b\u043e\u0432 \u043f\u0440\u0435\u0434\u043b\u0436\u0435\u043d\u0438\u0439 print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0434\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary_bi))) dictionary_bi.filter_extremes(no_below=3, no_above=0.4, keep_n=3*10**6) print('\u0420\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u043b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438: {}'.format(len(dictionary_bi))) corpus_bi = [dictionary_bi.doc2bow(text) for text in texts_bi]  # \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043e\u0440\u043f\u0443\u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c\u0443 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0431\u0438\u0433\u0440\u0430\u043c\u043c<\/code><\/pre>\n<figure class=\"full-width\">\n<div><figcaption>\u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u0430\u043c<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\">\n<div><figcaption>\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0440\u0435\u0439<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>\u0412\u043e\u043f\u0440\u043e\u0441 &#171;\u0425\u043e\u0440\u043e\u0448\u043e \u0438\u043b\u0438 \u043f\u043b\u043e\u0445\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u043b\u043e\u0432\u0430\u0440\u044f?&#187;<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f &#8212; \u0443\u0441\u043b\u043e\u0436\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u0441 \u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0435\u0440\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0412\u043e \u0432\u0441\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u0431\u0430\u043b\u0430\u043d\u0441<\/p>\n<\/div>\n<\/details>\n<h3>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u043c, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 Latent Dirichlet allocation (LDA) \u0438\u0437 Gensim<\/h3>\n<details class=\"spoiler\">\n<summary>Latent Dirichlet allocation (LDA)<\/summary>\n<div class=\"spoiler__content\">\n<p>\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u043a \u0438\u043c\u0435\u0435\u0442 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u043f\u0440\u0438\u043e\u0440\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0414\u0438\u0440\u0438\u0445\u043b\u0435.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0442\u0430\u043a \u043c\u0430\u0442\u0440\u0438\u0446 W \u0438 H , \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043a \u043c\u0430\u0442\u0440\u0438\u0446\u0435 V. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 &#8212; \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 &#8212; \u0442\u043e\u043a\u0435\u043d, \u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e: W \u044d\u0442\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 &#8212; \u0442\u043e\u043f\u0438\u043a. \u0430 H \u0442\u043e\u043f\u0438\u043a\u0438 &#8212; \u0442\u043e\u043a\u0435\u043d\u044b<\/figcaption><\/div>\n<\/figure>\n<p> \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0414\u0438\u0440\u0438\u0445\u043b\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u0411\u0435\u0442\u0430\u2011\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u00a0\u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439<\/p>\n<\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043f\u0430\u0440 corpus,dictionary.<\/p>\n<p>\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e <em>number_topics<\/em> \u043f\u043e\u043a\u0430 \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0432\u043d\u044b\u043c 20, \u0432\u043e\u043f\u0440\u043e\u0441 \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439.<\/p>\n<pre><code class=\"python\">ldamodel_base=lda_model_gensim(corpus,dictionary,number_topics) ldamodel_base.save('lda_20_base') ldamodel_bi=lda_model_gensim(corpus_bi,dictionary_bi,number_topics) ldamodel_bi.save('lda_20_bi')<\/code><\/pre>\n<p>\u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0435\u043c\u043a\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u0430\u043a <em>\u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c<\/em>, \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u044d\u0442\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u0435\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043d\u0435\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0442\u0435\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u0442\u043e\u043f\u0438\u043a\u0430\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u0438 \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c.<\/summary>\n<div class=\"spoiler__content\">\n<p>UDP \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442 180 \u0442\u0435\u043c, \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0438\u0437\u0431\u044b\u0442\u043e\u0447\u043d\u043e \u043d\u043e&#8230;. \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438 \u043f\u0440\u0430\u0432\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 20. <\/p>\n<p>\u0410 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 &#8212; 20 \u0438 \u0442\u043e\u0447\u043a\u0430.<\/p>\n<\/div>\n<\/details>\n<h3>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0442\u043e\u043f\u0438\u043a\u043e\u0432<\/h3>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0432\u0437\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c.<\/p>\n<p>\u0412 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 Gensim \u0435\u0441\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c\u0430\u043c\u0438. \u0415\u0451 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0442\u0435\u043c\u044b \u0438 \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u043a\u0430\u043a\u0438\u0435 \u0442\u043e\u043f\u0438\u043a\u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u0438.<\/p>\n<p>\u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u0441\u0430\u043c\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u044f \u043c\u043e\u0433\u0443 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443, \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u044d\u0442\u043e\u0442 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442. <\/p>\n<figure class=\"full-width\">\n<div><figcaption>gensimvis<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u043e\u0442 \u0436\u0435, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 &#171;\u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f&#187; \u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432: <\/p>\n<p>&#171;base&#187; &#8212; \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437 BOW<\/p>\n<p>&#171;bi&#187; &#8212; \u0438\u0437 \u0431\u0438\u0433\u0440\u0430\u043c\u043c<\/p>\n<p>\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c\u0443 \u0440\u0430\u0437\u0434\u0435\u043b\u0443 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/tree\/main\/gensim_vis\">GitHub<\/a>.<\/p>\n<p>\u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 &#171;\u0438\u0433\u0440\u043e\u0432\u043e\u0439&#187; \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043f\u0438\u043a\u043e\u0432, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0442\u043e\u043f\u0438\u043a\u0438: \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u043e\u0431\u043b\u0430\u043a\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0432 \u0442\u043e\u043f\u0438\u043a\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0443, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0447\u0430\u0441\u0442\u044c, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 &#171;\u043e\u0431\u043b\u0430\u043a\u043e\u0432&#187; \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 <a href=\"https:\/\/github.com\/Vl-Leschinskii\/jokes_topics\/blob\/main\/topic_clouds\/%D1%82%D0%BE%D0%BF%D0%B8%D0%BA%D0%B8%20gensim_habr.docx\">\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u0430\u0445 \u0432 GitHub<\/a>.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0432\u0438\u0434\u043d\u043e, \u0442\u043e\u043f\u0438\u043a\u0438 \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u044d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u043e\u0439 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u043f\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.   <\/figcaption><\/div>\n<\/figure>\n<h3>\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0440\u0430\u0437\u0432\u0435\u0434\u043e\u0447\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430<\/h3>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-412256","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/412256","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=412256"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/412256\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=412256"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=412256"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=412256"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}