{"id":314063,"date":"2020-11-30T21:00:27","date_gmt":"2020-11-30T21:00:27","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=314063"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=314063","title":{"rendered":"\u0423\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u043c \u0432 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u043e Data Science. \u041f\u0435\u0440\u0432\u044b\u0439 \u043e\u043f\u044b\u0442"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440!<\/p>\n<p>  \u0414\u0430\u0432\u043d\u043e \u044f \u043d\u0435 \u043f\u0438\u0441\u0430\u043b \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438, \u0432\u043e\u0442 \u0434\u0443\u043c\u0430\u044e, \u043f\u0440\u0438\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e \u0442\u0430\u043c, \u043a\u0430\u043a \u043c\u043d\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u043e data science, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u043e \u0445\u043e\u0434\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0431\u0435\u0437\u044b\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441\u0430 \u0438 \u041c\u0424\u0422\u0418 \u00ab\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb. \u041f\u0440\u0430\u0432\u0434\u0430, \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e\u0441\u0442\u0438 \u0440\u0430\u0434\u0438 \u043d\u0430\u0434\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0437\u043d\u0430\u043d\u0438\u044f \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u2014 \u0441\u043f\u0435\u0446\u0443\u0445\u0430 \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0430 \ud83d\ude42 \u041e\u0434\u043d\u0430\u043a\u043e, \u0440\u0435\u0448\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e. \u0418\u043b\u0438 \u043d\u0443\u0436\u043d\u043e? \u041d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0442, \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0443 \u0430\u0431\u0437\u0430\u0446\u0435\u0432. <\/p>\n<p>  \u0418\u0442\u0430\u043a, \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0443\u0432\u0430\u0436\u0430\u0435\u043c\u043e\u043c\u0443 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044e \u043e \u0441\u0432\u043e\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u0443\u0447\u0430\u0441\u0442\u0438\u044f \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438. \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0435\u0439 \u0446\u0435\u043b\u044c\u044e \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u044b\u043b\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u043f\u0440\u0438\u0437\u043e\u0432\u044b\u0445 \u043c\u0435\u0441\u0442. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u0438\u043b\u044b \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \ud83d\ude42 \u0414\u0430, \u0432 \u0434\u043e\u0431\u0430\u0432\u043e\u043a \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u043b\u0430\u0441\u044c \u0441 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c \u0438\u0437 \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u043e\u0432. \u042d\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0441 \u044d\u0442\u0438\u043c \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u043b\u043e \u0435\u0449\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u0438 \u0446\u0435\u043d\u043d\u0435\u0435 \u043e\u043f\u044b\u0442 \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u0442\u0443\u0434\u0430. <\/p>\n<p>  \u041f\u043e \u0441\u043b\u043e\u0436\u0438\u0432\u0448\u0435\u0439\u0441\u044f \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u0438, \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0443 \u043a\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0435\u0441\u043b\u0438 \u0412\u044b \u0443\u0436\u0435 \u043f\u0440\u043e\u0448\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0430 \u043a\u0443\u0440\u0441\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u0438\u043b\u044b \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u043d\u043e \u0441\u0442\u0435\u0441\u043d\u044f\u0435\u0442\u0435\u0441\u044c \u0438 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0438 \u0412\u0430\u0441 \u0437\u0430\u0441\u043c\u0435\u044e\u0442 \u0438 \u0442.\u0434. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a\u0438\u0435 \u043e\u043f\u0430\u0441\u0435\u043d\u0438\u044f, \u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u0440\u0430\u0437\u0432\u0435\u044f\u0442\u0441\u044f. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0412\u044b \u0440\u0435\u0448\u0430\u0435\u0442\u0435 \u0441\u0445\u043e\u0436\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0437\u043d\u0430\u0435\u0442\u0435 \u0441 \u0447\u0435\u0433\u043e \u0437\u0430\u0439\u0442\u0438. \u0410 \u0437\u0434\u0435\u0441\u044c \u0433\u043e\u0442\u043e\u0432\u0435\u043d\u044c\u043a\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u0438\u0439, \u043a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0430\u0439\u043d\u0442\u0438\u0441\u0442\u044b, \u0431\u044d\u0439\u0437\u043b\u0430\u0439\u043d \ud83d\ude42<br \/>  <a name=\"habracut\"><\/a><br \/>  \u0417\u0434\u0435\u0441\u044c \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u043e \u0431\u044b \u0443\u0436\u0435 \u0438\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u043f\u043b\u0430\u043d \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u043e \u043c\u044b \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u043b\u0435\u0447\u0435\u043c\u0441\u044f \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0430\u0431\u0437\u0430\u0446\u0430 \u2014 \u043d\u0443\u0436\u043d\u043e \u043b\u0438 \u043d\u043e\u0432\u0438\u0447\u043a\u0443 \u0432 \u0434\u0430\u0442\u0430\u0441\u0430\u0439\u043d\u0441\u0435 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u0438\u043b\u044b \u0432 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u0445. \u041c\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u0442 \u0441\u0447\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f. \u041b\u0438\u0447\u043d\u043e \u043c\u043e\u0435 \u043c\u043d\u0435\u043d\u0438\u0435 \u2014 \u043d\u0443\u0436\u043d\u043e! \u041e\u0431\u044a\u044f\u0441\u043d\u044e \u043f\u043e\u0447\u0435\u043c\u0443. \u041f\u0440\u0438\u0447\u0438\u043d \u043c\u043d\u043e\u0433\u043e, \u0432\u0441\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0443, \u0443\u043a\u0430\u0436\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0435. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0437\u0430\u043a\u0440\u0435\u043f\u0438\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0430 \u043c\u043e\u0435\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430, \u043e\u043f\u044b\u0442, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0432 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0445 \u043a \u0431\u043e\u0435\u0432\u044b\u043c, \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u043e\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0435 \u043f\u043e\u0434\u0432\u0438\u0433\u0438. \u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u0438 \u044d\u0442\u043e \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u2014 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0439 \u0443 \u0412\u0430\u0441 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c\u0438 \u0432 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0430\u0442\u0430\u0445, \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u043d\u0435 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c, \u043e \u0447\u0435\u043c \u043f\u0438\u0448\u0443\u0442 \u043b\u044e\u0434\u0438 \u0438 \u044d\u0442\u043e \u0430) \u0447\u0430\u0441\u0442\u0435\u043d\u044c\u043a\u043e \u043d\u0430\u0432\u043e\u0434\u0438\u0442 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043c\u044b\u0441\u043b\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0438 \u0431) \u043f\u0440\u0438\u0434\u0430\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0438 \u0441\u0432\u043e\u0438\u0445 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0438\u0434\u0435\u0439, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0447\u0430\u0442\u0435. \u041a \u044d\u0442\u0438\u043c \u043f\u043b\u044e\u0441\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442\u044c \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u043e \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0437\u043d\u0430\u043d\u0438\u044f\u2026<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u0440\u0435\u0448\u0438\u043b\u0441\u044f \u043d\u0430 \u0443\u0447\u0430\u0441\u0442\u0438\u0435. \u041e \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u044f \u0443\u0437\u043d\u0430\u043b \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439 \u0434\u043e \u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430. \u041f\u0435\u0440\u0432\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u00ab\u043d\u0443 \u0435\u0441\u043b\u0438 \u0431\u044b \u044f \u0437\u043d\u0430\u043b \u043e \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u0435\u0441\u044f\u0446 \u043d\u0430\u0437\u0430\u0434, \u0442\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0441\u044f \u0431\u044b, \u043f\u043e \u0438\u0437\u0443\u0447\u0430\u043b \u0431\u044b \u043a\u0430\u043a\u0438\u0435-\u043d\u0438\u0431\u0443\u0434\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a, \u0431\u0435\u0437 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u043c\u043e\u0433\u0443 \u043d\u0435 \u0443\u043b\u043e\u0436\u0438\u0442\u044c\u0441\u044f \u0432 \u0441\u0440\u043e\u043a\u0438&#8230;\u00bb, \u0432\u0442\u043e\u0440\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u00ab\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u0435\u0441\u043b\u0438 \u0446\u0435\u043b\u044c\u044e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u043f\u0440\u0438\u0437, \u0430 \u0443\u0447\u0430\u0441\u0442\u0438\u0435, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435, \u0447\u0442\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0438 \u0432 95% \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u043f\u043b\u044e\u0441 \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0447\u0430\u0442\u044b \u0434\u043b\u044f \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f, \u0431\u0443\u0434\u0443\u0442 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0432\u0435\u0431\u0438\u043d\u0430\u0440\u044b \u043e\u0442 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432. \u0412 \u043a\u043e\u043d\u0446\u0435 \u043a\u043e\u043d\u0446\u043e\u0432, \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u0436\u0438\u0432\u0443\u044e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0430\u0439\u043d\u0442\u0438\u0441\u0442\u043e\u0432 \u0432\u0441\u0435\u0445 \u043c\u0430\u0441\u0442\u0435\u0439 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432&#8230;\u00bb. \u041a\u0430\u043a \u0432\u044b \u0434\u043e\u0433\u0430\u0434\u0430\u043b\u0438\u0441\u044c, \u0432\u0442\u043e\u0440\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430, \u0438 \u043d\u0435 \u0437\u0440\u044f \u2014 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439 \u043f\u043b\u043e\u0442\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0446\u0435\u043d\u043d\u0435\u0439\u0448\u0438\u0439 \u043e\u043f\u044b\u0442 \u043f\u0443\u0441\u0442\u044c \u0438 \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u043e\u0439, \u043d\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0435\u0431\u0435 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0435\u0441\u043b\u0438 \u0412\u044b \u043d\u0430 \u043f\u0443\u0442\u0438 \u043f\u043e\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0448\u0438\u043d \u043d\u0430\u0443\u043a\u0438 \u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0432\u0438\u0434\u0438\u0442\u0435 \u043d\u0430\u043c\u0435\u0447\u0430\u044e\u0449\u0435\u0435\u0441\u044f \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0435, \u0434\u0430 \u043d\u0430 \u0440\u043e\u0434\u043d\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0441 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0432 \u0447\u0430\u0442\u0430\u0445 \u0438, \u0443 \u0412\u0430\u0441 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u2014 \u043d\u0435 \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u0439\u0442\u0435\u0441\u044c \u043d\u0430\u0434\u043e\u043b\u0433\u043e \u2014 \u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u0438 \u0434\u0430 \u043f\u0440\u0438\u0431\u0443\u0434\u0435\u0442 \u0441 \u0412\u0430\u043c\u0438 \u0441\u0438\u043b\u0430! \u041d\u0430 \u043c\u0430\u0436\u043e\u0440\u043d\u043e\u0439 \u043d\u043e\u0442\u0435 \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0437\u0430\u0434\u0430\u0447\u0435 \u0438 \u043f\u043b\u0430\u043d\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<h2>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439<\/h2>\n<p>  \u041d\u0435 \u0431\u0443\u0434\u0435\u043c \u043c\u0443\u0447\u0438\u0442\u044c \u0441\u0435\u0431\u044f \u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0441 \u0432\u044d\u0431 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f.  <\/p>\n<h3>\u0417\u0430\u0434\u0430\u0447\u0430<\/h3>\n<p>  \u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u043d\u043e\u0432\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0421\u0418\u0411\u0423\u0420\u0443 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u0445 \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432. \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043e\u0448\u0438\u0431\u043a\u0438, \u0431\u044b\u0442\u044c \u0430\u0444\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0441 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c\u0438, \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u0421\u0418\u0411\u0423\u0420\u0443.<\/p>\n<p>  \u0414\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u0445, \u0421\u0418\u0411\u0423\u0420\u0443 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u043d\u0430\u0442\u044c, \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043b\u0438 \u0434\u0432\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f (\u0442.\u0435. \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u0430\u0444\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c).<\/p>\n<p>  \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0421\u0418\u0411\u0423\u0420 \u0441\u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u0430\u043c\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u043e\u0431 \u0430\u0444\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u0445, \u043d\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u0438\u043b\u0438 \u043d\u0435 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u0434\u043e\u0447\u0435\u0440\u043d\u0438\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>  \u0422\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043f\u0430\u0440\u044b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 (\u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445) \u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443.<\/p>\n<p>  \u0420\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e, \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u2014 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438. \u0412\u0430\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0443\u044e, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043b\u0438 \u0434\u0432\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u043c\u0438. \u041c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u2014 F1.<\/p>\n<p>  \u0412 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u043e\u0436\u043d\u043e \u0438 \u0434\u0430\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u043e\u0433\u0430\u0449\u0435\u043d\u0438\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438\u043b\u0438 \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0432\u0430\u0436\u043d\u043e\u0439 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0430\u0444\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<h3>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0437\u0430\u0434\u0430\u0447\u0435<\/h3>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0420\u0430\u0441\u043a\u0440\u043e\u0439 \u043c\u0435\u043d\u044f \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438<\/b>                         <\/p>\n<div class=\"spoiler_text\">\u0410\u0444\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0438\u0435 \u043e\u0434\u043d\u043e\u043c\u0443 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u0443 \u0438\u043b\u0438 \u0433\u0440\u0443\u043f\u043f\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0441\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430: \u0421\u0438\u0431\u0443\u0440 \u041d\u0435\u0444\u0442\u0435\u0445\u0438\u043c, \u041e\u041e\u041e \u0421\u0438\u0431\u0443\u0440, Sibur Digital, \u0421\u0418\u0411\u0423\u0420 \u0418\u0422, Sibur international GMBH \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u043c\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0430\u0444\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u201c\u0421\u0438\u0431\u0438\u0440\u044c International GMBH\u201d \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f.<br \/>  \u041d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043c\u043e\u0433\u0443\u0442 \u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445: \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c, \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445.<br \/>  \u0412 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u043e\u043f\u0435\u0447\u0430\u0442\u043a\u0438 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u0440\u0430\u043d \u0438 \u043f\u0440\u043e\u0432\u0438\u043d\u0446\u0438\u0439.<br \/>  \u041f\u0443\u0431\u043b\u0438\u0447\u043d\u0430\u044f (50%) \u0438 \u043f\u0440\u0438\u0432\u0430\u0442\u043d\u0430\u044f (50%) \u0447\u0430\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u044e\u0442\u0441\u044f.<\/p>\n<h3>\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432<\/h3>\n<p>  <b>\u0411\u0435\u0437\u0432\u043e\u0437\u043c\u0435\u0437\u0434\u043d\u043e\u0441\u0442\u044c<\/b> \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u0435\u043d \u0434\u043b\u044f \u0432\u0441\u0435\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u043a \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f.<\/p>\n<p>  <b>\u0412\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c<\/b> \u0423 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0432\u0430\u0448 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u0430 1 \u0434\u0435\u043d\u044c \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 1 000 000 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439.<br \/>  \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f (\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439). \u041a \u0442\u043e\u043c\u0443 \u0436\u0435, \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0441\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u043e\u0432 \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u0440\u043e\u0433\u0438\u0445 \u043b\u0438\u043c\u0438\u0442\u043e\u0432 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u043c \u0432\u0435\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n<p>  <b>\u041f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c<\/b> \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0437\u0430\u044f\u0432\u043b\u0435\u043d \u0432 \u0447\u0430\u0442\u0435 \u0434\u043e 24:00 6 \u0434\u0435\u043a\u0430\u0431\u0440\u044f 2020 \u0441 \u0445\u044d\u0448\u0442\u0435\u0433\u043e\u043c #\u0432\u043d\u0435\u0448\u043d\u0438\u0435\u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043e\u0434\u043e\u0431\u0440\u0435\u043d \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430\u043c\u0438.<\/p>\n<p>  <b>\u0414\u043e\u0431\u0440\u043e\u0441\u043e\u0432\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u044c<\/b> \u0421\u043f\u043e\u0441\u043e\u0431, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c, \u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0430\u0440\u0443\u0448\u0430\u0442\u044c \u0437\u0430\u043a\u043e\u043d\u044b \u0420\u0424 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430.<br \/>  \u0415\u0441\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e \u0441\u0430\u0439\u0442\u0430 \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430\u043c\u0438 \u0441\u0430\u0439\u0442\u0430, \u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e.<\/p>\n<p>  \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u043e \u0432 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0439 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c \u043d\u0435\u0442, \u0442\u043e \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.<\/p>\n<p>  \u041e\u0434\u0438\u043d \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u044f\u0432\u0438\u0442\u044c \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 10 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<p>  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 API \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0442 \u043f\u0443\u043d\u043a\u0442\u0443 2.<\/p>\n<h3>\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u0440\u043e\u0433\u0438\u0445 \u0437\u0430\u043c\u0435\u043d, \u0440\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0432\u0440\u0443\u0447\u043d\u0443\u044e, \u0432 \u0442.\u0447. \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c crowdsource<\/h3>\n<p>  \u0412\u0441\u0435 \u201c\u0440\u0443\u0447\u043d\u044b\u0435\u201d \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0431\u0435\u0437 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f crowdsource \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c \u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432. \u0412\u0440\u044f\u0434 \u043b\u0438 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u044d\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0438\u0433\u0440\u0430\u0442\u044c \u0447\u0435\u0441\u0442\u043d\u043e:)<\/p>\n<p>  \u0417\u0430\u043c\u0435\u043d\u044b \u043e\u0431\u0449\u0435\u0433\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0435\u0437 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0439, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0438\u0445 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435.<\/p>\n<p>  \u042d\u0442\u043e \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f legel entities, \u0441\u0442\u0440\u0430\u043d, \u0433\u043e\u0440\u043e\u0434\u043e\u0432 \u0438 \u0442.\u0434. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 Industries \u0438\u0437 \u0432\u0441\u0435\u0445 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u0430.<\/p>\n<p>  \u0417\u0430\u043c\u0435\u043d\u0430 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0420\u0443\u0447\u043d\u0430\u044f \u0437\u0430\u043c\u0435\u043d\u0430 \u043d\u0435 \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>  \u041d\u0435\u043b\u044c\u0437\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0432\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u043a\u0438 \u201c\u0421\u0438\u0431\u0443\u0440\u201d \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u043f\u0430\u0440\u044b \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e.<\/p>\n<p>  \u0412\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438, \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043d\u044b\u0445 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<p>  \u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0440\u0443\u0447\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u0438, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u0438\u0445 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<h3>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 open source<\/h3>\n<p>  \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u044e\u0431\u044b\u043c\u0438 open source \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u043e\u0434 \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f\u043c\u0438. \u0415\u0441\u043b\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u044f\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u043e\u0432\u0430\u0440\u0438 \u0437\u0430\u043c\u0435\u043d\u044b \u0438\u043b\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u2014 \u043e \u043d\u0435\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c \u0432 \u0447\u0430\u0442\u0435 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u043b\u0438 \u0432 \u0447\u0430\u0442\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u0434\u043b\u044f \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0442\u044c \u043e \u0442\u0430\u043a\u043e\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0412\u044b \u0441\u043e\u043c\u043d\u0435\u0432\u0430\u0435\u0442\u0435\u0441\u044c \u0432 \u0442\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u2013 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043f\u0440\u043e\u0441\u0438\u0442\u0435 \u0432 \u0447\u0430\u0442\u0435. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043d\u0430\u043c \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u0441\u043f\u0438\u0441\u043e\u043a, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0439\u0434\u0435\u043d \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043d\u0435\u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u043f\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043a \u0434\u0440\u0443\u0433\u0438\u043c \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c \u0441\u043f\u043e\u0441\u043e\u0431, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u044d\u0442\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c.<\/p><\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h3>\u0414\u0430\u043d\u043d\u044b\u0435<\/h3>\n<p>  train.csv \u2014 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e<\/p>\n<p>  test.csv \u2014 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e<\/p>\n<p>  sample_submission.csv \u2014 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435<\/p>\n<p>  Naming baseline.ipynb \u2014 \u043a\u043e\u0434 \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/p>\n<p>  baseline_submission.csv \u2014 \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/p>\n<p>  \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u0430 \u043f\u043e\u0437\u0430\u0431\u043e\u0442\u0438\u043b\u0438\u0441\u044c \u043e \u043f\u043e\u0434\u0440\u0430\u0441\u0442\u0430\u044e\u0449\u0435\u043c \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u0438 \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u0431\u0430\u0437\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0434\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e f1 \u043e\u043a\u043e\u043b\u043e 0.1. \u042f \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e \u0432 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u0445 \u0438 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u0442\u0430\u043a\u043e\u0435 \u0432\u0438\u0436\u0443 \ud83d\ude42<\/p>\n<p>  \u0418\u0442\u0430\u043a, \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0432\u0448\u0438\u0441\u044c \u0441 \u0441\u0430\u043c\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u043f\u043e \u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044e, \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u043b\u0430\u043d\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n<h2>\u041f\u043b\u0430\u043d \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438<\/h2>\n<p>  <\/p>\n<h4>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/h4>\n<p>  <i>\u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438<\/i><br \/>  <i>\u041d\u0430\u043f\u0438\u0448\u0435\u043c \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/i><\/p>\n<h4>\u041f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h4>\n<p>  <i>\u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435<\/i><br \/>  <i>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u043a\u043e\u043f\u0438\u0438<\/i><br \/>  <i>\u041f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043c \u0432\u0441\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043d\u0438\u0436\u043d\u0438\u0439 \u0440\u0435\u0433\u0438\u0441\u0442\u0440<\/i><br \/>  <i>\u0423\u0434\u0430\u043b\u0438\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u0440\u0430\u043d<\/i><br \/>  <i>\u0423\u0434\u0430\u043b\u0438\u043c \u0437\u043d\u0430\u043a\u0438 \u0438 \u0441\u043f\u0435\u0446\u0441\u0438\u043c\u0432\u043e\u043b\u044b<\/i><br \/>  <i>\u0423\u0434\u0430\u043b\u0438\u043c \u0446\u0438\u0444\u0440\u044b<\/i><br \/>  <i>\u0423\u0434\u0430\u043b\u0438\u043c\u2026 \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432. \u0412\u0440\u0443\u0447\u043d\u0443\u044e!<\/i><br \/>  <i>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0443<\/i><br \/>  <i>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f 50 \u0441\u0430\u043c\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432 &amp; Drop it smart. \u041f\u0435\u0440\u0432\u044b\u0439 \u0427\u0418\u0422<\/i><\/p>\n<h4>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0444\u0438\u0447<\/h4>\n<p>  <i>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430<\/i><br \/>  <i>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430<\/i><br \/>  <i>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0444\u0438\u0447\u0438<\/i><br \/>  <i>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043a\u0443\u0447\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/i><br \/>  <i>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0442\u043e\u043f 50 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0431\u0440\u0435\u043d\u0434\u043e\u0432 \u043d\u0435\u0444\u0442\u0435\u0445\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439, \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0442\u0440\u0430\u0441\u043b\u0435\u0439. \u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u0442\u043e\u0440\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043a\u0443\u0447\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0412\u0442\u043e\u0440\u043e\u0439 \u0427\u0418\u0422<\/i><br \/>  <i>\u0413\u043e\u0442\u043e\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u0434\u0430\u0447\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c<\/i><\/p>\n<h4>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h4>\n<p>  <\/p>\n<h4>\u0418\u0442\u043e\u0433\u0438 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f <\/h4>\n<p>  <\/p>\n<h4>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438<\/h4>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438\u0441\u044c \u0441 \u043f\u043b\u0430\u043d\u043e\u043c \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h3>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>  <\/p>\n<h4>\u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a<\/h4>\n<p>  \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u0432\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u043e, \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438<\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043f\u0438\u0441\u043a\u0430 \u0441\u0442\u0440\u0430\u043d \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0438\u0445 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">pip install pycountry<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u0440\u0443\u0433 \u0441\u0434\u0440\u0443\u0433\u043e\u043c \u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u0438\u0441\u043a\u043e\u0432<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">pip install strsimpy<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0443<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">pip install cyrtranslit<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041f\u043e\u0434\u0442\u044f\u043d\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">import pandas as pd import numpy as np  import warnings warnings.filterwarnings('ignore')  import pycountry import re  from tqdm import tqdm tqdm.pandas()  from strsimpy.levenshtein import Levenshtein from strsimpy.normalized_levenshtein import NormalizedLevenshtein  import matplotlib.pyplot as plt from matplotlib.pyplot import figure  import seaborn as sns sns.set() sns.set_style(&quot;whitegrid&quot;)  from sklearn.model_selection import train_test_split from sklearn.model_selection import StratifiedKFold from sklearn.model_selection import StratifiedShuffleSplit  from scipy.sparse import csr_matrix  import lightgbm as lgb from sklearn.linear_model import LogisticRegression  from sklearn.metrics import accuracy_score from sklearn.metrics import recall_score from sklearn.metrics import precision_score from sklearn.metrics import roc_auc_score  from sklearn.metrics import classification_report, f1_score   # import googletrans # from googletrans import Translator import cyrtranslit<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<h4>\u041d\u0430\u043f\u0438\u0448\u0435\u043c \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/h4>\n<p>  \u0425\u043e\u0440\u043e\u0448\u0438\u043c \u0442\u043e\u043d\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u043e\u043f\u0438 \u043f\u0430\u0441\u0442\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u0443\u0441\u043a\u0430 \u043a\u043e\u0434\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u0447\u043a\u0443. \u041c\u044b \u0442\u0430\u043a \u0438 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c, \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430. <\/p>\n<p>  \u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u0434\u0430 \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445 \u043e\u0442\u043b\u0438\u043d\u043e\u0435 \u043d\u0435 \u0431\u0443\u0434\u0443. \u041c\u0435\u0441\u0442\u0430\u043c\u0438 \u0435\u0433\u043e \u0442\u043e\u0447\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u0432 \u0446\u0435\u043b\u044f\u0445 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432.<\/p>\n<p>  \u0418\u0442\u0430\u043a, \u043f\u0435\u0440\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442 \u0432 \u043d\u0438\u0436\u043d\u0438\u0439 \u0440\u0435\u0433\u0438\u0441\u0442\u0440  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># convert text to lowercase def lower_str(data,column):     data[column] = data[column].str.lower()<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043f\u043e \u0446\u0435\u043b\u0435\u0432\u044b\u043c \u043c\u0435\u0442\u043a\u0430\u043c \u2014 0 \u0438\u043b\u0438 1.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># statistic table for analyse float values (it needs to make histogramms and boxplots) def data_statistics(data,analyse,title_print):      data0 = data[data['target']==0][analyse]     data1 = data[data['target']==1][analyse]      data_describe = pd.DataFrame()     data_describe['target_0'] = data0.describe()     data_describe['target_1'] = data1.describe()     data_describe = data_describe.T          if title_print == 'yes':         print ('\\033[1m' + '\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443',analyse,'\\033[m')      elif title_print == 'no':         None          return data_describe  # histogramms for float values def hist_fz(data,data_describe,analyse,size):     print ()     print ('\\033[1m' + 'Information about',analyse,'\\033[m')     print ()          data_0 = data[data['target'] == 0][analyse]     data_1 = data[data['target'] == 1][analyse]          min_data = data_describe['min'].min()     max_data = data_describe['max'].max()          data0_mean = data_describe.loc['target_0']['mean']     data0_median = data_describe.loc['target_0']['50%']     data0_min = data_describe.loc['target_0']['min']     data0_max = data_describe.loc['target_0']['max']     data0_count = data_describe.loc['target_0']['count']               data1_mean = data_describe.loc['target_1']['mean']     data1_median = data_describe.loc['target_1']['50%']      data1_min = data_describe.loc['target_1']['min']     data1_max = data_describe.loc['target_1']['max']     data1_count = data_describe.loc['target_1']['count']               print ('\\033[4m' + 'Analyse'+ '\\033[m','No duplicates')          figure(figsize=size)     sns.distplot(data_0,color='darkgreen',kde = False)          plt.scatter(data0_mean,0,s=200,marker='o',c='dimgray',label='Mean')     plt.scatter(data0_median,0,s=250,marker='|',c='black',label='Median')     plt.legend(scatterpoints=1,                loc='upper right',                ncol=3,                fontsize=16)     plt.xlim(min_data, max_data)     plt.show()     print ('Quantity:', data0_count,            '         Min:', round(data0_min,2),            '         Max:', round(data0_max,2),            '         Mean:', round(data0_mean,2),            '         Median:', round(data0_median,2))          print ()     print ('\\033[4m' + 'Analyse'+ '\\033[m','Duplicates')          figure(figsize=size)     sns.distplot(data_1,color='darkred',kde = False)     plt.scatter(data1_mean,0,s=200,marker='o',c='dimgray',label='Mean')     plt.scatter(data1_median,0,s=250,marker='|',c='black',label='Median')     plt.legend(scatterpoints=1,                loc='upper right',                ncol=3,                fontsize=16)     plt.xlim(min_data, max_data)     plt.show()     print ('Quantity:', data_1.count(),            '         Min:', round(data1_min,2),            '         Max:', round(data1_max,2),            '         Mean:', round(data1_mean,2),            '         Median:', round(data1_median,2))  # draw boxplot def boxplot(data,analyse,size):     print ('\\033[4m' + 'Analyse'+ '\\033[m','All pairs')          data_0 = data[data['target'] == 0][analyse]     data_1 = data[data['target'] == 1][analyse]          figure(figsize=size)     sns.boxplot(x=analyse,y='target',data=data,orient='h',                 showmeans=True,                                 meanprops={&quot;marker&quot;:&quot;o&quot;,                            &quot;markerfacecolor&quot;:&quot;dimgray&quot;,                             &quot;markeredgecolor&quot;:&quot;black&quot;,                           &quot;markersize&quot;:&quot;14&quot;},                palette=['palegreen', 'salmon'])     plt.ylabel('target', size=14)     plt.xlabel(analyse, size=14)     plt.show()  # draw graph for analyse two choosing features for predict traget label def two_features(data,analyse1,analyse2,size):     fig = plt.subplots(figsize=size)          x0 = data[data['target']==0][analyse1]     y0 = data[data['target']==0][analyse2]     x1 = data[data['target']==1][analyse1]     y1 = data[data['target']==1][analyse2]          plt.scatter(x0,y0,c='green',marker='.')     plt.scatter(x1,y1,c='black',marker='+')     plt.xlabel(analyse1)     plt.ylabel(analyse2)     title = [analyse1,analyse2]     plt.title(title)     plt.show()<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041f\u044f\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0439 \u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0431\u043e\u043b\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u043a\u0430\u043a \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f. <\/p>\n<p>  \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043f\u043e\u0441\u043b\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u0432, \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0441 \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u043c\u0435\u0442\u043a\u0430\u043c\u0438. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430 \u0442\u0430\u043a\u043e\u0439: &#8216;True positive&#8217;, &#8216;False positive&#8217;, &#8216;True negative&#8217; \u0438\u043b\u0438 &#8216;False negative&#8217;. \u042d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def contingency_table(X,features,probability_level,tridx,cvidx,model):     tr_predict_proba = model.predict_proba(X.iloc[tridx][features].values)     cv_predict_proba = model.predict_proba(X.iloc[cvidx][features].values)      tr_predict_target = (tr_predict_proba[:, 1] &gt; probability_level).astype(np.int)     cv_predict_target = (cv_predict_proba[:, 1] &gt; probability_level).astype(np.int)      X_tr = X.iloc[tridx]     X_cv = X.iloc[cvidx]      X_tr['predict_proba'] = tr_predict_proba[:,1]     X_cv['predict_proba'] = cv_predict_proba[:,1]      X_tr['predict_target'] = tr_predict_target     X_cv['predict_target'] = cv_predict_target      # make true positive column     data = pd.DataFrame(X_tr[X_tr['target']==1][X_tr['predict_target']==1]['pair_id'])     data['True_Positive'] = 1     X_tr = X_tr.merge(data,on='pair_id',how='left')      data = pd.DataFrame(X_cv[X_cv['target']==1][X_cv['predict_target']==1]['pair_id'])     data['True_Positive'] = 1     X_cv = X_cv.merge(data,on='pair_id',how='left')      # make false positive column     data = pd.DataFrame(X_tr[X_tr['target']==0][X_tr['predict_target']==1]['pair_id'])     data['False_Positive'] = 1     X_tr = X_tr.merge(data,on='pair_id',how='left')      data = pd.DataFrame(X_cv[X_cv['target']==0][X_cv['predict_target']==1]['pair_id'])     data['False_Positive'] = 1     X_cv = X_cv.merge(data,on='pair_id',how='left')      # make true negative column     data = pd.DataFrame(X_tr[X_tr['target']==0][X_tr['predict_target']==0]['pair_id'])     data['True_Negative'] = 1     X_tr = X_tr.merge(data,on='pair_id',how='left')      data = pd.DataFrame(X_cv[X_cv['target']==0][X_cv['predict_target']==0]['pair_id'])     data['True_Negative'] = 1     X_cv = X_cv.merge(data,on='pair_id',how='left')      # make false negative column     data = pd.DataFrame(X_tr[X_tr['target']==1][X_tr['predict_target']==0]['pair_id'])     data['False_Negative'] = 1     X_tr = X_tr.merge(data,on='pair_id',how='left')      data = pd.DataFrame(X_cv[X_cv['target']==1][X_cv['predict_target']==0]['pair_id'])     data['False_Negative'] = 1     X_cv = X_cv.merge(data,on='pair_id',how='left')          return X_tr,X_cv<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0428\u0435\u0441\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f. \u041d\u0435 \u043f\u0443\u0442\u0430\u0439\u0442\u0435 \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f. \u0425\u043e\u0442\u044f \u043e\u0434\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0434\u0440\u0443\u0433\u043e\u0433\u043e. \u0412\u044b \u0441\u0430\u043c\u0438 \u0432\u0441\u0435 \u0443\u0432\u0438\u0434\u0435\u0442\u0435 \u0434\u0430\u043b\u044c\u0448\u0435  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def matrix_confusion(X):      list_matrix = ['True_Positive','False_Positive','True_Negative','False_Negative']      tr_pos = X[list_matrix].sum().loc['True_Positive']     f_pos = X[list_matrix].sum().loc['False_Positive']     tr_neg = X[list_matrix].sum().loc['True_Negative']     f_neg = X[list_matrix].sum().loc['False_Negative']     matrix_confusion = pd.DataFrame()     matrix_confusion['0_algorythm'] = np.array([tr_neg,f_neg]).T     matrix_confusion['1_algorythm'] = np.array([f_pos,tr_pos]).T     matrix_confusion = matrix_confusion.rename(index={0: '0_target', 1: '1_target'})          return matrix_confusion<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0421\u0435\u0434\u044c\u043c\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0442\u0447\u0435\u0442\u0430 \u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a precision, recall, f1  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def report_score(tr_matrix_confusion,                  cv_matrix_confusion,                  data,tridx,cvidx,                  X_tr,X_cv):     # print some imporatant information     print ('\\033[1m'+'Matrix confusion on train data'+'\\033[m')     display(tr_matrix_confusion)     print ()     print(classification_report(data.iloc[tridx][&quot;target&quot;].values, X_tr['predict_target']))     print ('******************************************************')     print ()     print ()     print ('\\033[1m'+'Matrix confusion on test(cv) data'+'\\033[m')     display(cv_matrix_confusion)     print ()     print(classification_report(data.iloc[cvidx][&quot;target&quot;].values, X_cv['predict_target']))     print ('******************************************************')<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u043e\u0441\u044c\u043c\u043e\u0439 \u0438 \u0434\u0435\u0432\u044f\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437 \u043d\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 Light GBM \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430 &#8216;Information gain&#8217; \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u043e\u0433\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def table_gain_coef(model,features,start,stop):          data_gain = pd.DataFrame()     data_gain['Features'] = features     data_gain['Gain'] = model.booster_.feature_importance(importance_type='gain')     return data_gain.sort_values('Gain', ascending=False)[start:stop]  def gain_hist(df,size,start,stop):     fig, ax = plt.subplots(figsize=(size))     x = (df.sort_values('Gain', ascending=False)['Features'][start:stop])     y = (df.sort_values('Gain', ascending=False)['Gain'][start:stop])     plt.bar(x,y)     plt.xlabel('Features')     plt.ylabel('Gain')     plt.xticks(rotation=90)     plt.show()<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0414\u0435\u0441\u044f\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0441\u043b\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439. <\/p>\n<p>  \u042d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u041d\u0415 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0441\u043b\u043e\u0432.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def compair_metrics(data):     duplicate_count = []     duplicate_sum = []     for i in range(len(data)):         count=len(data[i])         duplicate_count.append(count)         if count &lt;= 0:             duplicate_sum.append(0)         elif count &gt; 0:             temp_sum = 0             for j in range(len(data[i])):                 temp_sum +=len(data[i][j])             duplicate_sum.append(temp_sum)      return duplicate_count,duplicate_sum    <\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041e\u0434\u0438\u043d\u0430\u0434\u0446\u0430\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442 \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0443  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def transliterate(data):     text_transliterate = []     for i in range(data.shape[0]):         temp_list = list(data[i:i+1])         temp_str = ''.join(temp_list)         result = cyrtranslit.to_latin(temp_str,'ru')         text_transliterate.append(result) \u0414\u0432\u0435\u043d\u0430\u0434\u0446\u0430\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043f\u043e\u0441\u043b\u0435 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.   \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432, \u043a\u0430\u043a \u0431\u044b \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f. \u0412 \u0438\u0442\u043e\u0433\u0435, \u0434\u043b\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043a \u043f\u0440\u0438\u043d\u044f\u0442\u043e\u043c\u0443 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e &lt;spoiler title=&quot;\u041a\u043e\u0434&quot;&gt; &lt;source lang=&quot;python&quot;&gt;def rename_agg_columns(id_client,data,rename):     columns = [id_client]     for lev_0 in data.columns.levels[0]:         if lev_0 != id_client:             for lev_1 in data.columns.levels[1][:-1]:                 columns.append(rename % (lev_0, lev_1))     data.columns = columns     return data<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>   return text_transliterate<\/p>\n<p>  \u0422\u0440\u0438\u043d\u0430\u0434\u0446\u0430\u0442\u0430\u044f \u0438 \u0447\u0435\u0442\u044b\u0440\u043d\u0430\u0434\u0446\u0430\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0443\u0436\u043d\u044b \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0430 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0432\u0430\u0436\u043d\u044b\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439.<\/p>\n<p>  \u0427\u0442\u043e \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430, \u043a\u0430\u043a\u0438\u0435 \u0432 \u043d\u0435\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043a\u0430\u043a \u043e\u043d\u0430 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f? \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b:<br \/>   \u2014 \u0428\u0430\u0433 1. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u043a\u0430\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u043c \u0431\u0443\u0434\u0443\u0442 \u043d\u0443\u0436\u043d\u044b. ID \u043f\u0430\u0440\u044b, \u0444\u0438\u043d\u0438\u0448\u043d\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u2014 \u043e\u0431\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u0430, \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 (\u0442\u043e\u043f 50 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043d\u0435\u0444\u0442\u0435\u0445\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438).<br \/>   \u2014 \u0428\u0430\u0433 2. \u0412 \u0441\u0442\u043e\u043b\u0431\u0446\u0435 1 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0435 \u043e\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0437\u0430\u043c\u0435\u0440\u0438\u043c \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u0434\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u043b\u0438\u043d\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u043a \u0434\u043b\u0438\u043d\u0435.<br \/>   \u2014 \u0428\u0430\u0433 3. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438 \u0440\u0430\u0432\u043d\u043e 0.4, \u0442\u043e \u043e\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0442\u043e\u043f \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u0434\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 id \u043f\u0430\u0440\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u043b\u0438\u043d\u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0441\u043b\u043e\u0432 \u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u043a \u0434\u043b\u0438\u043d\u0435.<br \/>   \u2014 \u0428\u0430\u0433 4. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0440\u0430\u0437 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438 \u0440\u0430\u0432\u043d\u043e 0.4, \u0442\u043e \u0432\u0441\u0435 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<br \/>   \u2014 \u0428\u0430\u0433 5. \u041f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0431\u0443\u0434\u0435\u0442 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 ID \u043f\u0430\u0440\u044b, \u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0414\u0430\u043d\u043d\u044b\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e id \u043f\u0430\u0440\u044b (\u0442\u0430\u043a \u043a\u0430\u043a \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0438 \u0441\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f \u0441\u043b\u043e\u0432 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 id \u043f\u0430\u0440\u044b \u0434\u0432\u0443\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u043c \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432). \u041f\u0440\u0438 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<br \/>   \u2014 \u0428\u0430\u0433 6. \u0421\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. <\/p>\n<p>  <i>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c: \u0440\u0430\u0441\u0447\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u0437-\u0437\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u0441\u043a\u043e\u0440\u0443\u044e \u0440\u0443\u043a\u0443 \u043a\u043e\u0434\u0430<\/i>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">def dist_name_to_top_list_view(data,column1,column2,list_top_companies):     id_pair = []     r1 = []     r2 = []     words1 = []     words2 = []     top_words = []      for n in range(0, data.shape[0], 1):         for line1 in data[column1][n:n+1]:             line1 = line1.split()             for word1 in line1:                 if len(word1) &gt;=3:                     for top_word in list_top_companies:                         dist1 = levenshtein.distance(word1, top_word)                         ratio = max(dist1\/float(len(top_word)),dist1\/float(len(word1)))                         if ratio &lt;= 0.4:                             ratio1 = ratio                             break                     if ratio &lt;= 0.4:                         for line2 in data[column2][n:n+1]:                             line2 = line2.split()                             for word2 in line2:                                 dist2 = levenshtein.distance(word2, top_word)                                 ratio = max(dist2\/float(len(top_word)),dist2\/float(len(word2)))                                 if ratio &lt;= 0.4:                                     ratio2 = ratio                                     id_pair.append(int(data['pair_id'][n:n+1].values))                                     r1.append(ratio1)                                     r2.append(ratio2)                                     break      df = pd.DataFrame()     df['pair_id'] = id_pair     df['levenstein_dist_w1_top_w'] = dist1     df['levenstein_dist_w2_top_w'] = dist2     df['length_w1_top_w'] = len(word1)     df['length_w2_top_w'] = len(word2)     df['length_top_w'] = len(top_word)     df['ratio_dist_w1_to_top_w'] = r1     df['ratio_dist_w2_to_top_w'] = r2     feature = df.groupby(['pair_id']).agg([min]).reset_index()     feature = rename_agg_columns(id_client='pair_id',data=feature,rename='%s_%s')      data = data.merge(feature,on='pair_id',how='left')     display(data)     print ('Words:', word1,word2,top_word)     print ('Levenstein distance:',dist1,dist2)     print ('Length of word:',len(word1),len(word2),len(top_word))     print ('Ratio (distance\/length word):',ratio1,ratio2)  def dist_name_to_top_list_make(data,column1,column2,list_top_companies):     id_pair = []     r1 = []     r2 = []     dist_w1 = []     dist_w2 = []     length_w1 = []     length_w2 = []     length_top_w = []      for n in range(0, data.shape[0], 1):         for line1 in data[column1][n:n+1]:             line1 = line1.split()             for word1 in line1:                 if len(word1) &gt;=3:                     for top_word in list_top_companies:                         dist1 = levenshtein.distance(word1, top_word)                         ratio = max(dist1\/float(len(top_word)),dist1\/float(len(word1)))                         if ratio &lt;= 0.4:                             ratio1 = ratio                             break                     if ratio &lt;= 0.4:                         for line2 in data[column2][n:n+1]:                             line2 = line2.split()                             for word2 in line2:                                 dist2 = levenshtein.distance(word2, top_word)                                 ratio = max(dist2\/float(len(top_word)),dist2\/float(len(word2)))                                 if ratio &lt;= 0.4:                                     ratio2 = ratio                                     id_pair.append(int(data['pair_id'][n:n+1].values))                                     r1.append(ratio1)                                     r2.append(ratio2)                                     dist_w1.append(dist1)                                     dist_w2.append(dist2)                                     length_w1.append(float(len(word1)))                                     length_w2.append(float(len(word2)))                                     length_top_w.append(float(len(top_word)))                                     break      df = pd.DataFrame()     df['pair_id'] = id_pair     df['levenstein_dist_w1_top_w'] = dist_w1     df['levenstein_dist_w2_top_w'] = dist_w2     df['length_w1_top_w'] = length_w1     df['length_w2_top_w'] = length_w2     df['length_top_w'] = length_top_w     df['ratio_dist_w1_to_top_w'] = r1     df['ratio_dist_w2_to_top_w'] = r2     feature = df.groupby(['pair_id']).agg([min]).reset_index()     feature = rename_agg_columns(id_client='pair_id',data=feature,rename='%s_%s')      data = data.merge(feature,on='pair_id',how='left')     return data<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h3>\u041f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>  \u0418\u0437 \u043c\u043e\u0435\u0433\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u043f\u044b\u0442\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u0440\u0435\u043c\u044f. \u041f\u043e\u0439\u0434\u0435\u043c \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/p>\n<h4>\u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435<\/h4>\n<p>  \u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e. \u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0441 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u043a\u043e\u0439 \u00abis_duplicate\u00bb \u043d\u0430 \u00abtarget\u00bb. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u2014 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445 \u0431\u044b\u043b\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u044b \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u043d\u043d\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0441 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u043a\u043e\u0439 \u043a\u0430\u043a \u00abtarget\u00bb.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"> # DOWNLOAD DATA text_train = pd.read_csv('train.csv') text_test = pd.read_csv('test.csv')  # RENAME DATA text_train = text_train.rename(columns={&quot;is_duplicate&quot;: &quot;target&quot;})<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0435<\/h4>\n<p>  \u0414\u0430\u043d\u043d\u044b\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0441\u0435\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0438 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># ANALYSE BALANCE OF DATA target_1 = text_train[text_train['target']==1]['target'].count() target_0 = text_train[text_train['target']==0]['target'].count()  print ('There are', text_train.shape[0], 'objects') print ('There are', target_1, 'objects with target 1') print ('There are', target_0, 'objects with target 0') print ('Balance is', round(100*target_1\/target_0,2),'%')<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u21161 \u00ab\u0411\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0442\u043e\u043a\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ma\/ox\/on\/maoxony_muquhwmyqoghg6wfjqq.jpeg\"><\/p>\n<p>  \u041e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0435 \u043c\u0430\u043b\u043e \u2014 \u043f\u043e\u0447\u0442\u0438 500 \u0442\u044b\u0441\u044f\u0447 \u0438 \u043e\u043d\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b. \u0422\u043e \u0435\u0441\u0442\u044c \u0438\u0437 \u043f\u043e\u0447\u0442\u0438 500 \u0442\u044b\u0441\u044f\u0447 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0432\u0441\u0435\u0433\u043e \u043c\u0435\u043d\u0435\u0435 4 \u0442\u044b\u0441\u044f\u0447 \u2014 \u0438\u043c\u0435\u044e\u0442 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043c\u0435\u0442\u043a\u0443 1 (\u043c\u0435\u043d\u0435\u0435 1%)<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0441\u0430\u043c\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u0443. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u044f\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 0 \u0438 \u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u044f\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 1.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">display(text_train[text_train['target']==0].head(5))  display(text_train[text_train['target']==1].head(5))<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u21162 \u00ab\u041f\u0435\u0440\u0432\u044b\u0435 5 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u0430 0\u00bb, \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u21163 \u00ab\u041f\u0435\u0440\u0432\u044b\u0435 5 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u0430 1\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ii\/kc\/e5\/iikce5pcs4kebinmjw_pvj3eaqq.jpeg\"><\/p>\n<p>  \u0421\u0440\u0430\u0437\u0443 \u043d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0448\u0430\u0433\u0438: \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0443, \u0443\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u044f\u043a\u0438\u0435 \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432\u0430, \u0442\u0438\u043f\u0430 &#8216;ltd&#8217;, \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0441\u0442\u0440\u0430\u043d\u044b \u0438 \u0437\u0430\u043e\u0434\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0433\u0435\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. <\/p>\n<p>  \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0432 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u0434\u0435\u043b\u0430\u0435\u0448\u044c \u043a\u0430\u043a\u0443\u044e-\u043d\u0438\u0431\u0443\u0434\u044c \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443, \u0443\u0431\u0435\u0436\u0434\u0430\u0435\u0448\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043d\u0430\u0434\u043e, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0448\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0441\u043c\u043e\u0442\u0440\u0438\u0448\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0448\u044c \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u044f \u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435. \u041d\u043e \u0432 \u0441\u0430\u043c\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0434\u0430\u043d\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440. \u0418\u043d\u0430\u0447\u0435 \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u044b\u043b\u0430 \u0431\u044b \u043d\u0435\u043e\u043f\u0438\u0441\u0443\u0435\u043c\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \ud83d\ude42<\/p>\n<h4>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043a\u043e\u043f\u0438\u0438<\/h4>\n<p>  \u0415\u0441\u043b\u0438 \u0447\u0435\u0441\u0442\u043d\u043e, \u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u044e \u0437\u0430\u0447\u0435\u043c \u044f \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u044e, \u043d\u043e \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u044e. \u0421\u0434\u0435\u043b\u0430\u044e \u0438 \u0432 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">baseline_train = text_train.copy() baseline_test = text_test.copy()<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u041f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043c \u0432\u0441\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043d\u0438\u0436\u043d\u0438\u0439 \u0440\u0435\u0433\u0438\u0441\u0442\u0440<\/h4>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># convert text to lowercase columns = ['name_1','name_2'] for column in columns:     lower_str(baseline_train,column) for column in columns:     lower_str(baseline_test,column)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u0423\u0434\u0430\u043b\u0438\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u0440\u0430\u043d<\/h4>\n<p>  \u041d\u0430\u0434\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0441\u0430 \u2014 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u043e\u043b\u043e\u0434\u0446\u044b! \u0412\u043c\u0435\u0441\u0442\u0435 \u0441 \u0437\u0430\u0434\u0430\u043d\u0438\u0435\u043c \u043e\u043d\u0438 \u0434\u0430\u043b\u0438 \u043d\u043e\u0443\u0442\u0431\u0443\u043a \u0441 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c baseline, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u043d\u0438\u0436\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u0434.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># drop any names of countries countries = [country.name.lower() for country in pycountry.countries] for country in tqdm(countries):     baseline_train.replace(re.compile(country), &quot;&quot;, inplace=True)     baseline_test.replace(re.compile(country), &quot;&quot;, inplace=True)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u0423\u0434\u0430\u043b\u0438\u043c \u0437\u043d\u0430\u043a\u0438 \u0438 \u0441\u043f\u0435\u0446\u0441\u0438\u043c\u0432\u043e\u043b\u044b<\/h4>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># drop punctuation marks baseline_train.replace(re.compile(r&quot;\\s+\\(.*\\)&quot;), &quot;&quot;, inplace=True) baseline_test.replace(re.compile(r&quot;\\s+\\(.*\\)&quot;), &quot;&quot;, inplace=True)  baseline_train.replace(re.compile(r&quot;[^\\w\\s]&quot;), &quot;&quot;, inplace=True) baseline_test.replace(re.compile(r&quot;[^\\w\\s]&quot;), &quot;&quot;, inplace=True)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u0423\u0434\u0430\u043b\u0438\u043c \u0446\u0438\u0444\u0440\u044b<\/h4>\n<p>  \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0446\u0438\u0444\u0440 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u0440\u044f\u043c\u043e \u0432 \u043b\u043e\u0431, \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u0440\u0442\u0438\u043b\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438. \u041a\u043e\u0434 \u044f \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u0438\u0432\u0435\u0434\u0443, \u043d\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043e\u043d \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f.<\/p>\n<p>  \u0422\u0430\u043a\u0436\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043c\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u044f\u043c\u043e \u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043c \u0431\u044b\u043b\u0438 \u0434\u0430\u043d\u044b. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u043c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438. \u0421\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435, \u0437\u0430\u0442\u043e \u0435\u0441\u043b\u0438 \u0433\u0434\u0435-\u0442\u043e \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u044d\u0442\u0430\u043f\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442 \u0441\u0431\u043e\u0439 \u2014 \u043d\u0438\u0447\u0435\u0433\u043e \u0441\u0442\u0440\u0430\u0448\u043d\u043e\u0433\u043e, \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u0441\u0435 \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e, \u0432\u0435\u0434\u044c \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0443\u0442 \u0441\u0442\u043e\u043b\u0431\u044b \u0441 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u0442\u0430\u043f\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u0440\u0442\u0438\u043b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u041d\u0443\u0436\u043d\u043e \u0434\u0435\u043b\u0438\u043a\u0430\u0442\u043d\u0435\u0435 \u0431\u044b\u0442\u044c<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># # first: make dictionary of frequency every word # list_words = baseline_train['name_1'].to_string(index=False).split() +\\ #                 baseline_train['name_2'].to_string(index=False).split() # freq_words = {} # for w in list_words: #     freq_words[w] = freq_words.get(w, 0) + 1      # # second: make data frame of frequency words # df_freq = pd.DataFrame.from_dict(freq_words,orient='index').reset_index() # df_freq.columns = ['word','frequency'] # df_freq_agg = df_freq.groupby(['word']).agg([sum]).reset_index() # df_freq_agg = rename_agg_columns(id_client='word',data=df_freq_agg,rename='%s_%s') # df_freq_agg = df_freq_agg.sort_values(by=['frequency_sum'], ascending=False)  # # third: make drop list of digits # string = df_freq_agg['word'].to_string(index=False) # digits = [int(digit) for digit in string.split() if digit.isdigit()] # digits = set(digits) # digits = list(digits)  # # drop the digits # baseline_train['name_1_no_digits'] =\\ #     baseline_train['name_1'].apply( #     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) # baseline_train['name_2_no_digits'] =\\ #     baseline_train['name_2'].apply( #     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)]))  # baseline_test['name_1_no_digits'] =\\ #     baseline_test['name_1'].apply( #     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) # baseline_test['name_2_no_digits'] =\\ #     baseline_test['name_2'].apply( #     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)]))<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u0423\u0434\u0430\u043b\u0438\u043c\u2026 \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432. \u0412\u0440\u0443\u0447\u043d\u0443\u044e!<\/h4>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0438 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0441\u043b\u043e\u0432 \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439. <\/p>\n<p>  \u0421\u043f\u0438\u0441\u043e\u043a \u043c\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0440\u0443\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041f\u043e \u043b\u043e\u0433\u0438\u043a\u0435, \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b:<br \/>   \u2014 \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043f 10 (20,50,100) \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432. <br \/>   \u2014 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e-\u043f\u0440\u0430\u0432\u043e\u0432\u044b\u0445 \u0444\u043e\u0440\u043c \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0439 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 (\u041e\u041e\u041e, \u041f\u0410\u041e, \u0417\u0410\u041e, ltd, gmbh, inc \u0438 \u0434\u0440.) <br \/>   \u2014 \u0432-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0433\u0435\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445<\/p>\n<p>  \u041a \u043f\u0435\u0440\u0432\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0443 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432 \u043c\u044b \u0435\u0449\u0435 \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f, \u0430 \u043f\u043e\u043a\u0430 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># drop some stop-words drop_list = [&quot;ltd.&quot;, &quot;co.&quot;, &quot;inc.&quot;, &quot;b.v.&quot;, &quot;s.c.r.l.&quot;, &quot;gmbh&quot;, &quot;pvt.&quot;,                            'retail','usa','asia','ceska republika','limited','tradig','llc','group',              'international','plc','retail','tire','mills','chemical','korea','brasil',              'holding','vietnam','tyre','venezuela','polska','americas','industrial','taiwan',              'europe','america','north','czech republic','retailers','retails',                          'mexicana','corporation','corp','ltd','co','toronto','nederland','shanghai','gmb','pacific',             'industries','industrias',                          'inc', 'ltda', '\u043e\u043e\u043e', '\u041e\u041e\u041e', '\u0437\u0430\u043e', '\u0417\u0410\u041e', '\u043e\u0430\u043e', '\u041e\u0410\u041e', '\u043f\u0430\u043e', '\u041f\u0410\u041e', 'ceska republika', 'ltda',              'sibur', 'enterprises', 'electronics', 'products', 'distribution', 'logistics', 'development',             'technologies', 'pvt', 'technologies', 'comercio', 'industria', 'trading', 'internacionais',              'bank', 'sports',                          'express','east', 'west', 'south', 'north', 'factory', 'transportes', 'trade', 'banco',             'management', 'engineering', 'investments', 'enterprise', 'city', 'national', 'express', 'tech',              'auto', 'transporte', 'technology', 'and', 'central', 'american',                          'logistica','global','exportacao', 'ceska republika', 'vancouver', 'deutschland',                          'sro','rus','chemicals','private','distributors','tyres','industry','services','italia','beijing',                          '\u0440\u0443\u0441','company','the','und']  baseline_train['name_1_non_stop_words'] =\\     baseline_train['name_1'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) baseline_train['name_2_non_stop_words'] =\\     baseline_train['name_2'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)]))  baseline_test['name_1_non_stop_words'] =\\     baseline_test['name_1'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) baseline_test['name_2_non_stop_words'] =\\     baseline_test['name_2'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)]))<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u0441\u0442\u043e\u043f \u0441\u043b\u043e\u0432\u0430 \u0431\u044b\u043b\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u044b \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">baseline_train[baseline_train.name_1_non_stop_words.str.contains(&quot;factory&quot;)].head(3)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u21164 \u00ab\u0412\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u043e\u0434\u0430 \u043f\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044e \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432\u00bb<br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/53\/zt\/q-\/53ztq-tcrofqoz3jnwvwyz0eggo.jpeg\"><br \/>  \u0412\u0440\u043e\u0434\u0435 \u0432\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0423\u0434\u0430\u043b\u0435\u043d\u044b \u0432\u0441\u0435 \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u0440\u043e\u0431\u0435\u043b\u043e\u043c. \u0422\u043e, \u0447\u0442\u043e \u043c\u044b \u0438 \u0445\u043e\u0442\u0435\u043b\u0438. \u0414\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435. <\/p>\n<h4>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u043b\u0430\u0442\u0438\u043d\u0438\u0446\u0443<\/h4>\n<p>  \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u0432\u043e\u044e \u0441\u0430\u043c\u043e\u043f\u0438\u0441\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443 cyrtranslit. \u0412\u0440\u043e\u0434\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u043b \u0432\u0440\u0443\u0447\u043d\u0443\u044e.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># transliteration to latin baseline_train['name_1_transliterated'] = transliterate(baseline_train['name_1_non_stop_words']) baseline_train['name_2_transliterated'] = transliterate(baseline_train['name_2_non_stop_words']) baseline_test['name_1_transliterated'] = transliterate(baseline_test['name_1_non_stop_words']) baseline_test['name_2_transliterated'] = transliterate(baseline_test['name_2_non_stop_words'])<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0430\u0440\u0443 \u0441 id 353150. \u0412 \u043d\u0435\u0439 \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 (\u00abname_2\u00bb) \u0438\u043c\u0435\u0435\u0442 \u0441\u043b\u043e\u0432\u043e \u00ab\u043c\u0438\u0448\u043b\u0435\u043d\u00bb, \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u043b\u043e\u0432\u043e \u0443\u0436\u0435 \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u0442\u0430\u043a \u00abmishlen\u00bb (\u0441\u043c. \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u00abname_2_transliterated\u00bb). \u041d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043d\u043e \u044f\u0432\u043d\u043e \u043b\u0443\u0447\u0448\u0435.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">pair_id = 353150 baseline_train[baseline_train['pair_id']==353150]<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u21165 \u00ab\u0412\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u0434\u0430 \u043f\u043e \u0442\u0440\u0430\u043d\u0441\u043b\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438\u00bb<br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/f4\/mx\/5b\/f4mx5b53wr_3giwlfee4bxwcn44.jpeg\"><\/p>\n<h4>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f 50 \u0441\u0430\u043c\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432 &amp; Drop it smart. \u041f\u0435\u0440\u0432\u044b\u0439 \u0427\u0418\u0422<\/h4>\n<p>  \u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043c\u0443\u0434\u0440\u0435\u043d\u044b\u0439 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u0447\u0442\u043e \u043c\u044b \u0442\u0443\u0442 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<p>  \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043c \u0442\u0435\u043a\u0441\u0442 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0432 \u043e\u0434\u0438\u043d \u043c\u0430\u0441\u0441\u0438\u0432 \u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043e\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u043e\u0441\u044c.<\/p>\n<p>  \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0442\u043e\u043f 50 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u043e\u0432. \u0418 \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b \u043c\u043e\u0436\u043d\u043e \u0438\u0445 \u0443\u0434\u0430\u043b\u0438\u0442\u044c, \u043d\u043e \u043d\u0435\u0442. \u0412 \u044d\u0442\u0438\u0445 \u0441\u043b\u043e\u0432\u0430\u0445 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 (&#8216;total&#8217;, &#8216;knauf&#8217;, &#8216;shell&#8217;,&#8230;), \u0430 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0438 \u0435\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043f\u043e\u0439\u0434\u0435\u043c \u043d\u0430 \u0447\u0438\u0442\u0435\u0440\u0441\u043a\u0438\u0439 (\u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u043d\u044b\u0439) \u043f\u0440\u0438\u0435\u043c. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e, \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432. \u0421\u043f\u0438\u0441\u043e\u043a \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043f\u043e\u043b\u043d\u044b\u0439, \u0438\u043d\u0430\u0447\u0435 \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0447\u0435\u0441\u0442\u043d\u043e \ud83d\ude42 \u0425\u043e\u0442\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u043d\u0435 \u0433\u043e\u043d\u0438\u043c\u0441\u044f \u0437\u0430 \u043f\u0440\u0438\u0437\u043e\u0432\u044b\u043c \u043c\u0435\u0441\u0442\u043e\u043c, \u0442\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u0438 \u043d\u0435\u0442. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u043c\u0430\u0441\u0441\u0438\u0432 \u0442\u043e\u043f 50 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432 \u0441\u043e \u0441\u043f\u0438\u0441\u043a\u043e\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 \u0438 \u0432\u044b\u043a\u0438\u043d\u0435\u043c \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0441\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432.<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432 \u0433\u043e\u0442\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>  \u041d\u043e \u043f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c, \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0440\u0435\u043c\u0430\u0440\u043e\u0447\u043a\u0443 \u043a\u0430\u0441\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0447\u0438\u0442\u0435\u0440\u0441\u043a\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432. \u0422\u043e, \u0447\u0442\u043e \u043c\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u043b\u043e \u043d\u0430\u043c \u0436\u0438\u0437\u043d\u044c. \u041d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0434\u0440\u0443\u0433\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0438 \u043a\u0440\u0443\u043f\u043d\u0435\u0439\u0448\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0432 \u043d\u0435\u0444\u0442\u0435\u0445\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439, \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439, \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c\u043d\u043e\u0439 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0442\u0440\u0430\u0441\u043b\u044f\u0445, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0438\u0445 \u0438 \u0432\u0437\u044f\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432. \u041d\u043e \u0432 \u0446\u0435\u043b\u044f\u0445 \u043d\u0430\u0448\u0435\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043c\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f! \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0439, \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043d\u0430 \u043f\u0440\u0438\u0437\u043e\u0432\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u0435\u043c\u043e\u0432. \u0411\u0443\u0434\u044c\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u044b!  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">list_top_companies = ['arlanxeo', 'basf', 'bayer', 'bdp', 'bosch', 'brenntag', 'contitech',                       'daewoo', 'dow', 'dupont', 'evonik', 'exxon', 'exxonmobil', 'freudenberg',                       'goodyear', 'goter', 'henkel', 'hp', 'hyundai', 'isover', 'itochu', 'kia', 'knauf',                       'kraton', 'kumho', 'lusocopla', 'michelin', 'paul bauder', 'pirelli', 'ravago',                       'rehau', 'reliance', 'sabic', 'sanyo', 'shell', 'sherwinwilliams', 'sojitz',                       'soprema', 'steico', 'strabag', 'sumitomo', 'synthomer', 'synthos',                       'total', 'trelleborg', 'trinseo', 'yokohama']  # drop top 50 common words (NAME 1 &amp; NAME 2) exept names of top companies  # first: make dictionary of frequency every word list_words = baseline_train['name_1_transliterated'].to_string(index=False).split() +\\                 baseline_train['name_2_transliterated'].to_string(index=False).split() freq_words = {} for w in list_words:     freq_words[w] = freq_words.get(w, 0) + 1      # # second: make data frame df_freq = pd.DataFrame.from_dict(freq_words,orient='index').reset_index() df_freq.columns = ['word','frequency'] df_freq_agg = df_freq.groupby(['word']).agg([sum]).reset_index() df_freq_agg = rename_agg_columns(id_client='word',data=df_freq_agg,rename='%s_%s') df_freq_agg = df_freq_agg.sort_values(by=['frequency_sum'], ascending=False) drop_list = list(set(df_freq_agg[0:50]['word'].to_string(index=False).split()) - set(list_top_companies))  # # check list of top 50 common words # print (drop_list)   # drop the top 50 words baseline_train['name_1_finish'] =\\     baseline_train['name_1_transliterated'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) baseline_train['name_2_finish'] =\\     baseline_train['name_2_transliterated'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)]))  baseline_test['name_1_finish'] =\\     baseline_test['name_1_transliterated'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) baseline_test['name_2_finish'] =\\     baseline_test['name_2_transliterated'].apply(     lambda x: ' '.join([word for word in x.split() if word not in (drop_list)])) <\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041d\u0430 \u044d\u0442\u043e\u043c \u043c\u044b \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0438 \u0441 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430\u0447\u043d\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u0447\u0438 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u0438\u0445 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u043d\u0430 0 \u0438\u043b\u0438 1.<\/p>\n<h3>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0444\u0438\u0447<\/h3>\n<p>  <\/p>\n<h4>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430<\/h4>\n<p>  \u0412\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u043e\u0439 strsimpy \u0438 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0435 (\u043f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043e\u043a) \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u043e\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0434\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># create feature with LEVENSTAIN DISTANCE levenshtein = Levenshtein() column_1 = 'name_1_finish' column_2 = 'name_2_finish'  baseline_train[&quot;levenstein&quot;] = baseline_train.progress_apply(     lambda r: levenshtein.distance(r[column_1], r[column_2]), axis=1) baseline_test[&quot;levenstein&quot;] = baseline_test.progress_apply(     lambda r: levenshtein.distance(r[column_1], r[column_2]), axis=1)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h4>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430<\/h4>\n<p>  \u0412\u0441\u0435 \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0438 \u0432\u044b\u0448\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0430<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># create feature with NORMALIZATION LEVENSTAIN DISTANCE normalized_levenshtein = NormalizedLevenshtein() column_1 = 'name_1_finish' column_2 = 'name_2_finish'  baseline_train[&quot;norm_levenstein&quot;] = baseline_train.progress_apply(     lambda r: normalized_levenshtein.distance(r[column_1], r[column_2]),axis=1) baseline_test[&quot;norm_levenstein&quot;] = baseline_test.progress_apply(     lambda r: normalized_levenshtein.distance(r[column_1], r[column_2]),axis=1)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c<\/p>\n<h4>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0444\u0438\u0447\u0438<\/h4>\n<p>  \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 &#8216;levenstein&#8217;  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">data = baseline_train analyse = 'levenstein' size = (12,2) dd = data_statistics(data,analyse,title_print='no') hist_fz(data,dd,analyse,size) boxplot(data,analyse,size)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u21161 \u00ab\u0413\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0438 \u044f\u0449\u0438\u043a \u0441 \u0443\u0441\u0430\u043c\u0438 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xv\/0k\/u9\/xv0ku9dfr_v2hbmxuwtv_7ldj3w.jpeg\"><br \/>  \u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0435 \u043c\u043e\u0436\u043d\u043e.<\/p>\n<p>  \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 &#8216;norm_levenstein&#8217;  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u043f\u043e\u0439\u043b\u0435\u0440\u0430<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">data = baseline_train analyse = 'norm_levenstein' size = (14,2) dd = data_statistics(data,analyse,title_print='no') hist_fz(data,dd,analyse,size) boxplot(data,analyse,size)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u21162 \u00ab\u0413\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0438 \u044f\u0449\u0438\u043a \u0441 \u0443\u0441\u0430\u043c\u0438 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/4p\/bo\/3c\/4pbo3cvrckxi_mwp3kk4zxcnnim.jpeg\"><br \/>  \u0423\u0436\u0435 \u043b\u0443\u0447\u0448\u0435. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a \u0434\u0432\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0432\u0437\u044f\u0442\u044b\u0435 \u0444\u0438\u0447\u0438 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u044b 0 \u0438 1.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">data = baseline_train analyse1 = 'levenstein' analyse2 = 'norm_levenstein' size = (14,6) two_features(data,analyse1,analyse2,size)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0413\u0440\u0430\u0444\u0438\u043a \u21163 \u00ab\u0414\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u0441\u0435\u044f\u043d\u0438\u044f\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yl\/ek\/1w\/ylek1wt0bolpku9ymugoohdz7im.jpeg\"><br \/>  \u041e\u0447\u0435\u043d\u044c \u0434\u0430\u0436\u0435 \u043d\u0435\u043f\u043b\u043e\u0445\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f. \u0417\u043d\u0430\u0447\u0438\u0442 \u043d\u0435 \u0437\u0440\u044f \u043c\u044b \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \ud83d\ude42<br \/>  \u0412\u0441\u0435\u043c \u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u00ablevenstein\u00bb, \u0430 \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u00abnorm_levenstein\u00bb, \u0430 \u0437\u0435\u043b\u0435\u043d\u0435\u043d\u044c\u043a\u0438\u0435 \u0438 \u0447\u0435\u0440\u043d\u0435\u043d\u044c\u043a\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 \u044d\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b 0 \u0438 1. \u0414\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<h4>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043b\u043e\u0432\u0430 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043a\u0443\u0447\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432<\/h4>\n<p>  \u041d\u0438\u0436\u0435 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439. \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438:<br \/>   \u2014 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445 \u21161 \u0438 \u21162 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b<br \/>   \u2014 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u041d\u0415 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f<\/p>\n<p>  \u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u0438\u0445 \u0441\u043f\u0438\u0441\u043a\u043e\u0432 \u0441\u043b\u043e\u0432, \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u043e\u0434\u0430\u0434\u0438\u043c \u0432 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c:<br \/>   \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432<br \/>   \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u041d\u0415 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432<br \/>   \u2014 \u0441\u0443\u043c\u043c\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432<br \/>   \u2014 \u0441\u0443\u043c\u043c\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u041d\u0415 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432<br \/>   \u2014 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432<br \/>   \u2014 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u041d\u0415 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u043b\u043e\u0432<br \/>   \u2014 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0432 \u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u041d\u0415 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0432<\/p>\n<p>  \u041a\u043e\u0434 \u0437\u0434\u0435\u0441\u044c, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0434\u0440\u0443\u0436\u0435\u043b\u044e\u0431\u043d\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438, \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u0431\u044b\u043b \u043d\u0430 \u0441\u043a\u043e\u0440\u0443\u044e \u0440\u0443\u043a\u0443. \u041d\u043e \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0439\u0434\u0435\u0442.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># make some information about duplicates and differences for TRAIN column_1 = 'name_1_finish' column_2 = 'name_2_finish'  duplicates = [] difference = []  for i in range(baseline_train.shape[0]):     list1 = list(baseline_train[i:i+1][column_1])     str1 = ''.join(list1).split()     list2 = list(baseline_train[i:i+1][column_2])     str2 = ''.join(list2).split()          duplicates.append(list(set(str1) &amp; set(str2)))     difference.append(list(set(str1).symmetric_difference(set(str2))))      # continue make information about duplicates duplicate_count,duplicate_sum = compair_metrics(duplicates) dif_count,dif_sum = compair_metrics(difference)  # create features have information about duplicates and differences for TRAIN baseline_train['duplicate'] = duplicates baseline_train['difference'] = difference  baseline_train['duplicate_count'] = duplicate_count baseline_train['duplicate_sum'] = duplicate_sum baseline_train['duplicate_mean'] = baseline_train['duplicate_sum'] \/ baseline_train['duplicate_count'] baseline_train['duplicate_mean'] = baseline_train['duplicate_mean'].fillna(0)  baseline_train['dif_count'] = dif_count baseline_train['dif_sum'] = dif_sum baseline_train['dif_mean'] = baseline_train['dif_sum'] \/ baseline_train['dif_count'] baseline_train['dif_mean'] = baseline_train['dif_mean'].fillna(0)  baseline_train['ratio_duplicate\/dif_count'] = baseline_train['duplicate_count'] \/ baseline_train['dif_count']  # make some information about duplicates and differences for TEST column_1 = 'name_1_finish' column_2 = 'name_2_finish'  duplicates = [] difference = []  for i in range(baseline_test.shape[0]):     list1 = list(baseline_test[i:i+1][column_1])     str1 = ''.join(list1).split()     list2 = list(baseline_test[i:i+1][column_2])     str2 = ''.join(list2).split()          duplicates.append(list(set(str1) &amp; set(str2)))     difference.append(list(set(str1).symmetric_difference(set(str2))))      # continue make information about duplicates duplicate_count,duplicate_sum = compair_metrics(duplicates) dif_count,dif_sum = compair_metrics(difference)  # create features have information about duplicates and differences for TEST baseline_test['duplicate'] = duplicates baseline_test['difference'] = difference  baseline_test['duplicate_count'] = duplicate_count baseline_test['duplicate_sum'] = duplicate_sum baseline_test['duplicate_mean'] = baseline_test['duplicate_sum'] \/ baseline_test['duplicate_count'] baseline_test['duplicate_mean'] = baseline_test['duplicate_mean'].fillna(0)  baseline_test['dif_count'] = dif_count baseline_test['dif_sum'] = dif_sum baseline_test['dif_mean'] = baseline_test['dif_sum'] \/ baseline_test['dif_count'] baseline_test['dif_mean'] = baseline_test['dif_mean'].fillna(0)  baseline_test['ratio_duplicate\/dif_count'] = baseline_test['duplicate_count'] \/ baseline_test['dif_count'] <\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.   <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">data = baseline_train analyse = 'dif_sum' size = (14,2) dd = data_statistics(data,analyse,title_print='no') hist_fz(data,dd,analyse,size) boxplot(data,analyse,size)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u21164 \u00ab\u0413\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0438 \u044f\u0449\u0438\u043a \u0441 \u0443\u0441\u0430\u043c\u0438 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/hj\/vw\/bo\/hjvwbobj1i74bhu1z-mbip7pmdy.jpeg\">  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">data = baseline_train analyse1 = 'duplicate_mean' analyse2 = 'dif_mean' size = (14,6) two_features(data,analyse1,analyse2,size)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <u>\u0413\u0440\u0430\u0444\u0438\u043a \u21165 \u00ab\u0414\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u0441\u0435\u044f\u043d\u0438\u044f\u00bb<\/u><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/np\/oz\/jc\/npozjc0q9jl5y3s8r_v9u_6rlaq.jpeg\"><br \/>  \u041a\u0430\u043a\u0430\u044f \u043d\u0438\u043a\u0430\u043a\u0430\u044f, \u0430 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430. \u041e\u0431\u0440\u0430\u0442\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0441 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u043a\u043e\u0439 1 \u0438\u043c\u0435\u044e\u0442 \u043d\u043e\u043b\u044c \u0434\u0443\u0431\u043b\u0435\u0439 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u0442\u0430\u043a\u0436\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u0438\u043c\u0435\u044e\u0449\u0438\u0445 \u0434\u0443\u0431\u043b\u0438 \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f\u0445 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0431\u043e\u043b\u0435\u0435 12 \u0441\u043b\u043e\u0432 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c \u0441 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u043a\u043e\u0439 0.<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e \u043f\u0435\u0440\u0432\u043e\u043c\u0443 \u0441\u043b\u0443\u0447\u0430\u044e: \u0434\u0443\u0431\u043b\u0435\u0439 \u0432 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043d\u043e\u043b\u044c, \u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">baseline_train[     baseline_train['duplicate_mean']==0][     baseline_train['target']==1].drop(         ['duplicate', 'difference',         'name_1_non_stop_words',         'name_2_non_stop_words', 'name_1_transliterated',         'name_2_transliterated'],axis=1)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nk\/of\/tv\/nkoftvsyb_vtg8nztp4cny6wzqe.jpeg\"><br \/>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0435\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u043d\u0430\u0448\u0435\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435. \u041c\u044b \u043d\u0435 \u0443\u0447\u043b\u0438, \u0447\u0442\u043e \u0441\u043b\u043e\u0432\u0430 \u043c\u043e\u0433\u0443\u0442 \u043f\u0438\u0441\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438, \u043d\u043e \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043b\u0438\u0442\u043d\u043e \u0438\u043b\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e \u0442\u0430\u043c, \u0433\u0434\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0430\u0440\u0430 \u21169764. \u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 &#8216;bitmat&#8217; \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c &#8216;bit mat&#8217; \u0438 \u0432\u043e\u0442 \u0443\u0436\u0435 \u044d\u0442\u043e \u043d\u0435 \u0434\u0443\u0431\u043b\u044c, \u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u0442\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f. \u0418\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0430\u0440\u0430 \u2116482600 &#8216;bridgestoneshenyang&#8217; \u0438 &#8216;bridgestone&#8217;. <\/p>\n<p>  \u0427\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c. \u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e \u0432 \u0433\u043e\u043b\u043e\u0432\u0443 \u2014 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432 \u043b\u043e\u0431, \u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430. \u041d\u043e \u0438 \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u0441 \u043f\u043e\u0434\u0441\u0442\u0435\u0440\u0435\u0433\u0430\u0435\u0442 \u0437\u0430\u0441\u0430\u0434\u0430: \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 &#8216;bridgestoneshenyang&#8217; \u0438 &#8216;bridgestone&#8217; \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0434\u0435\u0442 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f, \u043d\u043e \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438 \u0441\u0445\u043e\u0434\u0443 \u043d\u0435 \u044f\u0441\u043d\u043e \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439. \u0418\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0422\u0430\u043c\u0438\u043c\u043e\u0442\u043e, \u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0435\u0439 \u0438 \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<h4>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0442\u043e\u043f 50 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0431\u0440\u0435\u043d\u0434\u043e\u0432 \u043d\u0435\u0444\u0442\u0435\u0445\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439, \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0442\u0440\u0430\u0441\u043b\u0435\u0439. \u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u0442\u043e\u0440\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043a\u0443\u0447\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0412\u0442\u043e\u0440\u043e\u0439 \u0427\u0418\u0422<\/h4>\n<p>  \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0437\u0434\u0435\u0441\u044c \u0446\u0435\u043b\u044b\u0445 \u0434\u0432\u0430 \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u0438\u043b \u0443\u0447\u0430\u0441\u0442\u0438\u044f \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<p>   \u2014 \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u044b \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043f\u0440\u044f\u043c\u043e \u0432 \u043b\u043e\u0431, \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0440\u0430\u043d\u043d\u0435\u0435 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u044b \u0441\u043b\u043e\u0432 \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u00abduplicate_name_company\u00bb<br \/>   \u2014 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0445\u0438\u0442\u0440\u043e\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u0411\u0443\u0434\u0435\u043c \u0441\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u0430 \u0447\u0435\u0440\u0435\u0437 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430.<\/p>\n<p>  \u041e\u0431\u0430 \u043f\u0440\u0438\u0435\u043c\u0430 \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0439. \u041e\u0431\u043e\u0439\u0442\u0438 \u0437\u0430\u043f\u0440\u0435\u0442 \u043c\u043e\u0436\u043d\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0439 \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 \u043d\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u2014 \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432. \u041d\u043e \u0442\u043e\u0433\u0434\u0430, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0441\u043f\u0438\u0441\u043e\u043a \u0445\u043e\u043b\u0434\u0438\u043d\u0433\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0435 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u0437\u0430\u0439\u043c\u0435\u0442 \u043e\u0447\u0435\u043d\u044c, \u043d\u0443 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0430 \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u044d\u0442\u043e\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u0435\u0449\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \ud83d\ude42 \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0446\u0435\u043b\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c\u0441\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u044d\u0442\u0438\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u0417\u0430\u0431\u0435\u0433\u0443 \u0432\u043f\u0435\u0440\u0435\u0434 \u2014 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0442\u0440\u044f\u0441\u0430\u044e\u0449\u0435!<\/p>\n<p>  \u0421 \u043f\u0435\u0440\u0432\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0432\u0440\u043e\u0434\u0435 \u0432\u0441\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0430 \u0432\u043e\u0442 \u043a\u043e \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u043f\u043e\u0434\u0445\u043e\u0434\u0443 \u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f. <\/p>\n<p>  \u0418\u0442\u0430\u043a, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u043e\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u0447\u043a\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0441 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0434\u043e \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f \u043d\u0435\u0444\u0442\u0435\u0445\u0438\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 (\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e). <\/p>\n<p>  \u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u043a \u0434\u043b\u0438\u043d\u0435 \u0441\u043b\u043e\u0432\u0430 \u043c\u0435\u043d\u0435\u0435 \u0438\u043b\u0438 \u0440\u0430\u0432\u043d\u043e 0.4, \u0442\u043e \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u0434\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u043b\u043e\u0432\u0443 \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u2014 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. <\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0438 \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 (\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438 \u043a \u0434\u043b\u0438\u043d\u0435 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439) \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0438\u0436\u0435 \u0438\u043b\u0438 \u0440\u0430\u0432\u0435\u043d 0.4, \u0442\u043e \u043c\u044b \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<br \/>   \u2014 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u043e\u0442 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u21161 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0434\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 \u0442\u043e\u043f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439<br \/>   \u2014 \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 \u043e\u0442 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u21162 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 \u0434\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 \u0442\u043e\u043f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439<br \/>   \u2014 \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u21161<br \/>   \u2014 \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u21162<br \/>   \u2014 \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0442\u043e\u043f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439<br \/>   \u2014 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u21161 \u043a \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438<br \/>   \u2014 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u21162 \u043a \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u0438<\/p>\n<p>  \u0412 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f, \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0437 \u043d\u0438\u0445 (\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438). <\/p>\n<p>  \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0435\u0449\u0435 \u0440\u0430\u0437 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0444\u0438\u0447, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0435\u043c\u043a\u0438\u0439 \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043f\u0438\u0441\u043a\u0430 \u0438\u0437 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432 \u043a\u043e\u0434\u0435 \u043f\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043c\u0435\u0442\u0440\u0438\u043a.   <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># create information about duplicate name of petrochemical companies from top list list_top_companies = list_top_companies  dp_train = [] for i in list(baseline_train['duplicate']):     dp_train.append(''.join(list(set(i) &amp; set(list_top_companies))))      dp_test = [] for i in list(baseline_test['duplicate']):     dp_test.append(''.join(list(set(i) &amp; set(list_top_companies))))      baseline_train['duplicate_name_company'] = dp_train baseline_test['duplicate_name_company'] = dp_test  # replace name duplicate to number baseline_train['duplicate_name_company'] =\\     baseline_train['duplicate_name_company'].replace('',0,regex=True) baseline_train.loc[baseline_train['duplicate_name_company'] != 0, 'duplicate_name_company'] = 1  baseline_test['duplicate_name_company'] =\\     baseline_test['duplicate_name_company'].replace('',0,regex=True) baseline_test.loc[baseline_test['duplicate_name_company'] != 0, 'duplicate_name_company'] = 1  # create some important feature about similar words in the data and names of top companies for TRAIN # (levenstein distance, length of word, ratio distance to length) baseline_train = dist_name_to_top_list_make(baseline_train,                       'name_1_finish','name_2_finish',list_top_companies)  # create some important feature about similar words in the data and names of top companies for TEST # (levenstein distance, length of word, ratio distance to length) baseline_test = dist_name_to_top_list_make(baseline_test,                       'name_1_finish','name_2_finish',list_top_companies) <\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0441\u043a\u0432\u043e\u0437\u044c \u043f\u0440\u0438\u0437\u043c\u0443 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">data = baseline_train analyse = 'levenstein_dist_w1_top_w_min' size = (14,2) dd = data_statistics(data,analyse,title_print='no') hist_fz(data,dd,analyse,size) boxplot(data,analyse,size)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/e2\/pv\/cw\/e2pvcwhyixkpx8kqnsh3buwk_li.jpeg\"><br \/>  \u041e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e.<\/p>\n<h3>\u0413\u043e\u0442\u043e\u0432\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u0434\u0430\u0447\u0438 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>  \u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0438 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u044b.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">baseline_train.columns<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/v7\/7n\/ju\/v77njuo3sep6_haofuglyh4-js4.jpeg\"><br \/>  \u0412\u044b\u0431\u0435\u0440\u0435\u043c \u0442\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<p>  \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c seed \u0434\u043b\u044f \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># fix some parameters features = ['levenstein','norm_levenstein',                          'duplicate_count','duplicate_sum','duplicate_mean',             'dif_count','dif_sum','dif_mean','ratio_duplicate\/dif_count',                          'duplicate_name_company',                         'levenstein_dist_w1_top_w_min', 'levenstein_dist_w2_top_w_min',        'length_w1_top_w_min', 'length_w2_top_w_min', 'length_top_w_min',        'ratio_dist_w1_to_top_w_min', 'ratio_dist_w2_to_top_w_min'             ] seed = 42<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c, \u043a\u0430\u043a \u043e\u043a\u043e\u043d\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u043e\u0431\u044c\u0435\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043d\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0438 \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e. \u041f\u043e\u043c\u0435\u0440\u0438\u043c \u043d\u0430 \u043d\u0435\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u0435\u0441\u043b\u0438 \u043d\u0430\u0441 \u043e\u043d\u043e \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442, \u0442\u043e \u0431\u0443\u0434\u0435\u043c \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043d\u043a\u0443\u0440\u0441.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># provides train\/test indices to split data in train\/test sets split = StratifiedShuffleSplit(n_splits=1, train_size=0.8, random_state=seed)  tridx, cvidx = list(split.split(baseline_train[features],                                 baseline_train[&quot;target&quot;]))[0]  print ('Split baseline data train',baseline_train.shape[0]) print (' - new train data:',tridx.shape[0]) print (' - new test data:',cvidx.shape[0])<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <\/p>\n<h3>\u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>  \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Light GBM. <\/p>\n<p>  \u0421\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430. \u0421\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u043e\u0434.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># learning Light GBM Classificier seed = 50 params = {'n_estimators': 1,           'objective': 'binary',           'max_depth': 40,           'min_child_samples': 5,           'learning_rate': 1,  #           'reg_lambda': 0.75, #           'subsample': 0.75, #           'colsample_bytree': 0.4, #           'min_split_gain': 0.02, #           'min_child_weight': 40,           'random_state': seed}   model = lgb.LGBMClassifier(**params) model.fit(baseline_train.iloc[tridx][features].values,           baseline_train.iloc[tridx][&quot;target&quot;].values)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u0438 \u043e\u0431\u0443\u0447\u0438\u043b\u0438. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># make predict proba and predict target probability_level = 0.99 X = baseline_train tridx = tridx cvidx = cvidx model = model  X_tr, X_cv = contingency_table(X,features,probability_level,tridx,cvidx,model)  train_matrix_confusion = matrix_confusion(X_tr) cv_matrix_confusion = matrix_confusion(X_cv)  report_score(train_matrix_confusion,              cv_matrix_confusion,              baseline_train,              tridx,cvidx,              X_tr,X_cv) <\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/re\/64\/jk\/re64jkxxt56zvzqt2k382e2zswm.jpeg\"><br \/>  \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 f1. \u0417\u043d\u0430\u0447\u0438\u0442, \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 1 \u0438\u043b\u0438 0. \u041c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0443\u0440\u043e\u0432\u0435\u043d\u044c 0.99, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0432\u043d\u043e\u0439 \u0438 \u0432\u044b\u0448\u0435 0.99 \u043e\u0431\u044a\u0435\u043a\u0442 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u043d\u0435\u0441\u0435\u043d \u043a \u043a\u043b\u0430\u0441\u0441\u0443 1, \u043d\u0438\u0436\u0435 0.99 \u2014 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 0. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u2014 \u043c\u043e\u0436\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0441\u043a\u043e\u0440 \u0442\u0430\u043a\u0438\u043c \u043d\u0435 \u0445\u0438\u0442\u0440\u044b\u043c \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0442\u0440\u044e\u043a\u043e\u043c.<\/p>\n<p>  \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0440\u043e\u0434\u0435 \u0431\u044b \u043d\u0435 \u043f\u043b\u043e\u0445\u043e\u0435. \u041d\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043b \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 222 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u0430 0 \u0438 \u043d\u0430 90 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445, \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 0 \u043e\u0448\u0438\u0431\u0441\u044f \u0438 \u043e\u0442\u043d\u0435\u0441 \u0438\u0445 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 1 (\u0441\u043c.Matrix confusion on test(cv) data).<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0431\u044b\u043b\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u043c\u0438, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">start = 0 stop = 50 size = (12,6)  tg = table_gain_coef(model,features,start,stop) gain_hist(tg,size,start,stop) display(tg)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fv\/jq\/9-\/fvjq9-soirs4k7bqy0t8vehkcxc.jpeg\"><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/99\/_x\/hn\/99_xhnsetijx3i-a4zlzf00sgxa.jpeg\"><br \/>  \u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 &#8216;gain&#8217;, \u0430 \u043d\u0435 &#8216;split&#8217;. \u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043e\u0447\u0435\u043d\u044c \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u043a\u043b\u0430\u0434 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0432 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0438 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0442\u043e, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u043b\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430.<\/p>\n<p>  \u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u043f\u0440\u0438\u0437\u043d\u0430\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0434\u0435\u043b\u0430\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u043b\u0433\u043e \u00ablevenstein_dist_w1_top_w_min\u00bb \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u2014 \u0435\u0433\u043e \u0432\u043a\u043b\u0430\u0434 \u0440\u0430\u0432\u0435\u043d 0. \u041d\u043e \u044d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434. \u041e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u043c\u044b\u0441\u043b\u0443 \u0441 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u00abduplicate_name_company\u00bb. \u0415\u0441\u043b\u0438 \u0443\u0434\u0430\u043b\u0438\u0442\u044c \u00abduplicate_name_company\u00bb \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u00ablevenstein_dist_w1_top_w_min\u00bb, \u0442\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0437\u0430\u0439\u043c\u0435\u0442 \u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435 \u043f\u043e\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e!<\/p>\n<p>  \u0412\u043e\u043e\u0431\u0449\u0435 \u0442\u0430\u043a\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0430 \u2014 \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0448\u0442\u0443\u043a\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0443 \u0442\u0435\u0431\u044f \u0441\u043e\u0442\u043d\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043a\u0443\u0447\u0435\u0439 \u043f\u0440\u0438\u0431\u0430\u043c\u0431\u0430\u0441\u043e\u0432 \u0438 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 5000. \u041c\u043e\u0436\u043d\u043e \u043f\u0430\u0447\u043a\u0430\u043c\u0438 \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0441\u0442\u0435\u0442 \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0445\u0438\u0442\u0440\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043d\u0435 \u043e\u0442\u0440\u0430\u0437\u0438\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435.<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f. \u0412 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u00abFalse Positive\u00bb, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b \u043a\u0430\u043a \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0438 \u043e\u0442\u043d\u0435\u0441 \u0438\u0445 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 1, \u0430 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 0.  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">X_cv[X_cv['False_Positive']==1][0:50].drop(['name_1_non_stop_words',        'name_2_non_stop_words', 'name_1_transliterated',        'name_2_transliterated', 'duplicate', 'difference',        'levenstein',        'levenstein_dist_w1_top_w_min', 'levenstein_dist_w2_top_w_min',        'length_w1_top_w_min', 'length_w2_top_w_min', 'length_top_w_min',        'ratio_dist_w1_to_top_w_min', 'ratio_dist_w2_to_top_w_min',        'True_Positive','True_Negative','False_Negative'],axis=1)<\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/-z\/tf\/cu\/-ztfcugam4e2bswtqqf-bpyv9jg.jpeg\"><br \/>  \u0414\u0430 \u0443\u0436. \u0417\u0434\u0435\u0441\u044c \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0442\u043e \u0441\u0445\u043e\u0434\u0443 \u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442 0 \u0438\u043b\u0438 1. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0430\u0440\u0430 \u2116146825 \u00abmitsubishi corp\u00bb \u0438 \u00abmitsubishi corp l\u00bb. \u0413\u043b\u0430\u0437\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0434\u043d\u043e \u0438 \u0442\u043e\u0436\u0435, \u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u041a\u043e\u043c\u0443 \u0432\u0435\u0440\u0438\u0442\u044c?<\/p>\n<p>  \u0421\u043a\u0430\u0436\u0435\u043c \u0442\u0430\u043a, \u0447\u0442\u043e \u0441\u0445\u043e\u0434\u0443 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0432\u044b\u0436\u0430\u0442\u044c \u2014 \u043c\u044b \u0432\u044b\u0436\u0430\u043b\u0438. \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043e\u043f\u044b\u0442\u043d\u044b\u043c \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0430\u043c \ud83d\ude42<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0441\u0430\u0439\u0442 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438 \u0443\u0437\u043d\u0430\u0435\u043c \u043e\u0446\u0435\u043d\u043a\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<h3>\u0418\u0442\u043e\u0433\u0438 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f<\/h3>\n<p>  <\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u041a\u043e\u0434<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">model = lgb.LGBMClassifier(**params) model.fit(baseline_train[features].values,           baseline_train[&quot;target&quot;].values)  sample_sub = pd.read_csv('sample_submission.csv', index_col=&quot;pair_id&quot;)  sample_sub['is_duplicate'] = (model.predict_proba(     baseline_test[features].values)[:, 1] &gt; probability_level).astype(np.int)  sample_sub.to_csv('baseline_submission.csv') <\/code><\/pre>\n<p>  <\/div>\n<\/p><\/div>\n<p>  \u0418\u0442\u0430\u043a, \u043d\u0430\u0448 \u0441\u043a\u043e\u0440 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0435\u043c\u0430: <b>0.5999<\/b><\/p>\n<p>  \u0411\u0435\u0437 \u043d\u0435\u0433\u043e, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u044b\u043b\u043e \u0433\u0434\u0435-\u0442\u043e \u043c\u0435\u0436\u0434\u0443 0.3 \u0438 0.4. \u041d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u0430 \u043c\u043d\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0435\u043d\u044c \ud83d\ude42<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043b\u0443\u0447\u0448\u0435 \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043e\u043f\u044b\u0442.<\/p>\n<p>  \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c, \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0435\u0431\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 \u043a\u043e\u0434 \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0444\u0430\u0439\u043b\u0430. \u0418\u0437-\u0437\u0430 \u043c\u0430\u043b\u043e\u0433\u043e \u043e\u043f\u044b\u0442\u0430 \u044f \u0432 \u0441\u0432\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0431\u0438\u043b \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0448\u0438\u0448\u0435\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u0444\u043e\u0440\u043c\u043b\u044f\u043b \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430\u0441\u043f\u0435\u0445, \u043b\u0438\u0448\u044c \u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u0441\u043a\u043e\u0440. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0444\u0430\u0439\u043b \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0441\u044f \u0442\u0430\u043a\u0438\u043c, \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0434\u0435\u043b\u044e \u0435\u0433\u043e \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u0441\u0442\u0440\u0430\u0448\u043d\u043e \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u2014 \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043c\u043e\u0439 \u043f\u043e\u0441\u044b\u043b \u2014 \u043f\u0438\u0448\u0438\u0442\u0435 \u0441\u0440\u0430\u0437\u0443 \u043a\u043e\u0434 \u0438 \u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u0444\u0430\u0439\u043b \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u043c, \u0442\u0430\u043a \u0447\u0442\u043e\u0431\u044b \u0447\u0435\u0440\u0435\u0437 \u0433\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043a \u0434\u0430\u043d\u043d\u044b\u043c, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u043f\u043e\u043d\u044f\u0442\u044c \u043a\u0430\u043a\u0438\u0435 \u0448\u0430\u0433\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u044f\u0442\u044b \u0438 \u043f\u043e\u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043b\u0435\u0433\u043a\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0435\u0441\u043b\u0438 \u0412\u044b \u043d\u043e\u0432\u0438\u0447\u043e\u043a, \u0442\u043e \u0441 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0444\u0430\u0439\u043b \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u043c, \u043a\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u043b\u043e\u043c\u0430\u0442\u044c\u0441\u044f, \u0431\u0443\u0434\u0443\u0442 \u043a\u043e\u0441\u0442\u044b\u043b\u0438, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438, \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u0434 \u0437\u0430\u043d\u043e\u0432\u043e, \u0442\u043e \u043d\u0430 5-7 \u0440\u0430\u0437 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0412\u044b \u0441\u0430\u043c\u0438 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u0441\u044c \u0442\u043e\u043c\u0443, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0434 \u0441\u0442\u0430\u043b \u0447\u0438\u0449\u0435 \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0436\u0435 \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u0435 \u0441\u043a\u043e\u0440. \u041d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u0435\u0442 \u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u0444\u0430\u0439\u043b\u0430.<\/p>\n<p>  \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435, \u0432\u0441\u0435 \u043b\u0438 \u043f\u0440\u043e\u0448\u043b\u043e \u043a\u0430\u043a \u0437\u0430\u0434\u0443\u043c\u0430\u043d\u043e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0443\u043c\u0435\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 pandas. \u0412 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u043d\u043e\u0433\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438, \u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435\u0441\u044c \u043d\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u0435 \ud83d\ude42<\/p>\n<p>  \u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u0432\u0441\u0435\u0433\u0434\u0430, \u043f\u0440\u044f\u043c\u043e-\u0442\u0430\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430, \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0439\u0442\u0435 \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f. \u041f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0412\u044b \u043b\u0435\u0433\u043a\u043e \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u0445 \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u0430\u0440\u0430\u0439\u0442\u0435\u0441\u044c \u043f\u043e\u0434\u043c\u0435\u0447\u0430\u0442\u044c \u0442\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435, \u043e\u043d\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e, \u0430 \u0434\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041f\u043e\u0442\u043e\u043c \u0443\u0436\u0435 \u043a\u0430\u043a \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u0435 \u043d\u0430 \u0447\u0430\u0441\u0442\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0438. \u041f\u043e \u043c\u0430\u0442\u0440\u0438\u0446\u0435 \u043e\u0448\u0438\u0431\u043e\u043a \u0412\u044b \u0443\u0432\u0438\u0434\u0438\u0442\u0435 \u0433\u0434\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c: \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0435 0 \u0438\u043b\u0438 1. \u041e\u0442\u0441\u044e\u0434\u0430 \u0412\u044b \u0438 \u0431\u0443\u0434\u0435\u0442\u0435 \u043a\u043e\u043f\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044f \u0437\u0430\u043c\u0435\u0442\u0438\u043b, \u0447\u0442\u043e \u043c\u043e\u0435 \u0434\u0435\u0440\u0435\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u044b 1, \u043d\u043e \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u0435 0, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u0435\u0440\u0435\u0432\u043e \u0447\u0430\u0441\u0442\u043e \u00ab\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u00bb, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 \u043a\u043b\u0430\u0441\u0441\u0430 1, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d 0. \u042f \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043b, \u0447\u0442\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 0 \u0438\u043b\u0438 1. \u0423 \u043c\u0435\u043d\u044f \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0431\u044b\u043b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 0.9. \u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0443\u0440\u043e\u0432\u043d\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 1 \u0434\u043e 0.99, \u0441\u0434\u0435\u043b\u0430\u043b\u043e \u043e\u0442\u0431\u043e\u0440 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u0430 1 \u0436\u0435\u0441\u0442\u0447\u0435 \u0438 \u0432\u0443\u0430\u043b\u044f \u2014 \u043d\u0430\u0448 \u0441\u043a\u043e\u0440 \u0434\u0430\u043b \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442.<\/p>\n<p>  \u0415\u0449\u0435 \u0440\u0430\u0437 \u043e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u0446\u0435\u043b\u044c\u044e \u0443\u0447\u0430\u0441\u0442\u0438\u044f \u0432 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0443 \u043c\u0435\u043d\u044f \u0431\u044b\u043b\u043e \u043d\u0435 \u0437\u0430\u043d\u044f\u0442\u0438\u0435 \u043f\u0440\u0438\u0437\u043e\u0432\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430, \u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u043e\u043f\u044b\u0442\u0430. \u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u044f \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043d\u0435 \u0438\u043c\u0435\u043b \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0430 \u0432 \u0438\u0442\u043e\u0433\u0435 \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u043d\u0435\u0439 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f, \u043d\u043e \u0432\u0441\u0435 \u0436\u0435 \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0446\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u0430. \u0422\u0430\u043a\u0436\u0435 \u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0435\u0433\u043e \u0441\u0430\u043c\u0443\u0440\u0430\u044f \u0432 \u043c\u0438\u0440\u0435 data science \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u043e\u043f\u044b\u0442\u0430, \u0430 \u043d\u0435 \u043f\u0440\u0438\u0437, \u0432\u0435\u0440\u043d\u0435\u0435 \u043e\u043f\u044b\u0442 \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0437. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0431\u043e\u0439\u0442\u0435\u0441\u044c \u0443\u0447\u0430\u0441\u0442\u0438\u044f \u0432 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f\u0445, \u0434\u0435\u0440\u0437\u0430\u0439\u0442\u0435, \u0432\u0441\u0435\u043c \u0431\u043e\u0431\u0440\u0430!<\/p>\n<p>  \u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u0442\u0430\u0442\u044c\u0438, \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u0435\u0449\u0435 \u043d\u0435 \u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d\u043e. \u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u043a \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043d\u0430\u043f\u0438\u0448\u0443 \u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0447\u0435\u0441\u0442\u043d\u043e\u043c \u0441\u043a\u043e\u0440\u0435, \u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u0438 \u0444\u0438\u0447\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438. <\/p>\n<p>  \u0410 \u0412\u044b \u2014 \u0443\u0432\u0430\u0436\u0430\u0435\u043c\u044b\u0439 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c, \u0435\u0441\u043b\u0438 \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0435 \u0438\u0434\u0435\u044f\u043c\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u043a\u043e\u0440 \u0443\u0436\u0435 \u0441\u0435\u0439\u0447\u0430\u0441, \u043f\u0438\u0448\u0438\u0442\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0445. \u0421\u0434\u0435\u043b\u0430\u0435\u0442\u0435 \u0434\u043e\u0431\u0440\u043e\u0435 \u0434\u0435\u043b\u043e \ud83d\ude42<\/p>\n<h3>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b<\/h3>\n<p>  1. <a href=\"http:\/\/github.com\/AlexanderPetrenko83\/Articles\" rel=\"nofollow\">\u00ab\u0413\u0438\u0442\u0445\u0430\u0431 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 Jupyter Notebook\u00bb<\/a><\/p>\n<p>  2.<a href=\"https:\/\/sibur.ai-community.com\/competitions\/4\/tasks\/12\" rel=\"nofollow\">\u00ab\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f SIBUR CHALLENGE 2020\u00bb<\/a> <\/p>\n<p>  3.<a href=\"https:\/\/sc2020.ai-community.com\/\" rel=\"nofollow\">\u00ab\u0421\u0430\u0439\u0442 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f SIBUR CHALLENGE 2020\u00bb<\/a> <\/p>\n<p>  4.<a href=\"https:\/\/habr.com\/ru\/company\/Voximplant\/blog\/446738\/\">\u00ab\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u201e\u041e\u0441\u043d\u043e\u0432\u044b Natural Language Processing \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u0430\u201c\u00bb<\/a> <\/p>\n<p>  5.<a href=\"https:\/\/habr.com\/ru\/post\/341148\/\">\u00ab\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u201e\u041d\u0435\u0447\u0451\u0442\u043a\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a: \u043f\u043e\u0439\u043c\u0438 \u043c\u0435\u043d\u044f, \u0435\u0441\u043b\u0438 \u0441\u043c\u043e\u0436\u0435\u0448\u044c\u201c\u00bb<\/a> <\/p>\n<p>  6.<a href=\"https:\/\/apni.ru\/article\/543-algoritmi-raspoznavaniya-skhozhesti-teksta\" rel=\"nofollow\">\u00ab\u041f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u0437 \u0436\u0443\u0440\u043d\u0430\u043b\u0430 \u0410\u041f\u041d\u0418\u00bb<\/a><\/p>\n<p>  7.<a href=\"https:\/\/grishaev.me\/2012\/10\/05\/1\/\" rel=\"nofollow\">\u00ab\u0421\u0442\u0430\u0442\u044c\u044f \u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0437\u0434\u0435\u0441\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0435 \u0422\u0430\u043d\u0438\u043c\u043e\u0442\u043e \u201e\u0421\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0441\u0442\u0440\u043e\u043a\u201c\u00bb<\/a><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/530628\/\"> https:\/\/habr.com\/ru\/post\/530628\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440!<\/p>\n<p>  \u0414\u0430\u0432\u043d\u043e \u044f \u043d\u0435 \u043f\u0438\u0441\u0430\u043b \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438, \u0432\u043e\u0442 \u0434\u0443\u043c\u0430\u044e, \u043f\u0440\u0438\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e \u0442\u0430\u043c, \u043a\u0430\u043a \u043c\u043d\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u043e data science, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u043e \u0445\u043e\u0434\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0431\u0435\u0437\u044b\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441\u0430 \u0438 \u041c\u0424\u0422\u0418 \u00ab\u041c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb. \u041f\u0440\u0430\u0432\u0434\u0430, \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e\u0441\u0442\u0438 \u0440\u0430\u0434\u0438 \u043d\u0430\u0434\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0437\u043d\u0430\u043d\u0438\u044f \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u2014 \u0441\u043f\u0435\u0446\u0443\u0445\u0430 \u043d\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0430 \ud83d\ude42 \u041e\u0434\u043d\u0430\u043a\u043e, \u0440\u0435\u0448\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0438\u0437\u043d\u0435\u0441\u043e\u0432\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e. \u0418\u043b\u0438 \u043d\u0443\u0436\u043d\u043e? \u041d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0442, \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0443 \u0430\u0431\u0437\u0430\u0446\u0435\u0432. <\/p>\n<p>  \u0418\u0442\u0430\u043a, \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0443\u0432\u0430\u0436\u0430\u0435\u043c\u043e\u043c\u0443 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044e \u043e \u0441\u0432\u043e\u0435\u043c \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u043f\u044b\u0442\u0435 \u0443\u0447\u0430\u0441\u0442\u0438\u044f \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438. \u0425\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0435\u0439 \u0446\u0435\u043b\u044c\u044e \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u044b\u043b\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u043a\u0438\u0445-\u043b\u0438\u0431\u043e \u043f\u0440\u0438\u0437\u043e\u0432\u044b\u0445 \u043c\u0435\u0441\u0442. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u0438\u043b\u044b \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \ud83d\ude42 \u0414\u0430, \u0432 \u0434\u043e\u0431\u0430\u0432\u043e\u043a \u0442\u0430\u043a \u0432\u044b\u0448\u043b\u043e, \u0447\u0442\u043e \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u043b\u0430\u0441\u044c \u0441 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c \u0438\u0437 \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u043e\u0432. \u042d\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0441 \u044d\u0442\u0438\u043c \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u043b\u043e \u0435\u0449\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0435\u0435 \u0438 \u0446\u0435\u043d\u043d\u0435\u0435 \u043e\u043f\u044b\u0442 \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u0442\u0443\u0434\u0430. <\/p>\n<p>  \u041f\u043e \u0441\u043b\u043e\u0436\u0438\u0432\u0448\u0435\u0439\u0441\u044f \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u0438, \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0443 \u043a\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0435\u0441\u043b\u0438 \u0412\u044b \u0443\u0436\u0435 \u043f\u0440\u043e\u0448\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0430 \u043a\u0443\u0440\u0441\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u0438\u043b\u044b \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u043d\u043e \u0441\u0442\u0435\u0441\u043d\u044f\u0435\u0442\u0435\u0441\u044c \u0438 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0438 \u0412\u0430\u0441 \u0437\u0430\u0441\u043c\u0435\u044e\u0442 \u0438 \u0442.\u0434. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a\u0438\u0435 \u043e\u043f\u0430\u0441\u0435\u043d\u0438\u044f, \u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u0440\u0430\u0437\u0432\u0435\u044f\u0442\u0441\u044f. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0412\u044b \u0440\u0435\u0448\u0430\u0435\u0442\u0435 \u0441\u0445\u043e\u0436\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0437\u043d\u0430\u0435\u0442\u0435 \u0441 \u0447\u0435\u0433\u043e \u0437\u0430\u0439\u0442\u0438. \u0410 \u0437\u0434\u0435\u0441\u044c \u0433\u043e\u0442\u043e\u0432\u0435\u043d\u044c\u043a\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u0438\u0439, \u043a\u0430\u043a \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0430\u0439\u043d\u0442\u0438\u0441\u0442\u044b, \u0431\u044d\u0439\u0437\u043b\u0430\u0439\u043d \ud83d\ude42  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-314063","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/314063","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=314063"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/314063\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=314063"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=314063"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=314063"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}