{"id":320045,"date":"2021-03-22T15:00:52","date_gmt":"2021-03-22T15:00:52","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=320045"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=320045","title":{"rendered":"\u0424\u0438\u043b\u044c\u0442\u0440 \u043c\u0430\u0442\u0430: \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f"},"content":{"rendered":"\n
\n

\u0414\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043d\u0435\u0446\u0435\u043d\u0437\u0443\u0440\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u0438 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f\u0445 \u0432 \u0441\u043e\u0446\u0441\u0435\u0442\u044f\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u0418\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442. <\/p>\n

\u041a\u0440\u0443\u043f\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u044d\u0442\u043e \u0441\u0435\u0431\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c, \u043d\u043e \u043a\u0430\u043a \u0431\u044b\u0442\u044c \u043d\u0430\u043c, \u00ab\u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0441\u043c\u0435\u0440\u0442\u043d\u044b\u043c\u00bb, \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430\u043c \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0445 \u0441\u0430\u0439\u0442\u043e\u0432 \u0438 \u0440\u044f\u0434\u043e\u0432\u044b\u043c \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 — \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c?<\/p>\n

\u041a\u0430\u043a \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c JavaScript \u043d\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0431\u0440\u0430\u043b \u043d\u0430 \u0441\u0435\u0431\u044f \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u041d\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442 \u0431\u0440\u0430\u0443\u0437\u0435\u0440, \u043e\u043d \u0437\u0430\u0432\u0438\u0441\u043d\u0435\u0442 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0443\u043f\u0430\u0434\u0435\u0442. \u041d\u0430\u0434\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0431\u0430\u043b\u0430\u043d\u0441.<\/p>\n

\u041f\u043e \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0443 \u0431\u0440\u043e\u0434\u0438\u0442 \u043f\u0430\u0440\u0430-\u0442\u0440\u043e\u0439\u043a\u0430 JS \u0438 PHP \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u0432 \u0441 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438. \u041e\u043d\u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0440\u0435\u0448\u0430\u044e\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u043d\u043e \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u044b\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438. \u0420\u0443\u0441\u0441\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u043a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0435\u0430\u0442\u0438\u0432\u043d\u044b \u0432 \u00ab\u044d\u0442\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435\u00bb. \u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043c\u0435\u043d\u044f\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0441\u0438\u043b\u0438\u0442, \u0434\u0430 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0435.<\/p>\n

\u0427\u0438\u0442\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u043f\u043e \u043c\u043d\u043e\u0433\u0443 \u0440\u0430\u0437 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u0438 \u0434\u0443\u043c\u0430\u0442\u044c \u043e \u043d\u0438\u0445 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u044f\u0442\u043d\u043e. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f data science. <\/p>\n

\u0418\u0434\u0435\u044f<\/h4>\n

\u0417\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0438\u0434\u0435\u044e \u2013 \u0444\u0438\u043b\u044c\u0442\u0440 \u043c\u0430\u0442\u0430 \u0432 \u0432\u0438\u0434\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u0441\u0442\u0440\u043e\u043a \u0434\u043b\u0438\u043d\u043e\u0439 \u043e\u0442 2\u0445 \u0434\u043e 7\u043c\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.  \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u043f\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443 text.contains \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e (70 \u2013 80%), \u0447\u0442\u043e \u0442\u0435\u043a\u0441\u0442 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0441\u0438\u0447\u0435\u043d. <\/p>\n

\u0418\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u043a\u0441\u0438\u0447\u0435\u043d, \u0430 \u043d\u0435 \u0441 \u043c\u0430\u0442\u043e\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u0444\u0438\u043b\u044c\u0442\u0440 \u043c\u043e\u0436\u043d\u043e \u0432\u043d\u0435\u0441\u0442\u0438 \u0441\u043b\u043e\u0432\u0430 \u0432\u0440\u043e\u0434\u0435 \u00ab\u043b\u043e\u0445\u00bb \u0438\u043b\u0438 \u00ab\u0447\u043c\u043e\u00bb (\u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u0447\u0442\u043e \u043c\u0435\u043d\u044f \u043d\u0435 \u0437\u0430\u0431\u0430\u043d\u044f\u0442 \u0437\u0430 \u043d\u0438\u0445) \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043d\u0435\u0443\u0433\u043e\u0434\u043d\u044b\u0435 \u043d\u0430\u043c \u0441\u043b\u043e\u0432\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0430\u043c\u0438\u043b\u0438\u0438 \u043f\u0440\u0435\u0437\u0438\u0434\u0435\u043d\u0442\u043e\u0432 \u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u043d\u044b\u0435) \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0443\u0434\u0430\u043b\u044f\u0442 \u043f\u043e\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438.<\/p>\n

\u041a\u0430\u043a \u0432\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435, \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u00ab\u043f\u043b\u043e\u0445\u0438\u0445\u00bb \u0441\u043b\u043e\u0432, \u043c\u043e\u0433\u0443\u0442 \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0435\u00bb. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044e \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0432.<\/p>\n

\u0420\u0435\u0446\u0435\u043f\u0442<\/h4>\n

\u0414\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u043d\u0430\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f 2 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0430\u0439\u043b\u0430: bad_words.txt \u0438 good_words.txt. \u0411\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u0439 Python \u0438 \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 deap. <\/p>\n

\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 good_words \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b 5000 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0441\u043b\u043e\u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430. \u042d\u0442\u043e\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c, \u0432\u0435\u0434\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u043d\u044b\u0439 \u0437\u0430\u043f\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 — \u0436\u0438\u0442\u0435\u043b\u0435\u0439, \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n

\u0421\u043f\u0438\u0441\u043e\u043a bad_words \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0439\u0442\u0435 \u043f\u043e\u0434 \u0432\u0430\u0448\u0443 \u0437\u0430\u0434\u0430\u0447\u0443. \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0431\u0430\u0437 \u0441\u043b\u043e\u0432 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439. \u042f \u043d\u0435 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b \u0441\u0432\u043e\u0439 bad_words.txt  \u043f\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0435 \u043f\u043e\u043b\u0438\u0442\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n

\u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c deap: pip install deap.<\/p>\n

\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0444\u0430\u0439\u043b toxic_filter_create.py \u0438\u043b\u0438 jupyter notebook. \u041d\u0430 \u0432\u0430\u0448 \u0432\u044b\u0431\u043e\u0440. <\/p>\n

\u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h4>\n

\u041f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u0443\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u0442\u0440\u043e\u043a\u0438 \u0434\u043b\u0438\u043d\u043e\u0439 \u043c\u0435\u043d\u0435\u0435 2\u0445 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u043b\u0438\u043d\u0430 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 2\u0445. \u042d\u0442\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c. <\/p>\n

\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0434\u0432\u0430 \u0441\u043f\u0438\u0441\u043a\u0430 good_words \u0438 bad_words.<\/p>\n

\n\u041a\u043e\u0434 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445<\/summary>\n
\n

def load_file(file):<\/code><\/p>\n

    with open(file, encoding='utf-8-sig') as input_file:<\/code><\/p>\n

        lst = []<\/code><\/p>\n

        for line in input_file:<\/code><\/p>\n

            str = normalize(line.strip())<\/code><\/p>\n

            if len(str) < 2: <\/code><\/p>\n

                lst.append(str)<\/code><\/p>\n

    return lst<\/code><\/p>\n

good_words = load_file('good_words.txt')<\/code><\/p>\n

# print(good_words)<\/code><\/p>\n

bad_words = load_file('bad_words.txt')<\/code><\/p>\n

# print(bad_words)<\/code><\/p>\n<\/div>\n<\/details>\n

\u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b<\/h4>\n

\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 min_letter_count = 2 \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 max_letter_count = 7 \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041e\u0431\u044b\u0447\u043d\u043e 2 \u0438 5 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n

\u0422\u0430\u043a \u043a\u0430\u043a \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c — \u0433\u0435\u043d\u043e\u043c, \u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f decode() \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0435\u0433\u043e \u0432 \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u0437 \u0441\u0442\u0440\u043e\u043a. \u041f\u0440\u0438\u0447\u0435\u043c \u0442\u0430\u043c \u0433\u0434\u0435 0, \u0441\u0442\u0440\u043e\u043a\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u043f\u0438\u0441\u043e\u043a. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u0436\u0430\u0442\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u0432 \u0438\u0442\u043e\u0433\u0435.<\/p>\n

\u0424\u0443\u043d\u043a\u0446\u0438\u044f percent_in_text() \u043d\u0430\u0445\u043e\u0434\u0438\u0442, \u043a\u0430\u043a\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 \u0444\u0440\u0430\u0437 (bad \u0438\u043b\u0438 good) \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u0444\u0438\u043b\u044c\u0442\u0440.<\/p>\n

\n\u041a\u043e\u0434 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432<\/summary>\n
\n

# \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u0441\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432<\/code><\/p>\n

patterns = {}<\/code><\/p>\n

# \u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u0438 \u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438<\/code><\/p>\n

def pattern_stat(p):<\/code><\/p>\n

    # p = p.strip()<\/code><\/p>\n

    if p in patterns:<\/code><\/p>\n

        patterns[p] += 1<\/code><\/p>\n

    else:<\/code><\/p>\n

        patterns.update({p: 1})<\/code><\/p>\n

# \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 (\u043f\u043e\u0434\u0441\u0442\u0440\u043e\u043a\u0430)<\/code><\/p>\n

def create_pattern(text, letter_count):<\/code><\/p>\n

    for pos in range(0, len(text) - letter_count):<\/code><\/p>\n

        pattern_stat(text[pos: pos + letter_count])<\/code><\/p>\n

min_letter_count = 2<\/code><\/p>\n

max_letter_count = 7<\/code><\/p>\n

for letter_count in range(min_letter_count, max_letter_count):<\/code><\/p>\n

    for w in bad_words:<\/code><\/p>\n

        create_pattern(normalize(w), letter_count)<\/code><\/p>\n

# for letter_count in range(min_letter_count, max_letter_count):<\/code><\/p>\n

#     for w in good_words:<\/code><\/p>\n

#         create_pattern(normalize(w), letter_count)<\/code><\/p>\n

patterns = sorted(patterns.items(), key=lambda patterns: patterns[1], reverse=True)<\/code><\/p>\n

print('\u041a\u043e\u043b-\u0432\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432:', len(patterns))<\/code><\/p>\n

# \u041f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043c\u0430\u0441\u0441\u0438\u0432 - \u0444\u0438\u043b\u044c\u0442\u0440<\/code><\/p>\n

def decode(individual):<\/code><\/p>\n

    lst = []<\/code><\/p>\n

    for pos in range(0, len(individual)):<\/code><\/p>\n

        if (individual[pos] == 1):<\/code><\/p>\n

            lst.append(patterns[pos][0])<\/code><\/p>\n

    return lst<\/code><\/p>\n

def percent_in_text(word_set, filter):<\/code><\/p>\n

    count = 0<\/code><\/p>\n

    for w in word_set:<\/code><\/p>\n

        for p in filter:<\/code><\/p>\n

            if p in w:<\/code><\/p>\n

                count += 1<\/code><\/p>\n

                break<\/code><\/p>\n

    return count \/ len(word_set)<\/code><\/p>\n<\/div>\n<\/details>\n

\u0412\u044b\u0431\u043e\u0440 \u043b\u0443\u0447\u0448\u0435\u0433\u043e<\/h4>\n

\u0414\u043b\u0438\u043d\u0430 \u0433\u0435\u043d\u0430 \u0440\u0430\u0432\u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u0441\u043f\u0438\u0441\u043a\u0430 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432. One-Hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n

\u0421\u0442\u0440\u043e\u043a\u0430 creator.create(«FitnessCompound», base.Fitness, weights=(1.0, -1.0, -0.6)) \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f (\u0444\u0438\u0442\u043d\u0435\u0441) \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 3 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b (1.0, -1.0, -0.6) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n

\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441 \u043c\u0438\u043d\u0443\u0441\u043e\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u0435\u0441\u043b\u0438 \u043f\u043b\u044e\u0441 — \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n

\u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 (\u0433\u0435\u043d), \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0432 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 percent_in_text \u043f\u043e bad_words \u0438 good_words. \u041f\u0435\u0440\u0432\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a 1.0, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043a 0, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0441\u043b\u043e\u0432\u0430. \u0422\u0440\u0435\u0442\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 — \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0444\u0438\u043b\u044c\u0442\u0440\u0430. \u041c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f.<\/p>\n

\u041e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0443 \u0413\u0410 \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 — \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443 \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0430\u0442\u0435\u0439. \u0421\u0430\u043c \u043a\u043e\u0434 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c\u0438 \u0432\u0437\u044f\u0442 \u0441 \u0441\u0430\u0439\u0442\u0430 \u043c\u043e\u0434\u0443\u043b\u044f deap<\/a>. <\/p>\n

\u041e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u044e\u0441\u044c \u043b\u0438\u0448\u044c \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445:<\/p>\n