{"id":313672,"date":"2020-11-24T09:01:27","date_gmt":"2020-11-24T09:01:27","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=313672"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=313672","title":{"rendered":"\u041d\u0430\u0437\u0430\u0434 \u0432 \u0411\u0443\u0434\u0443\u0449\u0435\u0435: \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b NLP \u0431\u0443\u0434\u0443\u0442 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u044b \u043d\u0430 NIPS 2020"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\u0421\u0442\u0440\u0435\u043c\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043d\u0435\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u043c\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0433\u043e\u0434\u0430 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 Data Science: \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f NIPS 2020, \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 6-12 \u0434\u0435\u043a\u0430\u0431\u0440\u044f 2020. \u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u043e\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0438 \u0433\u043e\u0434\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0441\u0432\u0435\u0436\u0438\u0435 \u0438\u0434\u0435\u0438 \u0438 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 Data Science, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430. \u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0443 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0435\u0441\u043b\u0438 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u043e\u0432\u0430\u0442\u043e\u0440\u0441\u043a\u0443\u044e \u0438\u0434\u0435\u044e, \u0442\u043e \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u043d\u043d\u0438\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0442\u043e\u0439 \u0438\u0434\u0435\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u00ab\u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u00bb, \u0438 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0432 \u0445\u0432\u043e\u0441\u0442 \u043e\u0442\u0441\u0442\u0430\u044e\u0449\u0438\u0445 \u0441\u043a\u0435\u043f\u0442\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0438 \u043e\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u043d\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443.\u00a0\u00a0<\/p>\n<p>  \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0438\u0434\u0435\u0439 \u043d\u0430 \u0440\u0430\u043d\u043d\u0435\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438 \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u0445 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f\u0445 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0433\u043e\u0434\u0430. \u0421 \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u044c\u044e \u0434\u043b\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u0425\u0430\u0431\u0440 \u0431\u044b\u043b \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d \u044d\u0442\u043e\u0442 \u043e\u0431\u0437\u043e\u0440 \u0441\u0430\u043c\u044b\u0445 \u044f\u0440\u043a\u0438\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 NLP c \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 ICLR 2020, \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0441\u0442\u0430\u0442\u044c\u0438 Kamil Kaczmarek. \u041c\u044b \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0432 \u041f\u0440\u043e\u0448\u043b\u043e\u0435, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0442\u0435\u043c \u043d\u0430 NIPS 2020 \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 \u0411\u0443\u0434\u0443\u0449\u0435\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043f\u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438.\u00a0<\/p>\n<p>  \u00a0\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0442\u0435\u043c\u0430 NLP, \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043b\u0435\u0433\u043a\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u044f\u0437\u044b\u043a \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u0435\u043f\u0440\u0438\u043d\u0443\u0436\u0434\u0435\u043d\u043d\u043e \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0435\u0432\u0443\u0448\u043a\u0430\u043c\u0438 \u043d\u0430 \u0443\u043b\u0438\u0446\u0435 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u043c\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c\u0438 \u0438 \u043d\u0435 \u043e\u0442\u0441\u0442\u0430\u0442\u044c \u043e\u0442 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430, \u0442\u043e \u0432\u0430\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f. \u041f\u043e\u0435\u0445\u0430\u043b\u0438!<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f86\/c3a\/f7e\/f86c3af7e54f116b9c0fba422f40e5f8.png\"><\/div>\n<p><i><a href=\"https:\/\/www.pinterest.at\/pin\/728668414685097384\/\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/a><\/i><br \/>  <a name=\"habracut\"><\/a><br \/>  \u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u043c\u0430\u044f 2020 \u043f\u0440\u043e\u0448\u043b\u0430 International Conference on Learning Representations (ICLR). \u042d\u0442\u043e \u043c\u0435\u0440\u043e\u043f\u0440\u0438\u044f\u0442\u0438\u0435, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c \u0432\u0441\u0435\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c, \u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c, \u043a\u0430\u043a Deep Learning. \u0412 \u044d\u0442\u043e\u043c \u0433\u043e\u0434\u0443 \u043c\u0435\u0440\u043e\u043f\u0440\u0438\u044f\u0442\u0438\u0435 \u0431\u044b\u043b\u043e \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u0438\u043c, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u043e \u0441\u0442\u0430\u043b\u043e \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u0438\u0437-\u0437\u0430 \u043f\u0430\u043d\u0434\u0435\u043c\u0438\u0438 \u043a\u043e\u0440\u043e\u043d\u0430\u0432\u0438\u0440\u0443\u0441\u0430, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u043d\u043b\u0430\u0439\u043d-\u0444\u043e\u0440\u043c\u0430\u0442 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u0439 \u0430\u0442\u043c\u043e\u0441\u0444\u0435\u0440\u044b. \u041a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f \u0431\u044b\u043b\u0430 \u0432\u0435\u0441\u044c\u043c\u0430 \u0443\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u043b\u0430 5600 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432 \u0441\u043e \u0432\u0441\u0435\u0433\u043e \u043c\u0438\u0440\u0430 (\u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0433\u043e\u0434\u0443).\u00a0<\/p>\n<p>  \u0411\u043e\u043b\u0435\u0435 1300 \u0441\u043f\u0438\u043a\u0435\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u044b\u043b\u043e \u0440\u0435\u0448\u0435\u043d\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0435\u0440\u0438\u044e \u043f\u043e\u0441\u0442\u043e\u0432 \u0432 \u0431\u043b\u043e\u0433\u0435, \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0438\u0445 \u043b\u0443\u0447\u0448\u0438\u0435 \u0438\u0437 \u0440\u0430\u0431\u043e\u0442 \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u0441 \u043b\u0443\u0447\u0448\u0438\u043c\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u043c\u0438 \u043f\u043e \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e <a href=\"https:\/\/neptune.ai\/blog\/iclr-2020-deep-learning\">\u0437\u0434\u0435\u0441\u044c<\/a>, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0441\u0442\u0435 \u2014 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u044f\u043c\u0438 \u043f\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c <a href=\"https:\/\/neptune.ai\/blog\/iclr-2020-reinforcement-learning\">\u0437\u0434\u0435\u0441\u044c<\/a>, \u0430 \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u043c \u2014 \u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u043c\u0438 \u043f\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c <a href=\"https:\/\/neptune.ai\/blog\/iclr-2020-generative-models\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<p>  \u0422\u0435\u043a\u0443\u0449\u0438\u0439 \u043f\u043e\u0441\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c \u0432 \u0441\u0435\u0440\u0438\u0438, \u0438 \u0432 \u043d\u0435\u043c \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f 10 \u043b\u0443\u0447\u0448\u0438\u0445 \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0443\/\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043e\u0442 ICLR.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/37c\/76a\/b9f\/37c76ab9fe12f8308aed427728f4a47d.png\"><\/div>\n<p>  <\/p>\n<h2>1. \u0410\u041b\u042c\u0411\u0415\u0420\u0422: \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u043d\u044b\u0439 BERT \u0434\u043b\u044f \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439\u00a0<\/h2>\n<p>  \u041d\u043e\u0432\u044b\u0439 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434, \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u044e\u0449\u0438\u0439 \u0441\u0430\u043c\u044b\u0445 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u043e\u0446\u0435\u043d\u043e\u043a \u043d\u0430 GLUE, RACE \u0438 SQuAD \u0442\u0435\u0441\u0442\u0430\u0445, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 BERT-large.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=H1eA7AEtvS\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a> \/ <a href=\"https:\/\/github.com\/google-research\/ALBERT\">\u041a\u043e\u0434<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/6c7\/fa2\/c64\/6c7fa2c6431141e70c46816c6cc36595.png\"><\/div>\n<p>  \u0420\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f L2 \u0438 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u0430\u044f \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c (\u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0441\u0442\u0435\u043f\u0435\u043d\u0438) \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u0438 \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u043b\u044f BERT-large \u0438 ALBERT-large.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/444\/cee\/722\/444cee722ba821116164f7793324f2d2.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u0427\u0436\u044d\u043d\u044c\u0447\u0436\u0443\u043d \u041b\u0430\u043d<\/p>\n<h2>2. A Mutual Information Maximization Perspective of Language Representation Learning<\/h2>\n<p>  \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0432 NLP. \u0412 \u0441\u0432\u043e\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u0437\u0430\u044f\u0432\u043b\u044f\u044e\u0442 \u043e \u043d\u043e\u0432\u043e\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435, \u0441\u043e\u0447\u0435\u0442\u0430\u044e\u0449\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0441\u043b\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Skip-gram) \u0441 \u0431\u043e\u043b\u0435\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 (BERT, XLNet).<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=Syx79eBKwr\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/693\/f60\/2c0\/693f602c05248e653401bc50b013bd92.png\"><\/div>\n<p>  \u041b\u0435\u0432\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u043e\u0441\u0442 F1 \u043c\u0435\u0440\u044b\u00a0 BERT-NCE \u0438 INFOWORLD \u043f\u043e \u043c\u0435\u0440\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432 SQuAD (dev). \u041f\u0440\u0430\u0432\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 F1 \u043c\u0435\u0440\u044b INFOWORD \u043d\u0430 SQuAD (dev) \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u03bb<sub>DIM<\/sub>.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/d03\/93d\/f97\/d0393df977ece123b83ac527186b0bf1.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u041b\u0438\u043d\u0433\u043f\u0435\u043d\u0433 \u041a\u043e\u043d\u0433<\/p>\n<h2>3. Mogrifier LSTM<\/h2>\n<p>  \u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f LSTM \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=SJe5P6EYvS\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/5f0\/152\/24e\/5f015224e74af18d5c35bbc7ff9e647f.png\"><\/div>\n<p>  Mogrifier\u00a0 \u0441 5 \u044d\u0442\u0430\u043f\u0430\u043c\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u0432\u0435\u0441\u043e\u0432. \u041f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 h<sup>0<\/sup> = h<sub>prev<\/sub> \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e (\u043f\u0443\u043d\u043a\u0442\u0438\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0435\u043b\u043a\u0438), \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u0438\u0433\u043c\u043e\u0432\u0438\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0432 \u0433\u0435\u0439\u0442 x<sup>-1<\/sup> = x \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e \u0438 \u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 x<sup>1<\/sup>. \u0412 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 x<sup>1<\/sup> \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 \u0433\u0435\u0439\u0442 h<sup>0<\/sup> \u0438 \u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 h<sup>2<\/sup>. \u041f\u043e\u0441\u043b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0446\u0438\u043a\u043b\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 h<sup>\u2217<\/sup> \u0438 x<sup>\u2217<\/sup> \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u0432 \u044f\u0447\u0435\u0439\u043a\u0443 LSTM. \u0418\u043d\u0434\u0435\u043a\u0441 prev \u0432 h \u043e\u043f\u0443\u0449\u0435\u043d, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u043e\u043c\u043e\u0436\u0434\u0435\u043d\u0438\u044f.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a03\/1fb\/e16\/a031fbe16458abc2e0bea6519bf04042.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u0413\u0430\u0431\u043e \u041c\u0435\u043b\u0438<\/p>\n<h2>4. \u0412\u044b\u0441\u043e\u043a\u043e\u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u0438\u043d\u0442\u0435\u0437 \u0440\u0435\u0447\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439<\/h2>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 GAN-TTS, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0435\u0442\u044c (GAN) \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0440\u0435\u0447\u044c, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 Mean Opinion Score (MOS) \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 4.2.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=r1gfQgSFDr\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a> \/ <a href=\"https:\/\/github.com\/mbinkowski\/DeepSpeechDistances\">\u041a\u043e\u0434<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/335\/6e5\/f2e\/3356e5f2e9e52498b57f184dd564cdaf.png\"><\/div>\n<p>  \u0412 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f residual \u0431\u043b\u043e\u043a\u0438. \u0421\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043d\u0430\u043b\u043e\u0432 \u0438 \u043d\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044e\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0438\u043d\u043e\u0435. h \u2014 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f, l \u2013 \u043b\u0438\u043d\u0433\u0432\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, Z \u2013 \u0432\u0435\u043a\u0442\u043e\u0440 \u0448\u0443\u043c\u0430, m \u2013 \u043a\u0430\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c, m = 2 \u0434\u043b\u044f \u0431\u043b\u043e\u043a\u043e\u0432 \u043f\u043e\u043d\u0438\u0436\u0430\u044e\u0449\u0435\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438 (\u0442. \u0435. \u0435\u0441\u043b\u0438 \u0438\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043f\u043e\u043d\u0438\u0436\u0430\u044e\u0449\u0435\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 1) \u0438 m = 1 \u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u043a\u0430\u043d\u0430\u043b\u044b M \u2014 G, M = 2N \u0432 \u0431\u043b\u043e\u043a\u0430\u0445 3, 6, 7 \u0438 M = N \u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435; \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u044f\u0434\u0440\u0430.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/a16\/b2f\/8ba\/a16b2f8ba0323313a54f71eb44f30c92.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u041c\u0438\u043a\u043e\u043b\u0430\u0439 \u0411\u0438\u043d\u044c\u043a\u043e\u0432\u0441\u043a\u0438\u0439<\/p>\n<h2>5. Reformer: The Efficient Transformer<\/h2>\n<p>  \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e-\u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0445\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u0440\u0435\u0432\u0435\u0440\u0441\u0438\u0432\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u044f\u043c\u0438.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=rkgNKkHtvB\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a> \/ <a href=\"https:\/\/github.com\/google\/trax\/tree\/master\/trax\/models\/reformer\">\u041a\u043e\u0434<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/50f\/6ce\/d87\/50f6ced8791c103df55fe805e2ce5a98.png\"><\/div>\n<p>  \u0425\u044d\u0448, \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a \u0443\u0433\u043b\u043e\u0432\u043e\u0439 \u043b\u043e\u043a\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0441\u0444\u0435\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0435\u0446\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0442\u043e\u0447\u0435\u043a \u0434\u043b\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u043b\u043e\u043a\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e argmax-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0434 \u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u043e\u0441\u0435\u0439 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439. \u0412 \u044d\u0442\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u043c 2D-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0434\u0432\u0435 \u0442\u043e\u0447\u043a\u0438 x \u0438 y \u0432\u0440\u044f\u0434 \u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0445\u044d\u0448-\u0431\u043b\u043e\u043a\u0438 (\u0432\u0432\u0435\u0440\u0445\u0443) \u0434\u043b\u044f \u0442\u0440\u0435\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0443\u0433\u043b\u043e\u0432\u044b\u0445 \u0445\u044d\u0448\u0435\u0439, \u0435\u0441\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0445 \u0441\u0444\u0435\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0431\u043b\u0438\u0437\u043a\u0438 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443 (\u0432\u043d\u0438\u0437\u0443).<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/c06\/611\/416\/c066114169d96b8c702e5ed72557bf16.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b: \u041d\u0438\u043a\u0438\u0442\u0430 \u041a\u0438\u0442\u0430\u0435\u0432 \u0438 \u041b\u0443\u043a\u0430\u0448 \u041a\u0430\u0439\u0437\u0435\u0440<\/p>\n<h2>6. DeFINE: Deep Factorized Input Token Embeddings for Neural Sequence Modeling<\/h2>\n<p>  DeFINE \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u0443\u044e, \u0438\u0435\u0440\u0430\u0440\u0445\u0438\u0447\u0435\u0441\u043a\u0443\u044e, \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 skip-\u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0441\u043b\u043e\u0432.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=rJeXS04FPH\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/ce2\/5cc\/9b8\/ce25cc9b82b757fcabaee15d9d1faa0c.png\"><\/div>\n<p>  \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e DeFINE \u0441\u0435\u0442\u044c Transformer-XL \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u0445\u043e\u0434\u044f\u0449\u0438\u043c (\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438) \u0438 \u0438\u0441\u0445\u043e\u0434\u044f\u0449\u0438\u043c (\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043c\u0430\u043b\u043e\u0439\u00a0 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 n, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438\u00a0 m, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/092\/db6\/e2e\/092db6e2ef447f092d3a6357999cfae0.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u0421\u0430\u0447\u0438\u043d \u041c\u0435\u0445\u0442\u0430<\/p>\n<h2>7. \u0413\u043b\u0443\u0431\u0438\u043d\u043d\u043e-\u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440<\/h2>\n<p>  \u041c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438, \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0430.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=SJg7KhVKPH\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/81d\/7e4\/6e7\/81d7e46e719a727e722ad07be9fcf276.png\"><\/div>\n<p><i>Aligned training \u2014 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, Mixed training \u2014 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/i><\/p>\n<p>  \u0414\u043b\u044f \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u043e\u0435. \u0420\u0435\u0436\u0438\u043c \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 C<sub>n<\/sub> \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b. \u0412 \u0440\u0435\u0436\u0438\u043c\u0435 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 M \u043f\u0443\u0442\u0435\u0439 \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u044b\u0445\u043e\u0434\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438; \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0443\u0442\u0435\u043c \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u044f.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/465\/a67\/9a0\/465a679a09420dd9e4593b40545e4955.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u041c\u0430\u0445\u0430 \u042d\u043b\u0431\u0430\u044f\u0434<\/p>\n<h2>8. \u041e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445<\/h2>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u0438 attention-\u0430 \u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438 Bert-a, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043d\u0430 self-attention.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=BJg1f6EFDB\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/23e\/644\/c5b\/23e644c5bb0041a6ddfff8d2069e3517.png\"><\/div>\n<p>  (\u0430) \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u041f\u0438\u0440\u0441\u043e\u043d\u0430 \u043c\u0435\u0436\u0434\u0443 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c attention \u0438 \u0441\u044b\u0440\u044b\u043c attention \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0442\u043e\u043a\u0435\u043d\u0430. (b) \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0435\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f attention \u0438 &copy; \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e attention, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u043e\u0435 (\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435) attention \u0434\u0430\u043d\u043d\u043e\u0439 head \u043a \u0442\u0438\u043f\u0443 \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/55c\/d54\/943\/55cd549436c21f667531b0900bdb8ff3.png\" width=\"500\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u0413\u0438\u043d\u043e \u0411\u0440\u0443\u043d\u0435<\/p>\n<h2>9. Mirror-Generative Neural Machine Translation<\/h2>\n<p>  \u041f\u043e\u0434\u0445\u043e\u0434\u044b \u043a \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0443, \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u0438 Neural Machine Translation (NMT), \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u043e\u0431\u0448\u0438\u0440\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e \u0432 \u0432\u0438\u0434\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043f\u0430\u0440\u044b. \u0410\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=HkxQRTNYPH\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/481\/367\/42c\/48136742cbe8b5843d8b16e7814c8793.png\"><\/div>\n<p>  <i>\u0421\u0445\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c MGNMT<\/i><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/813\/752\/498\/81375249899c3df77638617a3358b1db.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u0417\u0430\u0439\u0441\u044f\u043d \u0427\u0436\u044d\u043d<\/p>\n<h2>10. FreeLB: \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0434\u043b\u044f NLU<\/h2>\n<p>  \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e-\u043d\u043e\u0432\u043e\u043c\u0443 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 FreeLB.<\/p>\n<p>  <a href=\"https:\/\/openreview.net\/forum?id=BygzbyHFvB\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/a> \/ <a href=\"https:\/\/github.com\/zhuchen03\/FreeLB\">\u043a\u043e\u0434<\/a><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/b6e\/082\/de4\/b6e082de4368729bd5874e9cf703cec9.png\"><\/div>\n<p>  <\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/4ea\/58b\/c5b\/4ea58bc5b8273174cdd323b98be5c352.png\"><\/div>\n<p>  \u0410\u0432\u0442\u043e\u0440: \u0427\u0435\u043d \u0427\u0436\u0443<\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>  \u0413\u043b\u0443\u0431\u0438\u043d\u0430 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0439 ICLR \u0432\u0435\u0441\u044c\u043c\u0430 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0442. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e <a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2020\/05\/key-takeaways-iclr-2020\">\u0430\u043d\u0430\u043b\u0438\u0437\u0443<\/a>, \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 ICLR-2020, \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<ol>\n<li><a href=\"https:\/\/neptune.ai\/blog\/iclr-2020-deep-learning\">\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/a>;<\/li>\n<li><a href=\"https:\/\/neptune.ai\/blog\/iclr-2020-reinforcement-learning\">\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<\/a>;<\/li>\n<li><a href=\"https:\/\/neptune.ai\/blog\/iclr-2020-generative-models\">\u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/a>;<\/li>\n<li>NLP\/NLU (\u0447\u0442\u043e \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043e\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438).<\/li>\n<\/ol>\n<p>  <\/p>\n<h2>\u042d\u043f\u0438\u043b\u043e\u0433<\/h2>\n<p>  \u0421\u043f\u0430\u0441\u0438\u0431\u043e, \u0447\u0442\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u043b\u0438 \u043f\u043e\u0441\u0442 \u0434\u043e \u043a\u043e\u043d\u0446\u0430. \u041e\u043d \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d \u0442\u0435\u043c\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 ICRL. \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u043e\u043a\u043b\u0430\u0434 \u043d\u0430 ICRL \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u043e\u043b\u0435\u0435, \u0447\u0435\u043c \u0437\u0430 6 \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0434\u043e \u0441\u0430\u043c\u043e\u0439 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0430\u0441\u0442\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043a \u043c\u043e\u043c\u0435\u043d\u0442\u0443 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u0435\u0442 \u0438 \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u0435\u0437 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0441 \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c \u043d\u0430 \u043f\u043e\u043b\u0433\u043e\u0434\u0430. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u0430\u0436\u0435 \u0441 \u043e\u043f\u043e\u0437\u0434\u0430\u043d\u0438\u0435\u043c, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441 \u0434\u043b\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432.\u00a0<\/p>\n<p>  \u0423\u0447\u0435\u043d\u044b\u0435 \u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0441\u0442\u044b \u043e\u0431\u043b\u0430\u0441\u0442\u0438 Data Science \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u044b \u0442\u0430\u043a\u043e\u043c\u0443 \u0436\u0435 \u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043d\u0430 \u0442\u0438\u043f\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u0430\u043a \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u0442\u0430\u0440\u0442\u0430\u043f-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432: \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u0438 \u043c\u0435\u0436\u0434\u0443\u043d\u0430\u0440\u043e\u0434\u043d\u044b\u0435 \u0430\u0441\u0441\u0430\u043c\u0431\u043b\u0435\u0438 \u0438\u0433\u0440\u0430\u044e\u0442 \u0442\u0443 \u0436\u0435 \u0440\u043e\u043b\u044c, \u0447\u0442\u043e \u0438 \u0431\u0438\u0442\u0432\u044b \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u043e\u0432, \u044d\u0442\u0438 \u043c\u0435\u0440\u043e\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u043f\u0440\u0438\u0432\u043b\u0435\u0447\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u0441\u0432\u043e\u044e \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044e.\u00a0<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/159\/97d\/fda\/15997dfdabce45326de888d24fc8115d.png\"><\/div>\n<p>\u041c\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 <a href=\"https:\/\/cleverdata.ru\/\">CleverData<\/a> \u0434\u0430\u0432\u043d\u043e \u0441\u043b\u0435\u0434\u0438\u043c \u0437\u0430 ICLR \u0438 \u0440\u0430\u0434\u044b \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u0432\u0430\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c\u0438 \u043d\u0430\u0445\u043e\u0434\u043a\u0430\u043c\u0438 \u0438 \u0438\u0434\u0435\u044f\u043c\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432 \u0441\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0442\u0435\u0439. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0447\u0442\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u043d\u0430 \u0440\u0430\u043d\u043d\u0435\u043c \u044d\u0442\u0430\u043f\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0432\u0437\u044f\u0442\u044c \u0438\u0445 \u043d\u0430 \u0432\u043e\u043e\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0438 \u0441\u0442\u0430\u0442\u044c \u0438\u0445 \u0440\u0430\u043d\u043d\u0438\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c. \u0415\u0441\u043b\u0438 \u0432\u0430\u0441 \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043e\u0431\u0437\u043e\u0440, \u0442\u043e \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0435 ICLR \u044d\u0442\u043e\u0433\u043e \u0438 \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e \u0433\u043e\u0434\u0430. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0445 <a href=\"https:\/\/habr.com\/ru\/company\/lanit\/blog\/475720\/\">\u0437\u0434\u0435\u0441\u044c<\/a> \u0438 <a href=\"https:\/\/habr.com\/ru\/company\/lanit\/blog\/519694\/\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<p>  \u0411\u0443\u0434\u0443 \u0440\u0430\u0434 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445.<\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0430\u043a\u0430\u043d\u0441\u0438\u0438! \u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c, \u043c\u044b \u0438\u0449\u0435\u043c \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u0430\u0441?<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<ul>\n<li><a href=\"https:\/\/job.lanit.ru\/vacancy\/Pages\/1482.aspx?utm_source=habr&amp;utm_medium=post-2020-11-24&amp;utm_campaign=clever\">Java Developer<\/a><\/li>\n<li><a href=\"https:\/\/job.lanit.ru\/vacancy\/Pages\/1375.aspx?utm_source=habr&amp;utm_medium=post-2020-11-24&amp;utm_campaign=clever\">Lead Frontend Engineer<\/a><\/li>\n<\/ul>\n<\/div><\/div>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/lanit\/blog\/528652\/\"> https:\/\/habr.com\/ru\/company\/lanit\/blog\/528652\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\">\u0421\u0442\u0440\u0435\u043c\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043d\u0435\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u043c\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u0433\u043e\u0434\u0430 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 Data Science: \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f NIPS 2020, \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 6-12 \u0434\u0435\u043a\u0430\u0431\u0440\u044f 2020. \u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u043e\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0438 \u0433\u043e\u0434\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0441\u0432\u0435\u0436\u0438\u0435 \u0438\u0434\u0435\u0438 \u0438 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 Data Science, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430. \u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0443 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0435\u0441\u043b\u0438 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u043d\u043e\u0432\u0430\u0442\u043e\u0440\u0441\u043a\u0443\u044e \u0438\u0434\u0435\u044e, \u0442\u043e \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u043d\u043d\u0438\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u043c \u0442\u043e\u0439 \u0438\u0434\u0435\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u00ab\u0432\u044b\u0441\u0442\u0440\u0435\u043b\u0438\u0442\u00bb, \u0438 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0432 \u0445\u0432\u043e\u0441\u0442 \u043e\u0442\u0441\u0442\u0430\u044e\u0449\u0438\u0445 \u0441\u043a\u0435\u043f\u0442\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0438 \u043e\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u043d\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443.\u00a0\u00a0<\/p>\n<p>  \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0438\u0434\u0435\u0439 \u043d\u0430 \u0440\u0430\u043d\u043d\u0435\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0438 \u0432 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u0445 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u044f\u0445 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0433\u043e\u0434\u0430. \u0421 \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u044c\u044e \u0434\u043b\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u0425\u0430\u0431\u0440 \u0431\u044b\u043b \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d \u044d\u0442\u043e\u0442 \u043e\u0431\u0437\u043e\u0440 \u0441\u0430\u043c\u044b\u0445 \u044f\u0440\u043a\u0438\u0445 \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 NLP c \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 ICLR 2020, \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0441\u0442\u0430\u0442\u044c\u0438 Kamil Kaczmarek. \u041c\u044b \u0432\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0432 \u041f\u0440\u043e\u0448\u043b\u043e\u0435, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0442\u0435\u043c \u043d\u0430 NIPS 2020 \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 \u0411\u0443\u0434\u0443\u0449\u0435\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u043f\u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438.\u00a0<\/p>\n<p>  \u00a0\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430 \u0442\u0435\u043c\u0430 NLP, \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043b\u0435\u0433\u043a\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u0431\u0449\u0438\u0439 \u044f\u0437\u044b\u043a \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u0435\u043f\u0440\u0438\u043d\u0443\u0436\u0434\u0435\u043d\u043d\u043e \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0435\u0432\u0443\u0448\u043a\u0430\u043c\u0438 \u043d\u0430 \u0443\u043b\u0438\u0446\u0435 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u043c\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c\u0438 \u0438 \u043d\u0435 \u043e\u0442\u0441\u0442\u0430\u0442\u044c \u043e\u0442 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430, \u0442\u043e \u0432\u0430\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f. \u041f\u043e\u0435\u0445\u0430\u043b\u0438!<\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/post_images\/f86\/c3a\/f7e\/f86c3af7e54f116b9c0fba422f40e5f8.png\"><\/div>\n<p><i><a href=\"https:\/\/www.pinterest.at\/pin\/728668414685097384\/\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/a><\/i>  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-313672","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/313672","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=313672"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/313672\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=313672"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=313672"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=313672"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}