{"id":319335,"date":"2021-03-10T15:01:34","date_gmt":"2021-03-10T15:01:34","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=319335"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=319335","title":{"rendered":"\u0427\u0451\u0440\u043d\u044b\u0439 \u043f\u0435\u0442\u0443\u0445, \u0436\u0438\u0440\u043d\u044b\u0439 \u0442\u0432\u043e\u0440\u043e\u0433 \u0438 \u0430\u043b\u044c\u043f\u0438\u0439\u0441\u043a\u0430\u044f \u043a\u043e\u0440\u043e\u0432\u0430,\u00a0\u0438\u043b\u0438\u00a0\u0423\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u0438 \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f24\/373\/b1c\/f24373b1ca8b7e484d6c062a8c12d187.png\" width=\"1920\" height=\"1080\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043d\u043e\u044f\u0431\u0440\u0435 \u043d\u0430 EMNLP 2020 \u0432 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 \u0440\u0430\u0437 \u043f\u0440\u043e\u0448\u0451\u043b \u0432\u043e\u0440\u043a\u0448\u043e\u043f <a href=\"https:\/\/www.workshopononlineabuse.com\/\">WOAH<\/a>: \u043e\u043d \u0431\u044b\u043b \u043f\u043e\u0441\u0432\u044f\u0449\u0451\u043d \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u043c \u043a\u0438\u0431\u0435\u0440\u0431\u0443\u043b\u043b\u0438\u043d\u0433 \u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u043e\u043d\u043b\u0430\u0439\u043d-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u041c\u044b \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0451\u0439 \u043e \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u044f\u0445 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u0445 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0439. \u041d\u0430 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u043d\u0435\u0434\u0435\u043b\u0435 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0444\u0438\u043b\u044c\u0442\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430: \u043a\u0430\u043a\u0438\u043c \u0431\u044b\u043b \u043f\u0443\u0442\u044c \u043e\u0442 \u0438\u0434\u0435\u0438 \u0434\u043e \u0440\u0435\u043b\u0438\u0437\u0430 \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u2014 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.&nbsp;<\/p>\n<h3>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435&nbsp;\u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447&nbsp;\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u0440\u0430\u0437\u043d\u043e\u0439 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:&nbsp;\u043e\u0442 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0445 \u043c\u0435\u043c\u043e\u0432 \u0438 \u0443\u0440\u043e\u0434\u043b\u0438\u0432\u044b\u0445 \u0440\u0430\u0441\u0442\u0435\u043d\u0438\u0439 \u0434\u043e \u0444\u0430\u043d\u0430\u0442\u0441\u043a\u0438\u0445 \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 \u0438 \u043f\u0430\u0431\u043b\u0438\u043a\u043e\u0432 \u043c\u0438\u0440\u043e\u0432\u044b\u0445 \u0431\u0440\u0435\u043d\u0434\u043e\u0432. \u0412 \u043a\u0430\u0436\u0434\u043e\u043c&nbsp;\u0441\u0432\u043e\u044f \u0430\u0442\u043c\u043e\u0441\u0444\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0441\u0430\u043c\u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u0438 \u0438 \u0430\u0434\u043c\u0438\u043d\u044b. \u0423 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0435\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u0440\u0430\u0446\u0438\u0438:&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e \u043d\u0435\u0446\u0435\u043d\u0437\u0443\u0440\u043d\u044b\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c&nbsp;\u0438&nbsp;\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u043c&nbsp;(\u0438\u0445&nbsp;\u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0441\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u044b). <\/p>\n<p>\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043c\u044b <a href=\"https:\/\/vk.com\/press\/communities-hate-speech\">\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438&nbsp;<\/a>\u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u2014&nbsp;\u0444\u0438\u043b\u044c\u0442\u0440&nbsp;\u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u0445 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0439.&nbsp;\u0425\u043e\u0442\u044c \u0443\u0433\u0440\u043e\u0437\u044b \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445&nbsp;\u0447\u0430\u0441\u0442\u043e&nbsp;\u043d\u0435 \u043d\u0435\u0441\u0443\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438,&nbsp;\u043e\u043d\u0438&nbsp;\u0441\u043e\u0437\u0434\u0430\u044e\u0442&nbsp;\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0443\u044e&nbsp;\u0430\u0442\u043c\u043e\u0441\u0444\u0435\u0440\u0443 \u0432 \u043f\u0430\u0431\u043b\u0438\u043a\u0435&nbsp;\u0438&nbsp;\u043f\u043e\u0440\u043e\u0439 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0432\u043e\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u043d\u0430&nbsp;\u043d\u0430\u0441\u0438\u043b\u0438\u0435 \u0432 \u043e\u0444\u043b\u0430\u0439\u043d\u0435.&nbsp;\u041c\u044b&nbsp;\u0441\u0434\u0435\u043b\u0430\u043b\u0438&nbsp;\u0444\u0438\u043b\u044c\u0442\u0440,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0439&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0443\u0434\u0430\u043b\u044f\u0435\u0442&nbsp;\u0443\u0433\u0440\u043e\u0437\u044b: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438 \u0438\u043b\u0438 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0438\u0442\u044c \u0432\u0440\u0435\u0434 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e.&nbsp;\u0410\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u0435\u0442&nbsp;\u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438 \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c&nbsp;\u0435\u0433\u043e&nbsp;\u0432 \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0430 \u0435\u0449\u0451 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u0441\u0435 \u043e\u0442\u0441\u0435\u044f\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438,&nbsp;\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c&nbsp;\u043b\u044e\u0431\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0438\u043b\u0438&nbsp;\u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0430\u0432\u0442\u043e\u0440\u0430 \u0432 \u0447\u0451\u0440\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a.<\/p>\n<p>\u0421 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0443\u0433\u0440\u043e\u0437 \u0438 \u043e\u0441\u043a\u043e\u0440\u0431\u043b\u0435\u043d\u0438\u0439 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b, \u043d\u043e \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0438.&nbsp;\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u043c\u0438 \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f&nbsp;\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c&nbsp;\u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0435&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u044c.&nbsp;\u041d\u043e \u0447\u0430\u0441\u0442\u0430\u044f&nbsp;\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430&nbsp;\u0442\u0430\u043a\u0438\u0445 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 Unintended Bias (UB) \u043f\u0440\u0438 \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u0438\u0438 \u0432\u0435\u0440\u0434\u0438\u043a\u0442\u0430. \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0441\u043a\u043e\u0440 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430: \u043e\u043d\u0438&nbsp;\u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f&nbsp;\u0432 \u043e\u0441\u043a\u043e\u0440\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u043e \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435&nbsp;\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:&nbsp;\u0436\u0435\u043d\u0449\u0438\u043d\u0430, \u0447\u0451\u0440\u043d\u044b\u0439, \u043f\u0435\u0442\u0443\u0445, \u0430\u0434\u043c\u0438\u043d. \u0422\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438,&nbsp;\u0438\u043b\u0438 Protected Identities&nbsp;(PI).&nbsp;&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d3\/c62\/f9c\/2d3c62f9c01ecd56610b33e676d95bee.jpg\" alt=\"\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435, 2020 https:\/\/vk.com\/safety\" title=\"\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435, 2020 https:\/\/vk.com\/safety\" width=\"1164\" height=\"588\"><figcaption>\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435, 2020 https:\/\/vk.com\/safety<\/figcaption><\/figure>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0435\u0441\u0442\u044c&nbsp;\u043c\u043d\u043e\u0433\u043e&nbsp;\u043a\u043e\u043d\u0442\u0435\u0441\u0442\u043e\u0432&nbsp;\u0438 \u043c\u0430\u0441\u0442\u0435\u0440-\u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043f\u043e\u0441\u0432\u044f\u0449\u0451\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044e \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439:&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;HASOC&nbsp;\u043d\u0430&nbsp;FIRE-2019; TRAC-2020; HatEval&nbsp;\u0438&nbsp;OffensEval&nbsp;\u043d\u0430&nbsp;SemEval-2019.&nbsp;\u0422\u0430\u043a\u0436\u0435 \u043d\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 Kaggle \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u043d\u0438\u044f \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438 \u0434\u0430\u0436\u0435 \u043f\u043e \u0435\u0433\u043e \u0443\u0437\u043a\u043e\u0439 \u0442\u0435\u043c\u0435 \u2014 Unintended Bias! \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c&nbsp;<a href=\"https:\/\/www.kaggle.com\/c\/jigsaw-unintended-bias-in-toxicity-classification\">\u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442 Jigsaw<\/a>&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u0430\u044f \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438&nbsp;(\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435&nbsp;\u2014 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438).<\/p>\n<p>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439&nbsp;\u043f\u043e&nbsp;\u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435&nbsp;\u043f\u043e\u043a\u0430 \u043c\u0430\u043b\u043e.&nbsp;<a href=\"https:\/\/nlp.fi.muni.cz\/raslan\/2018\/paper04-Andrusyak.pdf\">\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442<\/a>&nbsp;unsupervised-\u043c\u0435\u0442\u043e\u0434&nbsp;\u0434\u043b\u044f&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f&nbsp;\u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043e\u0441\u043a\u043e\u0440\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438 \u043d\u0435\u043f\u0440\u0438\u0441\u0442\u043e\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445. \u0415\u0449\u0451&nbsp;<a href=\"https:\/\/www.researchgate.net\/publication\/344860535_Toxic_Comments_Detection_in_Russian\">\u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430<\/a>&nbsp;\u043c\u043e\u0434\u0435\u043b\u044c&nbsp;BERT&nbsp;\u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0433\u043e&nbsp;\u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0433\u043e&nbsp;\u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430&nbsp;\u2014 \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u043d\u0430&nbsp;\u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a&nbsp;SoTA, \u043d\u043e \u0435\u0451&nbsp;\u0441\u043b\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0437-\u0437\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441&nbsp;<a href=\"https:\/\/www.workshopononlineabuse.com\/\">WOAH<\/a>&nbsp;<a href=\"https:\/\/www.workshopononlineabuse.com\/\">EMNLP<\/a>&nbsp;<a href=\"https:\/\/www.workshopononlineabuse.com\/\">2020<\/a>&nbsp;\u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043e \u0442\u0440\u0451\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u043b\u0438&nbsp;\u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e false-positive \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439:&nbsp;<\/p>\n<ol>\n<li>\n<p>\u041c\u044b&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438&nbsp;\u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043f\u043e \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438&nbsp;\u0434\u0440\u043e\u043f\u0430\u0443\u0442 \u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430&nbsp;\u0442\u0430\u043a\u0438\u0445&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438&nbsp;multitask-\u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u0430\u043a \u043c\u044b&nbsp;\u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0438&nbsp;\u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440&nbsp;(\u0434\u0430\u043d\u043d\u044b\u0435,&nbsp;\u043c\u0438\u043d\u0438-\u0430\u043f\u043f, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Unintended&nbsp;Bias)<\/h4>\n<p>\u0412\u0435\u0441\u043d\u043e\u0439 2020 \u0433\u043e\u0434\u0430 \u043c\u044b&nbsp;\u0432\u0437\u044f\u043b\u0438\u0441\u044c \u0437\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443&nbsp;\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c&nbsp;\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435.&nbsp;\u0414\u0443\u043c\u0430\u043b\u0438 \u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0438\u0447\u0430\u0445, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u043e\u043d \u0431\u044b\u043b \u0431\u044b \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u041f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f&nbsp;\u0444\u0438\u043b\u044c\u0442\u0440 \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u0445 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0439: \u043e\u043d&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0430\u0432\u0442\u043e\u0440\u0430\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438&nbsp;\u043f\u043e\u0434 \u0437\u0430\u043f\u0438\u0441\u044f\u043c\u0438 \u0438 \u043d\u0435 \u043e\u043f\u0430\u0441\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043c \u0431\u0443\u0434\u0443\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0435 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0444\u0438\u043b\u044c\u0442\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d&nbsp;\u0441\u043d\u0438\u0437\u0438\u0442\u044c&nbsp;\u043e\u0431\u0449\u0438\u0439&nbsp;\u0433\u0440\u0430\u0434\u0443\u0441 \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0435 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c&nbsp;\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432.&nbsp;<\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0444\u0438\u043b\u044c\u0442\u0440 \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d, \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0435\u0433\u043e \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c. \u0412 \u043d\u044b\u043d\u0435\u0448\u043d\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u043d&nbsp;\u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u0440\u043e\u0437\u044b \u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438 \u0438\u043b\u0438 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0438\u0442\u044c \u0432\u0440\u0435\u0434 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e. \u041d\u043e \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c\u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438:&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u044f\u043c\u0438&nbsp;\u0438 \u0434\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b,&nbsp;\u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u043d\u0430\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u044f\u043b\u043e&nbsp;\u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438:&nbsp;<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442?<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0440\u0430\u0437\u043c\u0435\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f?<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e?<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438\u0437 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432&nbsp;\u2014 \u0431\u0440\u0430\u043b\u0438 \u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u043d\u0435&nbsp;\u0434\u043b\u0438\u043d\u043d\u0435\u0435 100 \u0441\u043b\u043e\u0432.&nbsp;\u041f\u0440\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u0440\u0430\u0432\u0438\u043b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0432\u0430\u0436\u043d\u043e \u0431\u044b\u043b\u043e&nbsp;\u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e&nbsp;\u043d\u0430\u0448\u0430 \u043d\u044b\u043d\u0435\u0448\u043d\u044f\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u044b.&nbsp;\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0441\u0435 \u0441\u043f\u043e\u0440\u043d\u044b\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438&nbsp;\u043c\u044b&nbsp;\u0440\u0435\u0448\u0438\u043b\u0438&nbsp;\u043f\u043e\u043c\u0435\u0447\u0430\u0442\u044c \u043a\u0430\u043a \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0435.<\/p>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p><strong><em>\u0423\u0433\u0440\u043e\u0437\u044b<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p><strong><em>\u041d\u0435 \u0443\u0433\u0440\u043e\u0437\u044b<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>\u041e\u0431\u0435\u0449\u0430\u043d\u0438\u044f&nbsp;\u0438&nbsp;\u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438,&nbsp;\u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e<\/p>\n<\/td>\n<td>\n<p>\u041f\u0440\u0438\u0437\u044b\u0432\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u0433\u043e-\u0442\u043e \u0432 \u0442\u044e\u0440\u044c\u043c\u0443<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>\u0423\u0433\u0440\u043e\u0437\u044b \u0441 \u0441\u0435\u043a\u0441\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0442\u0435\u043a\u0441\u0442\u043e\u043c<\/p>\n<\/td>\n<td>\n<p>\u041e\u0434\u043e\u0431\u0440\u0435\u043d\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<\/td>\n<td>\n<p>\u041f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438 \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<\/td>\n<td>\n<p>\u042d\u043f\u0438\u0442\u0430\u0444\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430&nbsp;1. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437&nbsp;\u043f\u0440\u0430\u0432\u0438\u043b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438<\/em><\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u044b. \u041e\u043d\u0438&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043d\u0430\u0448\u0435&nbsp;\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435&nbsp;\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435&nbsp;\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438&nbsp;\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u044f&nbsp;\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b&nbsp;\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u043d\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445&nbsp;\u044d\u0442\u0430\u043f\u0430\u0445&nbsp;\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u0445\u043e\u0434&nbsp;<a href=\"https:\/\/medium.com\/@vktech\/improving-multimodal-data-crowdsourcing-less-assessors-more-layers-dfb1357a705b\">Active Learning<\/a>. \u041e\u043d&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442&nbsp;\u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u0437\u0434\u043e\u0440\u043e\u0432\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u0441\u0451&nbsp;\u044d\u0442\u043e \u043d\u0430 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \ud83d\ude42<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0430\u0441\u044c&nbsp;\u043f\u0435\u0440\u0432\u0430\u044f&nbsp;\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f&nbsp;\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430,&nbsp;\u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 UB. \u041e\u043d\u0430 \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0434\u0432\u0443\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445:&nbsp;<\/p>\n<ul>\n<li>\n<p>\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u043c\u0438&nbsp;\u0442\u0435\u043a\u0441\u0442\u044b&nbsp;\u0432\u0438\u0434\u0430&nbsp;\u00ab\u0442\u044b&nbsp;\u043d\u0435 \u0447\u0443\u0447\u0435\u043b\u043e\u00bb&nbsp;\u0438\u043b\u0438&nbsp;\u00ab\u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c&nbsp;\u043b\u044e\u0434\u0435\u0439 \u0447\u0443\u0447\u0435\u043b\u0430\u043c\u0438 \u043f\u043b\u043e\u0445\u043e\u00bb \u2014 \u044d\u0442\u043e&nbsp;\u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0430 \u0442\u0430\u043a\u0436\u0435&nbsp;\u0443\u0447\u0438\u0442\u0441\u044f&nbsp;\u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c&nbsp;\u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0441\u043a\u043e\u0440&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;\u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c&nbsp;\u0441&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c\u0438&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u2014 \u043a\u0430\u043a \u0431\u043e\u0440\u043e\u043b\u0438\u0441\u044c \u0441 \u044d\u0442\u0438\u043c, \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435.&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0440\u043e\u043c\u0435&nbsp;\u0442\u043e\u0433\u043e, \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0440\u0451\u0445\u044d\u0442\u0430\u0436\u043d\u044b\u0435 \u043e\u0441\u043a\u043e\u0440\u0431\u043b\u0435\u043d\u0438\u044f&nbsp;\u2014 \u043d\u043e \u0438\u0445 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c&nbsp;<a href=\"https:\/\/habr.com\/ru\/company\/vk\/blog\/460641\/\">BPE<\/a>.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0442\u0430\u043a: \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438&nbsp;\u0441\u043f\u0438\u0441\u043e\u043a&nbsp;\u0438\u0437 214&nbsp;\u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0441\u043b\u043e\u0432,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f&nbsp;\u043a \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c&nbsp;(\u0442\u043e&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u0442\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u0441\u043a\u043e\u0440\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u043e \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435&nbsp;\u043d\u0435 \u043d\u0435\u0441\u0443\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430). \u0421\u043b\u043e\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u043f\u043e&nbsp;\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0443 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;\u043d\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438: \u0441\u0435\u043a\u0441\u0438\u0437\u043c, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u043c, \u0443\u0433\u0440\u043e\u0437\u044b, \u0434\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430, \u0433\u043e\u043c\u043e\u0444\u043e\u0431\u0438\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0435.&nbsp;\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445&nbsp;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439&nbsp;\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043d\u0438\u043c \u0441\u043b\u043e\u0432&nbsp;\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 GitHub:&nbsp;<a href=\"https:\/\/vk.cc\/aAS3TQ\">vk.cc\/aAS3TQ.<\/a>&nbsp;\u0412\u043e&nbsp;future&nbsp;work \u0441\u043c\u0435\u043b\u043e&nbsp;\u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u0431\u043e\u0440\u0430 \u0442\u0430\u043a\u0438\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.&nbsp;<\/p>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p><strong><em>\u043b\u0443\u043a\u0438\u0437\u043c<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u043a\u043e\u0440\u043e\u0432\u0430,&nbsp;\u043f\u044b\u0448\u043a\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0441\u0435\u043a\u0441\u0438\u0437\u043c<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0436\u0435\u043d\u0449\u0438\u043d\u0430,&nbsp;\u0431\u0430\u0431\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u043c<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0447\u0435\u0445,&nbsp;\u0435\u0432\u0440\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0443\u0433\u0440\u043e\u0437\u044b<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0432\u044b\u0435\u0437\u0436\u0430\u0442\u044c,&nbsp;\u0430\u0439\u043f\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0434\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u043a\u0438\u0441\u043a\u0430,&nbsp;\u0441\u0435\u043a\u0441\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0433\u043e\u043c\u043e\u0444\u043e\u0431\u0438\u044f<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0433\u0435\u0439,&nbsp;\u043b\u0433\u0431\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0434\u0440\u0443\u0433\u043e\u0435<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u043c\u0430\u043c\u043a\u0430,&nbsp;\u0430\u0434\u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2. \u0412\u044b\u0434\u0435\u0440\u0436\u043a\u0438 \u0438\u0437 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445&nbsp;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439&nbsp;\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043d\u0438\u043c \u0441\u043b\u043e\u0432<\/em><\/p>\n<p><strong>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c Unintended Bias?<\/strong><\/p>\n<p>\u0412 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442 Jigsaw,&nbsp;\u043a\u0430\u043a \u0438 \u043d\u0430 \u043d\u0430\u0448\u0435\u043c&nbsp;<a href=\"https:\/\/vk.com\/@vkteam-cup\">\u0447\u0435\u043c\u043f\u0438\u043e\u043d\u0430\u0442\u0435&nbsp;VK Cup<\/a>,&nbsp;\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439&nbsp;\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u043e\u0441\u044c&nbsp;\u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438&nbsp;generalized&nbsp;mean of Bias AUCs. \u0418\u0434\u0435\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438&nbsp;\u0432 \u0442\u043e\u043c,&nbsp;\u0447\u0442\u043e&nbsp;\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b&nbsp;\u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u0435&nbsp;\u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f&nbsp;\u043d\u0430 \u0441\u0430\u0431\u0441\u0435\u0442\u044b&nbsp;\u2014&nbsp;\u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0432\u044b\u0445\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0441\u043b\u043e\u0432 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c AUC \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443&nbsp;\u0441\u0430\u0431\u0441\u0435\u0442\u0443,&nbsp;\u0431\u0435\u0440\u0451\u043c \u043e\u0442 \u043d\u0438\u0445 \u043e\u0431\u043e\u0431\u0449\u0451\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435&nbsp;\u0438&nbsp;\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u043c&nbsp;\u0435\u0433\u043e&nbsp;\u0441 \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u043c\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0441 AUC \u043f\u043e \u0432\u0441\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd8\/5bc\/76e\/bd85bc76ebdaa5b8e3509783fd7b3658.png\" alt=\"\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412\u0437\u044f\u0442\u043e \u0438\u0437 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jigsaw\" title=\"\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412\u0437\u044f\u0442\u043e \u0438\u0437 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jigsaw\" width=\"1396\" height=\"622\"><figcaption>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412\u0437\u044f\u0442\u043e \u0438\u0437 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jigsaw<\/figcaption><\/figure>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412\u0437\u044f\u0442\u043e \u0438\u0437 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jigsaw<\/p>\n<h4>\u041d\u0430\u0448\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044b<\/h4>\n<ol>\n<li>\n<p><strong>\u041d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u044c&nbsp;\u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u044c&nbsp;\u2014 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u043d\u0430\u0431\u0434\u0438\u0432 \u0438\u0445&nbsp;\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u0440\u0438&nbsp;\u044d\u0442\u043e\u043c&nbsp;\u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0438\u0437 \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041c\u044b \u0432\u0437\u044f\u043b\u0438 Transformer,&nbsp;\u0430&nbsp;\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u0434\u0435\u0442\u0441\u043a\u0438\u0435&nbsp;\u0441\u043a\u0430\u0437\u043a\u0438, \u0440\u0443\u0441\u0441\u043a\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0438 \u043d\u0430\u0443\u0447\u043f\u043e\u043f.&nbsp;\u0412\u0441\u0435\u0433\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438&nbsp;25\u202f000&nbsp;\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445&nbsp;\u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432&nbsp;\u0438&nbsp;\u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438&nbsp;\u0438\u0445&nbsp;\u043a&nbsp;\u0442\u0440\u0435\u0439\u043d\u0441\u0435\u0442\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>Random dropout \u043d\u0430 Protected Indentities<\/strong><\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1511.01432\">\u0418\u0437\u0432\u0435\u0441\u0442\u043d\u043e<\/a>,&nbsp;\u0447\u0442\u043e random word dropout&nbsp;\u043c\u043e\u0436\u0435\u0442&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c&nbsp;\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e&nbsp;\u0442\u0435\u043a\u0441\u0442\u0430&nbsp;\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0435\u0435.&nbsp;\u041c\u044b&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438&nbsp;\u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434, \u0447\u0442\u043e\u0431\u044b&nbsp;\u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f&nbsp;\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c&nbsp;(\u0441&nbsp;\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e 0,5) \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0435&nbsp;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;\u0432\u043e&nbsp;\u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445&nbsp;\u043d\u0430&nbsp;\u043c\u0430\u0440\u043a\u0435\u0440&nbsp;.<\/p>\n<\/li>\n<li>\n<p><strong>Multitask framework<\/strong><\/p>\n<p>\u041c\u044b&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a&nbsp;multitask-learning,&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0432 \u0434\u043b\u044f \u043d\u0435\u0433\u043e&nbsp;\u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c&nbsp;\u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0430&nbsp;Protected Identity&nbsp;(<em>\u043b\u0443\u043a\u0438\u0437\u043c<\/em>,&nbsp;<em>\u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u043c<\/em>,&nbsp;<em>\u0443\u0433\u0440\u043e\u0437\u0430<\/em>&nbsp;\u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435).&nbsp;\u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044e \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u043b\u0430\u0441\u0441\u0443 \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438&nbsp;\u2014 \u044d\u0442\u043e \u0442\u043e\u0436\u0435&nbsp;\u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7de\/2b6\/8e7\/7de2b68e7ec691a8e136610bb1bbdba4.jpg\" alt=\"\u0421\u0445\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c multitask-learning\" title=\"\u0421\u0445\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c multitask-learning\" width=\"2318\" height=\"1200\"><figcaption>\u0421\u0445\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c multitask-learning<\/figcaption><\/figure>\n<p>\u0421\u0445\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c nultitask-learning<\/p>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h4>\n<p>\u041c\u044b&nbsp;\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441&nbsp;\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438,&nbsp;\u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438&nbsp;\u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0438\u0437 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432, \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0441\u0443\u0431\u0442\u0438\u0442\u0440\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0438\u043b\u044c\u043c\u043e\u0432 \u0438 \u0432\u0438\u0434\u0435\u043e&nbsp;(\u043d\u0430&nbsp;\u043d\u0438\u0445 \u0436\u0435&nbsp;\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c&nbsp;BPE).&nbsp;<\/p>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438&nbsp;\u0434\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b&nbsp;(<a href=\"https:\/\/arxiv.org\/pdf\/1703.03130.pdf\">self-ATTN,&nbsp;CNN<\/a>),&nbsp;\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044f&nbsp;\u0442\u0440\u0438&nbsp;\u043f\u043e\u0434\u0445\u043e\u0434\u0430&nbsp;\u0438\u0437 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438.&nbsp;self-ATTN \u2014&nbsp;\u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f&nbsp;\u043d\u0430 self-attentive encoder.&nbsp;\u0412\u0435\u043a\u0442\u043e\u0440\u044b&nbsp;\u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f&nbsp;\u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e&nbsp;\u0432&nbsp;attention,&nbsp;\u043f\u043e\u044d\u0442\u043e\u043c\u0443&nbsp;\u043c\u043e\u0434\u0435\u043b\u044c&nbsp;self-attention\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430 \u0442\u0443,&nbsp;\u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432&nbsp;\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445. \u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u044d\u0442\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0451 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e\u0434\u0434\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438.&nbsp;\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u043b\u0443\u0436\u0438\u0442 \u0442\u0440\u0438\u0433\u0433\u0435\u0440\u043e\u043c \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u0410&nbsp;\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0442\u044c&nbsp;\u0441\u043f\u0438\u0441\u043e\u043a&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b4\/d6d\/40b\/3b4d6d40b508aeeac9d247148502d0c0.png\" alt=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c\" title=\"\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c\" width=\"308\" height=\"152\"><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c<\/figcaption><\/figure>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c<\/p>\n<p>&nbsp;<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f singletask approach \u043c\u044b&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438&nbsp;BCE-loss. \u0414\u043b\u044f&nbsp;multitask approach&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 loss-\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435&nbsp;\u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0437\u0430\u0434\u0430\u0447:&nbsp;\u0441\u043a\u043e\u0440\u0430&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f&nbsp;\u043a\u043b\u0430\u0441\u0441\u0430&nbsp;Protected Identity.&nbsp;\u0411\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0442\u0430\u043b\u0435\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0440\u043e\u0434\u0435 \u0447\u0438\u0441\u043b\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0438\u043b\u0438 lr&nbsp;\u2014 \u0432&nbsp;\u043d\u0430\u0448\u0435\u0439&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/2010.11666\">\u043f\u043e\u043b\u043d\u043e\u0439&nbsp;\u0441\u0442\u0430\u0442\u044c\u0435<\/a>.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u0432\u0430 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c&nbsp;(\u0438,&nbsp;\u043a\u0430\u043a&nbsp;\u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438 \u043f\u043e\u0442\u043e\u043c, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0430 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c)&nbsp;\u044f\u0437\u044b\u043a\u0435.<\/p>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p><strong>\u041c\u0435\u0442\u043e\u0434<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p><strong>\u041d\u0430\u0448&nbsp;\u0434\u0430\u0442\u0430\u0441\u0435\u0442<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<\/td>\n<td>\n<p><strong>(\u0410\u043d\u0434\u0440\u0443\u0441\u044f\u043a \u0438 \u0434\u0440., 2018)<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p><strong>(\u0421\u043c\u0435\u0442\u0430\u043d\u0438\u043d, 2020)<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>&nbsp;<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>GMB-AUC<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>F1<\/p>\n<\/td>\n<td>\n<p>GMB-AUC<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>F1<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>GMB-AUC<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>F1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>CNN<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.56\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.66\u00b1.003<\/p>\n<\/td>\n<td>\n<p>.51\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.59\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.53\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.78\u00b1.002<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>CNN + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.58\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.68\u00b1.008<\/p>\n<\/td>\n<td>\n<p>.52\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.61\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.53\u00b1.010<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.80\u00b1.002<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.60\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.71\u00b1.010<\/p>\n<\/td>\n<td>\n<p>.54\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.72\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.54\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.80\u00b1.010<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.60\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.74\u00b1.012<\/p>\n<\/td>\n<td>\n<p>.54\u00b1.009<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.69\u00b1.009<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.54\u00b1.007<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.82\u00b1.004<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + LM data<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.65\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.74\u00b1.002<\/p>\n<\/td>\n<td>\n<p>.58\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.70\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.57\u00b1.006<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.83\u00b1.009<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + LM data + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.67\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.74\u00b1.016<\/p>\n<\/td>\n<td>\n<p>.59\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.70\u00b1.010<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.58\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.84\u00b1.008<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + identity d\/o<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.61\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.65\u00b1.003<\/p>\n<\/td>\n<td>\n<p>.53\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.68\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.54\u00b1.007<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.82\u00b1.011<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + identity d\/o + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.61\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.66\u00b1.007<\/p>\n<\/td>\n<td>\n<p>.54\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.69\u00b1.008<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.58\u00b1.009<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.83\u00b1.007<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + identity d\/o + LM data<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.67\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.76\u00b1.005<\/p>\n<\/td>\n<td>\n<p>.55\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.71\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.59\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.86\u00b1.012<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + identity d\/o + LM data + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.68\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.78\u00b1.010<\/p>\n<\/td>\n<td>\n<p>.56\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.73\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.60\u00b1.008<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.86\u00b1.004<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430&nbsp;3.&nbsp;Generalized Mean of Bias AUCs&nbsp;(GMB-AUC)&nbsp;\u0438&nbsp;\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435&nbsp;F-\u043c\u0435\u0440\u044b \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0430\u043c \u0434\u0430\u043d\u043d\u044b\u0445<\/em><\/p>\n<p>\u041d\u0430\u0448\u0438&nbsp;\u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432&nbsp;\u043f\u043e F-\u043c\u0435\u0440\u0435 \u043d\u0430 \u0432\u0441\u0435\u0445&nbsp;\u0442\u0440\u0451\u0445&nbsp;\u043d\u0430\u0431\u043e\u0440\u0430\u0445&nbsp;\u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u0430\u043c\u0430\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f&nbsp;\u0438 \u0445\u0438\u0442\u0440\u0430\u044f&nbsp;\u0438\u0437 \u043d\u0438\u0445&nbsp;(Attn&nbsp;+ identity d\/o + LM data + multitask setup)&nbsp;\u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430&nbsp;F-\u043c\u0435\u0440\u0443&nbsp;0,86&nbsp;\u043f\u043e \u0442\u0435\u0441\u0442\u0443. \u0410 \u044d\u0442\u043e 93% \u043e\u0442 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0439&nbsp;\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;SoTA-\u043c\u043e\u0434\u0435\u043b\u0438 \u2014&nbsp;\u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u043e\u0439&nbsp;\u0438&nbsp;\u0441\u043e\u0437\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438&nbsp;\u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430&nbsp;BERT-like \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<p>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c:&nbsp;\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u0440\u0438\u043a\u0438\u043d\u0443\u0442\u044c, \u043a\u0430\u043a&nbsp;\u043c\u043e\u0436\u043d\u043e&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0442\u044c&nbsp;\u0441\u043f\u0438\u0441\u043e\u043a&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439&nbsp;\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445&nbsp;\u0441 \u043d\u0438\u043c\u0438&nbsp;\u0441\u043b\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Active Learning.<\/p>\n<p><em>\u0410\u0432\u0442\u043e\u0440\u044b \u2014 \u041d\u0430\u0434\u0435\u0436\u0434\u0430 \u0417\u0443\u0435\u0432\u0430, \u041f\u0430\u0432\u0435\u043b \u041a\u0430\u043b\u0430\u0439\u0434\u0438\u043d \u0438 \u041c\u0430\u0434\u0438\u043d\u0430 \u041a\u0430\u0431\u0438\u0440\u043e\u0432\u0430 \u2014 \u0432\u044b\u0440\u0430\u0436\u0430\u044e\u0442 \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u043d\u043e\u0441\u0442\u044c \u0414\u0430\u043d\u0438\u0438\u043b\u0443 \u0413\u0430\u0432\u0440\u0438\u043b\u043e\u0432\u0443 \u0438 \u041e\u043a\u0442\u0430\u044e \u0422\u0430\u0442\u0430\u043d\u043e\u0432\u0443 \u0437\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0434\u0438\u0441\u043a\u0443\u0441\u0441\u0438\u0438, \u0414\u0430\u043d\u0438\u0438\u043b\u0443 \u0413\u0430\u0432\u0440\u0438\u043b\u043e\u0432\u0443 \u0437\u0430 \u0440\u0435\u0432\u044c\u044e, \u0412\u0438\u043a\u0442\u043e\u0440\u0438\u0438 \u041b\u043e\u0433\u0438\u043d\u043e\u0432\u043e\u0439 \u0438 \u0414\u044d\u0432\u0438\u0434\u0443 \u041f\u0440\u0438\u043d\u0446\u0443 \u0437\u0430 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0430\u043d\u043e\u043d\u0438\u043c\u043d\u044b\u043c&nbsp;\u0440\u0435\u0446\u0435\u043d\u0437\u0435\u043d\u0442\u0430\u043c&nbsp;\u0437\u0430 \u0446\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438. \u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u0438\u0442\u044c \u043a\u043e\u043c\u0430\u043d\u0434\u0443 \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435&nbsp;(\u043a\u043e\u0442\u043e\u0440\u0443\u044e&nbsp;\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u041a\u0430\u0442\u0435\u0440\u0438\u043d\u0430 \u0415\u0433\u043e\u0440\u0443\u0448\u043a\u043e\u0432\u0430) \u0437\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0410\u043d\u043d\u0443 \u041c\u0435\u043b\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u0437\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u0432 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430, \u0421\u0435\u043c\u0435\u043d\u0430 \u041f\u043e\u043b\u044f\u043a\u043e\u0432\u0430, \u0410\u043d\u0434\u0440\u0435\u044f \u042f\u043a\u0443\u0448\u0435\u0432\u0430, \u0414\u043c\u0438\u0442\u0440\u0438\u044f \u0421\u0430\u043b\u044c\u043d\u0438\u043a\u043e\u0432\u0430 \u0437\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u043e\u0432\u0435\u0442\u044b \u043f\u043e Active Learning \u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e, \u0414\u043c\u0438\u0442\u0440\u0438\u044f \u042e\u0442\u043a\u0438\u043d\u0430 \u0438 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u0430 \u041c\u0430\u0440\u043a\u043e\u0432\u0430 \u0437\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u0432\u043e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d.<\/em><\/p>\n<p><em>We are open for collaborations! \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043d\u0430\u043c\u0438 \u0443\u0433\u0440\u043e\u0437 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u043f\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0443&nbsp;\u2014&nbsp;\u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0430 \u043f\u043e\u0447\u0442\u0443 nadezhda.zueva@vk.com \u0438\u043b\u0438 \u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435&nbsp;(vk.com\/nda)<\/em><\/p>\n<p><em>&nbsp;<\/em><\/p>\n<p><em>P.&nbsp;S.&nbsp;\u041e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u2014 \u0432 \u043d\u0430\u0448\u0435\u0439 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435:&nbsp;<\/em><a href=\"https:\/\/arxiv.org\/abs\/2010.11666\"><em>arxiv.org\/abs\/2010.11666<\/em><\/a><\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/vk\/blog\/546186\/\"> https:\/\/habr.com\/ru\/company\/vk\/blog\/546186\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043d\u043e\u044f\u0431\u0440\u0435 \u043d\u0430 EMNLP 2020 \u0432 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 \u0440\u0430\u0437 \u043f\u0440\u043e\u0448\u0451\u043b \u0432\u043e\u0440\u043a\u0448\u043e\u043f <a href=\"https:\/\/www.workshopononlineabuse.com\/\">WOAH<\/a>: \u043e\u043d \u0431\u044b\u043b \u043f\u043e\u0441\u0432\u044f\u0449\u0451\u043d \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u043c \u043a\u0438\u0431\u0435\u0440\u0431\u0443\u043b\u043b\u0438\u043d\u0433 \u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u043e\u043d\u043b\u0430\u0439\u043d-\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u041c\u044b \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b\u0438 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0451\u0439 \u043e \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u044f\u0445 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u0445 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0439. \u041d\u0430 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u043d\u0435\u0434\u0435\u043b\u0435 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u0444\u0438\u043b\u044c\u0442\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430: \u043a\u0430\u043a\u0438\u043c \u0431\u044b\u043b \u043f\u0443\u0442\u044c \u043e\u0442 \u0438\u0434\u0435\u0438 \u0434\u043e \u0440\u0435\u043b\u0438\u0437\u0430 \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u2014 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.&nbsp;<\/p>\n<h3>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435&nbsp;\u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447&nbsp;\u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u0440\u0430\u0437\u043d\u043e\u0439 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438:&nbsp;\u043e\u0442 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u044b\u0445 \u043c\u0435\u043c\u043e\u0432 \u0438 \u0443\u0440\u043e\u0434\u043b\u0438\u0432\u044b\u0445 \u0440\u0430\u0441\u0442\u0435\u043d\u0438\u0439 \u0434\u043e \u0444\u0430\u043d\u0430\u0442\u0441\u043a\u0438\u0445 \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 \u0438 \u043f\u0430\u0431\u043b\u0438\u043a\u043e\u0432 \u043c\u0438\u0440\u043e\u0432\u044b\u0445 \u0431\u0440\u0435\u043d\u0434\u043e\u0432. \u0412 \u043a\u0430\u0436\u0434\u043e\u043c&nbsp;\u0441\u0432\u043e\u044f \u0430\u0442\u043c\u043e\u0441\u0444\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442 \u0441\u0430\u043c\u0438 \u043f\u043e\u0434\u043f\u0438\u0441\u0447\u0438\u043a\u0438 \u0438 \u0430\u0434\u043c\u0438\u043d\u044b. \u0423 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0435\u0432 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u0440\u0430\u0446\u0438\u0438:&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e \u043d\u0435\u0446\u0435\u043d\u0437\u0443\u0440\u043d\u044b\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c&nbsp;\u0438&nbsp;\u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u043c&nbsp;(\u0438\u0445&nbsp;\u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0441\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u044b). <\/p>\n<p>\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043c\u044b <a href=\"https:\/\/vk.com\/press\/communities-hate-speech\">\u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438&nbsp;<\/a>\u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u2014&nbsp;\u0444\u0438\u043b\u044c\u0442\u0440&nbsp;\u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u0445 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0439.&nbsp;\u0425\u043e\u0442\u044c \u0443\u0433\u0440\u043e\u0437\u044b \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445&nbsp;\u0447\u0430\u0441\u0442\u043e&nbsp;\u043d\u0435 \u043d\u0435\u0441\u0443\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438,&nbsp;\u043e\u043d\u0438&nbsp;\u0441\u043e\u0437\u0434\u0430\u044e\u0442&nbsp;\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0443\u044e&nbsp;\u0430\u0442\u043c\u043e\u0441\u0444\u0435\u0440\u0443 \u0432 \u043f\u0430\u0431\u043b\u0438\u043a\u0435&nbsp;\u0438&nbsp;\u043f\u043e\u0440\u043e\u0439 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0432\u043e\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c&nbsp;\u043d\u0430&nbsp;\u043d\u0430\u0441\u0438\u043b\u0438\u0435 \u0432 \u043e\u0444\u043b\u0430\u0439\u043d\u0435.&nbsp;\u041c\u044b&nbsp;\u0441\u0434\u0435\u043b\u0430\u043b\u0438&nbsp;\u0444\u0438\u043b\u044c\u0442\u0440,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0439&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0443\u0434\u0430\u043b\u044f\u0435\u0442&nbsp;\u0443\u0433\u0440\u043e\u0437\u044b: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438 \u0438\u043b\u0438 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0438\u0442\u044c \u0432\u0440\u0435\u0434 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e.&nbsp;\u0410\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0436\u0435\u0442&nbsp;\u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438 \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c&nbsp;\u0435\u0433\u043e&nbsp;\u0432 \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0430 \u0435\u0449\u0451 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u0441\u0435 \u043e\u0442\u0441\u0435\u044f\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438,&nbsp;\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c&nbsp;\u043b\u044e\u0431\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0438\u043b\u0438&nbsp;\u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0430\u0432\u0442\u043e\u0440\u0430 \u0432 \u0447\u0451\u0440\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a.<\/p>\n<p>\u0421 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0443\u0433\u0440\u043e\u0437 \u0438 \u043e\u0441\u043a\u043e\u0440\u0431\u043b\u0435\u043d\u0438\u0439 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b, \u043d\u043e \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0438.&nbsp;\u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0438 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u043c\u0438 \u0441\u043e\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f&nbsp;\u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c&nbsp;\u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0435&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u044c.&nbsp;\u041d\u043e \u0447\u0430\u0441\u0442\u0430\u044f&nbsp;\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430&nbsp;\u0442\u0430\u043a\u0438\u0445 \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u2014 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 Unintended Bias (UB) \u043f\u0440\u0438 \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u0438\u0438 \u0432\u0435\u0440\u0434\u0438\u043a\u0442\u0430. \u0418\u043d\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0441\u043a\u043e\u0440 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430: \u043e\u043d\u0438&nbsp;\u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f&nbsp;\u0432 \u043e\u0441\u043a\u043e\u0440\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u043e \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435&nbsp;\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:&nbsp;\u0436\u0435\u043d\u0449\u0438\u043d\u0430, \u0447\u0451\u0440\u043d\u044b\u0439, \u043f\u0435\u0442\u0443\u0445, \u0430\u0434\u043c\u0438\u043d. \u0422\u0430\u043a\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438,&nbsp;\u0438\u043b\u0438 Protected Identities&nbsp;(PI).&nbsp;&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption>\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435, 2020 https:\/\/vk.com\/safety<\/figcaption><\/figure>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0435\u0441\u0442\u044c&nbsp;\u043c\u043d\u043e\u0433\u043e&nbsp;\u043a\u043e\u043d\u0442\u0435\u0441\u0442\u043e\u0432&nbsp;\u0438 \u043c\u0430\u0441\u0442\u0435\u0440-\u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u043f\u043e\u0441\u0432\u044f\u0449\u0451\u043d\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044e \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0445 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439:&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;HASOC&nbsp;\u043d\u0430&nbsp;FIRE-2019; TRAC-2020; HatEval&nbsp;\u0438&nbsp;OffensEval&nbsp;\u043d\u0430&nbsp;SemEval-2019.&nbsp;\u0422\u0430\u043a\u0436\u0435 \u043d\u0430 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0435 Kaggle \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043e\u0441\u0442\u044f\u0437\u0430\u043d\u0438\u044f \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438 \u0434\u0430\u0436\u0435 \u043f\u043e \u0435\u0433\u043e \u0443\u0437\u043a\u043e\u0439 \u0442\u0435\u043c\u0435 \u2014 Unintended Bias! \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c&nbsp;<a href=\"https:\/\/www.kaggle.com\/c\/jigsaw-unintended-bias-in-toxicity-classification\">\u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442 Jigsaw<\/a>&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u0430\u044f \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438&nbsp;(\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435&nbsp;\u2014 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438).<\/p>\n<p>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439&nbsp;\u043f\u043e&nbsp;\u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044e&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435&nbsp;\u043f\u043e\u043a\u0430 \u043c\u0430\u043b\u043e.&nbsp;<a href=\"https:\/\/nlp.fi.muni.cz\/raslan\/2018\/paper04-Andrusyak.pdf\">\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442<\/a>&nbsp;unsupervised-\u043c\u0435\u0442\u043e\u0434&nbsp;\u0434\u043b\u044f&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f&nbsp;\u0441\u043b\u043e\u0432\u0430\u0440\u044f \u043e\u0441\u043a\u043e\u0440\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438 \u043d\u0435\u043f\u0440\u0438\u0441\u0442\u043e\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445. \u0415\u0449\u0451&nbsp;<a href=\"https:\/\/www.researchgate.net\/publication\/344860535_Toxic_Comments_Detection_in_Russian\">\u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430<\/a>&nbsp;\u043c\u043e\u0434\u0435\u043b\u044c&nbsp;BERT&nbsp;\u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0433\u043e&nbsp;\u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0433\u043e&nbsp;\u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430&nbsp;\u2014 \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u043d\u0430&nbsp;\u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a&nbsp;SoTA, \u043d\u043e \u0435\u0451&nbsp;\u0441\u043b\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438\u0437-\u0437\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441&nbsp;<a href=\"https:\/\/www.workshopononlineabuse.com\/\">WOAH<\/a>&nbsp;<a href=\"https:\/\/www.workshopononlineabuse.com\/\">EMNLP<\/a>&nbsp;<a href=\"https:\/\/www.workshopononlineabuse.com\/\">2020<\/a>&nbsp;\u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043e \u0442\u0440\u0451\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u043b\u0438&nbsp;\u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e false-positive \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439:&nbsp;<\/p>\n<ol>\n<li>\n<p>\u041c\u044b&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438&nbsp;\u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043f\u043e \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438&nbsp;\u0434\u0440\u043e\u043f\u0430\u0443\u0442 \u043d\u0430 \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430&nbsp;\u0442\u0430\u043a\u0438\u0445&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438&nbsp;multitask-\u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<\/ol>\n<h4>\u041a\u0430\u043a \u043c\u044b&nbsp;\u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0438&nbsp;\u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440&nbsp;(\u0434\u0430\u043d\u043d\u044b\u0435,&nbsp;\u043c\u0438\u043d\u0438-\u0430\u043f\u043f, \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Unintended&nbsp;Bias)<\/h4>\n<p>\u0412\u0435\u0441\u043d\u043e\u0439 2020 \u0433\u043e\u0434\u0430 \u043c\u044b&nbsp;\u0432\u0437\u044f\u043b\u0438\u0441\u044c \u0437\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443&nbsp;\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u043e\u0440\u0430 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c&nbsp;\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435.&nbsp;\u0414\u0443\u043c\u0430\u043b\u0438 \u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0438\u0447\u0430\u0445, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445&nbsp;\u043e\u043d \u0431\u044b\u043b \u0431\u044b \u043f\u043e\u043b\u0435\u0437\u0435\u043d. \u041f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u0430\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f&nbsp;\u0444\u0438\u043b\u044c\u0442\u0440 \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u044b\u0445 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u0439: \u043e\u043d&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0430\u0432\u0442\u043e\u0440\u0430\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438&nbsp;\u043f\u043e\u0434 \u0437\u0430\u043f\u0438\u0441\u044f\u043c\u0438 \u0438 \u043d\u0435 \u043e\u043f\u0430\u0441\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043c \u0431\u0443\u0434\u0443\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0435 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0444\u0438\u043b\u044c\u0442\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d&nbsp;\u0441\u043d\u0438\u0437\u0438\u0442\u044c&nbsp;\u043e\u0431\u0449\u0438\u0439&nbsp;\u0433\u0440\u0430\u0434\u0443\u0441 \u0432\u0440\u0430\u0436\u0434\u0435\u0431\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0435 \u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c&nbsp;\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432.&nbsp;<\/p>\n<p>\u0421\u0435\u0439\u0447\u0430\u0441 \u0444\u0438\u043b\u044c\u0442\u0440 \u0443\u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d, \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0435\u0433\u043e \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c. \u0412 \u043d\u044b\u043d\u0435\u0448\u043d\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u043d&nbsp;\u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u0440\u043e\u0437\u044b \u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438 \u0438\u043b\u0438 \u043e\u0431\u0435\u0449\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0438\u0442\u044c \u0432\u0440\u0435\u0434 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e. \u041d\u043e \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c\u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438:&nbsp;\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0432\u044b\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043d\u0438\u044f\u043c\u0438&nbsp;\u0438 \u0434\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u043c\u0438.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b,&nbsp;\u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435&nbsp;\u043d\u0430\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u044f\u043b\u043e&nbsp;\u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0441\u0442\u0430\u0440\u0442\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438:&nbsp;<\/p>\n<ul>\n<li>\n<p>\u041a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442?<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0440\u0430\u0437\u043c\u0435\u0442\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f?<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e?<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438\u0437 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432&nbsp;\u2014 \u0431\u0440\u0430\u043b\u0438 \u0430\u043d\u043e\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u043f\u043b\u0438\u043a\u0438 \u043d\u0435&nbsp;\u0434\u043b\u0438\u043d\u043d\u0435\u0435 100 \u0441\u043b\u043e\u0432.&nbsp;\u041f\u0440\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u0440\u0430\u0432\u0438\u043b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0432\u0430\u0436\u043d\u043e \u0431\u044b\u043b\u043e&nbsp;\u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e&nbsp;\u043d\u0430\u0448\u0430 \u043d\u044b\u043d\u0435\u0448\u043d\u044f\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u044b.&nbsp;\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0441\u0435 \u0441\u043f\u043e\u0440\u043d\u044b\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438&nbsp;\u043c\u044b&nbsp;\u0440\u0435\u0448\u0438\u043b\u0438&nbsp;\u043f\u043e\u043c\u0435\u0447\u0430\u0442\u044c \u043a\u0430\u043a \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0435.<\/p>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p><strong><em>\u0423\u0433\u0440\u043e\u0437\u044b<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p><strong><em>\u041d\u0435 \u0443\u0433\u0440\u043e\u0437\u044b<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>\u041e\u0431\u0435\u0449\u0430\u043d\u0438\u044f&nbsp;\u0438&nbsp;\u043f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438,&nbsp;\u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e<\/p>\n<\/td>\n<td>\n<p>\u041f\u0440\u0438\u0437\u044b\u0432\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u0433\u043e-\u0442\u043e \u0432 \u0442\u044e\u0440\u044c\u043c\u0443<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>\u0423\u0433\u0440\u043e\u0437\u044b \u0441 \u0441\u0435\u043a\u0441\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0442\u0435\u043a\u0441\u0442\u043e\u043c<\/p>\n<\/td>\n<td>\n<p>\u041e\u0434\u043e\u0431\u0440\u0435\u043d\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<\/td>\n<td>\n<p>\u041f\u043e\u0436\u0435\u043b\u0430\u043d\u0438\u044f \u0441\u043c\u0435\u0440\u0442\u0438 \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<\/td>\n<td>\n<p>\u042d\u043f\u0438\u0442\u0430\u0444\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430&nbsp;1. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437&nbsp;\u043f\u0440\u0430\u0432\u0438\u043b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438<\/em><\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0442\u043a\u043e\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u043c\u043e\u0434\u0435\u0440\u0430\u0442\u043e\u0440\u044b. \u041e\u043d\u0438&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043d\u0430\u0448\u0435&nbsp;\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435&nbsp;\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435&nbsp;\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u0438&nbsp;\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u044f&nbsp;\u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b&nbsp;\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u043d\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445&nbsp;\u044d\u0442\u0430\u043f\u0430\u0445&nbsp;\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u0445\u043e\u0434&nbsp;<a href=\"https:\/\/medium.com\/@vktech\/improving-multimodal-data-crowdsourcing-less-assessors-more-layers-dfb1357a705b\">Active Learning<\/a>. \u041e\u043d&nbsp;\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442&nbsp;\u0434\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439 \u0434\u043b\u044f \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u0437\u0434\u043e\u0440\u043e\u0432\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u0441\u0451&nbsp;\u044d\u0442\u043e \u043d\u0430 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \ud83d\ude42<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0430\u0441\u044c&nbsp;\u043f\u0435\u0440\u0432\u0430\u044f&nbsp;\u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f&nbsp;\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430,&nbsp;\u043c\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 UB. \u041e\u043d\u0430 \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0434\u0432\u0443\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445:&nbsp;<\/p>\n<ul>\n<li>\n<p>\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u043c\u0438&nbsp;\u0442\u0435\u043a\u0441\u0442\u044b&nbsp;\u0432\u0438\u0434\u0430&nbsp;\u00ab\u0442\u044b&nbsp;\u043d\u0435 \u0447\u0443\u0447\u0435\u043b\u043e\u00bb&nbsp;\u0438\u043b\u0438&nbsp;\u00ab\u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c&nbsp;\u043b\u044e\u0434\u0435\u0439 \u0447\u0443\u0447\u0435\u043b\u0430\u043c\u0438 \u043f\u043b\u043e\u0445\u043e\u00bb \u2014 \u044d\u0442\u043e&nbsp;\u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0438\u0442\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0438;<\/p>\n<\/li>\n<li>\n<p>\u0430 \u0442\u0430\u043a\u0436\u0435&nbsp;\u0443\u0447\u0438\u0442\u0441\u044f&nbsp;\u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c&nbsp;\u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u0441\u043a\u043e\u0440&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;\u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c&nbsp;\u0441&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c\u0438&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u2014 \u043a\u0430\u043a \u0431\u043e\u0440\u043e\u043b\u0438\u0441\u044c \u0441 \u044d\u0442\u0438\u043c, \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435.&nbsp;<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0440\u043e\u043c\u0435&nbsp;\u0442\u043e\u0433\u043e, \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0442\u0440\u0451\u0445\u044d\u0442\u0430\u0436\u043d\u044b\u0435 \u043e\u0441\u043a\u043e\u0440\u0431\u043b\u0435\u043d\u0438\u044f&nbsp;\u2014 \u043d\u043e \u0438\u0445 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u044c&nbsp;<a href=\"https:\/\/habr.com\/ru\/company\/vk\/blog\/460641\/\">BPE<\/a>.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0442\u0430\u043a: \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438&nbsp;\u0441\u043f\u0438\u0441\u043e\u043a&nbsp;\u0438\u0437 214&nbsp;\u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0441\u043b\u043e\u0432,&nbsp;\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f&nbsp;\u043a \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c&nbsp;(\u0442\u043e&nbsp;\u0435\u0441\u0442\u044c&nbsp;\u0442\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u0441\u043a\u043e\u0440\u0431\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435, \u043d\u043e \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435&nbsp;\u043d\u0435 \u043d\u0435\u0441\u0443\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430). \u0421\u043b\u043e\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u043f\u043e&nbsp;\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0443 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;\u043d\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438: \u0441\u0435\u043a\u0441\u0438\u0437\u043c, \u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u043c, \u0443\u0433\u0440\u043e\u0437\u044b, \u0434\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430, \u0433\u043e\u043c\u043e\u0444\u043e\u0431\u0438\u044f \u0438 \u0434\u0440\u0443\u0433\u0438\u0435.&nbsp;\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445&nbsp;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439&nbsp;\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043d\u0438\u043c \u0441\u043b\u043e\u0432&nbsp;\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 GitHub:&nbsp;<a href=\"https:\/\/vk.cc\/aAS3TQ\">vk.cc\/aAS3TQ.<\/a>&nbsp;\u0412\u043e&nbsp;future&nbsp;work \u0441\u043c\u0435\u043b\u043e&nbsp;\u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c&nbsp;\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u0431\u043e\u0440\u0430 \u0442\u0430\u043a\u0438\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.&nbsp;<\/p>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p><strong><em>\u043b\u0443\u043a\u0438\u0437\u043c<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u043a\u043e\u0440\u043e\u0432\u0430,&nbsp;\u043f\u044b\u0448\u043a\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0441\u0435\u043a\u0441\u0438\u0437\u043c<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0436\u0435\u043d\u0449\u0438\u043d\u0430,&nbsp;\u0431\u0430\u0431\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u043c<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0447\u0435\u0445,&nbsp;\u0435\u0432\u0440\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0443\u0433\u0440\u043e\u0437\u044b<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0432\u044b\u0435\u0437\u0436\u0430\u0442\u044c,&nbsp;\u0430\u0439\u043f\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0434\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u043a\u0438\u0441\u043a\u0430,&nbsp;\u0441\u0435\u043a\u0441\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0433\u043e\u043c\u043e\u0444\u043e\u0431\u0438\u044f<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u0433\u0435\u0439,&nbsp;\u043b\u0433\u0431\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><strong><em>\u0434\u0440\u0443\u0433\u043e\u0435<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p>\u043c\u0430\u043c\u043a\u0430,&nbsp;\u0430\u0434\u043c\u0438\u043d<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<p><em>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2. \u0412\u044b\u0434\u0435\u0440\u0436\u043a\u0438 \u0438\u0437 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445&nbsp;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439&nbsp;\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0438\u0445\u0441\u044f \u043a \u043d\u0438\u043c \u0441\u043b\u043e\u0432<\/em><\/p>\n<p><strong>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c Unintended Bias?<\/strong><\/p>\n<p>\u0412 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442 Jigsaw,&nbsp;\u043a\u0430\u043a \u0438 \u043d\u0430 \u043d\u0430\u0448\u0435\u043c&nbsp;<a href=\"https:\/\/vk.com\/@vkteam-cup\">\u0447\u0435\u043c\u043f\u0438\u043e\u043d\u0430\u0442\u0435&nbsp;VK Cup<\/a>,&nbsp;\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e&nbsp;\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439&nbsp;\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043b\u043e\u0441\u044c&nbsp;\u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438&nbsp;generalized&nbsp;mean of Bias AUCs. \u0418\u0434\u0435\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438&nbsp;\u0432 \u0442\u043e\u043c,&nbsp;\u0447\u0442\u043e&nbsp;\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b&nbsp;\u0440\u0430\u0431\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u0435&nbsp;\u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f&nbsp;\u043d\u0430 \u0441\u0430\u0431\u0441\u0435\u0442\u044b&nbsp;\u2014&nbsp;\u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0432\u044b\u0445\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0441\u043b\u043e\u0432 \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430 \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c AUC \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443&nbsp;\u0441\u0430\u0431\u0441\u0435\u0442\u0443,&nbsp;\u0431\u0435\u0440\u0451\u043c \u043e\u0442 \u043d\u0438\u0445 \u043e\u0431\u043e\u0431\u0449\u0451\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435&nbsp;\u0438&nbsp;\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u0435\u043c&nbsp;\u0435\u0433\u043e&nbsp;\u0441 \u0432\u0430\u0440\u044c\u0438\u0440\u0443\u0435\u043c\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0441 AUC \u043f\u043e \u0432\u0441\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c.<\/p>\n<figure class=\"full-width\"><figcaption>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412\u0437\u044f\u0442\u043e \u0438\u0437 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jigsaw<\/figcaption><\/figure>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412\u0437\u044f\u0442\u043e \u0438\u0437 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jigsaw<\/p>\n<h4>\u041d\u0430\u0448\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044b<\/h4>\n<ol>\n<li>\n<p><strong>\u041d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong><\/p>\n<p>\u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u044c&nbsp;\u043f\u0440\u0435\u0434\u0432\u0437\u044f\u0442\u043e\u0441\u0442\u044c&nbsp;\u2014 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u043d\u0430\u0431\u0434\u0438\u0432 \u0438\u0445&nbsp;\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0438\u0437 \u0441\u043f\u0438\u0441\u043a\u0430&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0435\u0439. \u041f\u0440\u0438&nbsp;\u044d\u0442\u043e\u043c&nbsp;\u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0438\u0437 \u043d\u0435\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041c\u044b \u0432\u0437\u044f\u043b\u0438 Transformer,&nbsp;\u0430&nbsp;\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u0434\u0435\u0442\u0441\u043a\u0438\u0435&nbsp;\u0441\u043a\u0430\u0437\u043a\u0438, \u0440\u0443\u0441\u0441\u043a\u0443\u044e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u0438 \u043d\u0430\u0443\u0447\u043f\u043e\u043f.&nbsp;\u0412\u0441\u0435\u0433\u043e \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0438&nbsp;25\u202f000&nbsp;\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445&nbsp;\u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432&nbsp;\u0438&nbsp;\u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438&nbsp;\u0438\u0445&nbsp;\u043a&nbsp;\u0442\u0440\u0435\u0439\u043d\u0441\u0435\u0442\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>Random dropout \u043d\u0430 Protected Indentities<\/strong><\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1511.01432\">\u0418\u0437\u0432\u0435\u0441\u0442\u043d\u043e<\/a>,&nbsp;\u0447\u0442\u043e random word dropout&nbsp;\u043c\u043e\u0436\u0435\u0442&nbsp;\u0441\u0434\u0435\u043b\u0430\u0442\u044c&nbsp;\u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e&nbsp;\u0442\u0435\u043a\u0441\u0442\u0430&nbsp;\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0435\u0435.&nbsp;\u041c\u044b&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438&nbsp;\u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434, \u0447\u0442\u043e\u0431\u044b&nbsp;\u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f&nbsp;\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c&nbsp;(\u0441&nbsp;\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e 0,5) \u0437\u0430\u043c\u0435\u043d\u044f\u0442\u044c \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0435&nbsp;\u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438&nbsp;\u0432\u043e&nbsp;\u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445&nbsp;\u043d\u0430&nbsp;\u043c\u0430\u0440\u043a\u0435\u0440&nbsp;.<\/p>\n<\/li>\n<li>\n<p><strong>Multitask framework<\/strong><\/p>\n<p>\u041c\u044b&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a&nbsp;multitask-learning,&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0432 \u0434\u043b\u044f \u043d\u0435\u0433\u043e&nbsp;\u0431\u0430\u0437\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c&nbsp;\u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u0430&nbsp;Protected Identity&nbsp;(<em>\u043b\u0443\u043a\u0438\u0437\u043c<\/em>,&nbsp;<em>\u043d\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u043c<\/em>,&nbsp;<em>\u0443\u0433\u0440\u043e\u0437\u0430<\/em>&nbsp;\u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435).&nbsp;\u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044e \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u043b\u0430\u0441\u0441\u0443 \u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u043e\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438&nbsp;\u2014 \u044d\u0442\u043e \u0442\u043e\u0436\u0435&nbsp;\u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><figcaption>\u0421\u0445\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c multitask-learning<\/figcaption><\/figure>\n<p>\u0421\u0445\u0435\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c nultitask-learning<\/p>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h4>\n<p>\u041c\u044b&nbsp;\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441&nbsp;\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438,&nbsp;\u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438&nbsp;\u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432 \u0438\u0437 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432, \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0441\u0443\u0431\u0442\u0438\u0442\u0440\u043e\u0432 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0438\u043b\u044c\u043c\u043e\u0432 \u0438 \u0432\u0438\u0434\u0435\u043e&nbsp;(\u043d\u0430&nbsp;\u043d\u0438\u0445 \u0436\u0435&nbsp;\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c&nbsp;BPE).&nbsp;<\/p>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438&nbsp;\u0434\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b&nbsp;(<a href=\"https:\/\/arxiv.org\/pdf\/1703.03130.pdf\">self-ATTN,&nbsp;CNN<\/a>),&nbsp;\u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044f&nbsp;\u0442\u0440\u0438&nbsp;\u043f\u043e\u0434\u0445\u043e\u0434\u0430&nbsp;\u0438\u0437 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438.&nbsp;self-ATTN \u2014&nbsp;\u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f&nbsp;\u043d\u0430 self-attentive encoder.&nbsp;\u0412\u0435\u043a\u0442\u043e\u0440\u044b&nbsp;\u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f&nbsp;\u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e&nbsp;\u0432&nbsp;attention,&nbsp;\u043f\u043e\u044d\u0442\u043e\u043c\u0443&nbsp;\u043c\u043e\u0434\u0435\u043b\u044c&nbsp;self-attention\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430 \u0442\u0443,&nbsp;\u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432&nbsp;\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445. \u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u044d\u0442\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0451 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e\u0434\u0434\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438.&nbsp;\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u043b\u0443\u0436\u0438\u0442 \u0442\u0440\u0438\u0433\u0433\u0435\u0440\u043e\u043c \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430. \u0410&nbsp;\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,&nbsp;\u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0442\u044c&nbsp;\u0441\u043f\u0438\u0441\u043e\u043a&nbsp;\u0437\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u044b\u0445&nbsp;\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439.<\/p>\n<figure class=\"\"><figcaption>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c<\/figcaption><\/figure>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c<\/p>\n<p>&nbsp;<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f singletask approach \u043c\u044b&nbsp;\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438&nbsp;BCE-loss. \u0414\u043b\u044f&nbsp;multitask approach&nbsp;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 loss-\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435&nbsp;\u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0437\u0430\u0434\u0430\u0447:&nbsp;\u0441\u043a\u043e\u0440\u0430&nbsp;\u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f&nbsp;\u043a\u043b\u0430\u0441\u0441\u0430&nbsp;Protected Identity.&nbsp;\u0411\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0442\u0430\u043b\u0435\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0440\u043e\u0434\u0435 \u0447\u0438\u0441\u043b\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0438\u043b\u0438 lr&nbsp;\u2014 \u0432&nbsp;\u043d\u0430\u0448\u0435\u0439&nbsp;<a href=\"https:\/\/arxiv.org\/abs\/2010.11666\">\u043f\u043e\u043b\u043d\u043e\u0439&nbsp;\u0441\u0442\u0430\u0442\u044c\u0435<\/a>.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0434\u043b\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u0432\u0430 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0442\u043e\u043a\u0441\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c&nbsp;(\u0438,&nbsp;\u043a\u0430\u043a&nbsp;\u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438 \u043f\u043e\u0442\u043e\u043c, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0430 \u0443\u043a\u0440\u0430\u0438\u043d\u0441\u043a\u043e\u043c)&nbsp;\u044f\u0437\u044b\u043a\u0435.<\/p>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p><strong>\u041c\u0435\u0442\u043e\u0434<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p><strong>\u041d\u0430\u0448&nbsp;\u0434\u0430\u0442\u0430\u0441\u0435\u0442<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<\/td>\n<td>\n<p><strong>(\u0410\u043d\u0434\u0440\u0443\u0441\u044f\u043a \u0438 \u0434\u0440., 2018)<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p><strong>(\u0421\u043c\u0435\u0442\u0430\u043d\u0438\u043d, 2020)<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>&nbsp;<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>GMB-AUC<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>F1<\/p>\n<\/td>\n<td>\n<p>GMB-AUC<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>F1<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>GMB-AUC<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>F1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>CNN<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.56\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.66\u00b1.003<\/p>\n<\/td>\n<td>\n<p>.51\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.59\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.53\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.78\u00b1.002<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>CNN + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.58\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.68\u00b1.008<\/p>\n<\/td>\n<td>\n<p>.52\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.61\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.53\u00b1.010<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.80\u00b1.002<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.60\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.71\u00b1.010<\/p>\n<\/td>\n<td>\n<p>.54\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.72\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.54\u00b1.005<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.80\u00b1.010<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.60\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.74\u00b1.012<\/p>\n<\/td>\n<td>\n<p>.54\u00b1.009<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.69\u00b1.009<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.54\u00b1.007<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.82\u00b1.004<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + LM data<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.65\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.74\u00b1.002<\/p>\n<\/td>\n<td>\n<p>.58\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.70\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.57\u00b1.006<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.83\u00b1.009<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + LM data + multitask<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.67\u00b1.002<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.74\u00b1.016<\/p>\n<\/td>\n<td>\n<p>.59\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.70\u00b1.010<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.58\u00b1.003<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.84\u00b1.008<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Attn + identity d\/o<\/p>\n<\/td>\n<td data-colwidth=\"143\" width=\"143\">\n<p>.61\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"98\" width=\"98\">\n<p>.65\u00b1.003<\/p>\n<\/td>\n<td>\n<p>.53\u00b1.004<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p>.68\u00b1.001<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p>.54\u00b1.007<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p>.82\u00b1.011<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"85\" width=\"85\">\n<p>Att<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-319335","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/319335","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=319335"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/319335\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=319335"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=319335"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=319335"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}