{"id":492246,"date":"2026-08-26T08:08:11","date_gmt":"2026-08-26T08:08:11","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=492246"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=492246","title":{"rendered":"\u041d\u043e\u0432\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u044b \u0442\u044b\u0441\u044f\u0447\u0435\u043b\u0435\u0442\u0438\u044f \u043d\u0430\u0437\u0430\u0434"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/12f\/897\/72d\/12f89772d2544f6e77f06919b21db952.jpg\" width=\"1665\" height=\"756\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/12f\/897\/72d\/12f89772d2544f6e77f06919b21db952.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/12f\/897\/72d\/12f89772d2544f6e77f06919b21db952.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>\u041f\u043b\u0430\u0442\u043e\u043d \u043e\u0431\u0443\u0447\u0430\u043b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u0432\u0435 \u0442\u044b\u0441\u044f\u0447\u0438 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0432\u044b\u043b\u043e\u0436\u0438\u043b requirements.txt<\/h2>\n<p>\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u2014 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u0438\u043b\u0435\u0442\u0438\u0439. \u0410 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u00ab\u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0437\u043d\u0430\u043d\u0438\u0435?\u00bb \u043b\u044e\u0434\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0432\u0443\u0445 \u0442\u044b\u0441\u044f\u0447 \u043b\u0435\u0442. \u0417\u043d\u0430\u0447\u0438\u0442, \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u043b \u044f, \u0433\u0434\u0435-\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u041f\u043b\u0430\u0442\u043e\u043d\u043e\u043c, \u0410\u0440\u0438\u0441\u0442\u043e\u0442\u0435\u043b\u0435\u043c, \u041f\u0438\u0440\u0441\u043e\u043c, \u0413\u0435\u0433\u0435\u043b\u0435\u043c \u0438 \u041a\u0430\u043d\u0442\u043e\u043c \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430\u0431\u044b\u0442\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u0441 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0433\u043e \u043d\u0430 PyTorch, \u0432\u044b\u0437\u0432\u0430\u0442\u044c <code>backward()<\/code>.<\/p>\n<p>\u041f\u043b\u0430\u043d \u0431\u044b\u043b \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439. \u042f \u0432\u0437\u044f\u043b \u0441\u043f\u0438\u0441\u043e\u043a \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u043b\u043e\u0436\u0438\u043b \u0435\u0433\u043e \u043d\u0430 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u044f \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0434\u0432\u0435\u043d\u0430\u0434\u0446\u0430\u0442\u044c \u00ab\u043d\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445\u00bb \u0438\u0434\u0435\u0439. \u041f\u043e\u0442\u043e\u043c \u043d\u0430\u0447\u0430\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u2014 \u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u043f\u0438\u0441\u043a\u0430 \u0438\u0441\u0447\u0435\u0437\u043b\u0430.<\/p>\n<p>\u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f \u041f\u0438\u0440\u0441\u0430 \u0443\u0436\u0435 \u0436\u0438\u0432\u0451\u0442 \u0432 Abductive Learning \u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445. \u0421\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u043e\u0442 \u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f selective prediction. \u0412\u043e\u043f\u043b\u043e\u0449\u0451\u043d\u043d\u043e\u0435 \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0435 \u0435\u0437\u0434\u0438\u0442 \u043f\u043e \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044f\u043c \u0432 \u0440\u043e\u0431\u043e\u0442\u0430\u0445. \u0422\u0435\u043b\u0435\u043e\u043b\u043e\u0433\u0438\u044f \u0443\u0441\u0442\u0440\u043e\u0438\u043b\u0430\u0441\u044c \u0432 goal-conditioned reinforcement learning. \u0414\u0430\u0436\u0435 \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u043a\u0430 \u0443\u0436\u0435 \u0434\u043e\u0431\u0440\u0430\u043b\u0430\u0441\u044c \u0434\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0431\u043e\u0442.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0443 \u041f\u043b\u0430\u0442\u043e\u043d\u0430 \u043d\u0435 \u043d\u0430\u0448\u043b\u043e\u0441\u044c, \u0430 \u0442\u043e \u0447\u0442\u043e \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u044f \u0443\u043f\u043a\u043e\u0432\u0430\u043b \u0437\u0434\u0435\u0441\u044c <a href=\"https:\/\/github.com\/webzuweb\/philosophia_torch\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/webzuweb\/philosophia_torch<\/a><\/p>\n<p>\u0417\u0430\u0442\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u043e\u0441\u044c \u043a\u043e\u0435-\u0447\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435: \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f \u0447\u0430\u0449\u0435 \u0434\u0430\u0451\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0430 <strong>\u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447<\/strong>. \u00ab<em>\u0427\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u0441\u0432\u043e\u0435\u0433\u043e \u0437\u043d\u0430\u043d\u0438\u044f?<\/em>\u00bb, \u00ab<em>\u043a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0446\u0435\u043b\u043e\u0435?<\/em>\u00bb, \u00ab<em>\u043a\u0430\u043a \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0431\u0430 \u043f\u043e\u043b\u044e\u0441\u0430 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u044f?<\/em>\u00bb, \u00ab<em>\u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0443\u044e \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0443?<\/em>\u00bb \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435. \u041d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430, \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0434\u0435\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u0442\u044c.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u043d\u0430 \u0442\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0430, \u0437\u0430\u0442\u0435\u043c \u0440\u0430\u0437\u0431\u0435\u0440\u0443 \u0448\u0435\u0441\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043b\u0438\u0448\u044c \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e, \u0438 \u043f\u043e\u043a\u0430\u0436\u0443 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0439 PyTorch-\u043c\u043e\u0434\u0443\u043b\u044c. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0438 \u0442\u0435\u0441\u0442\u044b, \u043d\u043e \u0438 \u0434\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0445 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<blockquote>\n<p><strong>\u0414\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438.<\/strong> \u042f \u043d\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e, \u0447\u0442\u043e \u0442\u0435\u043d\u0437\u043e\u0440 \u00ab\u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u00bb \u0413\u0443\u0441\u0441\u0435\u0440\u043b\u044f \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0434\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u044c\u044e. \u041d\u0438\u0436\u0435 \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438: \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u044b\u0435 \u043f\u0440\u043e\u043a\u0441\u0438, \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u044b\u0435 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u043c\u0438 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c\u0438. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440 \u0432 \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435.<\/p>\n<\/blockquote>\n<h3>\u041a\u0430\u043a \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434 \u043e\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u043c\u0435\u0442\u0430\u0444\u043e\u0440\u044b<\/h3>\n<p>\u041e\u0447\u0435\u043d\u044c \u043b\u0435\u0433\u043a\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e attention \u2014 \u044d\u0442\u043e \u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u043a\u0430, GAN \u2014 \u0413\u0435\u0433\u0435\u043b\u044c, \u0430 pretraining \u2014 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0435 \u043f\u0440\u0438\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c dropout \u0441\u0442\u043e\u0438\u0446\u0438\u0437\u043c\u043e\u043c \u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443.<\/p>\n<p>\u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0431\u043e\u043b\u0435\u0435 \u0441\u043a\u0443\u0447\u043d\u044b\u0439, \u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u0438\u0434\u0435\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u043d\u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u044a\u044f\u0432\u0438\u0442\u044c \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u0435\u0449\u0438:<\/p>\n<ol>\n<li>\n<p><strong>\u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435<\/strong> \u2014 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p><strong>\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f<\/strong> \u2014 \u043a\u0430\u043a \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f;<\/p>\n<\/li>\n<li>\n<p><strong>\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0446\u0435\u043b\u044c<\/strong> \u2014 loss, reward, posterior \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439;<\/p>\n<\/li>\n<li>\n<p><strong>\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0436\u0438\u043c\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442<\/strong> \u2014 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, baseline \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 <code>CrossEntropyLoss<\/code>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430 \u043d\u0435\u0442, \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u043d\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0430 \u043f\u043e\u0434\u043f\u0438\u0441\u044c \u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435.<\/p>\n<h4>\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f 1. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043d\u0430\u043b\u043e\u0433<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u043c\u043f\u0438\u0440\u0438\u0437\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">supervised \u0438 self-supervised learning<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043e\u043f\u044b\u0442\u0430 \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u0432\u044f\u0437\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0433\u043c\u0430\u0442\u0438\u0437\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">reinforcement learning<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u043d\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f\u043c\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u044d\u043f\u0438\u0441\u0442\u0435\u043c\u043e\u043b\u043e\u0433\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0439\u0440\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f, population-based search<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438, \u043e\u0442\u0431\u043e\u0440 \u0438 \u0443\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">Abductive Learning, DeepProbLog, multiple-hypothesis models<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u044b\u0431\u043e\u0440 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">selective prediction, reject option, learning to defer<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043f\u0440\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u0440\u0438\u0441\u043a\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u043e\u043f\u043b\u043e\u0449\u0451\u043d\u043d\u043e\u0435 \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">embodied RL, vision-language-action models<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441 \u0441\u0435\u043d\u0441\u043e\u0440\u0430\u043c\u0438 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0435\u043b\u0435\u043e\u043b\u043e\u0433\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">goal-conditioned RL, UVFA, control as inference<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0446\u0435\u043b\u044c \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 value function \u0438\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0418\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043c\u0438\u0440\u0435\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">calibration, uncertainty estimation<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u043e\u0448\u0438\u0431\u043e\u043a<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0442\u0430\u0439\u043d\u043e \u043a\u043e\u043d\u0441\u043f\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0410\u0440\u0438\u0441\u0442\u043e\u0442\u0435\u043b\u044f. \u0421\u0432\u044f\u0437\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u0430\u044f, \u0430 \u043d\u0435 \u0433\u0435\u043d\u0435\u0430\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f.<\/p>\n<h4>\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f 2. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u043a\u0430\u043a \u044f\u0437\u044b\u043a, \u043d\u043e \u043d\u0435 \u043a\u0430\u043a \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0430\u044f<\/h4>\n<ul>\n<li>\n<p><strong>Attention = \u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0443\u0433.<\/strong> Attention \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443. \u0421\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043e\u043d \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u043e\u0435 \u0447\u0435\u0440\u0435\u0437 \u0447\u0430\u0441\u0442\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0447\u0430\u0441\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u043e\u0435 \u0446\u0435\u043b\u043e\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>Backprop = \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435.<\/strong> Backprop \u2014 \u0446\u0435\u043f\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e. \u041f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0435, \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043e\u0431\u043e\u0438\u0445 \u043f\u043e\u043b\u044e\u0441\u043e\u0432 \u0438 \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u043d\u0435\u0433\u043e \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0438\u0437 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>Neural ODE = \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f \u0423\u0430\u0439\u0442\u0445\u0435\u0434\u0430.<\/strong> \u0417\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u044f\u0437\u044b\u043a \u00ab\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u00bb, \u043d\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0438\u0437 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>Pretraining = \u0430\u043d\u0430\u043c\u043d\u0435\u0441\u0438\u0441.<\/strong> \u041f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0430\u044e\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0432\u0440\u043e\u0436\u0434\u0451\u043d\u043d\u044b\u0435 \u044d\u0439\u0434\u043e\u0441\u044b, \u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0435: \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0442\u044c <strong>\u044f\u0437\u044b\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f<\/strong>, <strong>\u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0437\u0430\u0434\u0430\u0447\u0438<\/strong> \u0438\u043b\u0438 <strong>\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c<\/strong>. \u0421\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0443\u0440\u043e\u0432\u043d\u0438 \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<h4>\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f 3. \u0421\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0435\u0441\u0442\u044c, \u043d\u043e \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0435 \u0441\u0442\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 objective<\/h4>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0430\u0443\u0434\u0438\u0442\u0430 \u0443 \u043c\u0435\u043d\u044f \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0448\u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439:<\/p>\n<ol>\n<li>\n<p>\u0444\u0435\u043d\u043e\u043c\u0435\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u044d\u043f\u043e\u0445\u0435\u0301;<\/p>\n<\/li>\n<li>\n<p>\u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0443\u0433;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0438\u0437\u043c, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0439 \u0441 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c;<\/p>\n<\/li>\n<li>\n<p>\u044d\u043f\u0438\u0441\u0442\u0435\u043c\u043e\u043b\u043e\u0433\u0438\u044f \u0434\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u0435\u0439 \u043a\u0430\u043a \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0446\u0435\u043b\u0435\u0439;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0438\u0440\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0441\u0435\u043c\u0438\u043e\u0437\u0438\u0441.<\/p>\n<\/li>\n<\/ol>\n<h2>1. \u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f: \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u00ab\u043b\u0443\u0447\u0448\u0435\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f\u00bb<\/h2>\n<p>\u041f\u0438\u0440\u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b \u0434\u0435\u0434\u0443\u043a\u0446\u0438\u044e, \u0438\u043d\u0434\u0443\u043a\u0446\u0438\u044e \u0438 \u0430\u0431\u0434\u0443\u043a\u0446\u0438\u044e. \u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0445 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0431\u043e\u0440\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u0439 \u0431\u0430\u043b\u043b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"S(h)=\\log p(\\mathrm{obs}\\mid h)-\\lambda_S\\,\\operatorname{complexity}(h)-\\lambda_C\\,\\operatorname{conflict}(h).\" alt=\"S(h)=\\log p(\\mathrm{obs}\\mid h)-\\lambda_S\\,\\operatorname{complexity}(h)-\\lambda_C\\,\\operatorname{conflict}(h).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2af\/2af4522e0d43f24b7b39fbf7c7b3753c.svg\" width=\"458\" height=\"18\" data-width=\"57.273\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 57.273ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2af\/2af4522e0d43f24b7b39fbf7c7b3753c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2af\/2af4522e0d43f24b7b39fbf7c7b3753c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0431\u0440\u0438\u0442\u0432\u0430 \u041e\u043a\u043a\u0430\u043c\u0430 \u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0441 \u0444\u043e\u043d\u043e\u0432\u044b\u043c \u0437\u043d\u0430\u043d\u0438\u0435\u043c. \u041c\u044f\u0433\u043a\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 \u2014 <code>softmax(S\/\u03c4)<\/code>, \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u2014 Gumbel-softmax.<\/p>\n<p>\u041d\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0433\u0438\u043f\u043e\u0442\u0435\u0437. \u041e\u043d\u0430 \u0441\u0430\u043c\u0430 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg\" width=\"16\" height=\"12\" data-width=\"2.011\" data-height=\"1.545\" style=\"width: 2.011ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432. \u0422\u043e\u0433\u0434\u0430 \u0443\u0434\u043e\u0431\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u044d\u043d\u0435\u0440\u0433\u0438\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"E_k=\\operatorname{CE}(z_k,y)+\\lambda_K\\Omega(h_k),\" alt=\"E_k=\\operatorname{CE}(z_k,y)+\\lambda_K\\Omega(h_k),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/347\/3471da05c35a04df459d794dffa58804.svg\" width=\"215\" height=\"18\" data-width=\"26.872\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 26.872ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/347\/3471da05c35a04df459d794dffa58804.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/34\/347\/3471da05c35a04df459d794dffa58804.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{\\mathrm{softmin}}=-\\tau\\log\\sum_{k=1}^{K}\\exp(-E_k\/\\tau)+\\tau\\log K.\" alt=\"\\mathcal L_{\\mathrm{softmin}}=-\\tau\\log\\sum_{k=1}^{K}\\exp(-E_k\/\\tau)+\\tau\\log K.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff8\/ff840c0b48bd3dc8c7694afa02f81d46.svg\" width=\"339\" height=\"54\" data-width=\"42.385\" data-height=\"6.784\" data-vertical-align=\"-2.827\" style=\"width: 42.385ex; height: 6.784ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff8\/ff840c0b48bd3dc8c7694afa02f81d46.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ff8\/ff840c0b48bd3dc8c7694afa02f81d46.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0432\u0441\u0435 \u0441\u043b\u043e\u0442\u044b \u043d\u0435 \u0432\u044b\u0434\u0430\u043b\u0438 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f diversity- \u0438 balance-\u0447\u043b\u0435\u043d\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{\\mathrm{abd}}=\\mathcal L_{\\mathrm{softmin}}+\\lambda_D\\mathcal L_{\\mathrm{div}}+\\lambda_B D_{KL}(u\\Vert U_K).\" alt=\"\\mathcal L_{\\mathrm{abd}}=\\mathcal L_{\\mathrm{softmin}}+\\lambda_D\\mathcal L_{\\mathrm{div}}+\\lambda_B D_{KL}(u\\Vert U_K).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/94\/948\/948bc2133060c5add3bb158c0f52d9db.svg\" width=\"335\" height=\"18\" data-width=\"41.857\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 41.857ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/94\/948\/948bc2133060c5add3bb158c0f52d9db.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/94\/948\/948bc2133060c5add3bb158c0f52d9db.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043c\u043e\u0434\u0443\u043b\u0435 \u0435\u0441\u0442\u044c \u043e\u0431\u0430 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430:<\/p>\n<ul>\n<li>\n<p><code>AbductiveScorer<\/code> \u2014 \u0434\u043b\u044f \u0443\u0436\u0435 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437;<\/p>\n<\/li>\n<li>\n<p><code>AbductiveHypothesisLoss<\/code> \u2014 \u0434\u043b\u044f \u0431\u0430\u043d\u043a\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f, \u043d\u043e \u043d\u0435 \u043c\u043e\u044f \u0437\u0430\u044f\u0432\u043a\u0430 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0435\u043d\u0438\u0435 \u0430\u0431\u0434\u0443\u043a\u0446\u0438\u0438.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c8f\/096\/784\/c8f09678496c35145638ca27545dc119.jpg\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c8f\/096\/784\/c8f09678496c35145638ca27545dc119.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c8f\/096\/784\/c8f09678496c35145638ca27545dc119.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>2. \u042d\u043f\u043e\u0445\u0435\u0301: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u0434\u043e \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u044b \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438<\/h2>\n<p>\u0423 \u0413\u0443\u0441\u0441\u0435\u0440\u043b\u044f \u044d\u043f\u043e\u0445\u0435\u0301 \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0433\u043e \u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f, \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043d\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0443\u0441\u0432\u043e\u0435\u043d\u043d\u0443\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0437\u0430 \u0441\u0430\u043c\u043e \u044f\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<p>\u041f\u0440\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u043d\u0430 ML \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430. \u0421\u043b\u043e\u0432\u043e \u00abbracketing\u00bb \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 <strong>\u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438<\/strong>.<\/p>\n<h3>2.1. \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430<\/h3>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_{full}\" alt=\"p_{full}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/89a\/89aa12eecd3983f1b55c34b74ddabd32.svg\" width=\"33\" height=\"13\" data-width=\"4.074\" data-height=\"1.667\" data-vertical-align=\"-0.667\" style=\"width: 4.074ex; height: 1.667ex; vertical-align: -0.667ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/89a\/89aa12eecd3983f1b55c34b74ddabd32.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/89a\/89aa12eecd3983f1b55c34b74ddabd32.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"p_{0}\" alt=\"p_{0}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4ef\/4ef9cff2047e04349f6399910a5e1592.svg\" width=\"17\" height=\"12\" data-width=\"2.126\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 2.126ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4ef\/4ef9cff2047e04349f6399910a5e1592.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4e\/4ef\/4ef9cff2047e04349f6399910a5e1592.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0442\u0432\u0435\u0442 \u0431\u0435\u0437 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u044f\u0432\u043b\u0435\u043d\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0432\u044b\u0432\u043e\u0434:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"G=JS(p_{full}\\Vert p_0),\" alt=\"G=JS(p_{full}\\Vert p_0),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a5\/1a5548441bcec40ef84c00ff84aebcfc.svg\" width=\"139\" height=\"19\" data-width=\"17.407\" data-height=\"2.364\" data-vertical-align=\"-0.616\" style=\"width: 17.407ex; height: 2.364ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a5\/1a5548441bcec40ef84c00ff84aebcfc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a5\/1a5548441bcec40ef84c00ff84aebcfc.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{gain}=\\max(0,m-G).\" alt=\"\\mathcal L_{gain}=\\max(0,m-G).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a56\/a565686347c8ab665eaf8012a525a130.svg\" width=\"185\" height=\"19\" data-width=\"23.154\" data-height=\"2.364\" data-vertical-align=\"-0.616\" style=\"width: 23.154ex; height: 2.364ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a56\/a565686347c8ab665eaf8012a525a130.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a56\/a565686347c8ab665eaf8012a525a130.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>JS \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0441\u0432\u0435\u0440\u0445\u0443, \u0430 hinge \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430. \u042d\u0442\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0431\u0435\u0437\u0434\u0443\u043c\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c KL \u0438 \u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0442\u044c \u043b\u043e\u0433\u0438\u0442\u044b.<\/p>\n<p>\u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 <code>EpocheRegularizer<\/code>. \u041e\u043d \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u043e\u0433\u0434\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0432\u0443\u0447\u0438\u0442: <strong>\u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434 \u0438\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0438\u0437 \u043e\u0431\u0449\u0435\u0439 \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0438?\u00bb<\/strong><\/p>\n<p>\u041d\u043e \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0447\u0430\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u0436\u043d\u044b\u043c prior.<\/p>\n<h3>2.2. \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e shortcut \u043f\u0440\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u0445\u043e\u0434 \u043a\u0430\u043a <img decoding=\"async\" class=\"formula inline\" source=\"x=(e,s)\" alt=\"x=(e,s)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/de\/deb\/deb5e900788ec47fe784357ea5a090fc.svg\" width=\"74\" height=\"18\" data-width=\"9.193\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.193ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/de\/deb\/deb5e900788ec47fe784357ea5a090fc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/de\/deb\/deb5e900788ec47fe784357ea5a090fc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"e\" alt=\"e\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e16\/e1671797c52e15f763380b45e841ec32.svg\" width=\"12\" height=\"12\" data-width=\"1.054\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.054ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e16\/e1671797c52e15f763380b45e841ec32.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e1\/e16\/e1671797c52e15f763380b45e841ec32.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/03c\/03c7c0ace395d80182db07ae2c30f034.svg\" width=\"12\" height=\"12\" data-width=\"1.061\" data-height=\"1.023\" data-vertical-align=\"-0.023\" style=\"width: 1.061ex; height: 1.023ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/03c\/03c7c0ace395d80182db07ae2c30f034.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/03c\/03c7c0ace395d80182db07ae2c30f034.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 prior: \u0444\u043e\u043d \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u0441\u0442\u0438\u043b\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u0432\u0435\u0434\u043e\u043c\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d.<\/p>\n<p>\u041d\u0443\u0436\u043d\u044b \u0442\u0440\u0438, \u0430 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0435\u0436\u0438\u043c\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"z=f_\\theta(e,s),\" alt=\"z=f_\\theta(e,s),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e08\/e08b021a09941cf5c93e8d68e61592d5.svg\" width=\"93\" height=\"18\" data-width=\"11.626\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 11.626ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e08\/e08b021a09941cf5c93e8d68e61592d5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e08\/e08b021a09941cf5c93e8d68e61592d5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"z^\\circ=f_\\theta(e,\\operatorname{bracket}(s)),\" alt=\"z^\\circ=f_\\theta(e,\\operatorname{bracket}(s)),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/24d\/24d8c64cd2b815d2d6cb831a2d3a92b8.svg\" width=\"174\" height=\"18\" data-width=\"21.734\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 21.734ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/24d\/24d8c64cd2b815d2d6cb831a2d3a92b8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/24d\/24d8c64cd2b815d2d6cb831a2d3a92b8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"z^\\pi=f_\\theta(0,s),\" alt=\"z^\\pi=f_\\theta(0,s),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9d\/a9d44ae428b8f847436de99e8d00fe64.svg\" width=\"102\" height=\"18\" data-width=\"12.803\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 12.803ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9d\/a9d44ae428b8f847436de99e8d00fe64.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9d\/a9d44ae428b8f847436de99e8d00fe64.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"z^0=f_\\theta(0,0).\" alt=\"z^0=f_\\theta(0,0).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8a\/d8a7e29eb7b46901842f40b7a2f1aca9.svg\" width=\"102\" height=\"21\" data-width=\"12.761\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 12.761ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8a\/d8a7e29eb7b46901842f40b7a2f1aca9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8a\/d8a7e29eb7b46901842f40b7a2f1aca9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z\" alt=\"z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg\" width=\"12\" height=\"12\" data-width=\"1.052\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.052ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fbade9e36a3f36d3d676c1b808451dd7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442;<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z^\\circ\" alt=\"z^\\circ\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b1\/b12\/b126ab802a11b80c5b1dc5101e759b5a.svg\" width=\"16\" height=\"18\" data-width=\"2.04\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.04ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b1\/b12\/b126ab802a11b80c5b1dc5101e759b5a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b1\/b12\/b126ab802a11b80c5b1dc5101e759b5a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0441\u043b\u0435 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e shortcut;<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z^\\pi\" alt=\"z^\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee4\/ee4b7d4ac327e35299fd42fac02de8ac.svg\" width=\"17\" height=\"18\" data-width=\"2.152\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.152ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee4\/ee4b7d4ac327e35299fd42fac02de8ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee4\/ee4b7d4ac327e35299fd42fac02de8ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0443\u0437\u043d\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 prior;<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"z^0\" alt=\"z^0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3ac\/3ac73c2e38ab9b5745b4baa66ef2d9b0.svg\" width=\"16\" height=\"16\" data-width=\"2.04\" data-height=\"2.025\" data-vertical-align=\"-0.025\" style=\"width: 2.04ex; height: 2.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3ac\/3ac73c2e38ab9b5745b4baa66ef2d9b0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3ac\/3ac73c2e38ab9b5745b4baa66ef2d9b0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0442\u0432\u0435\u0442 \u0431\u0435\u0437 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0432\u043e\u043e\u0431\u0449\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u0430\u044f objective:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{base}=\\operatorname{CE}(z,y)+\\alpha\\operatorname{CE}(z^\\circ,y)+\\beta\\operatorname{JS}(p\\Vert p^\\circ)+\\gamma D_{KL}(p^\\pi\\Vert U_C).\" alt=\"\\mathcal L_{base}=\\operatorname{CE}(z,y)+\\alpha\\operatorname{CE}(z^\\circ,y)+\\beta\\operatorname{JS}(p\\Vert p^\\circ)+\\gamma D_{KL}(p^\\pi\\Vert U_C).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bd\/bd5\/bd588df19deb6b10a2b3e6f5958fb28e.svg\" width=\"479\" height=\"18\" data-width=\"59.848\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 59.848ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bd\/bd5\/bd588df19deb6b10a2b3e6f5958fb28e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bd\/bd5\/bd588df19deb6b10a2b3e6f5958fb28e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{epoche}=\\mathcal L_{base}+\\delta\\max\\left(0,m-\\operatorname{JS}(p\\Vert p^0)\\right).\" alt=\"\\mathcal L_{epoche}=\\mathcal L_{base}+\\delta\\max\\left(0,m-\\operatorname{JS}(p\\Vert p^0)\\right).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/25e\/25e2aadc49fe970aa3535a77ceb449ec.svg\" width=\"329\" height=\"22\" data-width=\"41.13\" data-height=\"2.791\" data-vertical-align=\"-0.83\" style=\"width: 41.13ex; height: 2.791ex; vertical-align: -0.83ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/25e\/25e2aadc49fe970aa3535a77ceb449ec.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/25e\/25e2aadc49fe970aa3535a77ceb449ec.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u0447\u043b\u0435\u043d\u0430 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u0435\u0437 shortcut \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0427\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0447\u0442\u043e prior \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0441. \u041f\u044f\u0442\u044b\u0439 \u2014 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u2014 \u0442\u0440\u0435\u0431\u0443\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u043e \u043e\u0442\u0432\u0435\u0442 \u043e\u0442 \u0440\u0435\u0436\u0438\u043c\u0430 \u00ab\u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u00bb.<\/p>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u043d\u043e\u043f\u043a\u0430 <code>remove_bias=True<\/code>. \u0427\u0435\u043b\u043e\u0432\u0435\u043a \u043e\u0431\u044f\u0437\u0430\u043d \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, <strong>\u043a\u0430\u043a\u0443\u044e \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0443 \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439<\/strong>. \u0415\u0441\u043b\u0438 \u0432\u043e\u0437\u0440\u0430\u0441\u0442 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e \u0437\u043d\u0430\u0447\u0438\u043c, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0435\u0433\u043e \u0432 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0448\u0443\u043c \u2014 \u043d\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c, \u0430 \u043f\u043e\u0440\u0447\u0430 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h3>2.3. \u0427\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 shortcut-shift<\/h3>\n<p>\u042f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0435\u0436\u0438\u043c\u0430 \u043d\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u0412 train shortcut \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b \u0441 \u043a\u043b\u0430\u0441\u0441\u043e\u043c \u0432 97% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0430 \u0432 OOD-\u0442\u0435\u0441\u0442\u0435 \u0435\u0433\u043e \u0437\u043d\u0430\u043a \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043b\u0441\u044f. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u044b \u043f\u043e \u0434\u0435\u0441\u044f\u0442\u0438 seeds:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">ID accuracy<\/p>\n<\/th>\n<th>\n<p align=\"left\">OOD accuracy<\/p>\n<\/th>\n<th>\n<p align=\"left\">Accuracy \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e shortcut<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">CE baseline<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9784 \u00b1 0.0038<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.5382 \u00b1 0.0252<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9695 \u00b1 0.0028<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Evidence-gain<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9789 \u00b1 0.0037<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.5404 \u00b1 0.0233<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9695 \u00b1 0.0028<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3-view Epoche<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9778 \u00b1 0.0049<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6078 \u00b1 0.0198<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6654 \u00b1 0.0908<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid Epoche<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9779 \u00b1 0.0055<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6088 \u00b1 0.0180<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6488 \u00b1 0.1015<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u00ab\u044d\u043f\u043e\u0445\u0435 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u043e\u00bb. \u041e\u043d \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435: <strong>\u0434\u0432\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0440\u0435\u0448\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438<\/strong>. \u041a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0445\u043e\u0434 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442, \u043d\u043e \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043e\u0442 shortcut. \u042f\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 OOD, \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u044f ID accuracy.<\/p>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c 0.61 \u2014 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c. \u041c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 shortcut, \u043d\u043e \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u043b \u0435\u0451. \u042d\u0442\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u0430 \u043d\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 debiasing-\u0440\u0435\u0446\u0435\u043f\u0442.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c45\/6da\/8bd\/c456da8bd641fd41d39305ee4988e301.jpg\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c45\/6da\/8bd\/c456da8bd641fd41d39305ee4988e301.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c45\/6da\/8bd\/c456da8bd641fd41d39305ee4988e301.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>3. \u0413\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0443\u0433: \u0446\u0435\u043b\u043e\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0447\u0430\u0441\u0442\u0438, \u0447\u0430\u0441\u0442\u0438 \u043c\u0435\u043d\u044f\u044e\u0442 \u0446\u0435\u043b\u043e\u0435<\/h2>\n<p>\u0428\u043b\u0435\u0439\u0435\u0440\u043c\u0430\u0445\u0435\u0440 \u0438 \u0413\u0430\u0434\u0430\u043c\u0435\u0440 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u0430\u043a \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435: \u0441\u043c\u044b\u0441\u043b \u0446\u0435\u043b\u043e\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u0447\u0430\u0441\u0442\u0435\u0439, \u043d\u043e \u0441\u043c\u044b\u0441\u043b \u043a\u0430\u0436\u0434\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u043e\u0433\u043e.<\/p>\n<p>\u041e\u0434\u0438\u043d attention-\u043f\u0440\u043e\u0445\u043e\u0434 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442. \u041d\u0443\u0436\u043d\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u0435\u0439:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"h_1^0,\\ldots,h_N^0\\in\\mathbb R^d,\" alt=\"h_1^0,\\ldots,h_N^0\\in\\mathbb R^d,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/399\/399ad9b0385510017915f890b784a825.svg\" width=\"130\" height=\"21\" data-width=\"16.291\" data-height=\"2.645\" data-vertical-align=\"-0.757\" style=\"width: 16.291ex; height: 2.645ex; vertical-align: -0.757ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/399\/399ad9b0385510017915f890b784a825.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/399\/399ad9b0385510017915f890b784a825.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u043e\u0433\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g^0=\\operatorname{Pool}(h_1^0,\\ldots,h_N^0).\" alt=\"g^0=\\operatorname{Pool}(h_1^0,\\ldots,h_N^0).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e202636e53329e7cb66323d8552dc0a7.svg\" width=\"177\" height=\"21\" data-width=\"22.148\" data-height=\"2.601\" data-vertical-align=\"-0.735\" style=\"width: 22.148ex; height: 2.601ex; vertical-align: -0.735ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e202636e53329e7cb66323d8552dc0a7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e202636e53329e7cb66323d8552dc0a7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0431\u043e\u0440\u043e\u0442\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0446\u0435\u043b\u043e\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g^{t+1}=G_\\theta\\left(g^t,\\operatorname{Pool}(h_1^t,\\ldots,h_N^t)\\right),\" alt=\"g^{t+1}=G_\\theta\\left(g^t,\\operatorname{Pool}(h_1^t,\\ldots,h_N^t)\\right),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/62e\/62e8f6a296db595552da50c3371814e5.svg\" width=\"256\" height=\"22\" data-width=\"31.987\" data-height=\"2.791\" data-vertical-align=\"-0.83\" style=\"width: 31.987ex; height: 2.791ex; vertical-align: -0.83ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/62e\/62e8f6a296db595552da50c3371814e5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/62e\/62e8f6a296db595552da50c3371814e5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0437\u0430\u0442\u0435\u043c \u043f\u0435\u0440\u0435\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u0447\u0430\u0441\u0442\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"h_i^{t+1}=H_\\phi(h_i^t,g^{t+1}).\" alt=\"h_i^{t+1}=H_\\phi(h_i^t,g^{t+1}).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bf\/bfb\/bfba3ace46d688a0a00401a199ba4263.svg\" width=\"156\" height=\"21\" data-width=\"19.504\" data-height=\"2.679\" data-vertical-align=\"-0.774\" style=\"width: 19.504ex; height: 2.679ex; vertical-align: -0.774ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bf\/bfb\/bfba3ace46d688a0a00401a199ba4263.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bf\/bfb\/bfba3ace46d688a0a00401a199ba4263.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0446\u0435\u043b\u043e\u043c\u0443. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043a \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{circle}=\\frac1T\\sum_{t=1}^{T}\\left\\|g^t-\\operatorname{Pool}(h_1^t,\\ldots,h_N^t)\\right\\|_2^2,\" alt=\"\\mathcal L_{circle}=\\frac1T\\sum_{t=1}^{T}\\left\\|g^t-\\operatorname{Pool}(h_1^t,\\ldots,h_N^t)\\right\\|_2^2,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c53\/c53203da64735cb9c48118bfd3fe0949.svg\" width=\"323\" height=\"54\" data-width=\"40.435\" data-height=\"6.73\" data-vertical-align=\"-2.799\" style=\"width: 40.435ex; height: 6.73ex; vertical-align: -2.799ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c53\/c53203da64735cb9c48118bfd3fe0949.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c53\/c53203da64735cb9c48118bfd3fe0949.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{fp}=\\frac12\\left(\\|g^T-g^{T-1}\\|_2^2+\\frac1N\\sum_i\\|h_i^T-h_i^{T-1}\\|_2^2\\right),\" alt=\"\\mathcal L_{fp}=\\frac12\\left(\\|g^T-g^{T-1}\\|_2^2+\\frac1N\\sum_i\\|h_i^T-h_i^{T-1}\\|_2^2\\right),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/370\/370859993f97527ab7cd2222708d693c.svg\" width=\"390\" height=\"54\" data-width=\"48.723\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 48.723ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/370\/370859993f97527ab7cd2222708d693c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/370\/370859993f97527ab7cd2222708d693c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{herm}=\\mathcal L_{task}+\\lambda_C\\mathcal L_{circle}+\\lambda_F\\mathcal L_{fp}.\" alt=\"\\mathcal L_{herm}=\\mathcal L_{task}+\\lambda_C\\mathcal L_{circle}+\\lambda_F\\mathcal L_{fp}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ac\/2acdafd31399749e8f353ab44c8252e2.svg\" width=\"272\" height=\"19\" data-width=\"33.967\" data-height=\"2.364\" data-vertical-align=\"-0.616\" style=\"width: 33.967ex; height: 2.364ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ac\/2acdafd31399749e8f353ab44c8252e2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ac\/2acdafd31399749e8f353ab44c8252e2.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p><code>HermeneuticConsistency<\/code> \u2014 \u043b\u0451\u0433\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0446\u0438\u043a\u043b: \u0446\u0435\u043b\u043e\u0435 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 attention \u043f\u043e \u0447\u0430\u0441\u0442\u044f\u043c \u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0445 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u043c;<\/p>\n<\/li>\n<li>\n<p><code>HermeneuticRefiner<\/code> \u2014 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0431\u043b\u043e\u043a \u043d\u0430 GRUCell, \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u0438 \u0447\u0430\u0441\u0442\u0438, \u0438 \u0446\u0435\u043b\u043e\u0435; <code>HermeneuticCircleLoss<\/code> \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 consistency, fixed-point \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041b\u0451\u0433\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0443\u0434\u043e\u0431\u043d\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u041f\u043e\u043b\u043d\u0430\u044f \u0431\u043b\u0438\u0436\u0435 \u043a \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441 \u0447\u0430\u0441\u0442\u0438, \u043d\u043e \u0438 \u0435\u0451 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u2014 collapse. \u0415\u0441\u043b\u0438 \u0432\u0441\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"h_i\" alt=\"h_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/573\/57339b77b3af15427b7154f4daf8a223.svg\" width=\"16\" height=\"15\" data-width=\"2.043\" data-height=\"1.927\" data-vertical-align=\"-0.357\" style=\"width: 2.043ex; height: 1.927ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/573\/57339b77b3af15427b7154f4daf8a223.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/573\/57339b77b3af15427b7154f4daf8a223.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b2f\/b2f5ff47436671b6e533d8dc3614845d.svg\" width=\"12\" height=\"12\" data-width=\"1.079\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.079ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b2f\/b2f5ff47436671b6e533d8dc3614845d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b2f\/b2f5ff47436671b6e533d8dc3614845d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0442\u0430\u043d\u0443\u0442 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u0439, \u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043c\u0451\u0440\u0442\u0432\u043e\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal L_{task}\" alt=\"\\mathcal L_{task}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d30\/d30d72f89a7e539e0b036d5f80d37d8d.svg\" width=\"38\" height=\"18\" data-width=\"4.756\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.756ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d30\/d30d72f89a7e539e0b036d5f80d37d8d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d30\/d30d72f89a7e539e0b036d5f80d37d8d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 anti-collapse \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f83\/032\/0e7\/f830320e7aaa7439d1c44e927fa50c36.jpg\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f83\/032\/0e7\/f830320e7aaa7439d1c44e927fa50c36.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f83\/032\/0e7\/f830320e7aaa7439d1c44e927fa50c36.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>4. \u0414\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435: \u043d\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f, \u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0440\u0435\u0442\u044c\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0421\u043b\u043e\u0432\u043e <em>Aufhebung<\/em> \u043d\u0435\u0443\u0434\u043e\u0431\u043d\u043e \u0442\u0435\u043c, \u0447\u0442\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0442\u043c\u0435\u043d\u0443, \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0438 \u043f\u043e\u0434\u043d\u044f\u0442\u0438\u0435 \u043d\u0430 \u043d\u043e\u0432\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c. \u0414\u043b\u044f ML \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0442\u0430\u043a:<\/p>\n<ol>\n<li>\n<p>\u0442\u0430\u043c, \u0433\u0434\u0435 \u0442\u0435\u0437\u0438\u0441 \u0438 \u0430\u043d\u0442\u0438\u0442\u0435\u0437\u0438\u0441 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u044b, \u043d\u0435 \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0442\u044c \u043e\u0431\u0449\u0435\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u043d\u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0442, \u043d\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438 \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u043e\u043b\u044e\u0441;<\/p>\n<\/li>\n<li>\n<p>\u043d\u043e\u0432\u044b\u0439 \u0441\u0438\u043d\u0442\u0435\u0437 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"a,b\\in\\mathbb R^d\" alt=\"a,b\\in\\mathbb R^d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/45e\/45e4417b2d1363c8158bf6fbe783f99a.svg\" width=\"69\" height=\"21\" data-width=\"8.593\" data-height=\"2.61\" data-vertical-align=\"-0.74\" style=\"width: 8.593ex; height: 2.61ex; vertical-align: -0.74ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/45e\/45e4417b2d1363c8158bf6fbe783f99a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/45e\/45e4417b2d1363c8158bf6fbe783f99a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041e\u0446\u0435\u043d\u0438\u043c \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043f\u043e\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043d\u043e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"m_j=\\exp\\left(-\\frac{|a_j-b_j|}{\\tau}\\right).\" alt=\"m_j=\\exp\\left(-\\frac{|a_j-b_j|}{\\tau}\\right).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fe\/5fe814e7ce3197f1d37c2d27b00d6ff6.svg\" width=\"194\" height=\"44\" data-width=\"24.284\" data-height=\"5.55\" data-vertical-align=\"-2.21\" style=\"width: 24.284ex; height: 5.55ex; vertical-align: -2.21ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fe\/5fe814e7ce3197f1d37c2d27b00d6ff6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5fe\/5fe814e7ce3197f1d37c2d27b00d6ff6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0431\u044b\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"[a,b,a-b,a\\odot b]\" alt=\"[a,b,a-b,a\\odot b]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/134\/134559fa2bcea3f39b66d549d6a22f98.svg\" width=\"130\" height=\"18\" data-width=\"16.31\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 16.31ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/134\/134559fa2bcea3f39b66d549d6a22f98.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/134\/134559fa2bcea3f39b66d549d6a22f98.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u043b\u044e\u0441 \u043d\u0430\u0437\u0432\u0430\u043d \u0442\u0435\u0437\u0438\u0441\u043e\u043c. \u0412 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\xi=\\left[\\frac{a+b}{2},|a-b|,a\\odot b,\\frac{a^2+b^2}{2}\\right].\" alt=\"\\xi=\\left[\\frac{a+b}{2},|a-b|,a\\odot b,\\frac{a^2+b^2}{2}\\right].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e0b\/e0b224ed0183fdda1248edfe447ab3dd.svg\" width=\"280\" height=\"45\" data-width=\"35.001\" data-height=\"5.564\" data-vertical-align=\"-2.217\" style=\"width: 35.001ex; height: 5.564ex; vertical-align: -2.217ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e0b\/e0b224ed0183fdda1248edfe447ab3dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e0\/e0b\/e0b224ed0183fdda1248edfe447ab3dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u0437 \u043d\u0438\u0445 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u00ab\u043f\u043e\u0434\u043d\u044f\u0442\u0438\u0435\u00bb:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"r=\\frac{a+b}{2}+\\gamma\\tanh S_\\phi(\\xi),\" alt=\"r=\\frac{a+b}{2}+\\gamma\\tanh S_\\phi(\\xi),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d95\/d954ef862d89dea66f35d7e6dcd48332.svg\" width=\"201\" height=\"37\" data-width=\"25.15\" data-height=\"4.652\" data-vertical-align=\"-1.76\" style=\"width: 25.15ex; height: 4.652ex; vertical-align: -1.76ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d95\/d954ef862d89dea66f35d7e6dcd48332.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d95\/d954ef862d89dea66f35d7e6dcd48332.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u043f\u0440\u0435\u0434\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 gate:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"u=\\sigma(W_u\\xi+b_u),\" alt=\"u=\\sigma(W_u\\xi+b_u),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b96\/b96cfc8b8748b3e9075290502f00319d.svg\" width=\"136\" height=\"18\" data-width=\"17.061\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 17.061ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b96\/b96cfc8b8748b3e9075290502f00319d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b96\/b96cfc8b8748b3e9075290502f00319d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\tilde r=u\\odot r+(1-u)\\odot\\frac{a+b}{2}.\" alt=\"\\tilde r=u\\odot r+(1-u)\\odot\\frac{a+b}{2}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d0\/d0b\/d0b9954084b37e33b171e895a3ccf32f.svg\" width=\"225\" height=\"37\" data-width=\"28.158\" data-height=\"4.652\" data-vertical-align=\"-1.76\" style=\"width: 28.158ex; height: 4.652ex; vertical-align: -1.76ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d0\/d0b\/d0b9954084b37e33b171e895a3ccf32f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d0\/d0b\/d0b9954084b37e33b171e895a3ccf32f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0438\u043d\u0442\u0435\u0437:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"z=m\\odot\\frac{a+b}{2}+(1-m)\\odot\\tilde r.\" alt=\"z=m\\odot\\frac{a+b}{2}+(1-m)\\odot\\tilde r.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e5\/5e52826b2ef1c9215c3585fafb72bf6b.svg\" width=\"237\" height=\"37\" data-width=\"29.574\" data-height=\"4.652\" data-vertical-align=\"-1.76\" style=\"width: 29.574ex; height: 4.652ex; vertical-align: -1.76ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e5\/5e52826b2ef1c9215c3585fafb72bf6b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5e5\/5e52826b2ef1c9215c3585fafb72bf6b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>Loss \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0447\u0430\u0441\u0442\u0435\u0439:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{auf}=\\ell(z,y)+\\lambda_P\\mathcal L_{pres}+\\lambda_R\\mathcal L_{res}+\\lambda_N\\mathcal L_{nov}.\" alt=\"\\mathcal L_{auf}=\\ell(z,y)+\\lambda_P\\mathcal L_{pres}+\\lambda_R\\mathcal L_{res}+\\lambda_N\\mathcal L_{nov}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6ac\/6ac7baa165c9cee03604bedf8e8ef5ea.svg\" width=\"348\" height=\"19\" data-width=\"43.558\" data-height=\"2.364\" data-vertical-align=\"-0.616\" style=\"width: 43.558ex; height: 2.364ex; vertical-align: -0.616ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6ac\/6ac7baa165c9cee03604bedf8e8ef5ea.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6ac\/6ac7baa165c9cee03604bedf8e8ef5ea.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<ul>\n<li>\n<p><strong>Preservation<\/strong> \u0443\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0431\u0449\u0435\u0435 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>Resolution<\/strong> \u0442\u0440\u0435\u0431\u0443\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u0441\u0438\u043d\u0442\u0435\u0437 \u0431\u044b\u043b \u043d\u0435 \u0445\u0443\u0436\u0435 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044f:<\/p>\n<\/li>\n<\/ul>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{res}=\\max\\left(0,\\ell(z,y)+\\delta-\\min(\\ell(a,y),\\ell(b,y))\\right).\" alt=\"\\mathcal L_{res}=\\max\\left(0,\\ell(z,y)+\\delta-\\min(\\ell(a,y),\\ell(b,y))\\right).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/64\/64a\/64a0d3518502cf0d7cfb3180ed4a61ae.svg\" width=\"375\" height=\"18\" data-width=\"46.845\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 46.845ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/64\/64a\/64a0d3518502cf0d7cfb3180ed4a61ae.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/64\/64a\/64a0d3518502cf0d7cfb3180ed4a61ae.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<ul>\n<li>\n<p><strong>Novelty<\/strong> \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u043e \u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u043d\u044b\u0445 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u0445 \u043f\u0440\u044f\u0442\u0430\u0442\u044c\u0441\u044f \u0432 midpoint.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u0445 \u0441\u0435\u043d\u0441\u043e\u0440\u0430\u0445, \u0434\u0432\u0443\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445, \u043d\u0435\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u0445 \u0438\u043b\u0438 multi-task \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445. \u041d\u043e \u00ab\u043d\u043e\u0432\u0438\u0437\u043d\u0430 latent-\u043a\u043e\u0434\u0430\u00bb \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442. \u0415\u0441\u043b\u0438 \u0441\u0438\u043d\u0442\u0435\u0437 \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b\u0439, \u043d\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0430\u0441\u044c, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u043e, \u0430 \u043d\u0435 \u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<hr\/>\n<h2>5. \u041f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0438\u0437\u043c \u043f\u043b\u044e\u0441 \u0441\u043a\u0435\u043f\u0441\u0438\u0441: \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u043e\u0432 \u0438 \u043f\u0440\u0430\u0432\u043e \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c<\/h2>\n<p>\u041e\u0431\u044b\u0447\u043d\u044b\u0439 ensemble \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u0442 \u0433\u043e\u043b\u043e\u0432\u044b \u0438 \u0447\u0430\u0441\u0442\u043e \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0441\u0430\u043c \u0444\u0430\u043a\u0442 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430. \u041f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0438\u0441\u0442\u0441\u043a\u0438\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg\" width=\"16\" height=\"12\" data-width=\"2.011\" data-height=\"1.545\" style=\"width: 2.011ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0433\u043e\u043b\u043e\u0432 \u0432\u044b\u0434\u0430\u044e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"p_k(y\\mid x)\" alt=\"p_k(y\\mid x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8f\/d8fd38680c2b32af2b3190f900a47dc5.svg\" width=\"66\" height=\"18\" data-width=\"8.208\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 8.208ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8f\/d8fd38680c2b32af2b3190f900a47dc5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d8f\/d8fd38680c2b32af2b3190f900a47dc5.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c bounded Jensen\u2013Shannon divergence \u0438\u043b\u0438 mutual information:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"D(x)=H\\left(\\frac1K\\sum_k p_k\\right)-\\frac1K\\sum_k H(p_k).\" alt=\"D(x)=H\\left(\\frac1K\\sum_k p_k\\right)-\\frac1K\\sum_k H(p_k).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/68\/684\/684d73d194c0e57c5743081fd15d9a86.svg\" width=\"316\" height=\"54\" data-width=\"39.453\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 39.453ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/68\/684\/684d73d194c0e57c5743081fd15d9a86.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/68\/684\/684d73d194c0e57c5743081fd15d9a86.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0430\u0442\u0435\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\operatorname{abstain}(x)=\\mathbf 1[D(x)&gt;\\tau].\" alt=\"\\operatorname{abstain}(x)=\\mathbf 1[D(x)&gt;\\tau].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3f\/b3faabc2967ce9510f8a802c62d3e9cc.svg\" width=\"204\" height=\"18\" data-width=\"25.552\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 25.552ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3f\/b3faabc2967ce9510f8a802c62d3e9cc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3f\/b3faabc2967ce9510f8a802c62d3e9cc.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 <code>PerspectivalEnsemble<\/code> \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b JS, mutual information \u0438 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430\u044f KL. \u041f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f JS, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0438 \u043d\u0435 \u0432\u0437\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043e\u0434\u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0430 \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0441\u043e\u0431\u044b\u0442\u0438\u044e \u043f\u043e\u0447\u0442\u0438 \u043d\u0443\u043b\u0435\u0432\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u043e \u043d\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0433\u043b\u0430\u0441\u0438\u0435. \u041f\u043e\u043b\u043d\u044b\u0439 \u0445\u0430\u043e\u0441 \u2014 \u043d\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0438\u0437\u043c, \u0430 \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u044b\u0439 ensemble. \u0414\u043b\u044f \u043d\u0435\u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b\u0445 \u0438\u043b\u0438 OOD-\u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c disagreement, \u0430 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u044f. \u0412\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 risk\u2013coverage, \u0430 \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u0440\u0430\u0441\u0438\u0432\u044b\u0445 \u0444\u0440\u0430\u0437 \u00ab\u044f \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u00bb.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/609\/1b0\/ebf\/6091b0ebf50819637d16f96c37e4bbcf.jpg\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/609\/1b0\/ebf\/6091b0ebf50819637d16f96c37e4bbcf.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/609\/1b0\/ebf\/6091b0ebf50819637d16f96c37e4bbcf.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>6. \u042d\u043f\u0438\u0441\u0442\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u0438: \u043d\u0435 \u0432\u0441\u0451 \u043d\u0430\u0434\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/h2>\n<p>\u042d\u043f\u0438\u0441\u0442\u0435\u043c\u043e\u043b\u043e\u0433\u0438\u044f \u0434\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u0435\u0439 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430\u0445 \u043f\u043e\u0437\u043d\u0430\u044e\u0449\u0435\u0433\u043e: \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438, \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043c\u0438\u0440\u0435\u043d\u0438\u0438, \u0447\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0441\u0442\u0438 \u043a \u0432\u043e\u0437\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c, \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043b \u0434\u0432\u0435 \u0438\u0434\u0435\u0438 \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432.<\/p>\n<h3>6.1. \u041f\u0440\u044f\u043c\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 loss<\/h3>\n<p><code>EpistemicVirtueLoss<\/code> \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{virtue}=\\mathcal L_{acc}+\\alpha\\mathcal L_{cal}+\\beta\\mathcal L_{hum}+\\gamma\\mathcal L_{hon}+\\eta\\mathcal L_{open}+\\zeta\\mathcal L_{sel}.\" alt=\"\\mathcal L_{virtue}=\\mathcal L_{acc}+\\alpha\\mathcal L_{cal}+\\beta\\mathcal L_{hum}+\\gamma\\mathcal L_{hon}+\\eta\\mathcal L_{open}+\\zeta\\mathcal L_{sel}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b46\/b4634d313ad364edbea6939050bf65aa.svg\" width=\"444\" height=\"19\" data-width=\"55.556\" data-height=\"2.347\" data-vertical-align=\"-0.608\" style=\"width: 55.556ex; height: 2.347ex; vertical-align: -0.608ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b46\/b4634d313ad364edbea6939050bf65aa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b46\/b4634d313ad364edbea6939050bf65aa.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c<\/h4>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{acc}=-\\frac1B\\sum_i\\log p_i(y_i).\" alt=\"\\mathcal L_{acc}=-\\frac1B\\sum_i\\log p_i(y_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/478\/478a068180435fb626242dc1fea858ca.svg\" width=\"199\" height=\"46\" data-width=\"24.875\" data-height=\"5.733\" data-vertical-align=\"-2.301\" style=\"width: 24.875ex; height: 5.733ex; vertical-align: -2.301ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/478\/478a068180435fb626242dc1fea858ca.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/478\/478a068180435fb626242dc1fea858ca.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430<\/h4>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Brier score \u043a\u0430\u043a proper scoring rule:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{cal}=\\frac1B\\sum_i\\|p_i-\\operatorname{onehot}(y_i)\\|_2^2.\" alt=\"\\mathcal L_{cal}=\\frac1B\\sum_i\\|p_i-\\operatorname{onehot}(y_i)\\|_2^2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/595\/595a514a51c36236397f096d7e32f8cd.svg\" width=\"258\" height=\"46\" data-width=\"32.309\" data-height=\"5.733\" data-vertical-align=\"-2.301\" style=\"width: 32.309ex; height: 5.733ex; vertical-align: -2.301ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/595\/595a514a51c36236397f096d7e32f8cd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/59\/595\/595a514a51c36236397f096d7e32f8cd.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0421\u043c\u0438\u0440\u0435\u043d\u0438\u0435<\/h4>\n<p>\u0428\u0442\u0440\u0430\u0444\u0443\u0435\u0442\u0441\u044f \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0430\u0445:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{hum}=\\frac{\\sum_i\\mathbf1[\\hat y_i\\ne y_i]\\,\\max(0,c_i-c_0)^2}{\\sum_i\\mathbf1[\\hat y_i\\ne y_i]+\\varepsilon}.\" alt=\"\\mathcal L_{hum}=\\frac{\\sum_i\\mathbf1[\\hat y_i\\ne y_i]\\,\\max(0,c_i-c_0)^2}{\\sum_i\\mathbf1[\\hat y_i\\ne y_i]+\\varepsilon}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c3b\/c3b5014e8cf337649ca242d555bfefb5.svg\" width=\"310\" height=\"48\" data-width=\"38.713\" data-height=\"5.996\" data-vertical-align=\"-2.432\" style=\"width: 38.713ex; height: 5.996ex; vertical-align: -2.432ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c3b\/c3b5014e8cf337649ca242d555bfefb5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c3b\/c3b5014e8cf337649ca242d555bfefb5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0427\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u044c<\/h4>\n<p>\u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0435\u0441\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0430 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u043f\u043e\u0440\u044b <img decoding=\"async\" class=\"formula inline\" source=\"q_i\" alt=\"q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/da3\/da326f7200e158a864695985b2e2f095.svg\" width=\"14\" height=\"12\" data-width=\"1.749\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.749ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/da3\/da326f7200e158a864695985b2e2f095.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/da3\/da326f7200e158a864695985b2e2f095.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0435\u0451 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{hon}=\\frac1B\\sum_i\\max(0,c_i-q_i)^2.\" alt=\"\\mathcal L_{hon}=\\frac1B\\sum_i\\max(0,c_i-q_i)^2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbf\/fbfac6583586c9f538c031f7c79944b6.svg\" width=\"241\" height=\"46\" data-width=\"30.115\" data-height=\"5.733\" data-vertical-align=\"-2.301\" style=\"width: 30.115ex; height: 5.733ex; vertical-align: -2.301ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbf\/fbfac6583586c9f538c031f7c79944b6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fbf\/fbfac6583586c9f538c031f7c79944b6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u041e\u0442\u043a\u0440\u044b\u0442\u043e\u0441\u0442\u044c \u043a \u043a\u043e\u043d\u0442\u0440\u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0443<\/h4>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 counterfactual \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u0435\u043d\u044f\u0442\u044c \u043e\u0442\u0432\u0435\u0442, \u043d\u0435\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u2014 \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{open}=\\frac1B\\sum_i\\left[ r_i\\max\\left(0,m-\\operatorname{JS}(p_i\\Vert p'_i)\\right)^2+ (1-r_i)\\operatorname{JS}(p_i\\Vert p'_i)^2\\right].\" alt=\"\\mathcal L_{open}=\\frac1B\\sum_i\\left[ r_i\\max\\left(0,m-\\operatorname{JS}(p_i\\Vert p'_i)\\right)^2+ (1-r_i)\\operatorname{JS}(p_i\\Vert p'_i)^2\\right].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d96\/d9665d24a364e06a4a9ce54af20ca1d9.svg\" width=\"511\" height=\"46\" data-width=\"63.907\" data-height=\"5.733\" data-vertical-align=\"-2.301\" style=\"width: 63.907ex; height: 5.733ex; vertical-align: -2.301ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d96\/d9665d24a364e06a4a9ce54af20ca1d9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d96\/d9665d24a364e06a4a9ce54af20ca1d9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h4>\u0412\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h4>\n<p>\u0414\u043b\u044f accept-head <img decoding=\"async\" class=\"formula inline\" source=\"a_i\" alt=\"a_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ae\/2aecb1dc57e87620a373d19b0a889efb.svg\" width=\"15\" height=\"12\" data-width=\"1.937\" data-height=\"1.355\" data-vertical-align=\"-0.357\" style=\"width: 1.937ex; height: 1.355ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ae\/2aecb1dc57e87620a373d19b0a889efb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2ae\/2aecb1dc57e87620a373d19b0a889efb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"R_{sel}=\\frac{\\sum_i a_i\\ell_i}{\\sum_i a_i+\\varepsilon},\" alt=\"R_{sel}=\\frac{\\sum_i a_i\\ell_i}{\\sum_i a_i+\\varepsilon},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/da9\/da96fb4dd4595c6c343574d1cd71aad3.svg\" width=\"142\" height=\"45\" data-width=\"17.782\" data-height=\"5.67\" data-vertical-align=\"-2.27\" style=\"width: 17.782ex; height: 5.67ex; vertical-align: -2.27ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/da9\/da96fb4dd4595c6c343574d1cd71aad3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/da9\/da96fb4dd4595c6c343574d1cd71aad3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{cov}=\\max\\left(0,\\kappa-\\frac1B\\sum_i a_i\\right)^2.\" alt=\"\\mathcal L_{cov}=\\max\\left(0,\\kappa-\\frac1B\\sum_i a_i\\right)^2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/692\/6920eaa6ea3e7c905f2a4ce351019167.svg\" width=\"253\" height=\"58\" data-width=\"31.675\" data-height=\"7.233\" data-vertical-align=\"-3.051\" style=\"width: 31.675ex; height: 7.233ex; vertical-align: -3.051ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/692\/6920eaa6ea3e7c905f2a4ce351019167.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/692\/6920eaa6ea3e7c905f2a4ce351019167.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<h3>6.2. \u0414\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u044c \u043a\u0430\u043a \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0440\u0435\u0436\u0438\u043c, \u0430 \u043d\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c<\/h3>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b \u0430\u0440\u0438\u0441\u0442\u043e\u0442\u0435\u043b\u0435\u0432\u0441\u043a\u0443\u044e \u00ab\u0437\u043e\u043b\u043e\u0442\u0443\u044e \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0443\u00bb:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\sum_v\\beta_v\\left(V_v-V_v^{\\mathrm{target}}\\right)^2.\" alt=\"\\sum_v\\beta_v\\left(V_v-V_v^{\\mathrm{target}}\\right)^2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d4\/3d46dcc3cba8b92eed102ee4146ee525.svg\" width=\"167\" height=\"40\" data-width=\"20.869\" data-height=\"4.989\" data-vertical-align=\"-1.929\" style=\"width: 20.869ex; height: 4.989ex; vertical-align: -1.929ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d4\/3d46dcc3cba8b92eed102ee4146ee525.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d4\/3d46dcc3cba8b92eed102ee4146ee525.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u0434\u0435\u044f \u0441\u0438\u043b\u044c\u043d\u0430\u044f, \u043d\u043e \u0435\u0451 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043e \u0432\u0441\u0435\u043c\u0443 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e.<\/p>\n<ul>\n<li>\n<p><strong>Calibration error<\/strong> \u2014 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u044b\u0439 \u0434\u0435\u0444\u0435\u043a\u0442. \u0418\u0434\u0435\u0430\u043b \u0431\u043b\u0438\u0437\u043e\u043a \u043a \u043d\u0443\u043b\u044e; \u00ab\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438\u00bb \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0437\u043d\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f<\/strong>, \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u043d\u043e\u0432\u043e\u043c\u0443 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0443, \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f \u0438 \u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043e\u043f\u0442\u0438\u043c\u0443\u043c. \u0421\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e \u2014 \u0434\u043e\u0433\u043c\u0430\u0442\u0438\u0437\u043c, \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u2014 \u0445\u0430\u043e\u0441 \u0438\u043b\u0438 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0440\u0438\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 <code>VirtueRegularizer<\/code> \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u0442 \u044d\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0438. Soft-ECE \u0442\u0430\u0440\u0433\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e \u043d\u0443\u043b\u044f, \u0430 ensemble mutual information \u0438\u043b\u0438 \u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u044c \u043c\u043e\u0433\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 target. \u0414\u043b\u044f \u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Hutchinson-\u043e\u0446\u0435\u043d\u043a\u0430 \u043d\u043e\u0440\u043c\u044b \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u044f\u043a\u043e\u0431\u0438\u0430\u043d\u0430, \u0430 \u043d\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0443\u043c\u043c\u044b \u0432\u044b\u0445\u043e\u0434\u043e\u0432, \u0433\u0434\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0432\u0437\u0430\u0438\u043c\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f.<\/p>\n<h3>6.3. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438<\/h3>\n<p>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043b \u043e\u0434\u0438\u043d seed: accuracy 0.873 \u2192 0.874, \u00abECE\u00bb 0.120 \u2192 0.101, \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c 0.965 \u2192 0.949. \u042f \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0451\u043b \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430.<\/p>\n<p>\u041f\u0440\u0438 \u0430\u0443\u0434\u0438\u0442\u0435 \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0430\u0441\u044c \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u044c: \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u043b\u0430\u0441\u044c ECE, \u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430 \u043c\u044f\u0433\u043a\u043e\u0435 \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e bins. \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 differentiable proxy, \u043d\u043e \u043d\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 hard-binned ECE. \u0412 \u043d\u043e\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0431\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u044b.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 \u0434\u0435\u0441\u044f\u0442\u0438 seeds:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">Accuracy<\/p>\n<\/th>\n<th>\n<p align=\"left\">Hard ECE \u2193<\/p>\n<\/th>\n<th>\n<p align=\"left\">Soft ECE \u2193<\/p>\n<\/th>\n<th>\n<p align=\"left\">Mean confidence<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Baseline<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.8629 \u00b1 0.0199<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.1018 \u00b1 0.0189<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.1253 \u00b1 0.0207<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9636 \u00b1 0.0021<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">+ virtue<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.8714 \u00b1 0.0216<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0814 \u00b1 0.0180<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.1052 \u00b1 0.0202<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.9517 \u00b1 0.0040<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">NLL \u2193<\/p>\n<\/th>\n<th>\n<p align=\"left\">Brier \u2193<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Baseline<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6623 \u00b1 0.1542<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.2340 \u00b1 0.0361<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">+ virtue<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.4600 \u00b1 0.1145<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.2059 \u00b1 0.0357<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 \u044d\u0442\u043e\u0439 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 regularizer \u0441\u043d\u0438\u0437\u0438\u043b \u043e\u0431\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 ECE, NLL \u0438 Brier, \u0430 accuracy \u043d\u0435 \u043f\u0440\u043e\u0441\u0435\u043b\u0430. \u041d\u043e \u044d\u0442\u043e \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 full-batch MLP \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e objective \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u0430 \u043d\u0435 \u0442\u043e, \u0447\u0442\u043e \u0410\u0440\u0438\u0441\u0442\u043e\u0442\u0435\u043b\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u043b temperature scaling.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c69\/d80\/510\/c69d8051027bb1a339155b4d0381b2b9.jpg\" width=\"1448\" height=\"1086\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c69\/d80\/510\/c69d8051027bb1a339155b4d0381b2b9.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c69\/d80\/510\/c69d8051027bb1a339155b4d0381b2b9.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>7. \u041f\u0438\u0440\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0441\u0435\u043c\u0438\u043e\u0437\u0438\u0441: \u0437\u043d\u0430\u043a, \u043e\u0431\u044a\u0435\u043a\u0442 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442 \u043a\u0430\u043a \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435<\/h2>\n<p>\u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c multimodal learning \u0442\u0435\u043a\u0441\u0442 \u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0431\u043b\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u0432 latent space. \u0423 \u041f\u0438\u0440\u0441\u0430 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0442\u0440\u0451\u0445\u0447\u0430\u0441\u0442\u043d\u043e\u0435: \u0437\u043d\u0430\u043a \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043e\u0431\u044a\u0435\u043a\u0442\u0443 \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442, \u0430 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u0442\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u043c \u0437\u043d\u0430\u043a\u043e\u043c \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/03c\/03c7c0ace395d80182db07ae2c30f034.svg\" width=\"12\" height=\"12\" data-width=\"1.061\" data-height=\"1.023\" data-vertical-align=\"-0.023\" style=\"width: 1.061ex; height: 1.023ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/03c\/03c7c0ace395d80182db07ae2c30f034.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/03\/03c\/03c7c0ace395d80182db07ae2c30f034.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0437\u043d\u0430\u043a, <img decoding=\"async\" class=\"formula inline\" source=\"o\" alt=\"o\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d95\/d95679752134a2d9eb61dbd7b91c4bcc.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.023\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.023ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d95\/d95679752134a2d9eb61dbd7b91c4bcc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d95\/d95679752134a2d9eb61dbd7b91c4bcc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0431\u044a\u0435\u043a\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"i^0=I_\\phi(s,o),\" alt=\"i^0=I_\\phi(s,o),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b8\/b88\/b88a1dfd3b16050f7752812ca8db6ab4.svg\" width=\"100\" height=\"21\" data-width=\"12.476\" data-height=\"2.667\" data-vertical-align=\"-0.768\" style=\"width: 12.476ex; height: 2.667ex; vertical-align: -0.768ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b8\/b88\/b88a1dfd3b16050f7752812ca8db6ab4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b8\/b88\/b88a1dfd3b16050f7752812ca8db6ab4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"s^1=G_\\psi(i^0,o),\" alt=\"s^1=G_\\psi(i^0,o),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cc\/cc5\/cc58eab134a889f958b17bdc5c87397c.svg\" width=\"115\" height=\"21\" data-width=\"14.334\" data-height=\"2.667\" data-vertical-align=\"-0.768\" style=\"width: 14.334ex; height: 2.667ex; vertical-align: -0.768ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cc\/cc5\/cc58eab134a889f958b17bdc5c87397c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cc\/cc5\/cc58eab134a889f958b17bdc5c87397c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"i^1=I_\\phi(s^1,o).\" alt=\"i^1=I_\\phi(s^1,o).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d36\/d36b974e09e6874e0d3ba2cec968a9c6.svg\" width=\"108\" height=\"21\" data-width=\"13.463\" data-height=\"2.667\" data-vertical-align=\"-0.768\" style=\"width: 13.463ex; height: 2.667ex; vertical-align: -0.768ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d36\/d36b974e09e6874e0d3ba2cec968a9c6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d3\/d36\/d36b974e09e6874e0d3ba2cec968a9c6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442 \u043d\u0435 \u0441\u0442\u0430\u043b \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e \u043f\u043b\u0430\u0432\u0430\u044e\u0449\u0435\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat s=D_s(o,i^0),\\qquad \\hat o=D_o(s,i^0),\" alt=\"\\hat s=D_s(o,i^0),\\qquad \\hat o=D_o(s,i^0),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/268\/268741272d814ad14054d9e6f16c5786.svg\" width=\"250\" height=\"21\" data-width=\"31.228\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 31.228ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/268\/268741272d814ad14054d9e6f16c5786.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/26\/268\/268741272d814ad14054d9e6f16c5786.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u0430\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{rec}=1-\\cos(i^0,i^1),\" alt=\"\\mathcal L_{rec}=1-\\cos(i^0,i^1),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c5\/8c5cac7804c1d9f535b59d4ae1f6a490.svg\" width=\"166\" height=\"21\" data-width=\"20.781\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 20.781ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c5\/8c5cac7804c1d9f535b59d4ae1f6a490.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c5\/8c5cac7804c1d9f535b59d4ae1f6a490.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 VICReg-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 anti-collapse \u0447\u043b\u0435\u043d\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{var}=\\frac1d\\sum_j\\max\\left(0,\\sigma_0-\\operatorname{Std}(i_j)\\right)^2,\" alt=\"\\mathcal L_{var}=\\frac1d\\sum_j\\max\\left(0,\\sigma_0-\\operatorname{Std}(i_j)\\right)^2,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/357d071c23ef928c485413e2809abf65.svg\" width=\"282\" height=\"48\" data-width=\"35.233\" data-height=\"6.042\" data-vertical-align=\"-2.455\" style=\"width: 35.233ex; height: 6.042ex; vertical-align: -2.455ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/357d071c23ef928c485413e2809abf65.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/357d071c23ef928c485413e2809abf65.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{cov}=\\frac1d\\sum_{j\\ne k}\\operatorname{Cov}(i)_{jk}^2.\" alt=\"\\mathcal L_{cov}=\\frac1d\\sum_{j\\ne k}\\operatorname{Cov}(i)_{jk}^2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/996\/99685b3672ab45d1ae8214e1309caf5f.svg\" width=\"176\" height=\"49\" data-width=\"22.013\" data-height=\"6.148\" data-vertical-align=\"-2.508\" style=\"width: 22.013ex; height: 6.148ex; vertical-align: -2.508ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/996\/99685b3672ab45d1ae8214e1309caf5f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/996\/99685b3672ab45d1ae8214e1309caf5f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u043b\u043d\u0430\u044f \u0446\u0435\u043b\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal L_{sem}=\\mathcal L_{task}+\\lambda_S\\|s-\\hat s\\|_2^2+\\lambda_O\\|o-\\hat o\\|_2^2+\\lambda_R\\mathcal L_{rec}+\\lambda_V\\mathcal L_{var}+\\lambda_C\\mathcal L_{cov}.\" alt=\"\\mathcal L_{sem}=\\mathcal L_{task}+\\lambda_S\\|s-\\hat s\\|_2^2+\\lambda_O\\|o-\\hat o\\|_2^2+\\lambda_R\\mathcal L_{rec}+\\lambda_V\\mathcal L_{var}+\\lambda_C\\mathcal L_{cov}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ecc\/ecce565dd9ec07714ab1b13b6366a4f9.svg\" width=\"549\" height=\"21\" data-width=\"68.67\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 68.67ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ecc\/ecce565dd9ec07714ab1b13b6366a4f9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ecc\/ecce565dd9ec07714ab1b13b6366a4f9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043a\u043e\u0434\u0435 \u044d\u0442\u043e <code>TriadicSemiosis<\/code> \u0438 <code>SemiosisLoss<\/code>. \u041b\u0443\u0447\u0448\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0434\u043b\u044f \u0438\u0434\u0435\u0438 \u2014 compositional generalization, multimodal retrieval \u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u0433\u0434\u0435 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0437\u043d\u0430\u043a \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442\u0430.<\/p>\n<hr\/>\n<h2>\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0432 philosophia-torch 1.0<\/h2>\n<p>\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0439 \u043f\u0430\u043a\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e.<\/p>\n<p><strong>\u041a\u0430\u0442\u0430\u043b\u043e\u0433 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432:<\/strong><\/p>\n<ul>\n<li>\n<p><code><strong>AbductiveScorer<\/strong><\/code> \u2014 \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043f\u043e likelihood, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443 \u0441 \u0444\u043e\u043d\u043e\u0432\u044b\u043c \u0437\u043d\u0430\u043d\u0438\u0435\u043c; \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443.<\/p>\n<\/li>\n<li>\n<p><code><strong>AbductiveHypothesisLoss<\/strong><\/code> \u2014 \u043e\u0431\u0443\u0447\u0430\u0435\u0442 \u0431\u0430\u043d\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0447\u0435\u0440\u0435\u0437 soft-min, diversity \u0438 balance; \u0432\u0437\u044f\u0442 \u0438\u0437 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><code><strong>EpocheRegularizer<\/strong><\/code> \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0432\u043b\u0438\u044f\u0435\u0442 \u043b\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043d\u0430 \u043e\u0442\u0432\u0435\u0442; \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0443\u0434\u043e\u0431\u043d\u0443\u044e wrapper-\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p><code><strong>EpocheLoss<\/strong><\/code> \u2014 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u0442 full, bracketed, prior-only \u0438 no-evidence \u0440\u0435\u0436\u0438\u043c\u044b; \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0435\u043d\u0438\u0435 evidence \u0438 shortcut.<\/p>\n<\/li>\n<li>\n<p><code><strong>HermeneuticConsistency<\/strong><\/code> \u2014 \u043b\u0451\u0433\u043a\u0438\u0439 attention-\u0446\u0438\u043a\u043b \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e plug-in \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><code><strong>HermeneuticRefiner<\/strong><\/code><strong> + <\/strong><code><strong>HermeneuticCircleLoss<\/strong><\/code> \u2014 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442 \u0447\u0430\u0441\u0442\u0438 \u0438 \u0446\u0435\u043b\u043e\u0435 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u044e\u0442 fixed point.<\/p>\n<\/li>\n<li>\n<p><code><strong>DialecticalSynthesis<\/strong><\/code><strong> + <\/strong><code><strong>DialecticalLoss<\/strong><\/code> \u2014 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0439 synthesis, \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 gate, preservation, resolution \u0438 novelty.<\/p>\n<\/li>\n<li>\n<p><code><strong>PerspectivalEnsemble<\/strong><\/code> \u2014 \u0445\u0440\u0430\u043d\u0438\u0442 disagreement \u043a\u0430\u043a \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 abstention.<\/p>\n<\/li>\n<li>\n<p><code><strong>VirtueRegularizer<\/strong><\/code> \u2014 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 soft-ECE, \u0446\u0435\u043b\u0435\u0432\u043e\u0439 disagreement \u0438 Hutchinson-\u043e\u0446\u0435\u043d\u043a\u0443 Jacobian smoothness.<\/p>\n<\/li>\n<li>\n<p><code><strong>EpistemicVirtueLoss<\/strong><\/code> \u2014 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 accuracy, Brier, humility, honesty, openness \u0438 selectivity.<\/p>\n<\/li>\n<li>\n<p><code><strong>TriadicSemiosis<\/strong><\/code><strong> + <\/strong><code><strong>SemiosisLoss<\/strong><\/code> \u2014 \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u0446\u0438\u043a\u043b \u00ab\u0437\u043d\u0430\u043a \u2192 \u043e\u0431\u044a\u0435\u043a\u0442 \u2192 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442 \u2192 \u043d\u043e\u0432\u044b\u0439 \u0437\u043d\u0430\u043a\u00bb.<\/p>\n<\/li>\n<li>\n<p><code><strong>PhilosophiaWrapper<\/strong><\/code> \u2014 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u043f\u043e\u0432\u0435\u0440\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0433\u043e <code>nn.Module<\/code> \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0411\u044b\u0441\u0442\u0440\u044b\u0439 \u0441\u0442\u0430\u0440\u0442<\/h3>\n<pre><code class=\"python\">import torchimport torch.nn as nnimport torch.nn.functional as Ffrom philosophia_torch import PhilosophiaWrapperbase = nn.Sequential(    nn.Linear(20, 64),    nn.ReLU(),    nn.Linear(64, 4),)model = PhilosophiaWrapper(    base,    use_virtue=True,    virtue_kwargs={        \"target_ece\": 0.01,        \"beta_calibration\": 8.0,        \"target_open\": None,    },)logits = model(x)loss = F.cross_entropy(logits, y) + model.aux_loss(x, logits, targets=y)loss.backward()<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u043b\u044f \u044f\u0432\u043d\u043e\u0433\u043e \u044d\u043f\u043e\u0445\u0435\u0301 wrapper \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u0435\u043d: \u043d\u0443\u0436\u043d\u043e \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0435 views.<\/p>\n<pre><code class=\"python\">from philosophia_torch import EpocheLossobjective = EpocheLoss(    bracketed_task_weight=1.0,    consistency_weight=0.5,    prior_uniformity_weight=1.0,)out = objective(    full_logits,    target,    bracketed_logits,    prior_only_logits=prior_only_logits,)out.loss.backward()print(out.detached_terms())<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h3>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u0434\u0430<\/h3>\n<p>\u041f\u0430\u043a\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442:<\/p>\n<ul>\n<li>\n<p>\u043e\u0434\u043d\u043e\u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e <code>philosophia_torch.py<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0435 \u0438\u043c\u043f\u043e\u0440\u0442\u044b <code>from philosophia import ...<\/code> \u0438 <code>from philosophical_learning import ...<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0445 demo;<\/p>\n<\/li>\n<li>\n<p>JSON \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e seed;<\/p>\n<\/li>\n<li>\n<p>45 unit tests.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u0441\u0442\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u043e\u0440\u043c\u044b \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043d\u043e \u0438 \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b, \u043c\u0430\u0441\u043a\u0438, fixed-point \u0447\u043b\u0435\u043d, bounded JS, swap-invariance \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0438\u043d\u0442\u0435\u0437\u0430, abstention \u0438 \u0441\u0442\u0430\u0440\u044b\u0435 API \u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u043e\u0432.<\/p>\n<pre><code class=\"bash\">pip install torch pytestPYTHONPATH=. python -m pytest -q# 45 passedPYTHONPATH=. python examples\/demo_calibration.py --seeds 10PYTHONPATH=. python examples\/demo_shortcut_epoche.py --seeds 10<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<hr\/>\n<h2>\u0427\u0442\u043e \u044d\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u2014 \u0438 \u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442<\/h2>\n<p>\u041e\u043d\u0438 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0442\u0440\u0438 \u0443\u0437\u043a\u0438\u0445 \u0432\u0435\u0449\u0438.<\/p>\n<ol>\n<li>\n<p>\u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0439 regularizer \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0432 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0451\u0440\u0442\u0432\u044b\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c.<\/p>\n<\/li>\n<li>\n<p>\u042f\u0432\u043d\u043e\u0435 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 shortcut \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u0433\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u00ab\u043f\u0443\u0441\u0442\u044c \u0432\u0445\u043e\u0434 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u00bb.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u044b \u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u043a PyTorch-\u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f autograd.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u043d\u0438 \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0442 IRM, GroupDRO, conformal prediction, SelectiveNet, Deep Ensembles, DEQ \u0438\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 Transformer;<\/p>\n<\/li>\n<li>\n<p>\u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b;<\/p>\n<\/li>\n<li>\n<p>\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044e;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u0438\u043d synthetic benchmark \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043d\u0430 \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0443, \u043f\u0440\u0430\u0432\u043e, \u0440\u043e\u0431\u043e\u0442\u043e\u0432 \u0438\u043b\u0438 LLM.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0443\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 falsification plan:<\/p>\n<ul>\n<li>\n<p><strong>\u042d\u043f\u043e\u0445\u0435\u0301.<\/strong> \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b: Waterbirds, Colored MNIST, domain-shift documents. Baselines: ERM, IRM, GroupDRO. \u041f\u0440\u043e\u0432\u0430\u043b: OOD \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0442\u043e\u0439 \u0436\u0435 ID accuracy.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u043a\u0430.<\/strong> \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b: long-document QA, part\u2013whole vision, graphs. Baselines: recurrent refinement, Universal Transformer, DEQ. \u041f\u0440\u043e\u0432\u0430\u043b: \u043b\u0438\u0448\u043d\u0438\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u0435\u0437 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u043a\u0430.<\/strong> \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b: conflicting sensors, experts, multimodal disagreement. Baselines: average, gated fusion, MoE. \u041f\u0440\u043e\u0432\u0430\u043b: synthesis \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0440\u043e\u0434\u0438\u0442\u0435\u043b\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0438\u0437\u043c.<\/strong> \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b: ambiguous\/OOD classification. Baselines: Deep Ensembles, SelectiveNet. \u041f\u0440\u043e\u0432\u0430\u043b: risk\u2013coverage \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u0438.<\/strong> \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b: CIFAR-C, noisy labels, RAG QA. Baselines: CE, temperature scaling, ensembles. \u041f\u0440\u043e\u0432\u0430\u043b: calibration \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043d\u043e\u0439 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 accuracy.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0435\u043c\u0438\u043e\u0437\u0438\u0441.<\/strong> \u0414\u0430\u0442\u0430\u0441\u0435\u0442\u044b: CLEVR \u0438 multimodal compositional tasks. Baselines: CLIP-like fusion, cycle consistency. \u041f\u0440\u043e\u0432\u0430\u043b: \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u043d\u0442 \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u043b\u0438 \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0446\u0438\u043a\u043b \u0441\u0432\u0435\u0434\u0451\u0442\u0441\u044f \u043a \u0442\u0440\u0451\u043c \u043b\u0438\u0448\u043d\u0438\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0430\u043c \u2014 \u044d\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0415\u0441\u043b\u0438 \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 synthesis \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0434\u043e\u0440\u043e\u0433\u0438\u043c gated average \u2014 \u0442\u043e\u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u043a\u0440\u0430\u0441\u043e\u0442\u0430 \u043d\u0435 \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e\u0442 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0442\u044c.<\/p>\n<hr\/>\n<h2>\u0427\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435<\/h2>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u043c \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u043e\u0433\u043e \u0441\u0430\u043c\u043e\u043b\u044e\u0431\u0438\u044f, \u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0434\u043b\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f: \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0438\u0441\u0430\u0442\u044c \u00ab\u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0442 \u0432 ML\u00bb, \u043d\u0430\u0434\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0435 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435, \u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0432\u044b\u0432\u043e\u0434: \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043f\u0440\u043e\u0431\u0435\u043b\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0435 \u0432 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u0430 \u0432 <strong>\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong>. \u041d\u0435 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u0430\u00bb, \u0430 \u043a\u0430\u043a \u043e\u043d\u0430 \u0443\u0447\u0438\u0442\u0441\u044f \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f. \u041d\u0435 \u00ab\u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00bb, \u0430 \u043a\u0430\u043a \u0446\u0435\u043b\u043e\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0430\u0441\u0442\u044c. \u041d\u0435 \u00ab\u0434\u0432\u0435 \u0441\u0435\u0442\u0438 \u0441\u043f\u043e\u0440\u044f\u0442\u00bb, \u0430 \u043a\u0430\u043a \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u043e\u0432\u044b\u0439 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 representation.<\/p>\n<p>\u0422\u0440\u0435\u0442\u0438\u0439 \u0432\u044b\u0432\u043e\u0434: \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435 \u0432\u044b\u0431\u043e\u0440\u0430 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f. \u041a\u043e\u0440\u043e\u0442\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0434\u0430\u043b\u0430 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 Habr-\u0440\u0438\u0442\u043c, wrapper, perspectivism, 23 \u0442\u0435\u0441\u0442\u0430 \u0438 \u043f\u0435\u0440\u0432\u044b\u0439 \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0414\u043b\u0438\u043d\u043d\u0430\u044f \u2014 \u0442\u043e\u0447\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u0447\u0430\u0441\u0442\u043d\u044b\u0435 objectives, \u0441\u0435\u043c\u0438\u043e\u0437\u0438\u0441, failure modes, \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0431\u0430\u0437\u0443 \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0432\u0435\u0440\u0438\u0442\u044c \u0441 \u043a\u043e\u0434\u043e\u043c. \u0412 \u0432\u0435\u0440\u0441\u0438\u0438 1.0 \u043e\u043d\u0438 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0438 \u0441\u043f\u043e\u0440\u0438\u0442\u044c \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435.<\/p>\n<p>\u041f\u043b\u0430\u0442\u043e\u043d, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043e\u0431\u0443\u0447\u0430\u043b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u0432\u0435 \u0442\u044b\u0441\u044f\u0447\u0438 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434. \u041f\u0440\u043e\u0441\u0442\u043e, \u0437\u0430\u0440\u0430\u0437\u0430, \u043d\u0435 \u043f\u0440\u0438\u043b\u043e\u0436\u0438\u043b <code>requirements.txt<\/code>. \u042f \u043f\u0440\u0438\u043b\u043e\u0436\u0438\u043b. <\/p>\n<p>\u0421\u043a\u0430\u0447\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0437\u0434\u0435\u0441\u044c <a href=\"https:\/\/github.com\/webzuweb\/philosophia_torch\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/webzuweb\/philosophia_torch<\/a><\/p>\n<hr\/>\n<h2>\u041b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0431\u0430\u0437\u0430<\/h2>\n<ol>\n<li>\n<p>Dai W.-Z. et al. <strong>Bridging Machine Learning and Logical Reasoning by Abductive Learning<\/strong>, NeurIPS 2019.<\/p>\n<\/li>\n<li>\n<p>Manhaeve R. et al. <strong>DeepProbLog: Neural Probabilistic Logic Programming<\/strong>, NeurIPS 2018.<\/p>\n<\/li>\n<li>\n<p>Bhagavatula C. et al. <strong>Abductive Commonsense Reasoning<\/strong>, ICLR 2020.<\/p>\n<\/li>\n<li>\n<p>Geifman Y., El-Yaniv R. <strong>Selective Classification for Deep Neural Networks<\/strong>, NeurIPS 2017.<\/p>\n<\/li>\n<li>\n<p>Geifman Y., El-Yaniv R. <strong>SelectiveNet<\/strong>, ICML 2019.<\/p>\n<\/li>\n<li>\n<p>Arjovsky M. et al. <strong>Invariant Risk Minimization<\/strong>, 2019.<\/p>\n<\/li>\n<li>\n<p>Tishby N., Zaslavsky N. <strong>Deep Learning and the Information Bottleneck Principle<\/strong>, 2015.<\/p>\n<\/li>\n<li>\n<p>Geirhos R. et al. <strong>ImageNet-trained CNNs are biased towards texture<\/strong>, ICLR 2019.<\/p>\n<\/li>\n<li>\n<p>Bahng H. et al. <strong>Learning De-biased Representations with Biased Representations<\/strong>, ICML 2020.<\/p>\n<\/li>\n<li>\n<p>Dehghani M. et al. <strong>Universal Transformers<\/strong>, ICLR 2019.<\/p>\n<\/li>\n<li>\n<p>Bai S., Kolter J. Z., Koltun V. <strong>Deep Equilibrium Models<\/strong>, NeurIPS 2019.<\/p>\n<\/li>\n<li>\n<p>Yu T. et al. <strong>Gradient Surgery for Multi-Task Learning<\/strong>, NeurIPS 2020.<\/p>\n<\/li>\n<li>\n<p>Hu Z. <strong>Dialectics for Artificial Intelligence<\/strong>, 2025.<\/p>\n<\/li>\n<li>\n<p>Goodfellow I. et al. <strong>Generative Adversarial Nets<\/strong>, NeurIPS 2014.<\/p>\n<\/li>\n<li>\n<p>Lakshminarayanan B. et al. <strong>Deep Ensembles<\/strong>, NeurIPS 2017.<\/p>\n<\/li>\n<li>\n<p>Guo C. et al. <strong>On Calibration of Modern Neural Networks<\/strong>, ICML 2017.<\/p>\n<\/li>\n<li>\n<p>Gneiting T., Raftery A. <strong>Strictly Proper Scoring Rules<\/strong>, JASA 2007.<\/p>\n<\/li>\n<li>\n<p>Sensoy M. et al. <strong>Evidential Deep Learning<\/strong>, NeurIPS 2018.<\/p>\n<\/li>\n<li>\n<p>Bardes A. et al. <strong>VICReg<\/strong>, ICLR 2022.<\/p>\n<\/li>\n<li>\n<p>Zhu J.-Y. et al. <strong>CycleGAN<\/strong>, ICCV 2017.<\/p>\n<\/li>\n<li>\n<p>Radford A. et al. <strong>CLIP<\/strong>, ICML 2021.<\/p>\n<\/li>\n<li>\n<p>He K. et al. <strong>Masked Autoencoders<\/strong>, CVPR 2022.<\/p>\n<\/li>\n<li>\n<p>Mu\u015fat B., Andonie R. <strong>Semiotic Aggregation in Deep Learning<\/strong>, Entropy 22(12), article 1365, 2020.<\/p>\n<\/li>\n<li>\n<p>Driess D. et al. <strong>PaLM-E<\/strong>, 2023.<\/p>\n<\/li>\n<li>\n<p>Brohan A. et al. <strong>RT-2<\/strong>, 2023.<\/p>\n<\/li>\n<li>\n<p>Kim M. J. et al. <strong>OpenVLA<\/strong>, 2024.<\/p>\n<\/li>\n<li>\n<p>Schaul T. et al. <strong>Universal Value Function Approximators<\/strong>, ICML 2015.<\/p>\n<\/li>\n<li>\n<p>Levine S. <strong>Reinforcement Learning and Control as Probabilistic Inference<\/strong>, 2018.<\/p>\n<\/li>\n<li>\n<p>Chen R. T. Q. et al. <strong>Neural Ordinary Differential Equations<\/strong>, NeurIPS 2018.<\/p>\n<\/li>\n<li>\n<p>Kirkpatrick J. et al. <strong>Overcoming catastrophic forgetting in neural networks<\/strong>, PNAS 2017.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1074630\/\">https:\/\/habr.com\/ru\/articles\/1074630\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u043b\u0430\u0442\u043e\u043d \u043e\u0431\u0443\u0447\u0430\u043b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0434\u0432\u0435 \u0442\u044b\u0441\u044f\u0447\u0438 \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0432\u044b\u043b\u043e\u0436\u0438\u043b requirements.txt\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u2014 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0435\u0441\u044f\u0442\u0438\u043b\u0435\u0442\u0438\u0439. \u0410 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u00ab\u043a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0437\u043d\u0430\u043d\u0438\u0435?\u00bb \u043b\u044e\u0434\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0432\u0443\u0445 \u0442\u044b\u0441\u044f\u0447 \u043b\u0435\u0442. \u0417\u043d\u0430\u0447\u0438\u0442, \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u043b \u044f, \u0433\u0434\u0435-\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u041f\u043b\u0430\u0442\u043e\u043d\u043e\u043c, \u0410\u0440\u0438\u0441\u0442\u043e\u0442\u0435\u043b\u0435\u043c, \u041f\u0438\u0440\u0441\u043e\u043c, \u0413\u0435\u0433\u0435\u043b\u0435\u043c \u0438 \u041a\u0430\u043d\u0442\u043e\u043c \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430\u0431\u044b\u0442\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u0441 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0433\u043e \u043d\u0430 PyTorch, \u0432\u044b\u0437\u0432\u0430\u0442\u044c backward().\u041f\u043b\u0430\u043d \u0431\u044b\u043b \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439. \u042f \u0432\u0437\u044f\u043b \u0441\u043f\u0438\u0441\u043e\u043a \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u043b\u043e\u0436\u0438\u043b \u0435\u0433\u043e \u043d\u0430 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u044f \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0434\u0432\u0435\u043d\u0430\u0434\u0446\u0430\u0442\u044c \u00ab\u043d\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445\u00bb \u0438\u0434\u0435\u0439. \u041f\u043e\u0442\u043e\u043c \u043d\u0430\u0447\u0430\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u2014 \u0438 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u043f\u0438\u0441\u043a\u0430 \u0438\u0441\u0447\u0435\u0437\u043b\u0430.\u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f \u041f\u0438\u0440\u0441\u0430 \u0443\u0436\u0435 \u0436\u0438\u0432\u0451\u0442 \u0432 Abductive Learning \u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445. \u0421\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u043e\u0442 \u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f selective prediction. \u0412\u043e\u043f\u043b\u043e\u0449\u0451\u043d\u043d\u043e\u0435 \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0435 \u0435\u0437\u0434\u0438\u0442 \u043f\u043e \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044f\u043c \u0432 \u0440\u043e\u0431\u043e\u0442\u0430\u0445. \u0422\u0435\u043b\u0435\u043e\u043b\u043e\u0433\u0438\u044f \u0443\u0441\u0442\u0440\u043e\u0438\u043b\u0430\u0441\u044c \u0432 goal-conditioned reinforcement learning. \u0414\u0430\u0436\u0435 \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u043a\u0430 \u0443\u0436\u0435 \u0434\u043e\u0431\u0440\u0430\u043b\u0430\u0441\u044c \u0434\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0430\u0431\u043e\u0442.\u0422\u043e \u0435\u0441\u0442\u044c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0443 \u041f\u043b\u0430\u0442\u043e\u043d\u0430 \u043d\u0435 \u043d\u0430\u0448\u043b\u043e\u0441\u044c, \u0430 \u0442\u043e \u0447\u0442\u043e \u043d\u0430\u0448\u043b\u043e\u0441\u044c \u044f \u0443\u043f\u043a\u043e\u0432\u0430\u043b \u0437\u0434\u0435\u0441\u044c https:\/\/github.com\/webzuweb\/philosophia_torch\u0417\u0430\u0442\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u043e\u0441\u044c \u043a\u043e\u0435-\u0447\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435: \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f \u0447\u0430\u0449\u0435 \u0434\u0430\u0451\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0430 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447. \u00ab\u0427\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u0441\u0432\u043e\u0435\u0433\u043e \u0437\u043d\u0430\u043d\u0438\u044f?\u00bb, \u00ab\u043a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0446\u0435\u043b\u043e\u0435?\u00bb, \u00ab\u043a\u0430\u043a \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0431\u0430 \u043f\u043e\u043b\u044e\u0441\u0430 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u044f?\u00bb, \u00ab\u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0443\u044e \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0443?\u00bb \u2014 \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435. \u041d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430, \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0434\u0435\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u0442\u044c.\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u043d\u0430 \u0442\u0440\u0438 \u043a\u043b\u0430\u0441\u0441\u0430, \u0437\u0430\u0442\u0435\u043c \u0440\u0430\u0437\u0431\u0435\u0440\u0443 \u0448\u0435\u0441\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u043b\u0438\u0448\u044c \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e, \u0438 \u043f\u043e\u043a\u0430\u0436\u0443 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0439 PyTorch-\u043c\u043e\u0434\u0443\u043b\u044c. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0438 \u0442\u0435\u0441\u0442\u044b, \u043d\u043e \u0438 \u0434\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0445 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.\u0414\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440 \u0447\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438. \u042f \u043d\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e, \u0447\u0442\u043e \u0442\u0435\u043d\u0437\u043e\u0440 \u00ab\u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u00bb \u0413\u0443\u0441\u0441\u0435\u0440\u043b\u044f \u0438\u043b\u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0434\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u044c\u044e. \u041d\u0438\u0436\u0435 \u2014 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438: \u0438\u0437\u043c\u0435\u0440\u0438\u043c\u044b\u0435 \u043f\u0440\u043e\u043a\u0441\u0438, \u0432\u0434\u043e\u0445\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u044b\u0435 \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u043c\u0438 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c\u0438. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440 \u0432 \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435.\u041a\u0430\u043a \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434 \u043e\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u043c\u0435\u0442\u0430\u0444\u043e\u0440\u044b\u041e\u0447\u0435\u043d\u044c \u043b\u0435\u0433\u043a\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e attention \u2014 \u044d\u0442\u043e \u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u043a\u0430, GAN \u2014 \u0413\u0435\u0433\u0435\u043b\u044c, \u0430 pretraining \u2014 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0435 \u043f\u0440\u0438\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c dropout \u0441\u0442\u043e\u0438\u0446\u0438\u0437\u043c\u043e\u043c \u0438 \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0443\u044e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443.\u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0431\u043e\u043b\u0435\u0435 \u0441\u043a\u0443\u0447\u043d\u044b\u0439, \u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u0438\u0434\u0435\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u043d\u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u044a\u044f\u0432\u0438\u0442\u044c \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u0435\u0449\u0438:\u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c;\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u2014 \u043a\u0430\u043a \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f;\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c\u0443\u044e \u0446\u0435\u043b\u044c \u2014 loss, reward, posterior \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439;\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0436\u0438\u043c\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u2014 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, baseline \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 CrossEntropyLoss.\u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430 \u043d\u0435\u0442, \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u043d\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0430 \u043f\u043e\u0434\u043f\u0438\u0441\u044c \u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435.\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f 1. \u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043d\u0430\u043b\u043e\u0433\u0427\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442\u042d\u043c\u043f\u0438\u0440\u0438\u0437\u043csupervised \u0438 self-supervised learning\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043e\u043f\u044b\u0442\u0430 \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0438\u0445\u0441\u044f \u0441\u0432\u044f\u0437\u0435\u0439\u041f\u0440\u0430\u0433\u043c\u0430\u0442\u0438\u0437\u043creinforcement learning\u0437\u043d\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f\u043c\u0438\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u044d\u043f\u0438\u0441\u0442\u0435\u043c\u043e\u043b\u043e\u0433\u0438\u044f\u043d\u0435\u0439\u0440\u043e\u044d\u0432\u043e\u043b\u044e\u0446\u0438\u044f, population-based search\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438, \u043e\u0442\u0431\u043e\u0440 \u0438 \u0443\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439\u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044fAbductive Learning, DeepProbLog, multiple-hypothesis models\u0432\u044b\u0431\u043e\u0440 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0421\u043a\u0435\u043f\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435selective prediction, reject option, learning to defer\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043f\u0440\u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u0440\u0438\u0441\u043a\u0435\u0412\u043e\u043f\u043b\u043e\u0449\u0451\u043d\u043d\u043e\u0435 \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0435embodied RL, vision-language-action models\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441 \u0441\u0435\u043d\u0441\u043e\u0440\u0430\u043c\u0438 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c\u0422\u0435\u043b\u0435\u043e\u043b\u043e\u0433\u0438\u044fgoal-conditioned RL, UVFA, control as inference\u0446\u0435\u043b\u044c \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 value function \u0438\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u0418\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043c\u0438\u0440\u0435\u043d\u0438\u0435calibration, uncertainty estimation\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u043e\u0448\u0438\u0431\u043e\u043a\u042d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0442\u0430\u0439\u043d\u043e \u043a\u043e\u043d\u0441\u043f\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0410\u0440\u0438\u0441\u0442\u043e\u0442\u0435\u043b\u044f. \u0421\u0432\u044f\u0437\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u0430\u044f, \u0430 \u043d\u0435 \u0433\u0435\u043d\u0435\u0430\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f.\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f 2. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u043a\u0430\u043a \u044f\u0437\u044b\u043a, \u043d\u043e \u043d\u0435 \u043a\u0430\u043a \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0430\u044fAttention = \u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0443\u0433. Attention \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443. \u0421\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043e\u043d \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u043e\u0435 \u0447\u0435\u0440\u0435\u0437 \u0447\u0430\u0441\u0442\u0438, \u0430 \u0437\u0430\u0442\u0435\u043c \u0447\u0430\u0441\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u043e\u0435 \u0446\u0435\u043b\u043e\u0435.Backprop = \u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435. Backprop \u2014 \u0446\u0435\u043f\u043d\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e. \u041f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0435, \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043e\u0431\u043e\u0438\u0445 \u043f\u043e\u043b\u044e\u0441\u043e\u0432 \u0438 \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u043d\u0435\u0433\u043e \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0438\u0437 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.Neural ODE = \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f \u0423\u0430\u0439\u0442\u0445\u0435\u0434\u0430. \u0417\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u044f\u0437\u044b\u043a \u00ab\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u00bb, \u043d\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0438\u0437 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.Pretraining = \u0430\u043d\u0430\u043c\u043d\u0435\u0441\u0438\u0441. \u041f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0430\u044e\u0442 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0432\u0440\u043e\u0436\u0434\u0451\u043d\u043d\u044b\u0435 \u044d\u0439\u0434\u043e\u0441\u044b, \u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0435: \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0442\u044c \u044f\u0437\u044b\u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f, \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c. \u0421\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0443\u0440\u043e\u0432\u043d\u0438 \u043d\u0435\u043b\u044c\u0437\u044f.\u041a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f 3. \u0421\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0435\u0441\u0442\u044c, \u043d\u043e \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0435 \u0441\u0442\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 objective\u041f\u043e\u0441\u043b\u0435 \u0430\u0443\u0434\u0438\u0442\u0430 \u0443 \u043c\u0435\u043d\u044f \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0448\u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439:\u0444\u0435\u043d\u043e\u043c\u0435\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u044d\u043f\u043e\u0445\u0435\u0301;\u0433\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0443\u0433;\u0434\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435;\u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0438\u0437\u043c, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0439 \u0441 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435\u043c;\u044d\u043f\u0438\u0441\u0442\u0435\u043c\u043e\u043b\u043e\u0433\u0438\u044f \u0434\u043e\u0431\u0440\u043e\u0434\u0435\u0442\u0435\u043b\u0435\u0439 \u043a\u0430\u043a \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0446\u0435\u043b\u0435\u0439;\u043f\u0438\u0440\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0441\u0435\u043c\u0438\u043e\u0437\u0438\u0441.1. \u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f: \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u00ab\u043b\u0443\u0447\u0448\u0435\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f\u00bb\u041f\u0438\u0440\u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b \u0434\u0435\u0434\u0443\u043a\u0446\u0438\u044e, \u0438\u043d\u0434\u0443\u043a\u0446\u0438\u044e \u0438 \u0430\u0431\u0434\u0443\u043a\u0446\u0438\u044e. \u0410\u0431\u0434\u0443\u043a\u0446\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0430\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f, \u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0445 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442.\u0414\u043b\u044f \u043d\u0430\u0431\u043e\u0440\u0430 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0437\u0440\u0430\u0447\u043d\u044b\u0439 \u0431\u0430\u043b\u043b:\u0417\u0434\u0435\u0441\u044c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435, \u0431\u0440\u0438\u0442\u0432\u0430 \u041e\u043a\u043a\u0430\u043c\u0430 \u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0441 \u0444\u043e\u043d\u043e\u0432\u044b\u043c \u0437\u043d\u0430\u043d\u0438\u0435\u043c. \u041c\u044f\u0433\u043a\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 \u2014 softmax(S\/\u03c4), \u0436\u0451\u0441\u0442\u043a\u0438\u0439 \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 \u2014 Gumbel-softmax.\u041d\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0447\u0430\u0441\u0442\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0433\u0438\u043f\u043e\u0442\u0435\u0437. \u041e\u043d\u0430 \u0441\u0430\u043c\u0430 \u043f\u043e\u0440\u043e\u0436\u0434\u0430\u0435\u0442  \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432. \u0422\u043e\u0433\u0434\u0430 \u0443\u0434\u043e\u0431\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u044d\u043d\u0435\u0440\u0433\u0438\u0438:\u0427\u0442\u043e\u0431\u044b \u0432\u0441\u0435 \u0441\u043b\u043e\u0442\u044b \u043d\u0435 \u0432\u044b\u0434\u0430\u043b\u0438 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f diversity- \u0438 balance-\u0447\u043b\u0435\u043d\u044b:\u0412 \u043c\u043e\u0434\u0443\u043b\u0435 \u0435\u0441\u0442\u044c \u043e\u0431\u0430 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0430:AbductiveScorer \u2014 \u0434\u043b\u044f \u0443\u0436\u0435 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437;AbductiveHypothesisLoss \u2014 \u0434\u043b\u044f \u0431\u0430\u043d\u043a\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437.\u042d\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f, \u043d\u043e \u043d\u0435 \u043c\u043e\u044f \u0437\u0430\u044f\u0432\u043a\u0430 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0435\u043d\u0438\u0435 \u0430\u0431\u0434\u0443\u043a\u0446\u0438\u0438.2. \u042d\u043f\u043e\u0445\u0435\u0301: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u0434\u043e \u0443\u0442\u043e\u0447\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u044b \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0437\u0430 \u0441\u043a\u043e\u0431\u043a\u0438\u0423 \u0413\u0443\u0441\u0441\u0435\u0440\u043b\u044f \u044d\u043f\u043e\u0445\u0435\u0301 \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e\u0433\u043e \u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f, \u043f\u043e\u043f\u044b\u0442\u043a\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043d\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0443\u0441\u0432\u043e\u0435\u043d\u043d\u0443\u044e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0437\u0430 \u0441\u0430\u043c\u043e \u044f\u0432\u043b\u0435\u043d\u0438\u0435.\u041f\u0440\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u043d\u0430 ML \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c \u0432\u0430\u0436\u043d\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430. \u0421\u043b\u043e\u0432\u043e \u00abbracketing\u00bb \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438.2.1. \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u041f\u0443\u0441\u0442\u044c  \u2014 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0445\u043e\u0434\u0435, \u0430  \u2014 \u043e\u0442\u0432\u0435\u0442 \u0431\u0435\u0437 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u044f\u0432\u043b\u0435\u043d\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c \u0432\u044b\u0432\u043e\u0434:JS \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0441\u0432\u0435\u0440\u0445\u0443, \u0430 hinge \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430. \u042d\u0442\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0431\u0435\u0437\u0434\u0443\u043c\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c KL \u0438 \u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0442\u044c \u043b\u043e\u0433\u0438\u0442\u044b.\u0422\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 EpocheRegularizer. \u041e\u043d \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u043e\u0433\u0434\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0432\u0443\u0447\u0438\u0442: \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0432\u0445\u043e\u0434 \u0438\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0438\u0437 \u043e\u0431\u0449\u0435\u0439 \u043f\u0440\u0438\u0432\u044b\u0447\u043a\u0438?\u00bb\u041d\u043e \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0447\u0430\u0441\u0442\u044c \u0432\u0445\u043e\u0434\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u0436\u043d\u044b\u043c prior.2.2. \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e shortcut \u043f\u0440\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u0445\u043e\u0434 \u043a\u0430\u043a , \u0433\u0434\u0435  \u2014 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e, \u0430  \u2014 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 prior: \u0444\u043e\u043d \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u0441\u0442\u0438\u043b\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u0432\u0435\u0434\u043e\u043c\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d.\u041d\u0443\u0436\u043d\u044b \u0442\u0440\u0438, \u0430 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0435\u0436\u0438\u043c\u0430: \u2014 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442; \u2014 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0441\u043b\u0435 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e shortcut; \u2014 \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0443\u0437\u043d\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 prior; \u2014 \u043e\u0442\u0432\u0435\u0442 \u0431\u0435\u0437 \u0438\u043d\u0434\u0438\u0432\u0438\u0434\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0432\u043e\u043e\u0431\u0449\u0435.\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u0430\u044f objective:\u041f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u0447\u043b\u0435\u043d\u0430 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u0435\u0437 shortcut \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0427\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442, \u0447\u0442\u043e prior \u0441\u0430\u043c \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0432\u044b\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0441. \u041f\u044f\u0442\u044b\u0439 \u2014 \u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u2014 \u0442\u0440\u0435\u0431\u0443\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u043e \u043e\u0442\u0432\u0435\u0442 \u043e\u0442 \u0440\u0435\u0436\u0438\u043c\u0430 \u00ab\u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u00bb.\u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u043d\u043e\u043f\u043a\u0430 remove_bias=True. \u0427\u0435\u043b\u043e\u0432\u0435\u043a \u043e\u0431\u044f\u0437\u0430\u043d \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a\u0443\u044e \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0443 \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439. \u0415\u0441\u043b\u0438 \u0432\u043e\u0437\u0440\u0430\u0441\u0442 \u043f\u0430\u0446\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e \u0437\u043d\u0430\u0447\u0438\u043c, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0435\u0433\u043e \u0432 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0448\u0443\u043c \u2014 \u043d\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c, \u0430 \u043f\u043e\u0440\u0447\u0430 \u0434\u0430\u043d\u043d\u044b\u0445.2.3. \u0427\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 shortcut-shift\u042f \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0435\u0436\u0438\u043c\u0430 \u043d\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435. \u0412 train shortcut \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b \u0441 \u043a\u043b\u0430\u0441\u0441\u043e\u043c \u0432 97% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0430 \u0432 OOD-\u0442\u0435\u0441\u0442\u0435 \u0435\u0433\u043e \u0437\u043d\u0430\u043a \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u043b\u0441\u044f. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u044b \u043f\u043e \u0434\u0435\u0441\u044f\u0442\u0438 seeds:\u041c\u0435\u0442\u043e\u0434ID accuracyOOD accuracyAccuracy \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e shortcutCE baseline0.9784 \u00b1 0.00380.5382 \u00b1 0.02520.9695 \u00b1 0.0028Evidence-gain0.9789 \u00b1 0.00370.5404 \u00b1 0.02330.9695 \u00b1 0.00283-view Epoche0.9778 \u00b1 0.00490.6078 \u00b1 0.01980.6654 \u00b1 0.0908Hybrid Epoche0.9779 \u00b1 0.00550.6088 \u00b1 0.01800.6488 \u00b1 0.1015\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0437\u0434\u0435\u0441\u044c \u043d\u0435 \u00ab\u044d\u043f\u043e\u0445\u0435 \u043f\u043e\u0431\u0435\u0434\u0438\u043b\u043e\u00bb. \u041e\u043d \u0441\u043a\u0440\u043e\u043c\u043d\u0435\u0435 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435: \u0434\u0432\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0440\u0435\u0448\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438. \u041a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u0445\u043e\u0434 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442, \u043d\u043e \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043e\u0442 shortcut. \u042f\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0438 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 OOD, \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u044f ID accuracy.\u041f\u0440\u0438 \u044d\u0442\u043e\u043c 0.61 \u2014 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c. \u041c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 shortcut, \u043d\u043e \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u043b \u0435\u0451. \u042d\u0442\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0441\u0438\u0433\u043d\u0430\u043b, \u0430 \u043d\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 debiasing-\u0440\u0435\u0446\u0435\u043f\u0442.3. \u0413\u0435\u0440\u043c\u0435\u043d\u0435\u0432\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0443\u0433: \u0446\u0435\u043b\u043e\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0447\u0430\u0441\u0442\u0438, \u0447\u0430\u0441\u0442\u0438 \u043c\u0435\u043d\u044f\u044e\u0442 \u0446\u0435\u043b\u043e\u0435\u0428\u043b\u0435\u0439\u0435\u0440\u043c\u0430\u0445\u0435\u0440 \u0438 \u0413\u0430\u0434\u0430\u043c\u0435\u0440 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u0430\u043a \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435: \u0441\u043c\u044b\u0441\u043b \u0446\u0435\u043b\u043e\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u0447\u0430\u0441\u0442\u0435\u0439, \u043d\u043e \u0441\u043c\u044b\u0441\u043b \u043a\u0430\u0436\u0434\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0446\u0435\u043b\u043e\u0433\u043e.\u041e\u0434\u0438\u043d attention-\u043f\u0440\u043e\u0445\u043e\u0434 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442. \u041d\u0443\u0436\u043d\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439.\u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u0435\u0439:\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u043e\u0433\u043e:\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0431\u043e\u0440\u043e\u0442\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0446\u0435\u043b\u043e\u0435:\u0437\u0430\u0442\u0435\u043c \u043f\u0435\u0440\u0435\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c \u0447\u0430\u0441\u0442\u0438:\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0446\u0435\u043b\u043e\u043c\u0443. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043a \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435:\u0412 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438:HermeneuticConsistency \u2014 \u043b\u0451\u0433\u043a\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0446\u0438\u043a\u043b: \u0446\u0435\u043b\u043e\u0435 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 attention \u043f\u043e \u0447\u0430\u0441\u0442\u044f\u043c \u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u0438\u0445 \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u043e\u043c;HermeneuticRefiner \u2014 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u044b\u0439 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0431\u043b\u043e\u043a \u043d\u0430 GRUCell, \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u0438 \u0447\u0430\u0441\u0442\u0438, \u0438 \u0446\u0435\u043b\u043e\u0435; HermeneuticCircleLoss \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 consistency, fixed-point \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438.\u041b\u0451\u0433\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0443\u0434\u043e\u0431\u043d\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u041f\u043e\u043b\u043d\u0430\u044f \u0431\u043b\u0438\u0436\u0435 \u043a \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441 \u0447\u0430\u0441\u0442\u0438, \u043d\u043e \u0438 \u0435\u0451 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u2014 collapse. \u0415\u0441\u043b\u0438 \u0432\u0441\u0435  \u0438  \u0441\u0442\u0430\u043d\u0443\u0442 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u0439, \u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u2014 \u043c\u0451\u0440\u0442\u0432\u043e\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443  \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 anti-collapse \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b.4. \u0414\u0438\u0430\u043b\u0435\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u044f\u0442\u0438\u0435: \u043d\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f, \u0430 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0442\u0440\u0435\u0442\u044c\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u0421\u043b\u043e\u0432\u043e&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-492246","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492246","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=492246"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/492246\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=492246"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=492246"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=492246"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}