{"id":352219,"date":"2024-05-20T22:04:25","date_gmt":"2024-05-20T22:04:25","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=352219"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-05-20T22:04:25","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=352219","title":{"rendered":"<span>Model soups: \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8b0\/b6e\/8ed\/8b0b6e8edd8b06d88c8366a23f87229c.png\" alt=\"\" title=\"\" width=\"1134\" height=\"357\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b0\/b6e\/8ed\/8b0b6e8edd8b06d88c8366a23f87229c.png\"\/><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/paperswithcode.com\/\" rel=\"noopener noreferrer nofollow\">Papers With Code<\/a> \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 <a href=\"https:\/\/paperswithcode.com\/sota\/image-classification-on-imagenet\" rel=\"noopener noreferrer nofollow\">\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 \u0434\u043b\u044f image classification \u043d\u0430 ImageNet<\/a> (\u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0435\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u0445), \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u0432 \u0442\u043e\u043f-5 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043d\u0435\u0437\u0430\u043c\u044b\u0441\u043b\u043e\u0432\u0430\u0442\u044b\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c model soups. <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435, \u0438 \u043a\u0440\u0430\u0442\u043a\u043e \u043f\u0440\u043e\u0431\u0435\u0436\u0438\u043c\u0441\u044f \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0430\u043f\u0435\u0440\u0430 (\u0437\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u044f \u0431\u0443\u0434\u0443 \u043a\u043e\u0432\u0435\u0440\u043a\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u043e \u00abpaper\u00bb \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a).<\/p>\n<h2>\u0412 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445<\/h2>\n<p>\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u00abmodel soup\u00bb\u200e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0432 \u043f\u0430\u043f\u0435\u0440\u0435 2022 \u0433\u043e\u0434\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2203.05482\" rel=\"noopener noreferrer nofollow\">\u00abModel soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time\u00bb<\/a>, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0432 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u0435 Google Research, Meta AI Research \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430\u043c\u0438.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438: \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0443\u044e \u0438\u0437 \u043d\u0438\u0445, \u0438\u0437\u043c\u0435\u0440\u0438\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 evaluation set. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0440\u043e\u043c\u0435 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439, \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043a\u043e\u0440\u0437\u0438\u043d\u0443.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0430\u043f\u0435\u0440\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0442\u043e\u0447\u0438\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0438 \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u043c\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044f\u043c. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430: \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c <em>logits<\/em> \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0432\u043e\u0448\u0435\u0434\u0448\u0438\u0445 \u0432 \u043d\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0418\u0434\u0435\u044f model soup \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u043d\u0435 <em>logits<\/em>, \u0430 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e <em>\u0432\u0435\u0441\u0430<\/em> \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442<\/strong>: model soup \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c <u>\u043b\u0438\u0448\u044c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430<\/u> \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0432 \u00ab\u0441\u0443\u043f\u00bb \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043d\u0443\u043b\u044f, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u0435\u0441\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u044b\u043b\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043e\u0434\u043d\u0438\u043c\u0438 \u0438 \u0442\u0435\u043c\u0438 \u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438. \u041e \u0442\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0442\u0430\u043a, \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c <a href=\"#whydoesitwork\" rel=\"noopener noreferrer nofollow\">\u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435<\/a>.<\/p>\n<\/blockquote>\n<h2>\u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b model soups<\/h2>\n<p>\u0412 \u043f\u0430\u043f\u0435\u0440\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u0430 model soups:<\/p>\n<ul>\n<li>\n<p><strong>uniform soup<\/strong> \u2014 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_i\" alt=\"\\theta_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/619\/c50\/9e6\/619c509e61483028a96cfd23b528bb6a.svg\" width=\"16\" height=\"20\"\/>:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"f \\left( x, \\frac{1}{k}\\sum_{i=1}^{k}\\theta_i \\right)\" alt=\"f \\left( x, \\frac{1}{k}\\sum_{i=1}^{k}\\theta_i \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5f\/08a\/8ce\/c5f08a8cec3a3163757dc1cb5750e7c6.svg\" width=\"131\" height=\"61\"\/><\/p>\n<ul>\n<li>\n<p><strong>greedy soup<\/strong> \u2014 \u0436\u0430\u0434\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u00ab\u0441\u0443\u043f\u00bb \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c:<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c5c\/efb\/d96\/c5cefbd96544c14d6e3a1eccdbb11718.png\" width=\"889\" height=\"280\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5c\/efb\/d96\/c5cefbd96544c14d6e3a1eccdbb11718.png\"\/><\/figure>\n<ul>\n<li>\n<p><strong>learned soup<\/strong> \u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha_i\" alt=\"\\alpha_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/708\/033\/8d9\/7080338d900172105d8aa909f0e3a01c.svg\" width=\"19\" height=\"15\"\/> (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46d\/27c\/20c\/46d27c20c610da3828b15dfbecf84147.svg\" width=\"13\" height=\"17\"\/> \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\left\\{\\left(x_i, y_i\\right)\\right\\}_{i=1}^n\" alt=\"\\left\\{\\left(x_i, y_i\\right)\\right\\}_{i=1}^n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/427\/b7b\/8aa\/427b7b8aa41df41bcd0149588c0b9c90.svg\" width=\"101\" height=\"24\"\/>\u2014 evaluation set, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be6\/5c5\/d3d\/be65c5d3d5157e129cbea4fb94ed7198.svg\" width=\"11\" height=\"20\"\/>\u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438)<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sum_{j=1}^n L\\left(\\beta f\\left(x_j, \\sum_{i=1}^k\\alpha_i\\theta_i\\right), y_j\\right) \\to \\min_{\\alpha, \\beta}\" alt=\"\\sum_{j=1}^n L\\left(\\beta f\\left(x_j, \\sum_{i=1}^k\\alpha_i\\theta_i\\right), y_j\\right) \\to \\min_{\\alpha, \\beta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7c5\/c66\/be5\/7c5c66be5aa251b38823df1b444d273f.svg\" width=\"317\" height=\"62\"\/><\/p>\n<h2>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u043c\u0438<\/h2>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430 \u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u00ab\u0441\u0443\u043f\u043e\u0432\u00bb \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 CLIP ViT-B\/32 \u043d\u0430 ImageNet. Accuracy \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0441\u0430\u043c\u043e\u0433\u043e ImageNet, \u0442\u0430\u043a \u0438 \u043d\u0430 distribution shift \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u2014  <a href=\"https:\/\/imagenetv2.org\/\" rel=\"noopener noreferrer nofollow\">ImageNet-V2<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/imagenet-r\" rel=\"noopener noreferrer nofollow\">ImageNet-R<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/imagenet-sketch\" rel=\"noopener noreferrer nofollow\">ImageNet-Sketch<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/objectnet\" rel=\"noopener noreferrer nofollow\">ObjectNet<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/imagenet-a\" rel=\"noopener noreferrer nofollow\">ImageNet-A<\/a>. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3cb\/dc2\/436\/3cbdc24362177d449354aed41293dded.png\" alt=\"Accuracy \u0442\u043e\u043f-1 \u0438 \u0442\u043e\u043f-2 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u00ab\u0441\u0443\u043f\u043e\u0432\u00bb, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 ImageNet \u0438 distribution shift \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 (\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c accuracy).\" title=\"Accuracy \u0442\u043e\u043f-1 \u0438 \u0442\u043e\u043f-2 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u00ab\u0441\u0443\u043f\u043e\u0432\u00bb, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 ImageNet \u0438 distribution shift \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 (\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c accuracy).\" width=\"1365\" height=\"497\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3cb\/dc2\/436\/3cbdc24362177d449354aed41293dded.png\"\/><\/p>\n<div><figcaption>Accuracy \u0442\u043e\u043f-1 \u0438 \u0442\u043e\u043f-2 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u00ab\u0441\u0443\u043f\u043e\u0432\u00bb, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 ImageNet \u0438 distribution shift \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 (\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c accuracy).<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u00ab\u0441\u0443\u043f\u044b\u00bb \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b \u0441 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u043c\u0438 \u043f\u043e accuracy \u043d\u0430 ImageNet \u0438 \u0434\u0430\u0436\u0435 \u0438\u043c\u0435\u044e\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043d\u0430 distribution shifts \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043a\u0430\u043a \u0431\u044b\u043b\u043e \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e \u0440\u0430\u043d\u0435\u0435, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c model soup \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0448\u0435\u0434\u0448\u0438\u0445 \u0432 \u00ab\u0441\u0443\u043f\u00bb \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043a\u0430\u043a \u0434\u043b\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(k)\" alt=\"O(k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d08\/0e9\/86b\/d080e986b0a44aaebce83d331a4c3957.svg\" width=\"40\" height=\"22\"\/>.<\/p>\n<p>\u0421\u0445\u043e\u0436\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438 \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043d\u0430 ImageNet ViT-G\/14, \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 <a href=\"https:\/\/paperswithcode.com\/dataset\/jft-3b\" rel=\"noopener noreferrer nofollow\">JFT-3B<\/a>:  <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6d1\/dbb\/61c\/6d1dbb61c819b3f50d9ad4a7b4ac4bd4.png\" alt=\"\u041f\u043e\u043c\u0438\u043c\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e evaluation set, \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 test set. \u0418\u0445 accuracy \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e greedy soup.\" title=\"\u041f\u043e\u043c\u0438\u043c\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e evaluation set, \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 test set. \u0418\u0445 accuracy \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e greedy soup.\" width=\"1118\" height=\"291\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d1\/dbb\/61c\/6d1dbb61c819b3f50d9ad4a7b4ac4bd4.png\"\/><\/p>\n<div><figcaption>\u041f\u043e\u043c\u0438\u043c\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e evaluation set, \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 test set. \u0418\u0445 accuracy \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e greedy soup.<\/figcaption><\/div>\n<\/figure>\n<blockquote>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432\u00a0\u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0432\u044b\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u044b \u043d\u0430\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445. \u0418 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u043f\u0440\u0438\u0440\u043e\u0441\u0442 accuracy, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0435\u0445\u043d\u0438\u043a\u0438 model soup. \u0422\u0430\u043a, \u0434\u043b\u044f\u00a0\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430\u00a0ImageNet-22k \u043c\u043e\u0434\u0435\u043b\u0438, model soup \u0434\u0430\u0451\u0442 \u0443\u0436\u0435 \u043d\u0435\u00a0\u0441\u0442\u043e\u043b\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 accuracy. <\/p>\n<\/blockquote>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u044c model soup \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 4 \u0437\u0430\u0434\u0430\u0447 \u0438\u0437 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 <a href=\"https:\/\/paperswithcode.com\/dataset\/glue\" rel=\"noopener noreferrer nofollow\">GLUE<\/a>: MRPC, RTE, CoLA \u0438 SST-2:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bdc\/13a\/fcb\/bdc13afcb02926d5e9b04b0f26469fca.png\" width=\"1105\" height=\"169\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bdc\/13a\/fcb\/bdc13afcb02926d5e9b04b0f26469fca.png\"\/><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0432\u044b\u0448\u0435, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p><a class=\"anchor\" name=\"whydoesitwork\" id=\"whydoesitwork\"><\/a><\/p>\n<h2>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442?<\/h2>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u043c\u0438, \u0438 \u043f\u0440\u0438 \u0438\u0445 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430\u043c. \u0422\u0430\u043a \u043f\u043e\u0447\u0435\u043c\u0443 \u0436\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e? \u041e\u0442\u0432\u0435\u0442 \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0432 \u043f\u0430\u043f\u0435\u0440\u0435 Google 2020 \u0433\u043e\u0434\u0430 <a href=\"https:\/\/arxiv.org\/pdf\/2008.11687\" rel=\"noopener noreferrer nofollow\">\u00abWhat is being transferred in transfer learning?\u00bb<\/a>. \u0415\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 (\u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0435\u0451 \u00ab<em>basin<\/em>\u00bb \u2014 \u00ab<em>\u0432\u043f\u0430\u0434\u0438\u043d\u0430<\/em>\u00bb). \u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043d\u0443\u043b\u044f, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e, \u0442\u0430\u043a\u0438\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u043d\u0435 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442.<\/p>\n<p>\u0412\u0434\u043e\u0445\u043d\u043e\u0432\u0438\u0432\u0448\u0438\u0441\u044c \u044d\u0442\u0438\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435\u043c, \u0430\u0432\u0442\u043e\u0440\u044b model soup \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0444\u043e\u0440\u043c\u0443 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043c\u043e\u0436\u0435\u0442 \u043b\u0435\u0436\u0430\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0435\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d 2D-\u0441\u0440\u0435\u0437 training loss \u0438 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 test error. \u0421\u0438\u043c\u0432\u043e\u043b\u043e\u043c<img loading=\"lazy\" decoding=\"async\" inline=\"true\" class=\"image image-inline\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/572\/914\/597\/572914597f2fe70bc9929275c19f1af7.png\" width=\"22\" height=\"23\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/572\/914\/597\/572914597f2fe70bc9929275c19f1af7.png\"\/>\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" inline=\"true\" class=\"image image-inline\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cae\/efb\/9a8\/caeefb9a856964492572e5672bc0bfff.png\" width=\"22\" height=\"23\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cae\/efb\/9a8\/caeefb9a856964492572e5672bc0bfff.png\"\/>,<img loading=\"lazy\" decoding=\"async\" inline=\"true\" class=\"image image-inline\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/863\/b27\/86a\/863b2786ae759b4e720eb24f0d30ca53.png\" width=\"22\" height=\"24\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/863\/b27\/86a\/863b2786ae759b4e720eb24f0d30ca53.png\"\/>,<img loading=\"lazy\" decoding=\"async\" inline=\"true\" class=\"image image-inline\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/12e\/cab\/03f\/12ecab03f2e2f83cadcd82d16619c7cb.png\" width=\"19\" height=\"24\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/12e\/cab\/03f\/12ecab03f2e2f83cadcd82d16619c7cb.png\"\/>\u2014 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u043d\u0435\u0451 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u0437 \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u0432\u0443\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430, \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0431\u043b\u0438\u0436\u0435 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f6e\/1ed\/729\/f6e1ed729e4cda40f3823b2591a0a639.png\" alt=\"\" title=\"\" width=\"977\" height=\"415\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f6e\/1ed\/729\/f6e1ed729e4cda40f3823b2591a0a639.png\"\/><\/figure>\n<blockquote>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e learning rate \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0445\u043e\u0434\u0438\u0442\u044c \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043e\u0434\u043d\u043e\u0439 \u00ab\u0432\u043f\u0430\u0434\u0438\u043d\u044b\u00bb. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 model soup \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 learning rate.<\/p>\n<\/blockquote>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0443\u0433\u043e\u043b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 (\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u044b\u043c\u0438 \u0441\u0442\u0440\u0435\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0432\u044b\u0448\u0435) \u043c\u043e\u0436\u0435\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u044d\u0442\u043e\u0442 \u0443\u0433\u043e\u043b \u043a 90\u00b0, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/438\/0f8\/2b7\/4380f82b7202ea76ede9ef2565ba21b3.png\" alt=\"\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 accuracy \u043e\u0442 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 , \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438  \u0438 \u0442\u044c\u044e\u043d\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423\u0433\u043e\u043b  \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0433\u043b\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 .\" title=\"\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 accuracy \u043e\u0442 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 , \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438  \u0438 \u0442\u044c\u044e\u043d\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423\u0433\u043e\u043b  \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0433\u043b\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 .\" width=\"940\" height=\"390\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/438\/0f8\/2b7\/4380f82b7202ea76ede9ef2565ba21b3.png\"\/><\/p>\n<div><figcaption>\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 accuracy \u043e\u0442 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_1\" alt=\"\\theta_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f9\/41e\/19a\/0f941e19a0c4167e888e1c9e5afe779f.svg\" width=\"14\" height=\"17\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_2\" alt=\"\\theta_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c28\/4d6\/5e0\/c284d65e0587d35076f38d221ec6fad8.svg\" width=\"14\" height=\"17\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_0\" alt=\"\\theta_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/733\/fc4\/36b\/733fc436bdf6d37c54ca78a9e8d00887.svg\" width=\"14\" height=\"17\"\/> \u0438 \u0442\u044c\u044e\u043d\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423\u0433\u043e\u043b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\phi\" alt=\"\\phi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4af\/22a\/f5d\/4af22af5d52bf00a4c2b788908a711ab.svg\" width=\"9\" height=\"17\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0433\u043b\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_1-\\theta_0\" alt=\"\\theta_1-\\theta_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/641\/585\/b57\/641585b576edc17949fcbb4d1b8aac60.svg\" width=\"48\" height=\"17\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta_2 - \\theta_0\" alt=\"\\theta_2 - \\theta_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40f\/c08\/54c\/40fc0854c1272768a34001590f32b5c5.svg\" width=\"48\" height=\"17\"\/>.<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0430 \u0443\u0433\u043e\u043b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u0432\u043b\u0438\u044f\u0435\u0442 \u0442\u043e, \u043a\u0430\u043a\u043e\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c. \u041d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0432\u043b\u0438\u044f\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 random seed, learning rate \u0438 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0439.<\/p>\n<h2>\u041d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a<\/h2>\n<p>\u0412 2023 \u0433\u043e\u0434\u0443 \u0432\u044b\u0448\u043b\u0430 \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u0430\u044f model soups: <a href=\"https:\/\/arxiv.org\/pdf\/2301.10092v1\" rel=\"noopener noreferrer nofollow\">\u00abModel soups to increase inference without increasing compute time\u00bb<\/a>. \u0412 \u043d\u0435\u0439 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 model soups, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0440\u0451\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u2014 ResNet, EfficientNet \u0438 ViT-G. \u041e\u0434\u043d\u0430\u043a\u043e ResNet \u0438 EfficientNet \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u0441 \u043d\u0443\u043b\u044f, \u0447\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e \u0432\u0435\u0434\u0451\u0442 \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0433\u043e model soup \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0442\u0430\u043a\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c.<\/p>\n<p>\u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u044b\u043b\u043e \u0431\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f model soups \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044d\u0442\u043e \u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435?<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/754742\/\"> https:\/\/habr.com\/ru\/articles\/754742\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/paperswithcode.com\/\" rel=\"noopener noreferrer nofollow\">Papers With Code<\/a> \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 <a href=\"https:\/\/paperswithcode.com\/sota\/image-classification-on-imagenet\" rel=\"noopener noreferrer nofollow\">\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 \u0434\u043b\u044f image classification \u043d\u0430 ImageNet<\/a> (\u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0435\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u0445), \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u0432 \u0442\u043e\u043f-5 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043d\u0435\u0437\u0430\u043c\u044b\u0441\u043b\u043e\u0432\u0430\u0442\u044b\u043c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c model soups. <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435, \u0438 \u043a\u0440\u0430\u0442\u043a\u043e \u043f\u0440\u043e\u0431\u0435\u0436\u0438\u043c\u0441\u044f \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043c \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0430\u043f\u0435\u0440\u0430 (\u0437\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u044f \u0431\u0443\u0434\u0443 \u043a\u043e\u0432\u0435\u0440\u043a\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u043e \u00abpaper\u00bb \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a).<\/p>\n<h2>\u0412 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432\u0430\u0445<\/h2>\n<p>\u041f\u043e\u043d\u044f\u0442\u0438\u0435 \u00abmodel soup\u00bb\u200e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0432 \u043f\u0430\u043f\u0435\u0440\u0435 2022 \u0433\u043e\u0434\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2203.05482\" rel=\"noopener noreferrer nofollow\">\u00abModel soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time\u00bb<\/a>, \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0432 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u0435 Google Research, Meta AI Research \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0430\u043c\u0438.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438: \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0443\u044e \u0438\u0437 \u043d\u0438\u0445, \u0438\u0437\u043c\u0435\u0440\u0438\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 evaluation set. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u0440\u043e\u043c\u0435 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439, \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043a\u043e\u0440\u0437\u0438\u043d\u0443.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0430\u043f\u0435\u0440\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0442\u043e\u0447\u0438\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0438 \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u043c\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044f\u043c. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430: \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c <em>logits<\/em> \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0432\u043e\u0448\u0435\u0434\u0448\u0438\u0445 \u0432 \u043d\u0435\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0418\u0434\u0435\u044f model soup \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u043d\u0435 <em>logits<\/em>, \u0430 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e <em>\u0432\u0435\u0441\u0430<\/em> \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u0438 \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442<\/strong>: model soup \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c <u>\u043b\u0438\u0448\u044c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430<\/u> \u0443\u0436\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0432 \u00ab\u0441\u0443\u043f\u00bb \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043d\u0443\u043b\u044f, \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u0435\u0441\u0430 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u044b\u043b\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043e\u0434\u043d\u0438\u043c\u0438 \u0438 \u0442\u0435\u043c\u0438 \u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438. \u041e \u0442\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0442\u0430\u043a, \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c <a href=\"#whydoesitwork\" rel=\"noopener noreferrer nofollow\">\u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435<\/a>.<\/p>\n<\/blockquote>\n<h2>\u0420\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b model soups<\/h2>\n<p>\u0412 \u043f\u0430\u043f\u0435\u0440\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u0430 model soups:<\/p>\n<ul>\n<li>\n<p><strong>uniform soup<\/strong> \u2014 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 :<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p><strong>greedy soup<\/strong> \u2014 \u0436\u0430\u0434\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u00ab\u0441\u0443\u043f\u00bb \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c:<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><\/figure>\n<ul>\n<li>\n<p><strong>learned soup<\/strong> \u2014 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438  ( \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u2014 evaluation set, \u2014 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438)<\/p>\n<\/li>\n<\/ul>\n<h2>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u043c\u0438<\/h2>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u044d\u0433\u0433\u0438\u043d\u0433\u0430 \u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u00ab\u0441\u0443\u043f\u043e\u0432\u00bb \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 CLIP ViT-B\/32 \u043d\u0430 ImageNet. Accuracy \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0441\u0430\u043c\u043e\u0433\u043e ImageNet, \u0442\u0430\u043a \u0438 \u043d\u0430 distribution shift \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u2014  <a href=\"https:\/\/imagenetv2.org\/\" rel=\"noopener noreferrer nofollow\">ImageNet-V2<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/imagenet-r\" rel=\"noopener noreferrer nofollow\">ImageNet-R<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/imagenet-sketch\" rel=\"noopener noreferrer nofollow\">ImageNet-Sketch<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/objectnet\" rel=\"noopener noreferrer nofollow\">ObjectNet<\/a>, <a href=\"https:\/\/paperswithcode.com\/dataset\/imagenet-a\" rel=\"noopener noreferrer nofollow\">ImageNet-A<\/a>. <\/p>\n<figure class=\"full-width\">\n<div><figcaption>Accuracy \u0442\u043e\u043f-1 \u0438 \u0442\u043e\u043f-2 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u043e\u0432 \u00ab\u0441\u0443\u043f\u043e\u0432\u00bb, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 ImageNet \u0438 distribution shift \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 (\u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u043c accuracy).<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u00ab\u0441\u0443\u043f\u044b\u00bb \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b \u0441 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f\u043c\u0438 \u043f\u043e accuracy \u043d\u0430 ImageNet \u0438 \u0434\u0430\u0436\u0435 \u0438\u043c\u0435\u044e\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043d\u0430 distribution shifts \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043a\u0430\u043a \u0431\u044b\u043b\u043e \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e \u0440\u0430\u043d\u0435\u0435, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c model soup \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u043e\u0448\u0435\u0434\u0448\u0438\u0445 \u0432 \u00ab\u0441\u0443\u043f\u00bb \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0435\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043a\u0430\u043a \u0434\u043b\u044f \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u044f \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\u044e .<\/p>\n<p>\u0421\u0445\u043e\u0436\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438 \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043d\u0430 ImageNet ViT-G\/14, \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 <a href=\"https:\/\/paperswithcode.com\/dataset\/jft-3b\" rel=\"noopener noreferrer nofollow\">JFT-3B<\/a>:  <\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041f\u043e\u043c\u0438\u043c\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e evaluation set, \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 test set. \u0418\u0445 accuracy \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u043e\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e greedy soup.<\/figcaption><\/div>\n<\/figure>\n<blockquote>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432\u00a0\u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0432\u044b\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u044b \u043d\u0430\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445. \u0418 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430\u00a0\u043f\u0440\u0438\u0440\u043e\u0441\u0442 accuracy, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0441\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0435\u0445\u043d\u0438\u043a\u0438 model soup. \u0422\u0430\u043a, \u0434\u043b\u044f\u00a0\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430\u00a0ImageNet-22k \u043c\u043e\u0434\u0435\u043b\u0438, model soup \u0434\u0430\u0451\u0442 \u0443\u0436\u0435 \u043d\u0435\u00a0\u0441\u0442\u043e\u043b\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 accuracy. <\/p>\n<\/blockquote>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0430\u0432\u0442\u043e\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u044c model soup \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 4 \u0437\u0430\u0434\u0430\u0447 \u0438\u0437 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 <a href=\"https:\/\/paperswithcode.com\/dataset\/glue\" rel=\"noopener noreferrer nofollow\">GLUE<\/a>: MRPC, RTE, CoLA \u0438 SST-2:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0432\u044b\u0448\u0435, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p><a class=\"anchor\" name=\"whydoesitwork\" id=\"whydoesitwork\"><\/a><\/p>\n<h2>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442?<\/h2>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u043c\u0438, \u0438 \u043f\u0440\u0438 \u0438\u0445 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430\u043c. \u0422\u0430\u043a \u043f\u043e\u0447\u0435\u043c\u0443 \u0436\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e? \u041e\u0442\u0432\u0435\u0442 \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0432 \u043f\u0430\u043f\u0435\u0440\u0435 Google 2020 \u0433\u043e\u0434\u0430 <a href=\"https:\/\/arxiv.org\/pdf\/2008.11687\" rel=\"noopener noreferrer nofollow\">\u00abWhat is being transferred in transfer learning?\u00bb<\/a>. \u0415\u0433\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 (\u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0435\u0451 \u00ab<em>basin<\/em>\u00bb \u2014 \u00ab<em>\u0432\u043f\u0430\u0434\u0438\u043d\u0430<\/em>\u00bb). \u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043d\u0443\u043b\u044f, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e, \u0442\u0430\u043a\u0438\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u043d\u0435 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442.<\/p>\n<p>\u0412\u0434\u043e\u0445\u043d\u043e\u0432\u0438\u0432\u0448\u0438\u0441\u044c \u044d\u0442\u0438\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435\u043c, \u0430\u0432\u0442\u043e\u0440\u044b model soup \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u044e\u0442 \u0444\u043e\u0440\u043c\u0443 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043c\u043e\u0436\u0435\u0442 \u043b\u0435\u0436\u0430\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0435\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d 2D-\u0441\u0440\u0435\u0437 training loss \u0438 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 test error. \u0421\u0438\u043c\u0432\u043e\u043b\u043e\u043c\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c\u0438 ,,\u2014 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u043d\u0435\u0451 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418\u0437 \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0434\u0432\u0443\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430, \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0431\u043b\u0438\u0436\u0435 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<figure class=\"full-width\"><\/figure>\n<blockquote>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e learning rate \u043f\u0440\u0438 \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0445\u043e\u0434\u0438\u0442\u044c \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043e\u0434\u043d\u043e\u0439 \u00ab\u0432\u043f\u0430\u0434\u0438\u043d\u044b\u00bb. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 model soup \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 learning rate.<\/p>\n<\/blockquote>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0443\u0433\u043e\u043b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 (\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0439 \u0441\u0435\u0440\u044b\u043c\u0438 \u0441\u0442\u0440\u0435\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0432\u044b\u0448\u0435) \u043c\u043e\u0436\u0435\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043a \u0432\u044b\u0432\u043e\u0434\u0443, \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u044d\u0442\u043e\u0442 \u0443\u0433\u043e\u043b \u043a 90\u00b0, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0439:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 accuracy \u043e\u0442 \u0443\u0433\u043b\u0430 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0430\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 , \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438  \u0438 \u0442\u044c\u044e\u043d\u0438\u043b\u0438\u0441\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423\u0433\u043e\u043b  \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0433\u043b\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 .<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043d\u0430 \u0443\u0433\u043e\u043b \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u0432\u043b\u0438\u044f\u0435\u0442 \u0442\u043e, \u043a\u0430\u043a\u043e\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u043c. \u041d\u0430 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e, \u043a\u0430\u043a \u0432\u043b\u0438\u044f\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 random seed, learning rate \u0438 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0439.<\/p>\n<h2>\u041d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a<\/h2>\n<p>\u0412 2023 \u0433\u043e\u0434\u0443 \u0432\u044b\u0448\u043b\u0430 \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u0430\u044f model soups: <a href=\"https:\/\/arxiv.org\/pdf\/2301.10092v1\" rel=\"noopener noreferrer nofollow\">\u00abModel soups to increase inference without increasing compute time\u00bb<\/a>. \u0412 \u043d\u0435\u0439 \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 model soups, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0442\u0440\u0451\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u2014 ResNet, EfficientNet \u0438 ViT-G. \u041e\u0434\u043d\u0430\u043a\u043e ResNet \u0438 EfficientNet \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442 \u0441 \u043d\u0443\u043b\u044f, \u0447\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e \u0432\u0435\u0434\u0451\u0442 \u043a \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0435\u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0433\u043e model soup \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0420\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0442\u0430\u043a\u043e\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c.<\/p>\n<p>\u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u044b\u043b\u043e \u0431\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043a\u0430\u043a \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f model soups \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0441\u0432\u0435\u0440\u0442\u043e\u0447\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044d\u0442\u043e \u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435?<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/754742\/\"> https:\/\/habr.com\/ru\/articles\/754742\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-352219","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/352219","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=352219"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/352219\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=352219"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=352219"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=352219"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}