{"id":502197,"date":"2026-11-08T18:52:25","date_gmt":"2026-11-08T15:52:25","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=502197"},"modified":"2026-11-08T18:52:25","modified_gmt":"2026-11-08T15:52:25","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=502197","title":{"rendered":"\u041a\u0430\u043a \u043e\u0431\u043e\u0439\u0442\u0438 Llama-3 70B \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432 600 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435: \u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u041f\u043b\u0430\u0442\u043e\u043d\u0430, JEPA \u0438 \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044f \u041c\u043e\u0434\u0435\u043b\u0435\u0439 \u041c\u0438\u0440\u0430"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/77\/a5\/34\/77a534d3207a94677a5a9753545f7fdf.png\" width=\"1376\" height=\"768\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/77\/a5\/34\/77a534d3207a94677a5a9753545f7fdf.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/77\/a5\/34\/77a534d3207a94677a5a9753545f7fdf.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u044b\u0439 \u0434\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440<\/strong>: \u044d\u0442\u043e \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044f \u043d\u0435\u0434\u0430\u0432\u043d\u0435\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0420\u044d\u043d\u0434\u0435\u043b\u043b\u0430 \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e \u0438 \u042f\u043d\u0430 \u041b\u0435\u041a\u0443\u043d\u0430 \u00ab<a href=\"https:\/\/arxiv.org\/pdf\/2610.39302\" rel=\"noopener nofollow\">Proving and Improving the Platonic Representation Hypothesis with JEPAs<\/a>\u00bb. \u041e\u043d\u043e \u043d\u0430\u0434\u0435\u043b\u0430\u043b\u043e \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u0430, \u0447\u0442\u043e \u042f\u043d \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c *** \u0444\u043e\u043b\u043b\u043e\u0443-\u0430\u043f\u043e\u043c <a href=\"https:\/\/www.linkedin.com\/feed\/update\/urn:li:activity:7524946888559771648?updateEntityUrn=urn%3Ali%3Afs_updateV2%3A%28urn%3Ali%3Aactivity%3A7524946888559771648%2CFEED_DETAIL%2CEMPTY%2CDEFAULT%2Cfalse%29\" rel=\"noopener nofollow\">\u0441\u0434\u0435\u043b\u0430\u043b \u043f\u043e\u0441\u0442<\/a> \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u043d\u0430 <a href=\"https:\/\/www.youtube.com\/watch?v=_fEqQa5hBmI\" rel=\"noopener nofollow\">\u0432\u0438\u0434\u0435\u043e<\/a>, \u043f\u043e\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b. \u042f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0430\u0441\u044c \u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043e\u043f\u043e\u0440\u043e\u0439 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<br \/><sub>\u2757\ufe0f <\/sub><em><sub>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043a \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Gemini Notebook<\/sub><\/em><\/p>\n<\/blockquote>\n<p>\u0418\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432 \u043f\u043b\u0435\u043d\u0443 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u043d\u043e\u043a\u0443\u043b\u044c\u0442\u0443\u0440\u044b. \u0412\u0435\u0434\u0443\u0449\u0438\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u044b \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0432 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u043e\u0432, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u044f \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (LLM) \u0434\u043e \u0441\u043e\u0442\u0435\u043d \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u044f \u0438\u043c \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0440\u0435\u0448\u0435\u043d\u043d\u043e\u0439: \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0441\u043a\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u044b, \u043d\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0431\u0435\u0441\u043f\u043e\u043c\u043e\u0449\u043d\u044b\u043c\u0438 \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u043e\u0431\u043e\u0442\u043e\u043c \u0438\u043b\u0438 \u0432\u0435\u0441\u0442\u0438 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0431\u0435\u0437 \u0443\u0445\u0438\u0449\u0440\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041d\u043e\u0432\u043e\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0420\u044d\u043d\u0434\u0435\u043b\u043b\u0430 \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e (Brown University) \u0438 \u042f\u043d\u0430 \u041b\u0435\u041a\u0443\u043d\u0430 (AMI Labs \/ NYU) <strong>\u00abProving and Improving the Platonic Representation Hypothesis with JEPAs\u00bb<\/strong>, \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u041b\u0435\u041a\u0443\u043d\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430 <strong>AMI Labs<\/strong> ($1.03B \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0439), \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 (AGI) \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u2014 \u044d\u0442\u043e \u0442\u0443\u043f\u0438\u043a\u043e\u0432\u044b\u0439 \u043f\u0443\u0442\u044c. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0438 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f (Platonic Representation Hypothesis) \u0432 \u0441\u0442\u0440\u043e\u0433\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0442\u0435\u043e\u0440\u0435\u043c\u0443 \u0438 \u0434\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 <strong>Joint-Embedding Predictive Architecture (JEPA)<\/strong> \u0441 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438\u00bb \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 LLM.<\/p>\n<h3>1. \u041a\u0440\u0438\u0437\u0438\u0441 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h3>\n<p>\u0414\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0430 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0418\u0418 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435 \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430. \u042f\u043d \u041b\u0435\u041a\u0443\u043d, \u043b\u0430\u0443\u0440\u0435\u0430\u0442 \u043f\u0440\u0435\u043c\u0438\u0438 \u0422\u044c\u044e\u0440\u0438\u043d\u0433\u0430 \u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043e\u0442\u0446\u043e\u0432-\u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u0432\u0435\u0440\u0433\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434, \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u044f \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u041a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u044b \u043a\u0430\u043a \u00abLLM-\u043e\u0441\u043b\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u00bb (LLM-pilled monoculture).<\/p>\n<blockquote>\n<p>\u00ab\u0412\u0441\u0435 \u0432 \u041a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430\u0434 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435, \u043a\u043e\u043f\u0430\u044e\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0442\u0440\u0430\u043d\u0448\u0435\u044e. \u041e\u043d\u0438 \u043f\u0435\u0440\u0435\u043c\u0430\u043d\u0438\u0432\u0430\u044e\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0434\u0440\u0443\u0433 \u0443 \u0434\u0440\u0443\u0433\u0430 \u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0438\u043d\u043e\u0435, \u043e\u043f\u0430\u0441\u0430\u044f\u0441\u044c \u043e\u0442\u0441\u0442\u0430\u0442\u044c \u0432 \u0433\u043e\u043d\u043a\u0435. \u041d\u043e \u0438\u0434\u0435\u044f \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u0442\u0440\u0430\u043d\u0430-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442 \u0432 \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 \u044d\u0442\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u00bb. \u2014 <strong>\u042f\u043d \u041b\u0435\u041a\u0443\u043d<\/strong>, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c AMI Labs<\/p>\n<\/blockquote>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0441 \u043c\u043e\u043d\u043e\u043a\u0443\u043b\u044c\u0442\u0443\u0440\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0431\u0443\u0434\u0438\u043b\u043e \u041b\u0435\u041a\u0443\u043d\u0430 \u043f\u043e\u043a\u0438\u043d\u0443\u0442\u044c \u043f\u043e\u0441\u0442 \u0433\u043b\u0430\u0432\u043d\u043e\u0433\u043e \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0430 Meta \u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442 <strong>AMI Labs<\/strong> (Advanced Machine Intelligence) \u0432 \u041f\u0430\u0440\u0438\u0436\u0435, \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u044f $1.03 \u043c\u043b\u0440\u0434 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jeff Bezos, Nvidia, Samsung \u0438 Toyota.<\/p>\n<h4>\u00ab\u0420\u0430\u0441\u0447\u0435\u0442 4-\u043b\u0435\u0442\u043d\u0435\u0433\u043e \u0440\u0435\u0431\u0435\u043d\u043a\u0430\u00bb<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/4a\/52\/74\/4a52748b4d9fca57a6d19398fb71e529.png\" width=\"1376\" height=\"768\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/4a\/52\/74\/4a52748b4d9fca57a6d19398fb71e529.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/4a\/52\/74\/4a52748b4d9fca57a6d19398fb71e529.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0439 \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u043c, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c \u041b\u0435\u041a\u0443\u043d\u043e\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u0438 LLM:<\/strong> \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Llama-3 \u0438\u043b\u0438 Qwen2.5) \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u043e\u0442 20 \u0434\u043e 30 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 3 \u0431\u0430\u0439\u0442\u0430 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043a\u043e\u043b\u043e <img decoding=\"async\" class=\"formula inline\" source=\"10^{14}\" alt=\"10^{14}\" src=\"https:\/\/habrastorage.org\/extt\/ce\/32\/d7\/ce32d7bc0058e1224c22bb3d1708c55a.svg\" width=\"34\" height=\"17\" data-width=\"4.05\" data-height=\"2.067\" data-vertical-align=\"-0.05\" style=\"width: 4.05ex; height: 2.067ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/ce\/32\/d7\/ce32d7bc0058e1224c22bb3d1708c55a.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/ce\/32\/d7\/ce32d7bc0058e1224c22bb3d1708c55a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0430\u0439\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0435\u043b\u043e\u0432\u0435\u043a\u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u0442\u044b\u0441\u044f\u0447 \u043b\u0435\u0442 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043e\u0441\u0432\u043e\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043e\u0431\u044a\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u0440\u0435\u0431\u0435\u043d\u043a\u0430:<\/strong> 4-\u043b\u0435\u0442\u043d\u0438\u0439 \u0440\u0435\u0431\u0435\u043d\u043e\u043a \u0437\u0430 \u043f\u0435\u0440\u0432\u044b\u0435 16 000 \u0447\u0430\u0441\u043e\u0432 \u0431\u043e\u0434\u0440\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043d\u0435\u0440\u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 2 \u041c\u0411\/\u0441 \u043e\u0431\u044a\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0440\u0430\u0432\u043d\u044b\u0439 \u0442\u0435 \u0436\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"10^{14} \" alt=\"10^{14} \" src=\"https:\/\/habrastorage.org\/extt\/0c\/93\/48\/0c9348fea5d6786bf4029867ea7c31b4.svg\" width=\"34\" height=\"17\" data-width=\"4.05\" data-height=\"2.067\" data-vertical-align=\"-0.05\" style=\"width: 4.05ex; height: 2.067ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/0c\/93\/48\/0c9348fea5d6786bf4029867ea7c31b4.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/0c\/93\/48\/0c9348fea5d6786bf4029867ea7c31b4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u0431\u0430\u0439\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0417\u0430 4 \u0433\u043e\u0434\u0430 \u0440\u0435\u0431\u0435\u043d\u043e\u043a \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0438\u0440\u0430: \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0437\u0430\u043a\u043e\u043d\u044b \u0433\u0440\u0430\u0432\u0438\u0442\u0430\u0446\u0438\u0438, \u0438\u043d\u0435\u0440\u0446\u0438\u044e, \u0445\u0440\u0443\u043f\u043a\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432 \u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u2014 \u043d\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0432 \u043d\u0438 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430. \u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f LLM, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0432\u0448\u0430\u044f \u0432\u0435\u0441\u044c \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442, \u043b\u0438\u0448\u0435\u043d\u0430 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u043a\u0438 \u0438 \u00ab\u0433\u0438\u0431\u043d\u0435\u0442\u00bb \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 LLM (Next-Token Prediction)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u044b\u0442 \u0440\u0435\u0431\u0435\u043d\u043a\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"\\approx 10^{14}\" alt=\"\\approx 10^{14}\" src=\"https:\/\/habrastorage.org\/extt\/98\/3d\/0f\/983d0fa2477e35f15cecaa83937269f0.svg\" width=\"54\" height=\"17\" data-width=\"6.439\" data-height=\"2.067\" data-vertical-align=\"-0.05\" style=\"width: 6.439ex; height: 2.067ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/98\/3d\/0f\/983d0fa2477e35f15cecaa83937269f0.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/98\/3d\/0f\/983d0fa2477e35f15cecaa83937269f0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0430\u0439\u0442 (20\u201330 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"\\approx 10^{14}\" alt=\"\\approx 10^{14}\" src=\"https:\/\/habrastorage.org\/extt\/84\/19\/38\/841938a792f420d1222729bc768c180f.svg\" width=\"54\" height=\"17\" data-width=\"6.439\" data-height=\"2.067\" data-vertical-align=\"-0.05\" style=\"width: 6.439ex; height: 2.067ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/84\/19\/38\/841938a792f420d1222729bc768c180f.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/84\/19\/38\/841938a792f420d1222729bc768c180f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0430\u0439\u0442 (16 000 \u0447\u0430\u0441\u043e\u0432 \u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0421\u0443\u0431\u0441\u0442\u0440\u0430\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439, \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0442\u043e\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0423\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438, \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0438\u0437\u0438\u043a\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0441\u0442\u044c, \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u0430\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c AGI<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u00ab\u0441\u0442\u0435\u043d\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb (Text Wall)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0441\u043e\u043a\u0430\u044f: \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042f\u0437\u044b\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0443\u0431\u0441\u0442\u0440\u0430\u0442\u043e\u043c \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u0441\u0430\u043c \u044f\u0437\u044b\u043a \u0437\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430). \u041e\u0434\u043d\u0430\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u0440 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u0435\u043d, \u043d\u0435\u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c \u0432 \u043c\u0435\u043b\u043a\u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u044f\u0445, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c.<\/p>\n<h3>2. \u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438<\/h3>\n<blockquote>\n<p><em>\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415! \u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0437\u0433\u043e\u0432\u044b\u043d\u043e\u0441\u043d\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430<\/em><\/p>\n<\/blockquote>\n<p>\u0412 2024 \u0433\u043e\u0434\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437 MIT (Huh et al.) \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 <strong>\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f (<\/strong><a href=\"https:\/\/arxiv.org\/pdf\/2405.07987\" rel=\"noopener nofollow\"><strong>Platonic Representation Hypothesis, PRH<\/strong><\/a><strong>)<\/strong>. \u041e\u043d\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u043b\u0430, \u0447\u0442\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u0440\u043e\u0441\u0442\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 (\u0437\u0440\u0435\u043d\u0438\u0435, \u0442\u0435\u043a\u0441\u0442, \u0430\u0443\u0434\u0438\u043e) \u0441\u0431\u043b\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0432\u043e\u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445, \u0441\u0445\u043e\u0434\u044f\u0441\u044c \u043a \u0435\u0434\u0438\u043d\u043e\u043c\u0443 \u00ab\u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u043c\u0443\u00bb \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e \u0438 \u041b\u0435\u041a\u0443\u043d\u0430 PRH \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u043b\u0438\u0448\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435\u043c \u0431\u0435\u0437 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430 \u043a \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044e.<\/p>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432 (MAE), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u043b\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u044b\u0440\u043e\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u0445\u043e\u0434\u0430 (\u043f\u0438\u043a\u0441\u0435\u043b\u044c \u0438\u043b\u0438 \u0441\u043b\u043e\u0432\u043e), <strong>Joint-Embedding Predictive Architecture (JEPA)<\/strong> \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432 <strong>\u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 (\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432)<\/strong>.<\/p>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e JEPA \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 x \u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"f(x) \\in \\mathbb{R}^k\" alt=\"f(x) \\in \\mathbb{R}^k\" src=\"https:\/\/habrastorage.org\/extt\/69\/4a\/02\/694a026a8c67acddd074029468796b8c.svg\" width=\"82\" height=\"22\" data-width=\"9.719\" data-height=\"2.61\" data-vertical-align=\"-0.566\" style=\"width: 9.719ex; height: 2.61ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/69\/4a\/02\/694a026a8c67acddd074029468796b8c.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/69\/4a\/02\/694a026a8c67acddd074029468796b8c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{L}_m(f) = \\mathbb{E}_{(z, z') \\sim \\pi_m} \\left[ \\ell(f(g_m(z)), f(g_m(z'))) \\right] + \\Omega(f)\" alt=\"\\mathcal{L}_m(f) = \\mathbb{E}_{(z, z') \\sim \\pi_m} \\left[ \\ell(f(g_m(z)), f(g_m(z'))) \\right] + \\Omega(f)\" src=\"https:\/\/habrastorage.org\/extt\/03\/29\/d9\/0329d9ade04b03d1af261b345d3b0531.svg\" width=\"411\" height=\"23\" data-width=\"48.757\" data-height=\"2.722\" data-vertical-align=\"-0.8\" style=\"width: 48.757ex; height: 2.722ex; vertical-align: -0.8ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/03\/29\/d9\/0329d9ade04b03d1af261b345d3b0531.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/03\/29\/d9\/0329d9ade04b03d1af261b345d3b0531.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"g_m(z)\" alt=\"g_m(z)\" src=\"https:\/\/habrastorage.org\/extt\/0b\/84\/ca\/0b84cac0d5ac4fe4974e8aba5a825ae0.svg\" width=\"46\" height=\"19\" data-width=\"5.484\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.484ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/0b\/84\/ca\/0b84cac0d5ac4fe4974e8aba5a825ae0.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/0b\/84\/ca\/0b84cac0d5ac4fe4974e8aba5a825ae0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0438\u043d\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0438\u0440\u0430 z \u0432 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"m, \\ell\" alt=\"m, \\ell\" src=\"https:\/\/habrastorage.org\/extt\/88\/55\/0e\/88550e5825f58ee568d3d4456b58460b.svg\" width=\"33\" height=\"17\" data-width=\"3.936\" data-height=\"2.034\" data-vertical-align=\"-0.439\" style=\"width: 3.936ex; height: 2.034ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/88\/55\/0e\/88550e5825f58ee568d3d4456b58460b.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/88\/55\/0e\/88550e5825f58ee568d3d4456b58460b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\Omega(f)\" alt=\"\\Omega(f)\" src=\"https:\/\/habrastorage.org\/extt\/76\/5d\/f8\/765df8bd23b17500529644bb86a24c86.svg\" width=\"39\" height=\"19\" data-width=\"4.638\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.638ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/76\/5d\/f8\/765df8bd23b17500529644bb86a24c86.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/76\/5d\/f8\/765df8bd23b17500529644bb86a24c86.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0442 \u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0430 (anti-collapse mechanism: SIGReg, VICReg, \u043e\u0442\u0431\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430).<\/p>\n<h4>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 1 (Platonic Representation Theorem)<\/h4>\n<p>\u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"M \\ge 2\" alt=\"M \\ge 2\" src=\"https:\/\/habrastorage.org\/extt\/84\/00\/d5\/8400d5d9543d1f2632db08dabf7aff27.svg\" width=\"55\" height=\"16\" data-width=\"6.526\" data-height=\"1.857\" data-vertical-align=\"-0.312\" style=\"width: 6.526ex; height: 1.857ex; vertical-align: -0.312ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/84\/00\/d5\/8400d5d9543d1f2632db08dabf7aff27.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/84\/00\/d5\/8400d5d9543d1f2632db08dabf7aff27.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u044e\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043c\u0438\u0440\u0430 Z \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"p(z) &gt; 0\" alt=\"p(z) &gt; 0\" src=\"https:\/\/habrastorage.org\/extt\/f1\/6c\/ac\/f16cacadf7f9f22f4edec5eec0dcb815.svg\" width=\"68\" height=\"19\" data-width=\"8.099\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 8.099ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/f1\/6c\/ac\/f16cacadf7f9f22f4edec5eec0dcb815.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/f1\/6c\/ac\/f16cacadf7f9f22f4edec5eec0dcb815.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"x = g_m(z)\" alt=\"x = g_m(z)\" src=\"https:\/\/habrastorage.org\/extt\/44\/30\/57\/4430577111808f7699c43df606c5992b.svg\" width=\"82\" height=\"19\" data-width=\"9.795\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.795ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/44\/30\/57\/4430577111808f7699c43df606c5992b.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/44\/30\/57\/4430577111808f7699c43df606c5992b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0441\u043b\u0438 \u0432\u0441\u0435 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e JEPA \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"(z, z') \\sim \\pi\" alt=\"(z, z') \\sim \\pi\" src=\"https:\/\/habrastorage.org\/extt\/7a\/31\/7c\/7a317cbe361a22a09cbd5b2a8ed9972c.svg\" width=\"83\" height=\"20\" data-width=\"9.805\" data-height=\"2.396\" data-vertical-align=\"-0.566\" style=\"width: 9.805ex; height: 2.396ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/7a\/31\/7c\/7a317cbe361a22a09cbd5b2a8ed9972c.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/7a\/31\/7c\/7a317cbe361a22a09cbd5b2a8ed9972c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0438\u0440\u0430) \u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 \u043f\u043e\u0442\u0435\u0440\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0434\u0438\u043d\u043e\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0438\u0440\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"h^*: Z \\to \\mathbb{R}^k\" alt=\"h^*: Z \\to \\mathbb{R}^k\" src=\"https:\/\/habrastorage.org\/extt\/00\/26\/35\/0026355c943534d59dea6e1370065425.svg\" width=\"101\" height=\"17\" data-width=\"11.987\" data-height=\"2.07\" data-vertical-align=\"-0.025\" style=\"width: 11.987ex; height: 2.07ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/extt\/00\/26\/35\/0026355c943534d59dea6e1370065425.svg 780w,&#10;       https:\/\/habrastorage.org\/extt\/00\/26\/35\/0026355c943534d59dea6e1370065425.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 m:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"f_m^*(g_m(z)) = Q_m h^*(z) \\quad \\text{\u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b } Q_m \\in O(k)\" alt=\"f_m^*(g_m(z)) = Q_m h^*(z) \\quad \\text{\u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b } Q_m \\in O(k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d5\/8d59458148e4efbe3412dc3c8b0f6791.svg\" width=\"496\" height=\"18\" data-width=\"62.011\" data-height=\"2.273\" data-vertical-align=\"-0.571\" style=\"width: 62.011ex; height: 2.273ex; vertical-align: -0.571ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d5\/8d59458148e4efbe3412dc3c8b0f6791.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d5\/8d59458148e4efbe3412dc3c8b0f6791.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043b\u044e\u0431\u044b\u0445 \u0434\u0432\u0443\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"m'\" alt=\"m'\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c3b\/c3b1fe1f90bfbf08147e9e8fa2e5ccca.svg\" width=\"21\" height=\"15\" data-width=\"2.614\" data-height=\"1.855\" data-vertical-align=\"-0.025\" style=\"width: 2.614ex; height: 1.855ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c3b\/c3b1fe1f90bfbf08147e9e8fa2e5ccca.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c3\/c3b\/c3b1fe1f90bfbf08147e9e8fa2e5ccca.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0435\u0434\u0438\u043d\u044b\u043c \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"Q_m Q_{m'}^\\top\" alt=\"Q_m Q_{m'}^\\top\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b2\/9b232f5a7dc11dd23dac7a7604b7fb8e.svg\" width=\"58\" height=\"21\" data-width=\"7.208\" data-height=\"2.589\" data-vertical-align=\"-0.729\" style=\"width: 7.208ex; height: 2.589ex; vertical-align: -0.729ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b2\/9b232f5a7dc11dd23dac7a7604b7fb8e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b2\/9b232f5a7dc11dd23dac7a7604b7fb8e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<h4>\u0421\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u043b\u044f JEPA \u0441 \u043e\u0442\u0431\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"(\\mathbb{E}[h] = 0, \\mathbb{E}[hh^\\top] = I_k\" alt=\"(\\mathbb{E}[h] = 0, \\mathbb{E}[hh^\\top] = I_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2af\/2af3a3884a4a851d3b0840eccc7b0c17.svg\" width=\"176\" height=\"21\" data-width=\"21.944\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 21.944ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2af\/2af3a3884a4a851d3b0840eccc7b0c17.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2af\/2af3a3884a4a851d3b0840eccc7b0c17.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e <strong>\u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u044e (Laplacian Eigenmaps)<\/strong> \u0433\u0440\u0430\u0444\u0430 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u043e\u043f\u043e\u0437\u0438\u0446\u0438\u044f 1 (Proposition 1):<\/strong> \u0415\u0441\u043b\u0438 \u0441\u043f\u0435\u043a\u0442\u0440 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043c\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u0444\u0430 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"K_\\pi = D^{-1\/2} \\Pi D^{-1\/2}\" alt=\"K_\\pi = D^{-1\/2} \\Pi D^{-1\/2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0a\/0aa\/0aa4f1a24bf2195340c2f7198d795319.svg\" width=\"153\" height=\"22\" data-width=\"19.145\" data-height=\"2.7\" data-vertical-align=\"-0.784\" style=\"width: 19.145ex; height: 2.7ex; vertical-align: -0.784ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0a\/0aa\/0aa4f1a24bf2195340c2f7198d795319.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0a\/0aa\/0aa4f1a24bf2195340c2f7198d795319.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u043c\u0435\u0435\u0442 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 (eigengap)<img decoding=\"async\" class=\"formula inline\" source=\" \\mu_k &gt; \\mu_{k+1}\" alt=\" \\mu_k &gt; \\mu_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/197\/19734b0f714e738d1c9c1d8e1ce482f6.svg\" width=\"79\" height=\"18\" data-width=\"9.833\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.833ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/197\/19734b0f714e738d1c9c1d8e1ce482f6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/197\/19734b0f714e738d1c9c1d8e1ce482f6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 2 (Kernel Mismatch Bound):<\/strong> \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u0435\u0433\u043a\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"\\pi_1 \\neq \\pi_2\" alt=\"\\pi_1 \\neq \\pi_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6e\/a6e35e253bef77e09644d933bd57fd7d.svg\" width=\"61\" height=\"18\" data-width=\"7.572\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.572ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6e\/a6e35e253bef77e09644d933bd57fd7d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a6\/a6e\/a6e35e253bef77e09644d933bd57fd7d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0438\u0445 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u0442\u044b\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e \u0441\u0432\u0435\u0440\u0445\u0443:<\/p>\n<\/li>\n<\/ul>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\min_{Q \\in O(k)} \\left( \\mathbb{E}_p \\| \\Phi_{\\pi_1}(z) - Q \\Phi_{\\pi_2}(z) \\|^2 \\right)^{1\/2} \\le \\frac{2\\sqrt{2}}{\\delta} \\min \\left( \\sqrt{k} \\| K_{\\pi_1} - K_{\\pi_2} \\|_2, \\| K_{\\pi_1} - K_{\\pi_2} \\|_F \\right)\" alt=\"\\min_{Q \\in O(k)} \\left( \\mathbb{E}_p \\| \\Phi_{\\pi_1}(z) - Q \\Phi_{\\pi_2}(z) \\|^2 \\right)^{1\/2} \\le \\frac{2\\sqrt{2}}{\\delta} \\min \\left( \\sqrt{k} \\| K_{\\pi_1} - K_{\\pi_2} \\|_2, \\| K_{\\pi_1} - K_{\\pi_2} \\|_F \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/75e\/75eee9ae6c9a6694e1b58750967e757b.svg\" width=\"643\" height=\"47\" data-width=\"80.315\" data-height=\"5.906\" data-vertical-align=\"-2.388\" style=\"width: 80.315ex; height: 5.906ex; vertical-align: -2.388ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/75e\/75eee9ae6c9a6694e1b58750967e757b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/75e\/75eee9ae6c9a6694e1b58750967e757b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<img decoding=\"async\" class=\"formula inline\" source=\" \\delta = \\mu_k - \\mu_{k+1} &gt; 0\" alt=\" \\delta = \\mu_k - \\mu_{k+1} &gt; 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/779\/7799350f3db6e34affbd89c625c41976.svg\" width=\"142\" height=\"18\" data-width=\"17.751\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 17.751ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/779\/7799350f3db6e34affbd89c625c41976.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/779\/7799350f3db6e34affbd89c625c41976.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u044b\u0432\u0430.<\/p>\n<h3>3. \u00ab\u0425\u043e\u0440\u043e\u0448\u0438\u0435\u00bb \u043f\u0440\u043e\u0442\u0438\u0432 \u00ab\u041f\u043b\u043e\u0445\u0438\u0445\u00bb \u0438 \u0446\u0435\u043d\u0430 \u0448\u0443\u043c\u0430 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/63\/07\/e0\/6307e04b50ca224a66b917926312ff41.png\" width=\"1376\" height=\"768\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/63\/07\/e0\/6307e04b50ca224a66b917926312ff41.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/63\/07\/e0\/6307e04b50ca224a66b917926312ff41.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0426\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0438\u043f\u043e\u0432 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u043f\u0440\u0438 \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u0438\u0432\u043d\u043e\u043c \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.<\/p>\n<h4>\ud83d\udfe2 \u0425\u043e\u0440\u043e\u0448\u0438\u0435 \u0432\u0438\u0434\u044b (Good Views)<\/h4>\n<p>\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f <strong>\u0434\u0432\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430<\/strong>:<\/p>\n<ul>\n<li>\n<p>\u0412 \u0442\u0435\u043a\u0441\u0442\u0435: \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u043a \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 (\u00ab\u0421\u043e\u0431\u0430\u043a\u0430 \u0431\u0435\u0436\u0438\u0442 \u043f\u043e \u043f\u043b\u044f\u0436\u0443\u00bb <img decoding=\"async\" class=\"formula inline\" source=\"\\leftrightarrow\" alt=\"\\leftrightarrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/194\/19401793ec61890d228748bce42da457.svg\" width=\"18\" height=\"18\" data-width=\"2.262\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.262ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/194\/19401793ec61890d228748bce42da457.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/194\/19401793ec61890d228748bce42da457.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u00ab\u0429\u0435\u043d\u043e\u043a \u0438\u0433\u0440\u0430\u0435\u0442 \u0443 \u043c\u043e\u0440\u044f\u00bb).<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0432\u0438\u0434\u0435\u043e: \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0434\u0440\u0430 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0438\u0434\u0435\u043e\u0440\u043e\u043b\u0438\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438: \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044f \u0441\u0446\u0435\u043d\u044b \u0438 \u0435\u0451 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u00ab\u043f\u043e\u043c\u0435\u0445\u0443\u00bb \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\nu\" alt=\"\\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4fd\/4fdefba26320686bb2bd0579a0df421c.svg\" width=\"12\" height=\"18\" data-width=\"1.199\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.199ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4fd\/4fdefba26320686bb2bd0579a0df421c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4fd\/4fdefba26320686bb2bd0579a0df421c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d, \u0440\u0430\u043a\u0443\u0440\u0441, \u043e\u0441\u0432\u0435\u0449\u0435\u043d\u0438\u0435). \u0412 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u0438\u0434\u0430\u0445 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u044b \u0438\u043c\u0435\u044e\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u043f\u043e\u043c\u0435\u0445\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\nu_1 \\perp \\nu_2\" alt=\"\\nu_1 \\perp \\nu_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c60\/c608332bd0ea8134d2bfdad5556f8035.svg\" width=\"58\" height=\"18\" data-width=\"7.228\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.228ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c60\/c608332bd0ea8134d2bfdad5556f8035.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c60\/c608332bd0ea8134d2bfdad5556f8035.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u0430 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u0448\u0443\u043c \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0438\u0440\u0430 z.<\/p>\n<h4>\ud83d\udd34 \u041f\u043b\u043e\u0445\u0438\u0435 \u0432\u0438\u0434\u044b (Bad Views)<\/h4>\n<p>\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f <strong>\u0434\u0432\u0430 \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f<\/strong>:<\/p>\n<ul>\n<li>\n<p>\u0412 \u0442\u0435\u043a\u0441\u0442\u0435: \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f (\u00ab\u0421\u043e\u0431\u0430\u043a\u0430 [MASK] \u043f\u043e \u043f\u043b\u044f\u0436\u0443\u00bb <img decoding=\"async\" class=\"formula inline\" source=\"\\leftrightarrow\" alt=\"\\leftrightarrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/194\/19401793ec61890d228748bce42da457.svg\" width=\"18\" height=\"18\" data-width=\"2.262\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.262ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/194\/19401793ec61890d228748bce42da457.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/194\/19401793ec61890d228748bce42da457.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u00ab[MASK] \u0431\u0435\u0436\u0438\u0442 \u043f\u043e [MASK]\u00bb).<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u043c \u0437\u0440\u0435\u043d\u0438\u0438: \u0434\u0432\u0430 \u043e\u0431\u0440\u0435\u0437\u043a\u0430 (crop) \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043d\u0438\u043c\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 LLM: \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0435\u0433\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 3 (Nuisance Costs Alignment)<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0438 \u043e\u0442\u0431\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432 f_1, f_2 \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0441\u043d\u0438\u0437\u0443 \u0434\u043e\u043b\u0435\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u043c\u043e\u0439 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u0441\u0446\u0435\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"\\rho(f) = \\text{tr}(C_f^{1\/2})\/k\" alt=\"\\rho(f) = \\text{tr}(C_f^{1\/2})\/k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dd\/dd8\/dd80503e9e81d5384702a565fc91d7a5.svg\" width=\"140\" height=\"28\" data-width=\"17.454\" data-height=\"3.463\" data-vertical-align=\"-1.166\" style=\"width: 17.454ex; height: 3.463ex; vertical-align: -1.166ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dd\/dd8\/dd80503e9e81d5384702a565fc91d7a5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dd\/dd8\/dd80503e9e81d5384702a565fc91d7a5.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\min_{Q \\in O(k)} \\mathbb{E} \\| Q f_1(x_1) - f_2(x_2) \\|^2 \\ge 2k \\left( 1 - \\min_m \\rho(f_m) \\right)\" alt=\"\\min_{Q \\in O(k)} \\mathbb{E} \\| Q f_1(x_1) - f_2(x_2) \\|^2 \\ge 2k \\left( 1 - \\min_m \\rho(f_m) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/cad\/cad9730cf41e5bae5912c4f3af5b0536.svg\" width=\"397\" height=\"38\" data-width=\"49.681\" data-height=\"4.805\" data-vertical-align=\"-1.837\" style=\"width: 49.681ex; height: 4.805ex; vertical-align: -1.837ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/cad\/cad9730cf41e5bae5912c4f3af5b0536.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/cad\/cad9730cf41e5bae5912c4f3af5b0536.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041b\u044e\u0431\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u043c \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043e\u043c\u0435\u0445\u0438 \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u0441\u0442\u0438\u043b\u044c \u0430\u0432\u0442\u043e\u0440\u0430, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438), \u0431\u0435\u0437\u0432\u043e\u0437\u0432\u0440\u0430\u0442\u043d\u043e \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438.<\/p>\n<pre><code>[ \u0425\u043e\u0440\u043e\u0448\u0438\u0435 \u0432\u0438\u0434\u044b (Good Views) ]\u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 X  \u2500\u2500\u2500&gt;  \u041f\u043e\u0434\u043f\u0438\u0441\u044c A (\"\u0421\u043e\u0431\u0430\u043a\u0430 \u043d\u0430 \u043f\u043b\u044f\u0436\u0435\")  \u2510               \u2500\u2500\u2500&gt;  \u041f\u043e\u0434\u043f\u0438\u0441\u044c B (\"\u0429\u0435\u043d\u043e\u043a \u0443 \u043c\u043e\u0440\u044f\")    \u2534\u2500\u2500&gt; \u0418\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442 \u0448\u0443\u043c \u03bd, \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442 \u044f\u0434\u0440\u043e \u043c\u0438\u0440\u0430 z (\u03c1 = 1)[ \u041f\u043b\u043e\u0445\u0438\u0435 \u0432\u0438\u0434\u044b (Bad Views \/ NTP) ]\u0422\u0435\u043a\u0441\u0442 A  \u2500\u2500\u2500&gt;  \u041c\u0430\u0441\u043a\u0430 1 \/ \u041f\u0440\u0435\u0444\u0438\u043a\u0441      \u2510         \u2500\u2500\u2500&gt;  \u041c\u0430\u0441\u043a\u0430 2 \/ \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435  \u2534\u2500\u2500&gt; \u0422\u0440\u0430\u0442\u044f\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0442\u0438\u043b\u044c \u0438 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d \u03bd (\u03c1 &lt; 1)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<h4>\u041f\u0440\u043e\u043f\u043e\u0437\u0438\u0446\u0438\u044f 4: \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u2014 \u044d\u0442\u043e \u00ab\u043f\u043b\u043e\u0445\u043e\u0432\u0438\u0434\u043d\u0430\u044f\u00bb JEPA<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (Next-Token Prediction, NTP) \u0432 LLM \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u0430 JEPA \u0441 \u043d\u0435\u0433\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u043c \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043c \u0430\u043d\u0442\u0438-\u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0430 (log-partition softmax):<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"-\\log \\frac{e^{\\langle h(c), w_y \\rangle}}{\\sum_v e^{\\langle h(c), w_v \\rangle}} = \\underbrace{-\\langle h(c), w_y \\rangle}_{\\text{\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435}} + \\underbrace{\\log \\sum_v e^{\\langle h(c), w_v \\rangle}}_{\\text{\u0410\u043d\u0442\u0438-\u043a\u043e\u043b\u043b\u0430\u043f\u0441 } A(h)}\" alt=\"-\\log \\frac{e^{\\langle h(c), w_y \\rangle}}{\\sum_v e^{\\langle h(c), w_v \\rangle}} = \\underbrace{-\\langle h(c), w_y \\rangle}_{\\text{\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435}} + \\underbrace{\\log \\sum_v e^{\\langle h(c), w_v \\rangle}}_{\\text{\u0410\u043d\u0442\u0438-\u043a\u043e\u043b\u043b\u0430\u043f\u0441 } A(h)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d2\/3d257da531cdac529abcfa5f8a62f9be.svg\" width=\"399\" height=\"78\" data-width=\"49.907\" data-height=\"9.777\" data-vertical-align=\"-4.323\" style=\"width: 49.907ex; height: 9.777ex; vertical-align: -4.323ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d2\/3d257da531cdac529abcfa5f8a62f9be.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3d2\/3d257da531cdac529abcfa5f8a62f9be.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0438 \u0432 NTP \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 c \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d y, \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0438\u0435 <strong>\u043e\u0434\u043d\u043e\u043c\u0443 \u0438 \u0442\u043e\u043c\u0443 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443<\/strong>. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u0441\u0442\u0438\u043b\u044c \u0438 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d. \u0421\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u043d\u0435 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0432\u0438\u0434\u043e\u0432, \u0430 \u043b\u0438\u0448\u044c \u043e\u043f\u043e\u0441\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u043e \u2014 \u0447\u0435\u0440\u0435\u0437 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u0445 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0439, \u0447\u0442\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h3>4. 109M \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0442\u0438\u0432 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 LLM<\/h3>\n<p>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u0431\u044b\u043b\u0438 \u043f\u043e\u0434\u0432\u0435\u0440\u0433\u043d\u0443\u0442\u044b \u0436\u0435\u0441\u0442\u043a\u043e\u0439 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438 \u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043e\u0442 145 \u0442\u044b\u0441\u044f\u0447 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439 Flickr30k \u0434\u043e 940 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0432\u0435\u0431-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 (Recap-DataComp).<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/a3\/85\/bd\/a385bda77a806aa529620f85e6cf0839.png\" width=\"1376\" height=\"768\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/a3\/85\/bd\/a385bda77a806aa529620f85e6cf0839.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/a3\/85\/bd\/a385bda77a806aa529620f85e6cf0839.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>\u0420\u0435\u043a\u043e\u0440\u0434\u043d\u0430\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0435 (Sample Efficiency)<\/h4>\n<p>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a <strong>Good-View Text JEPA<\/strong> \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044e \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432 <strong>42 \u0440\u0430\u0437\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432<\/strong> \u0438 \u0432 <strong>14 \u0440\u0430\u0437 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/strong>, \u0447\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435.<\/p>\n<h4>\u0420\u0430\u0437\u0433\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 72B \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f<\/h4>\n<p>\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a <strong>Text JEPA \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b BERT-B \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u0432\u0441\u0435\u0433\u043e 109 \u043c\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/strong>, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 940 \u043c\u043b\u043d \u0432\u0435\u0431-\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0431\u044b\u043b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 WIT-1024 \u0432 \u043f\u0430\u0440\u0435 \u0441 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u043c \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u043c DINOv2 ViT-B.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \/ \u041e\u0431\u0440\u0430\u0437\u0446\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">WIT-1024 Mutual 10-NN (<img decoding=\"async\" class=\"formula inline\" source=\"\\uparrow\" alt=\"\\uparrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg\" width=\"12\" height=\"18\" data-width=\"1.131\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.131ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>)<\/p>\n<\/td>\n<td>\n<p align=\"left\">WIT-1024 Unbiased CKA (<img decoding=\"async\" class=\"formula inline\" source=\"\\uparrow\" alt=\"\\uparrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg\" width=\"12\" height=\"18\" data-width=\"1.131\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.131ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>)<\/p>\n<\/td>\n<td>\n<p align=\"left\">Flickr30k R@1 (<img decoding=\"async\" class=\"formula inline\" source=\"\\uparrow\" alt=\"\\uparrow\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg\" width=\"12\" height=\"18\" data-width=\"1.131\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.131ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/655\/65532efbf8fbd662e6ab99f1bfb0bbf7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Good-View Text JEPA (BERT-B)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>109M<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>116B \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (900M \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>.184<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>.507<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>.478<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5-72B<\/p>\n<\/td>\n<td>\n<p align=\"left\">72,000M<\/p>\n<\/td>\n<td>\n<p align=\"left\">18,000B \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">.154<\/p>\n<\/td>\n<td>\n<p align=\"left\">.418<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Llama-3-70B<\/p>\n<\/td>\n<td>\n<p align=\"left\">70,000M<\/p>\n<\/td>\n<td>\n<p align=\"left\">15,000B \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">.151<\/p>\n<\/td>\n<td>\n<p align=\"left\">.380<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5-7B<\/p>\n<\/td>\n<td>\n<p align=\"left\">7,000M<\/p>\n<\/td>\n<td>\n<p align=\"left\">18,000B \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">.118<\/p>\n<\/td>\n<td>\n<p align=\"left\">.353<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">CLIP Text Encoder<\/p>\n<\/td>\n<td>\n<p align=\"left\">123M<\/p>\n<\/td>\n<td>\n<p align=\"left\">400M \u043f\u0430\u0440 (Image-Text)<\/p>\n<\/td>\n<td>\n<p align=\"left\">.124<\/p>\n<\/td>\n<td>\n<p align=\"left\">.339<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>.489<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">all-mpnet-base-v2<\/p>\n<\/td>\n<td>\n<p align=\"left\">110M<\/p>\n<\/td>\n<td>\n<p align=\"left\">1B \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439 (Supervised)<\/p>\n<\/td>\n<td>\n<p align=\"left\">.118<\/p>\n<\/td>\n<td>\n<p align=\"left\">.390<\/p>\n<\/td>\n<td>\n<p align=\"left\">.481<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Bad-View Text JEPA (BERT-B)<\/p>\n<\/td>\n<td>\n<p align=\"left\">109M<\/p>\n<\/td>\n<td>\n<p align=\"left\">900M \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432 (Masked)<\/p>\n<\/td>\n<td>\n<p align=\"left\">.088<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">.318<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Next-Token Prediction (BERT-B)<\/p>\n<\/td>\n<td>\n<p align=\"left\">109M<\/p>\n<\/td>\n<td>\n<p align=\"left\">900M \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432 (Causal)<\/p>\n<\/td>\n<td>\n<p align=\"left\">.111<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">.335<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 109M \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u044f\u0449\u0430\u044f Qwen2.5-72B \u0438 Llama-3-70B \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c <strong>\u0432 660 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u043e \u0447\u0438\u0441\u043b\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/strong> \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 <strong>\u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 100 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430<\/strong>.<\/p>\n<h4>\u0417\u0430\u043a\u043e\u043d \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f (Scaling Law)<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0432\u044b\u0432\u0435\u043b\u0438 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u0430\u043a\u043e\u043d \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f R@1 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0434\u043e\u043b\u0438 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u0438\u0434\u043e\u0432\u00bb q, \u0447\u0438\u0441\u043b\u0430 \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432 M \u0438 \u043e\u0431\u044a\u0435\u043c\u0430 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 N:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"R@1 = a + d \\log M + b \\log \\left( 1 + \\frac{q M^\\alpha N^\\beta}{c^\\gamma} \\right)\" alt=\"R@1 = a + d \\log M + b \\log \\left( 1 + \\frac{q M^\\alpha N^\\beta}{c^\\gamma} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7c\/d7c15ee4e119b362210e7097be296866.svg\" width=\"339\" height=\"45\" data-width=\"42.37\" data-height=\"5.627\" data-vertical-align=\"-2.248\" style=\"width: 42.37ex; height: 5.627ex; vertical-align: -2.248ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7c\/d7c15ee4e119b362210e7097be296866.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7c\/d7c15ee4e119b362210e7097be296866.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0441\u043c\u043e\u0433\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b 85 \u043d\u043e\u0432\u044b\u0445 \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0443\u0440\u043e\u0432\u043d\u044f \u0448\u0443\u043c\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 (RMSE .0093 \u043f\u0440\u043e\u0442\u0438\u0432 .0096).<\/p>\n<h4>\u0418\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u044b<\/h4>\n<ul>\n<li>\n<p><strong>\u041e\u0431\u0440\u0435\u0437\u043a\u0430\/\u041a\u0430\u0434\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (Trimming):<\/strong> \u0412\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430 (50\u2013100% \u0434\u043b\u044f \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432, 15\u201350% \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u043c \u0443\u0441\u043f\u0435\u0445\u0430. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0446\u0435\u043b\u044b\u0445 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u0445 \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0430 25%, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0431\u0440\u0435\u0437\u043a\u0430 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043a\u043b\u0438\u043f\u043f\u0438\u043d\u0433 (Gradient Clipping):<\/strong> \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u0430\u043f\u0441\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 SIGReg-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<h3>5. \u041a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0431\u0435\u0437 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"Q \\in O(k)\" alt=\"Q \\in O(k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ac\/aca\/acaa9c68cb3d43c491f5b962e92b00fe.svg\" width=\"74\" height=\"18\" data-width=\"9.221\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.221ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ac\/aca\/acaa9c68cb3d43c491f5b962e92b00fe.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ac\/aca\/acaa9c68cb3d43c491f5b962e92b00fe.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0431\u0435\u0437 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439.<\/p>\n<h4>1. \u0413\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439 \u043a \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c (Image Captioning) \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u0430\u0440\u0430\u0445<\/h4>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439 \u043a \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c <strong>\u043d\u0438 \u043e\u0434\u043d\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043f\u0430\u0440\u0430\u0445 \u00ab\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435-\u0442\u0435\u043a\u0441\u0442\u00bb<\/strong>:<\/p>\n<ol>\n<li>\n<p>\u0422\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 (Qwen2.5-1.5B) \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438\u0437 \u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 text-JEPA.<\/p>\n<\/li>\n<li>\n<p>\u0423\u0440\u043e\u0432\u0435\u043d\u044c \u0448\u0443\u043c\u0430 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f:<img decoding=\"async\" class=\"formula inline\" source=\" \\sigma = (c^{-2} - 1)^{1\/2} \\approx 3.0\" alt=\" \\sigma = (c^{-2} - 1)^{1\/2} \\approx 3.0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7c\/7ca\/7ca1349ff2d1fc8910500347fb37cea1.svg\" width=\"173\" height=\"22\" data-width=\"21.674\" data-height=\"2.7\" data-vertical-align=\"-0.784\" style=\"width: 21.674ex; height: 2.7ex; vertical-align: -0.784ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7c\/7ca\/7ca1349ff2d1fc8910500347fb37cea1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7c\/7ca\/7ca1349ff2d1fc8910500347fb37cea1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a (DINOv2 \/ DINOv3) \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u043b\u0438\u0441\u044c <strong>\u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f<\/strong>, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0447\u0435\u0440\u0435\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u041f\u0440\u043e\u043a\u0440\u0443\u0441\u0442\u0430 (Orthogonal Procrustes).<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 COCO \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f <strong>CIDEr 0.838<\/strong>, \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0434\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043e\u0431\u0443\u0447\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u043d\u0430 \u0441\u043e\u0442\u043d\u044f\u0445 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043f\u0430\u0440.<\/p>\n<h4>2. \u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0431\u0435\u0441\u043f\u0430\u0440\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u0435 (Pair-Free Alignment)<\/h4>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u044e \u043e\u0431\u043b\u0430\u043a\u043e\u0432 \u0442\u043e\u0447\u0435\u043a \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u0440\u0442 (\u043c\u0435\u0442\u043e\u0434 Schnaus et al.), \u0430\u0432\u0442\u043e\u0440\u044b \u043d\u0430\u0448\u043b\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430\u043c\u0438 <strong>\u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437 \u043f\u0430\u0440\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong>.<\/p>\n<p>Text JEPA 109M \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c <strong>64.4% top-5 \u043d\u0430 ImageNet-100<\/strong>, \u043e\u043f\u0435\u0440\u0435\u0434\u0438\u0432 \u0432\u0441\u0435 21 \u043f\u0430\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b Schnaus et al. (\u0433\u0434\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b 56%), \u0438 \u043f\u0440\u0435\u0432\u0437\u043e\u0448\u043b\u0430 \u044f\u0437\u044b\u043a\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c Qwen3-8B \u043d\u0430 17 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u044b\u0445 \u043f\u0443\u043d\u043a\u0442\u043e\u0432 \u043f\u0440\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445.<\/p>\n<h3>6. \u0411\u0443\u0434\u0443\u0449\u0435\u0435 \u0418\u0418: \u041c\u043e\u0434\u0435\u043b\u0438 \u041c\u0438\u0440\u0430, \u0440\u043e\u0431\u043e\u0442\u043e\u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e \u0438 \u041b\u0435\u041a\u0443\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u0434\u0430\u043b\u0435\u043a\u043e \u0437\u0430 \u0440\u0430\u043c\u043a\u0438 \u0441\u0443\u0445\u043e\u0439 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0442\u0435\u043e\u0440\u0438\u0438. \u041e\u043d\u0438 \u0437\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0441\u043c\u0435\u043d\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0439 \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u044b \u0432\u0441\u0435\u0439 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438 \u0418\u0418.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/e4\/43\/99\/e44399cfef6feefc792182637fa233ea.png\" width=\"1376\" height=\"768\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/e4\/43\/99\/e44399cfef6feefc792182637fa233ea.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/e4\/43\/99\/e44399cfef6feefc792182637fa233ea.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>\u041c\u043e\u0434\u0435\u043b\u0438 \u041c\u0438\u0440\u0430 (World Models) vs \u0413\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h4>\n<p>\u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0418\u0418 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u043f\u0438\u043a\u0441\u0435\u043b\u0438 \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u044b \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043c\u0435\u043b\u043a\u0438\u043c\u0438 \u0434\u0435\u0442\u0430\u043b\u044f\u043c\u0438. \u041b\u0435\u041a\u0443\u043d \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0449\u0435\u0439\u0441\u044f \u043a\u0430\u043c\u0435\u0440\u044b \u0432 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u0438: \u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043b\u0438\u0446\u0430 \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u0435\u0439 \u0438\u043b\u0438 \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u0443\u0441\u0442\u044b\u0445 \u0441\u0442\u0443\u043b\u044c\u0435\u0432. \u041f\u043e\u043f\u044b\u0442\u043a\u0430 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u0435\u0442\u044c \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 \u0448\u0443\u043c \u00ab\u0443\u0431\u0438\u0432\u0430\u0435\u0442\u00bb \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>JEPA \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 \u0448\u0443\u043c \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0432 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043c\u0438\u0440\u0430.<\/p>\n<h4>\u0412\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u0440\u043e\u0431\u043e\u0442\u043e\u0442\u0435\u0445\u043d\u0438\u043a\u0443 \u0438 \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b<\/h4>\n<ul>\n<li>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u0439 \u043a\u043e\u0448\u043a\u043e\u0439:<\/strong> \u041c\u043e\u0437\u0433 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043a\u043e\u0448\u043a\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435\u0433\u043e \u043e\u043a\u043e\u043b\u043e 2.8 \u043c\u043b\u0440\u0434 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u043d\u043e \u043e\u043d\u0430 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0444\u0438\u0437\u0438\u043a\u0438, \u0442\u0440\u0435\u0445\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0435 \u043c\u043e\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043d\u044f\u0442\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u043e\u0432:<\/strong> \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 Good-View JEPA \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432 42 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 100M\u20131B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0432\u044b\u0441\u043e\u043a\u043e\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u041c\u043e\u0434\u0435\u043b\u0438 \u041c\u0438\u0440\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430\u0445 \u2014 \u0432 \u0440\u043e\u0431\u043e\u0442\u0430\u0445-\u043f\u044b\u043b\u0435\u0441\u043e\u0441\u0430\u0445, \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u044b\u0445 \u0434\u0440\u043e\u043d\u0430\u0445, \u0441\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u0430\u0445 \u0438 AR-\u043e\u0447\u043a\u0430\u0445 \u0431\u0435\u0437 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u043e\u0431\u043b\u0430\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u00ab\u0421\u0442\u0435\u043d\u044b \u0434\u0430\u043d\u043d\u044b\u0445\u00bb:<\/strong> \u0418\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f \u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043b\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u043e\u0435 \u0432\u0438\u0434\u0435\u043e \u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0435\u043d\u0441\u043e\u0440\u043e\u0432 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e. JEPA \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0443\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u0435\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0422\u0440\u0435\u0437\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438<\/h4>\n<p>\u0412\u0430\u0436\u043d\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043b\u043e\u0436\u043d\u044b\u0445 \u0442\u0440\u0430\u043a\u0442\u043e\u0432\u043e\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<ol>\n<li>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c 109M \u2014 \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0447\u0430\u0442-\u0431\u043e\u0442:<\/strong> \u041e\u043d\u0430 \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0434\u0438\u0430\u043b\u043e\u0433, \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e \u0432\u044b\u0441\u0448\u0435\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0438\u043b\u0438 \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434 \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c 72B LLM. \u041e\u043d\u0430 \u043f\u0440\u0435\u0432\u0437\u043e\u0448\u043b\u0430 \u0438\u0445 <strong>\u0441\u0442\u0440\u043e\u0433\u043e \u0432 \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435<\/strong> \u2014 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u0438\u0434\u043e\u0432\u00bb:<\/strong> \u0412 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0432\u0438\u0434\u044b \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043b\u0438\u0431\u043e \u0438\u0437 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439 (Flickr\/COCO), \u043b\u0438\u0431\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f (LLaVA recaptions). \u0414\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0447\u0438\u0441\u0442\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u0438\u0434\u043e\u0432\u00bb \u0432 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445 \u0432\u0435\u0431-\u0432\u0438\u0434\u0435\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0435 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u0432\u0438\u0434\u0435\u043e-JEPA.<\/p>\n<\/li>\n<\/ol>\n<h4>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h4>\n<p>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u042f\u043d\u0430 \u041b\u0435\u041a\u0443\u043d\u0430 \u0438 \u0420\u044d\u043d\u0434\u0435\u043b\u043b\u0430 \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u043e \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0441\u0442\u0440\u043e\u0433\u0443\u044e \u0442\u0435\u043e\u0440\u0435\u043c\u0443. \u041e\u043d\u043e \u0434\u043e\u043a\u0430\u0437\u0430\u043b\u043e, \u0447\u0442\u043e \u043a\u043b\u044e\u0447\u043e\u043c \u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e \u0435\u0434\u0438\u043d\u043e\u0439, \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u043b\u0435\u043f\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u043e\u0432, \u0430 <strong>\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 (Good Views)<\/strong>. \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0435\u0439 \u0442\u0435\u043a\u0441\u0442\u0430 \u043a \u041c\u043e\u0434\u0435\u043b\u044f\u043c \u041c\u0438\u0440\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 JEPA \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0430\u0447\u0430\u043b\u043e \u043d\u043e\u0432\u043e\u0439 \u044d\u0440\u044b \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0430\u0432\u0442\u043e\u043d\u043e\u043c\u043d\u043e\u0433\u043e \u0438 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1105086\/\">https:\/\/habr.com\/ru\/articles\/1105086\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412\u0430\u0436\u043d\u044b\u0439 \u0434\u0438\u0441\u043a\u043b\u0435\u0439\u043c\u0435\u0440: \u044d\u0442\u043e \u0430\u0434\u0430\u043f\u0442\u0430\u0446\u0438\u044f \u043d\u0435\u0434\u0430\u0432\u043d\u0435\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0420\u044d\u043d\u0434\u0435\u043b\u043b\u0430 \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e \u0438 \u042f\u043d\u0430 \u041b\u0435\u041a\u0443\u043d\u0430 \u00abProving and Improving the Platonic Representation Hypothesis with JEPAs\u00bb. \u041e\u043d\u043e \u043d\u0430\u0434\u0435\u043b\u0430\u043b\u043e \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u0430, \u0447\u0442\u043e \u042f\u043d \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c *** \u0444\u043e\u043b\u043b\u043e\u0443-\u0430\u043f\u043e\u043c \u0441\u0434\u0435\u043b\u0430\u043b \u043f\u043e\u0441\u0442 \u0441\u043e \u0441\u0441\u044b\u043b\u043a\u043e\u0439 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e, \u043f\u043e\u044f\u0441\u043d\u044f\u044e\u0449\u0435\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b. \u042f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0430\u0441\u044c \u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043e\u043f\u043e\u0440\u043e\u0439 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.\u2757\ufe0f \u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u043a \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Gemini Notebook\u0418\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u044f \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432 \u043f\u043b\u0435\u043d\u0443 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u043d\u043e\u043a\u0443\u043b\u044c\u0442\u0443\u0440\u044b. \u0412\u0435\u0434\u0443\u0449\u0438\u0435 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u044b \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0440\u0443\u044e\u0442 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0432 \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u043e\u0432, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u044f \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (LLM) \u0434\u043e \u0441\u043e\u0442\u0435\u043d \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u044f \u0438\u043c \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0440\u0435\u0448\u0435\u043d\u043d\u043e\u0439: \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442\u0441\u043a\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u044b, \u043d\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0431\u0435\u0441\u043f\u043e\u043c\u043e\u0449\u043d\u044b\u043c\u0438 \u043f\u0440\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u043e\u0431\u043e\u0442\u043e\u043c \u0438\u043b\u0438 \u0432\u0435\u0441\u0442\u0438 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0431\u0435\u0437 \u0443\u0445\u0438\u0449\u0440\u0435\u043d\u0438\u0439.\u041d\u043e\u0432\u043e\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0420\u044d\u043d\u0434\u0435\u043b\u043b\u0430 \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e (Brown University) \u0438 \u042f\u043d\u0430 \u041b\u0435\u041a\u0443\u043d\u0430 (AMI Labs \/ NYU) \u00abProving and Improving the Platonic Representation Hypothesis with JEPAs\u00bb, \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u043d\u043e\u0435 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u041b\u0435\u041a\u0443\u043d\u0430 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u043c \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u0430 AMI Labs ($1.03B \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u0439), \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442: \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 (AGI) \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u2014 \u044d\u0442\u043e \u0442\u0443\u043f\u0438\u043a\u043e\u0432\u044b\u0439 \u043f\u0443\u0442\u044c. \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0438 \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f (Platonic Representation Hypothesis) \u0432 \u0441\u0442\u0440\u043e\u0433\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0442\u0435\u043e\u0440\u0435\u043c\u0443 \u0438 \u0434\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 Joint-Embedding Predictive Architecture (JEPA) \u0441 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438 \u0432\u0438\u0434\u0430\u043c\u0438\u00bb \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0432 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0438\u0445 LLM.1. \u041a\u0440\u0438\u0437\u0438\u0441 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\u0414\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u0430 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0418\u0418 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435 \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430. \u042f\u043d \u041b\u0435\u041a\u0443\u043d, \u043b\u0430\u0443\u0440\u0435\u0430\u0442 \u043f\u0440\u0435\u043c\u0438\u0438 \u0422\u044c\u044e\u0440\u0438\u043d\u0433\u0430 \u0438 \u043e\u0434\u0438\u043d \u0438\u0437 \u043e\u0442\u0446\u043e\u0432-\u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u0432\u0435\u0440\u0433\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434, \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u044f \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043f\u0435\u0440\u0438\u043e\u0434 \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u041a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u044b \u043a\u0430\u043a \u00abLLM-\u043e\u0441\u043b\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u00bb (LLM-pilled monoculture).\u00ab\u0412\u0441\u0435 \u0432 \u041a\u0440\u0435\u043c\u043d\u0438\u0435\u0432\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430\u0434 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435, \u043a\u043e\u043f\u0430\u044e\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0442\u0440\u0430\u043d\u0448\u0435\u044e. \u041e\u043d\u0438 \u043f\u0435\u0440\u0435\u043c\u0430\u043d\u0438\u0432\u0430\u044e\u0442 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0434\u0440\u0443\u0433 \u0443 \u0434\u0440\u0443\u0433\u0430 \u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0438\u043d\u043e\u0435, \u043e\u043f\u0430\u0441\u0430\u044f\u0441\u044c \u043e\u0442\u0441\u0442\u0430\u0442\u044c \u0432 \u0433\u043e\u043d\u043a\u0435. \u041d\u043e \u0438\u0434\u0435\u044f \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u0442\u0440\u0430\u043d\u0430-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442 \u0432 \u0434\u0430\u0442\u0430-\u0446\u0435\u043d\u0442\u0440\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430 \u0441\u0447\u0435\u0442 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 \u044d\u0442\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u0437\u0430\u0431\u043b\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u00bb. \u2014 \u042f\u043d \u041b\u0435\u041a\u0443\u043d, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c AMI Labs\u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0435\u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0441 \u043c\u043e\u043d\u043e\u043a\u0443\u043b\u044c\u0442\u0443\u0440\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0431\u0443\u0434\u0438\u043b\u043e \u041b\u0435\u041a\u0443\u043d\u0430 \u043f\u043e\u043a\u0438\u043d\u0443\u0442\u044c \u043f\u043e\u0441\u0442 \u0433\u043b\u0430\u0432\u043d\u043e\u0433\u043e \u043d\u0430\u0443\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0430 Meta \u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0438\u043d\u0441\u0442\u0438\u0442\u0443\u0442 AMI Labs (Advanced Machine Intelligence) \u0432 \u041f\u0430\u0440\u0438\u0436\u0435, \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u044f $1.03 \u043c\u043b\u0440\u0434 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0438\u043d\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442 Jeff Bezos, Nvidia, Samsung \u0438 Toyota.\u00ab\u0420\u0430\u0441\u0447\u0435\u0442 4-\u043b\u0435\u0442\u043d\u0435\u0433\u043e \u0440\u0435\u0431\u0435\u043d\u043a\u0430\u00bb\u0424\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0438\u0439 \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u0435\u0436\u0434\u0443 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u043c, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c \u041b\u0435\u041a\u0443\u043d\u043e\u043c:\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u0438 LLM: \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u0430\u044f \u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Llama-3 \u0438\u043b\u0438 Qwen2.5) \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043e\u0431\u044a\u0435\u043c\u043e\u043c \u043e\u0442 20 \u0434\u043e 30 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u0440\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 3 \u0431\u0430\u0439\u0442\u0430 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043a\u043e\u043b\u043e  \u0431\u0430\u0439\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0427\u0435\u043b\u043e\u0432\u0435\u043a\u0443 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0431\u044b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u0442\u044b\u0441\u044f\u0447 \u043b\u0435\u0442 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043e\u0441\u0432\u043e\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043e\u0431\u044a\u0435\u043c.\u041c\u0430\u0441\u0448\u0442\u0430\u0431 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f \u0440\u0435\u0431\u0435\u043d\u043a\u0430: 4-\u043b\u0435\u0442\u043d\u0438\u0439 \u0440\u0435\u0431\u0435\u043d\u043e\u043a \u0437\u0430 \u043f\u0435\u0440\u0432\u044b\u0435 16 000 \u0447\u0430\u0441\u043e\u0432 \u0431\u043e\u0434\u0440\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 \u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043d\u0435\u0440\u0432 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 2 \u041c\u0411\/\u0441 \u043e\u0431\u044a\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0440\u0430\u0432\u043d\u044b\u0439 \u0442\u0435 \u0436\u0435 \u0431\u0430\u0439\u0442.\u041e\u0434\u043d\u0430\u043a\u043e \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u044d\u0442\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0417\u0430 4 \u0433\u043e\u0434\u0430 \u0440\u0435\u0431\u0435\u043d\u043e\u043a \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0438\u0440\u0430: \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432, \u0437\u0430\u043a\u043e\u043d\u044b \u0433\u0440\u0430\u0432\u0438\u0442\u0430\u0446\u0438\u0438, \u0438\u043d\u0435\u0440\u0446\u0438\u044e, \u0445\u0440\u0443\u043f\u043a\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432 \u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438 \u2014 \u043d\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0432 \u043d\u0438 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430. \u0412 \u0442\u043e \u0436\u0435 \u0432\u0440\u0435\u043c\u044f LLM, \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0432\u0448\u0430\u044f \u0432\u0435\u0441\u044c \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442, \u043b\u0438\u0448\u0435\u043d\u0430 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u043a\u0438 \u0438 \u00ab\u0433\u0438\u0431\u043d\u0435\u0442\u00bb \u043f\u0440\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 LLM (Next-Token Prediction)\u0417\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u044b\u0442 \u0440\u0435\u0431\u0435\u043d\u043a\u0430\u041e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u0430\u0439\u0442 (20\u201330 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0431\u0430\u0439\u0442 (16 000 \u0447\u0430\u0441\u043e\u0432 \u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430)\u0421\u0443\u0431\u0441\u0442\u0440\u0430\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439, \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u0439 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0442\u043e\u043a\u0423\u0441\u0432\u0430\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f\u0424\u0430\u043a\u0442\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438, \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d, \u0441\u0442\u0438\u043b\u0438\u0441\u0442\u0438\u043a\u0430\u0424\u0438\u0437\u0438\u043a\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e\u0441\u0442\u044c, \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u0430\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c AGI\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u00ab\u0441\u0442\u0435\u043d\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb (Text Wall)\u0412\u044b\u0441\u043e\u043a\u0430\u044f: \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u042f\u0437\u044b\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0443\u0431\u0441\u0442\u0440\u0430\u0442\u043e\u043c \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445, \u0433\u0434\u0435 \u0441\u0430\u043c \u044f\u0437\u044b\u043a \u0437\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 (\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430, \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430). \u041e\u0434\u043d\u0430\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u0440 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u0435\u043d, \u043d\u0435\u0437\u0430\u0448\u0443\u043c\u043b\u0435\u043d \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438 \u043d\u0435\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c \u0432 \u043c\u0435\u043b\u043a\u0438\u0445 \u0434\u0435\u0442\u0430\u043b\u044f\u0445, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u043c.2. \u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415! \u0414\u0430\u043b\u044c\u0448\u0435 \u043c\u043e\u0437\u0433\u043e\u0432\u044b\u043d\u043e\u0441\u043d\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430\u0412 2024 \u0433\u043e\u0434\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437 MIT (Huh et al.) \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f (Platonic Representation Hypothesis, PRH). \u041e\u043d\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u043b\u0430, \u0447\u0442\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u0440\u043e\u0441\u0442\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 (\u0437\u0440\u0435\u043d\u0438\u0435, \u0442\u0435\u043a\u0441\u0442, \u0430\u0443\u0434\u0438\u043e) \u0441\u0431\u043b\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0432\u043e\u0438\u0445 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445, \u0441\u0445\u043e\u0434\u044f\u0441\u044c \u043a \u0435\u0434\u0438\u043d\u043e\u043c\u0443 \u00ab\u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u043c\u0443\u00bb \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u0434\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u0411\u0430\u043b\u0435\u0441\u0442\u0440\u0438\u0435\u0440\u043e \u0438 \u041b\u0435\u041a\u0443\u043d\u0430 PRH \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u043b\u0438\u0448\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435\u043c \u0431\u0435\u0437 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430 \u043a \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044e.\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u043b\u0438 \u0430\u0432\u0442\u043e\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432 (MAE), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u043b\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u044b\u0440\u043e\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432\u0445\u043e\u0434\u0430 (\u043f\u0438\u043a\u0441\u0435\u043b\u044c \u0438\u043b\u0438 \u0441\u043b\u043e\u0432\u043e), Joint-Embedding Predictive Architecture (JEPA) \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 (\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432).\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e JEPA \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 x \u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 , \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c:\u0433\u0434\u0435  \u2014 \u0438\u043d\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0438\u0440\u0430 z \u0432 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c  \u2014 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0430  \u2014 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0442 \u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0430 (anti-collapse mechanism: SIGReg, VICReg, \u043e\u0442\u0431\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430).\u0422\u0435\u043e\u0440\u0435\u043c\u0430 1 (Platonic Representation Theorem)\u041f\u0443\u0441\u0442\u044c  \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u044e\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043c\u0438\u0440\u0430 Z \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c  \u0447\u0435\u0440\u0435\u0437 \u0438\u043d\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f . \u0415\u0441\u043b\u0438 \u0432\u0441\u0435 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e JEPA \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440  (\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0438\u0440\u0430) \u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 \u043f\u043e\u0442\u0435\u0440\u044c \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0434\u0438\u043d\u043e\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0438\u0440\u0430  \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 m:\u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043b\u044e\u0431\u044b\u0445 \u0434\u0432\u0443\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439  \u0438  \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0435\u0434\u0438\u043d\u044b\u043c \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435\u043c .\u0421\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u043b\u044f JEPA \u0441 \u043e\u0442\u0431\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 ) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u044e (Laplacian Eigenmaps) \u0433\u0440\u0430\u0444\u0430 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440:\u041f\u0440\u043e\u043f\u043e\u0437\u0438\u0446\u0438\u044f 1 (Proposition 1): \u0415\u0441\u043b\u0438 \u0441\u043f\u0435\u043a\u0442\u0440 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0441\u043c\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0433\u0440\u0430\u0444\u0430 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440  \u0438\u043c\u0435\u0435\u0442 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 (eigengap), \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f.\u0422\u0435\u043e\u0440\u0435\u043c\u0430 2 (Kernel Mismatch Bound): \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u0435\u0433\u043a\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u0445 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440 , \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0438\u0445 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u0442\u044b\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e \u0441\u0432\u0435\u0440\u0445\u0443:\u0433\u0434\u0435 \u2014 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0440\u044b\u0432\u0430.3. \u00ab\u0425\u043e\u0440\u043e\u0448\u0438\u0435\u00bb \u043f\u0440\u043e\u0442\u0438\u0432 \u00ab\u041f\u043b\u043e\u0445\u0438\u0445\u00bb \u0438 \u0446\u0435\u043d\u0430 \u0448\u0443\u043c\u0430 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438\u0426\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u043c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0438\u043f\u043e\u0432 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u043f\u0440\u0438 \u043a\u043e\u043d\u0442\u0440\u0430\u0441\u0442\u0438\u0432\u043d\u043e\u043c \u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438.\ud83d\udfe2 \u0425\u043e\u0440\u043e\u0448\u0438\u0435 \u0432\u0438\u0434\u044b (Good Views)\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u0440\u0430:\u0412 \u0442\u0435\u043a\u0441\u0442\u0435: \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u043a \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0438 (\u00ab\u0421\u043e\u0431\u0430\u043a\u0430 \u0431\u0435\u0436\u0438\u0442 \u043f\u043e \u043f\u043b\u044f\u0436\u0443\u00bb  \u00ab\u0429\u0435\u043d\u043e\u043a \u0438\u0433\u0440\u0430\u0435\u0442 \u0443 \u043c\u043e\u0440\u044f\u00bb).\u0412 \u0432\u0438\u0434\u0435\u043e: \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0434\u0440\u0430 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0432\u0438\u0434\u0435\u043e\u0440\u043e\u043b\u0438\u043a\u0430.\u0412 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438: \u0444\u043e\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u044f \u0441\u0446\u0435\u043d\u044b \u0438 \u0435\u0451 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435.\u041a\u0430\u0436\u0434\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u00ab\u043f\u043e\u043c\u0435\u0445\u0443\u00bb \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438  (\u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d, \u0440\u0430\u043a\u0443\u0440\u0441, \u043e\u0441\u0432\u0435\u0449\u0435\u043d\u0438\u0435). \u0412 \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0432\u0438\u0434\u0430\u0445 \u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u044b \u0438\u043c\u0435\u044e\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u043f\u043e\u043c\u0435\u0445\u0438 . \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u0430 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u044b\u0439 \u0448\u0443\u043c \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043c\u0438\u0440\u0430 z.\ud83d\udd34 \u041f\u043b\u043e\u0445\u0438\u0435 \u0432\u0438\u0434\u044b (Bad Views)\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0430\u0440\u043e\u0439 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u0438\u0441\u043a\u0430\u0436\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f:\u0412 \u0442\u0435\u043a\u0441\u0442\u0435: \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f (\u00ab\u0421\u043e\u0431\u0430\u043a\u0430 [MASK] \u043f\u043e \u043f\u043b\u044f\u0436\u0443\u00bb  \u00ab[MASK] \u0431\u0435\u0436\u0438\u0442 \u043f\u043e [MASK]\u00bb).\u0412 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u043c \u0437\u0440\u0435\u043d\u0438\u0438: \u0434\u0432\u0430 \u043e\u0431\u0440\u0435\u0437\u043a\u0430 (crop) \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u043d\u0438\u043c\u043a\u0430.\u0412 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 LLM: \u043f\u0440\u0435\u0444\u0438\u043a\u0441 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0435\u0433\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435.\u0422\u0435\u043e\u0440\u0435\u043c\u0430 3 (Nuisance Costs Alignment)\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0438 \u043e\u0442\u0431\u0435\u043b\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432 f_1, f_2 \u043e\u0448\u0438\u0431\u043a\u0430 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0441\u043d\u0438\u0437\u0443 \u0434\u043e\u043b\u0435\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u043c\u043e\u0439 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u0441\u0446\u0435\u043d\u044b :\u041b\u044e\u0431\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u043c \u043d\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043e\u043c\u0435\u0445\u0438 \u0441\u0432\u043e\u0435\u0439 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (\u0441\u0442\u0438\u043b\u044c \u0430\u0432\u0442\u043e\u0440\u0430, \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438), \u0431\u0435\u0437\u0432\u043e\u0437\u0432\u0440\u0430\u0442\u043d\u043e \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043c\u043e\u0434\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044f\u043c\u0438.[ \u0425\u043e\u0440\u043e\u0448\u0438\u0435 \u0432\u0438\u0434\u044b (Good Views) ]\u0418\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 X  \u2500\u2500\u2500&gt;  \u041f\u043e\u0434\u043f\u0438\u0441\u044c A (&#171;\u0421\u043e\u0431\u0430\u043a\u0430 \u043d\u0430 \u043f\u043b\u044f\u0436\u0435&#187;)  \u2510               \u2500\u2500\u2500&gt;  \u041f\u043e\u0434\u043f\u0438\u0441\u044c B (&#171;\u0429\u0435\u043d\u043e\u043a \u0443 \u043c\u043e\u0440\u044f&#187;)    \u2534\u2500\u2500&gt; \u0418\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u044e\u0442 \u0448\u0443\u043c \u03bd, \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442 \u044f\u0434\u0440\u043e \u043c\u0438\u0440\u0430 z (\u03c1 = 1)[ \u041f\u043b\u043e\u0445\u0438\u0435 \u0432\u0438\u0434\u044b (Bad Views \/ NTP) ]\u0422\u0435\u043a\u0441\u0442 A  \u2500\u2500\u2500&gt;  \u041c\u0430\u0441\u043a\u0430 1 \/ \u041f\u0440\u0435\u0444\u0438\u043a\u0441      \u2510         \u2500\u2500\u2500&gt;  \u041c\u0430\u0441\u043a\u0430 2 \/ \u041f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435  \u2534\u2500\u2500&gt; \u0422\u0440\u0430\u0442\u044f\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0442\u0438\u043b\u044c \u0438 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d \u03bd (\u03c1 &lt; 1)\u041f\u0440\u043e\u043f\u043e\u0437\u0438\u0446\u0438\u044f 4: \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u2014 \u044d\u0442\u043e \u00ab\u043f\u043b\u043e\u0445\u043e\u0432\u0438\u0434\u043d\u0430\u044f\u00bb JEPA\u0410\u0432\u0442\u043e\u0440\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 (Next-Token Prediction, NTP) \u0432 LLM \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u0430 JEPA \u0441 \u043d\u0435\u0433\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u043c \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043c \u0430\u043d\u0442\u0438-\u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0430 (log-partition softmax):\u041f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0438 \u0432 NTP \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 c \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d y, \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0438\u0435 \u043e\u0434\u043d\u043e\u043c\u0443 \u0438 \u0442\u043e\u043c\u0443 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0439 \u0441\u0442\u0438\u043b\u044c \u0438 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u043d. \u0421\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043f\u043b\u0430\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b \u043d\u0435 \u043f\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0432\u0438\u0434\u043e\u0432, \u0430 \u043b\u0438\u0448\u044c \u043e\u043f\u043e\u0441\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u043e \u2014 \u0447\u0435\u0440\u0435\u0437 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0446\u0435\u043f\u043e\u0447\u043a\u0438&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-502197","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/502197","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=502197"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/502197\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=502197"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=502197"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=502197"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}