{"id":454187,"date":"2025-04-01T16:59:26","date_gmt":"2025-04-01T16:59:26","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=454187"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=454187","title":{"rendered":"<span>50 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0430 \u0442\u0435\u043c\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0432\u0430\u043c \u0441\u0442\u0430\u0442\u044c \u0418\u0418-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u043c \u043e\u0442 \u0431\u043e\u0433\u0430<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a8c\/1ed\/596\/a8c1ed5967cc3b0cb83f05a76baeeada.png\" width=\"1333\" height=\"816\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a8c\/1ed\/596\/a8c1ed5967cc3b0cb83f05a76baeeada.png\"\/><\/figure>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0434\u0430\u0439\u0434\u0436\u0435\u0441\u0442\u0435 \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 50 \u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0418\u0418 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b. \u041f\u043e\u0434\u0431\u043e\u0440\u043a\u0430 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0434\u0435\u0441\u044f\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439: \u043e\u0442 \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433\u0430 \u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0434\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u0438 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043a\u0430\u043a \u0434\u043b\u044f \u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u0418\u0418-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0442\u044f\u0442 \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043d\u0430\u0432\u044b\u043a\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0430\u043a \u0438 \u0442\u0435\u043c, \u043a\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0432\u043e\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u0430\u0445 \u0442\u043e\u0447\u043a\u0438 \u0432\u0445\u043e\u0434\u0430 \u0432 \u0442\u0443 \u0438\u043b\u0438 \u0438\u043d\u0443\u044e \u0442\u0435\u043c\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p><a href=\"#%D0%9F%D0%B5%D1%80%D0%B5%D0%B4%D0%BE%D0%B2%D1%8B%D0%B5%20LLM\">\u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 LLM<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8%20%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D1%8B\">\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%9F%D1%80%D0%BE%D0%BC%D1%82%D0%B8%D0%BD%D0%B3,%20In-Context%20Learning%20%D0%B8%20Chain%20of%20Thought\">\u041f\u0440\u043e\u043c\u0442\u0438\u043d\u0433, In-Context Learning \u0438 Chain of Thought<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D1%81%20%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9%20%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%BE%D0%B9%20(RAG)\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D1%8B\">\u0410\u0433\u0435\u043d\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%BA%D0%BE%D0%B4%D0%B0\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B5%20%D0%B7%D1%80%D0%B5%D0%BD%D0%B8%D0%B5\">\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%BE%D0%BB%D0%BE%D1%81\">\u0413\u043e\u043b\u043e\u0441<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9%20%D0%B8%20%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0432\u0438\u0434\u0435\u043e<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A4%D0%B0%D0%B9%D0%BD%D1%82%D1%8E%D0%BD%D0%B8%D0%BD%D0%B3\">\u0424\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A1%20%D1%87%D0%B5%D0%B3%D0%BE%20%D0%BD%D0%B0%D1%87%D0%B0%D1%82%D1%8C\">\u0421 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"%D0%9F%D0%B5%D1%80%D0%B5%D0%B4%D0%BE%D0%B2%D1%8B%D0%B5%20LLM\" id=\"\u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 LLM\"><\/a><\/p>\n<h2>\u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 LLM<\/h2>\n<ol>\n<li>\n<p><strong>\u041d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/cdn.openai.com\/research-covers\/language-unsupervised\/language_understanding_paper.pdf\"><strong>GPT1<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/cdn.openai.com\/better-language-models\/language_models_are_unsupervised_multitask_learners.pdf\"><strong>GPT2<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2005.14165\"><strong>GPT3<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2107.03374\"><strong>Codex<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2203.02155\"><strong>InstructGPT<\/strong><\/a><strong> \u0438 <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2303.08774\"><strong>GPT4<\/strong><\/a> \u043e\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0438\u0437 OpenAI. \u0417\u0434\u0435\u0441\u044c \u0432\u0440\u044f\u0434 \u043b\u0438 \u043d\u0443\u0436\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u041f\u043e <a href=\"https:\/\/openai.com\/index\/chatgpt\/\">GPT3.5<\/a>, <a href=\"https:\/\/openai.com\/index\/hello-gpt-4o\/\">4o<\/a>, <a href=\"https:\/\/openai.com\/index\/introducing-openai-o1-preview\/\">o1<\/a> \u0438 <a href=\"https:\/\/openai.com\/index\/deliberative-alignment\/\">o3<\/a> \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u043b\u0430 \u0443\u0436\u0435 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/www-cdn.anthropic.com\/de8ba9b01c9ab7cbabf5c33b80b7bbc618857627\/Model_Card_Claude_3.pdf\"><strong>Claude 3<\/strong><\/a><strong> \u0438 <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2312.11805\"><strong>Gemini 1<\/strong><\/a>, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 OpenAI. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u044d\u0442\u043e <a href=\"https:\/\/www.latent.space\/p\/claude-sonnet\">Claude 3.5 Sonnet<\/a> \u0438 <a href=\"https:\/\/blog.google\/technology\/google-deepmind\/google-gemini-ai-update-december-2024\/#gemini-2-0-flash\">Gemini 2.0 Flash<\/a>\/<a href=\"https:\/\/ai.google.dev\/gemini-api\/docs\/thinking-mode\">Flash Thinking<\/a>. \u0422\u0430\u043a\u0436\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u043f\u043e <a href=\"https:\/\/arxiv.org\/abs\/2408.00118\">Gemma 2<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430\u0443\u0447\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2302.13971\"><strong>LLaMA 1<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2307.09288\"><strong>Llama 2<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2407.21783\"><strong>Llama 3<\/strong><\/a> \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0432 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f LLM, \u043c\u043e\u0436\u0435\u0442\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e <a href=\"https:\/\/arxiv.org\/abs\/2310.06825\">Mistral 7B<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2401.04088\">Mixtral<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2410.07073\">Pixtral<\/a>.\u00a0<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e DeepSeek <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.02954\"><strong>V1<\/strong><\/a>,<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.14196\"><strong>Coder<\/strong><\/a>,<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.06066\"><strong>MoE<\/strong><\/a>,<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2405.04434\"><strong>V2<\/strong><\/a>,<a href=\"https:\/\/github.com\/deepseek-ai\/DeepSeek-V3\"><strong> V3<\/strong><\/a>. \u041f\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u044f \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2407.21075\"><strong>Apple Intelligence<\/strong><\/a>. \u042d\u0442\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 Mac \u0438 iPhone.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 LLM \u0438 \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0438\u0445, \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u044a\u0435\u043c\u043d\u0430\u044f \u0442\u0435\u043c\u0430.<\/p>\n<ul>\n<li>\n<p>\u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u043c\u0438 \u043b\u043e\u0448\u0430\u0434\u043a\u0430\u043c\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 BERT: \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u0441\u0442\u043e\u0432 <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-modernbert-small-new-retrieverclassifier\/\">\u043e ModernBERT<\/a> \u0438 <a href=\"https:\/\/www.answer.ai\/posts\/colbert-pooling.html\">ColBERT<\/a> \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0435\u0440\u043f\u043d\u0443\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e LLM, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u0442\u044c: AI2 (<a href=\"https:\/\/arxiv.org\/abs\/2402.00838\">Olmo<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2409.17146\">Molmo<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2409.02060\">OlmOE<\/a>, <a href=\"https:\/\/allenai.org\/blog\/tulu-3-technical\">T\u00fclu 3<\/a>, <a href=\"https:\/\/x.com\/soldni\/status\/1875266934943649808?s=46\">Olmo 2<\/a>), <a href=\"https:\/\/github.com\/xai-org\/grok-1\">Grok<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-olympus-has-dropped-aka-amazon-nova\/\">Amazon Nova<\/a>, <a href=\"https:\/\/www.wired.com\/story\/chinese-startup-01-ai-is-winning-the-open-source-ai-race\/\">Yi<\/a>, <a href=\"https:\/\/www.latent.space\/p\/yitay\">Reka<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-jamba-mixture-of-architectures-dethrones\/\">Jamba<\/a>, <a href=\"https:\/\/cohere.com\/command\">Cohere<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-to-be-named-2748\/\">Nemotron<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2412.08905\">Microsoft Phi<\/a>, <a href=\"https:\/\/www.latent.space\/p\/2024-open-models\">HuggingFace SmolLM<\/a>. \u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043e\u043d\u0438 \u043d\u0438\u0436\u0435 \u0432 \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0430\u0445, \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0435\u0441\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u043f\u043e \u0432\u0441\u0435\u043c.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0440\u0435\u043c\u044f, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u043f\u043e <strong>\u0437\u0430\u043a\u043e\u043d\u0430\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/strong> <a href=\"http:\/\/arxiv.org\/abs\/2001.08361\">Kaplan<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2203.15556\">Chinchilla<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2206.07682\">Emergence<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2304.15004\">Mirage<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2401.00448\">Post-Chinchilla<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u0412 2025 \u0433\u043e\u0434\u0443 \u0432 \u0430\u0432\u0430\u043d\u0433\u0430\u0440\u0434\u0435 (o1, <a href=\"https:\/\/en.wikipedia.org\/wiki\/OpenAI_o3\">o3<\/a>, <a href=\"https:\/\/api-docs.deepseek.com\/news\/news1120\">R1<\/a>, <a href=\"https:\/\/qwenlm.github.io\/blog\/qwq-32b-preview\/\">QwQ<\/a>\/<a href=\"https:\/\/qwenlm.github.io\/blog\/qvq-72b-preview\/\">QVQ<\/a>, <a href=\"https:\/\/fireworks.ai\/blog\/fireworks-compound-ai-system-f1\">f1<\/a>) \u0431\u0443\u0434\u0443\u0442 <strong>\u0434\u0443\u043c\u0430\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (reasoning models)<\/strong>. \u041f\u043e \u043d\u0438\u043c \u0435\u0449\u0435 \u043d\u0435\u0442 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439, \u043d\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u0437 \u0440\u0430\u0431\u043e\u0442 <a href=\"https:\/\/arxiv.org\/abs\/2305.20050\">Let\u2019s Verify Step By Step<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2203.14465\">STaR<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/www.youtube.com\/live\/Gr_eYXdHFis\">\u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u041d\u043e\u0430\u043c\u0430 \u0411\u0440\u0430\u0443\u043d\u0430<\/a>. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0430\u043a\u043a\u0443\u043c\u0443\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f <a href=\"https:\/\/hn.algolia.com\/?dateRange=all&amp;page=0&amp;prefix=false&amp;query=o1&amp;sort=byPopularity&amp;type=story\">\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u043c\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 <\/a>\u0438 \u0432 \u0422\u0432\u0438\u0442\u0442\u0435\u0440\u0435.<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8%20%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D1%8B\" id=\"\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u044b\"><\/a><\/p>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u044b<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2009.03300\"><strong>MMLU<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u043e\u0431\u0449\u0435\u0439 \u044d\u0440\u0443\u0434\u0438\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u043e\u0438\u0442 \u0432 \u043e\u0434\u043d\u043e\u043c \u0440\u044f\u0434\u0443 \u0441 <a href=\"https:\/\/arxiv.org\/abs\/2311.12022\">GPQA<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2206.04615\">BIG-Bench<\/a>. \u0412 2025 \u0433\u043e\u0434\u0443 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2406.01574\">MMLU Pro<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2311.12022\">GPQA Diamond<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2210.09261\">BIG-Bench Hard<\/a><strong>.<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2310.16049\"><strong>MuSR<\/strong><\/a><strong> <\/strong>\u2014 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u043e\u043b\u0433\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u0421\u0440\u0430\u0432\u043d\u0438\u043c \u0441 <a href=\"https:\/\/arxiv.org\/abs\/2412.15204\">LongBench<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2406.10149\">BABILong<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/p\/gradient\">RULER<\/a><strong>.<\/strong> \u0420\u0430\u0431\u043e\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0442\u0435\u043c, \u043a\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 <a href=\"https:\/\/arxiv.org\/abs\/2307.03172\">Lost in the Middle<\/a> \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0447\u0430\u0442 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 <a href=\"https:\/\/github.com\/gkamradt\/LLMTest_NeedleInAHaystack\">Needle in a Haystack<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2103.03874\"><strong>MATH <\/strong><\/a>\u2014 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0439. \u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 \u0443\u043f\u043e\u0440 \u043d\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2411.04872\">FrontierMath<\/a> \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b MATH: MATH level 5, <a href=\"https:\/\/www.kaggle.com\/datasets\/hemishveeraboina\/aime-problem-set-1983-2024\">AIME<\/a>, <a href=\"https:\/\/github.com\/ryanrudes\/amc\">AMC10\/AMC12<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2311.07911\"><strong>IFEval<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0438\u0439 \u043d\u0430\u0432\u044b\u043a \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, <a href=\"https:\/\/machinelearning.apple.com\/research\/introducing-apple-foundation-models\">\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0439 \u043d\u0430 \u0432\u043e\u043e\u0440\u0443\u0436\u0435\u043d\u0438\u0435 Apple<\/a>. <a href=\"https:\/\/arxiv.org\/abs\/2306.05685\">MT-Bench<\/a> \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u044c\u044e IFEval.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0435\u043b\u043b\u0435\u043d\u0434\u0436 <\/strong><a href=\"https:\/\/arcprize.org\/arc\"><strong>ARC AGI<\/strong><\/a><strong> <\/strong>\u2014 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0434\u043b\u044f \u00abIQ-\u0442\u0435\u0441\u0442\u0430\u00bb \u043d\u0430\u0432\u044b\u043a\u043e\u0432 \u043a \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0442\u0435\u0440\u044f\u0435\u0442 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 <a href=\"https:\/\/www.latent.space\/p\/benchmarks-101\">Benchmarks 101<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/p\/benchmarks-201\">Benchmarks 201<\/a>. \u0412 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043e <a href=\"https:\/\/www.latent.space\/p\/carlini\">Carlini<\/a>, <a href=\"https:\/\/www.latent.space\/p\/lmarena\">LMArena<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/p\/braintrust\">Braintrust<\/a> \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a-\u0430\u0440\u0435\u043d\u0430\u0445 (\u0441\u043c. <a href=\"https:\/\/hamel.dev\/blog\/posts\/llm-judge\/\">LLM-as-Judge<\/a> \u0438 <a href=\"https:\/\/applied-llms.org\/#evaluation-monitoring\">\u044d\u0441\u0441\u0435 Applied LLM<\/a>). \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435, \u0441\u043e\u0432\u0435\u0442\u0443\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u043e <a href=\"https:\/\/www.latent.space\/p\/datasets-101\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%9F%D1%80%D0%BE%D0%BC%D1%82%D0%B8%D0%BD%D0%B3,%20In-Context%20Learning%20%D0%B8%20Chain%20of%20Thought\" id=\"\u041f\u0440\u043e\u043c\u0442\u0438\u043d\u0433, In-Context Learning \u0438 Chain of Thought\"><\/a><\/p>\n<h2>\u041f\u0440\u043e\u043c\u0442\u0438\u043d\u0433, In-Context Learning \u0438 Chain of Thought<\/h2>\n<blockquote>\n<p><em>\u0412\u044b\u0448\u0435 \u043c\u044b \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u0438 <\/em><a href=\"https:\/\/arxiv.org\/abs\/2005.14165\"><em>\u0441\u0442\u0430\u0442\u044c\u044e \u043e GPT3,<\/em><\/a><em> \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f In-Context Learning (ICL) \u2014 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f, \u0431\u043b\u0438\u0437\u043a\u0430\u044f \u043a \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433\u0443. \u0414\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0435\u043c\u044b \u0441\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 <\/em><a href=\"https:\/\/www.latent.space\/i\/93381455\/what-is-prompt-injection\"><em>\u0438\u043d\u044a\u0435\u043a\u0446\u0438\u044f\u0445 \u043f\u0440\u043e\u043c\u0442\u043e\u0432<\/em><\/a><em> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e \u043d\u0438\u0445 \u043f\u0438\u0441\u0430\u043b\u0438 <\/em><a href=\"https:\/\/lilianweng.github.io\/posts\/2023-10-25-adv-attack-llm\/\"><em>\u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/em><\/a><em> \u0438 <\/em><a href=\"https:\/\/simonwillison.net\/series\/prompt-injection\/\"><em>\u0421\u0430\u0439\u043c\u043e\u043d \u0412\u0438\u043b\u043b\u0441\u043e\u043d<\/em><\/a><em>).<\/em><\/p>\n<\/blockquote>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2406.06608\"><strong>The Prompt Report<\/strong><\/a> \u2014 \u043e\u0431\u0437\u043e\u0440 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u043e \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433\u0435 (<a href=\"https:\/\/www.latent.space\/p\/learn-prompting\">\u0437\u0434\u0435\u0441\u044c <\/a>\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043f\u043e\u0434\u043a\u0430\u0441\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2201.11903\"><strong>Chain of thought<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442, \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432\u0448\u0438\u0445 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u044f\u043c\u0438 \u043f\u043e <a href=\"https:\/\/arxiv.org\/abs\/2112.00114\">Scratchpads<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2205.11916\">Let\u2019s Think Step by Step<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2305.10601\"><strong>Tree of Thought<\/strong><\/a><strong> <\/strong>\u2014 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 lookahead \u0438 backtracking (<a href=\"https:\/\/www.latent.space\/p\/shunyu\">\u043f\u043e\u0434\u043a\u0430\u0441\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443<\/a>).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/aclanthology.org\/2021.emnlp-main.243\/\"><strong>Prompt Tuning<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u043e\u043c\u0442\u044b; \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2101.00190\">\u0442\u044e\u043d\u0438\u043d\u0433 \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u043e\u0432<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2402.10200\">\u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c<\/a> (\u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, <a href=\"https:\/\/github.com\/xjdr-alt\/entropix\">\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438<\/a>) \u0438\u043b\u0438 <a href=\"https:\/\/vgel.me\/posts\/representation-engineering\/\">\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u044e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/a> (representation engineering).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2211.01910\"><strong>\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433<\/strong> <\/a>(automatic prompt engineering) \u2014 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0435\u0435, \u0447\u0442\u043e \u043b\u044e\u0434\u0438 \u0443\u0436\u0430\u0441\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 zero-shot prompting \u0438 \u0447\u0442\u043e LLM \u043c\u043e\u0433\u0443\u0442 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c <em>\u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433<\/em>. \u0421\u0430\u043c\u0443\u044e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\/\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2310.03714\">DSPy<\/a>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c, \u043a\u0430\u043a \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432: \u043c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u044b <a href=\"https:\/\/lilianweng.github.io\/posts\/2023-03-15-prompt-engineering\/\">\u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/a>, <a href=\"https:\/\/eugeneyan.com\/writing\/prompting\/\">\u042e\u0434\u0436\u0438\u043d\u0430 \u042f\u043d\u0430<\/a>, <a href=\"https:\/\/github.com\/anthropics\/prompt-eng-interactive-tutorial\">Anthropic\u2019s Prompt Engineering Tutorial<\/a> \u0438 <a href=\"https:\/\/www.youtube.com\/watch?v=hkhDdcM5V94\">AI Engineer Workshop<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D1%81%20%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9%20%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%BE%D0%B9%20(RAG)\" id=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)\"><\/a><\/p>\n<h2>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/nlp.stanford.edu\/IR-book\/information-retrieval-book.html\"><strong>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a<\/strong><\/a><strong> <\/strong>\u2014 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0435\u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u043a\u043d\u0438\u0433\u0443, \u043d\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0434\u0447\u0435\u0440\u043a\u043d\u0443\u0442\u044c, \u0447\u0442\u043e RAG \u2014 \u044d\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Information_retrieval#History\">\u0434\u043b\u0438\u0442\u0441\u044f \u0443\u0436\u0435 \u0448\u0435\u0441\u0442\u044c\u0434\u0435\u0441\u044f\u0442 \u043b\u0435\u0442<\/a> \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Tf%E2%80%93idf\">TF-IDF<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Okapi_BM25\">BM25<\/a>, <a href=\"https:\/\/github.com\/facebookresearch\/faiss\">FAISS<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1603.09320\">HNSW<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u00ab\u0441\u043a\u0443\u0447\u043d\u044b\u0435\u00bb \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2005.11401\"><strong>\u041f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u043e RAG <\/strong><\/a><strong>\u0437\u0430 2020 \u0433\u043e\u0434<\/strong> \u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u043d\u0435\u0439 \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u044d\u0442\u043e\u0442 \u0442\u0435\u0440\u043c\u0438\u043d. \u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 Contextual \u0438 \u0432\u0432\u0435\u043b\u0438 \u0432 \u043e\u0431\u0438\u0445\u043e\u0434 <a href=\"https:\/\/contextual.ai\/introducing-rag2\/\">\u043f\u043e\u0434\u0445\u043e\u0434 RAG 2.0<\/a>. \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0434\u043b\u044f RAG \u2014 <a href=\"https:\/\/docs.llamaindex.ai\/en\/stable\/optimizing\/advanced_retrieval\/query_transformations\/\">HyDE<\/a>, <a href=\"https:\/\/research.trychroma.com\/evaluating-chunking\">chunking<\/a>, <a href=\"https:\/\/cohere.com\/blog\/rerank-3pt5\">rerankers<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=i2vBaFzCEJw\">\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/a> \u2014 \u043b\u0443\u0447\u0448\u0435 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b <a href=\"https:\/\/www.youtube.com\/watch?v=FDEmbYPgG-s\">\u0432 \u0434\u0440\u0443\u0433\u0438\u0445<\/a> <a href=\"https:\/\/www.youtube.com\/watch?v=DId2KP8Ykz4\">\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u0445<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2210.07316\"><strong>MTEB<\/strong><\/a><strong> <\/strong>\u2014 \u044d\u0442\u043e\u0442 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/news.ycombinator.com\/item?id=42504379\">\u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u0441\u0432\u043e\u0438\u043c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c<\/a>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u0430\u0432\u0442\u043e\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 <a href=\"https:\/\/x.com\/Nils_Reimers\/status\/1870812625505849849\">\u0435\u0433\u043e \u043d\u0435\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c<\/a>. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u0435-\u0444\u0430\u043a\u0442\u043e \u043e\u043d \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u043c. \u041e \u043c\u043d\u043e\u0433\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u0430\u043c\u0438: <a href=\"https:\/\/huggingface.co\/sentence-transformers\/all-MiniLM-L6-v2\">SentenceTransformers<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=VIqXNRsRRQo\">OpenAI, Nomic Embed, Jina v3, cde-small-v1<\/a>, <a href=\"https:\/\/x.com\/zach_nussbaum\/status\/1873813021786767699?s=46&amp;t=tMWvmS3OL3Ssg0b9lKvp4Q\">ModernBERT Embed<\/a>; \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f <a href=\"https:\/\/huggingface.co\/blog\/matryoshka\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 Matryoshka<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/pdf\/2404.16130\"><strong>GraphRAG<\/strong><\/a><strong> <\/strong>\u2014 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 <a href=\"https:\/\/www.microsoft.com\/en-us\/research\/blog\/graphrag-unlocking-llm-discovery-on-narrative-private-data\/?utm_source=ainews&amp;utm_medium=email&amp;utm_campaign=ainews-graphrag\">Microsoft<\/a> \u043f\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0433\u0440\u0430\u0444\u043e\u0432 \u0437\u043d\u0430\u043d\u0438\u0439 \u0432 RAG, \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u043c <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-graphrag\/\">\u0432 open source<\/a>. \u041e\u0434\u0438\u043d \u0438\u0437 <a href=\"https:\/\/www.youtube.com\/watch?v=knDDGYHnnSI\">\u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0442\u0440\u0435\u043d\u0434\u043e\u0432 \u0432 RAG<\/a> \u0432 2024 \u0433\u043e\u0434\u0443, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 <a href=\"https:\/\/github.com\/stanford-futuredata\/ColBERT\">ColBERT<\/a>\/ColPali\/ColQwen (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u043e\u043c \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 7).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2309.15217\"><strong>RAGAS<\/strong><\/a><strong> <\/strong>\u2014 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 RAG, <a href=\"https:\/\/x.com\/swyx\/status\/1724490887147978793\">\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 OpenAI<\/a>. \u0422\u0430\u043a\u0436\u0435 \u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/2407.07858v1\">\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a Nvidia FACTS <\/a>\u0438 <a href=\"https:\/\/lilianweng.github.io\/posts\/2024-07-07-hallucination\/\">Extrinsic Hallucinations in LLMs<\/a><strong> <\/strong>\u2014 \u043e\u0431\u0437\u043e\u0440 \u043f\u0440\u0438\u0447\u0438\u043d\/\u043e\u0446\u0435\u043d\u043e\u043a \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c \u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 2024 \u0433\u043e\u0434\u0443 RAG \u0441\u0442\u0430\u043b\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0418\u0418, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0432\u0435\u0442\u0443\u0435\u043c \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u043f\u043e \u043d\u0435\u0439 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0442\u0440\u0430\u0441\u043b\u0435\u0432\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0446\u0435\u043d\u043d\u044b\u043c\u0438 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438 \u0431\u0443\u0434\u0443\u0442 <a href=\"https:\/\/docs.llamaindex.ai\/en\/stable\/understanding\/rag\/\">LlamaIndex<\/a> (<a href=\"https:\/\/www.deeplearning.ai\/short-courses\/building-evaluating-advanced-rag\/\">\u043a\u0443\u0440\u0441<\/a>) \u0438 <a href=\"https:\/\/python.langchain.com\/docs\/tutorials\/rag\/\">LangChain<\/a> (<a href=\"https:\/\/www.youtube.com\/watch?v=wd7TZ4w1mSw\">\u0432\u0438\u0434\u0435\u043e<\/a>). \u0415\u0449\u0435 RAG \u0447\u0430\u0441\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u043f\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0441 Long Context \u2014 <a href=\"https:\/\/arxiv.org\/abs\/2407.16833\">\u0432\u043e\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435<\/a> \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443.<\/p>\n<p><a class=\"anchor\" name=\"%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D1%8B\" id=\"\u0410\u0433\u0435\u043d\u0442\u044b\"><\/a><\/p>\n<h2>\u0410\u0433\u0435\u043d\u0442\u044b<\/h2>\n<ol>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2310.06770\"><strong>SWE-Bench<\/strong><\/a><strong> <\/strong>(<a href=\"https:\/\/www.latent.space\/p\/iclr-2024-benchmarks-agents?utm_source=publication-search#%C2%A7section-b-benchmarks\">\u043f\u043e\u0434\u043a\u0430\u0441\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443<\/a>) \u2014 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0435\u0433\u043e <a href=\"https:\/\/www.latent.space\/p\/claude-sonnet\">\u043d\u0430\u0447\u0430\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Anthropic<\/a>, Devin \u0438 <a href=\"https:\/\/openai.com\/index\/introducing-swe-bench-verified\/\">OpenAI<\/a>, \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u044d\u0442\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0441\u0430\u043c\u044b\u0439 \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0435\u0439\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0430\u0433\u0435\u043d\u0442\u043e\u0432 (\u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 <a href=\"https:\/\/github.com\/web-arena-x\/webarena\">WebArena<\/a> \u0438 <a href=\"https:\/\/x.com\/jiayi_pirate\/status\/1871249410128322856\">SWE-Gym<\/a>). \u0421\u0442\u0440\u043e\u0433\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u044d\u0442\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043a\u043e\u0434\u0438\u043d\u0433\u0430, \u043d\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0442\u0435\u0441\u0442 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u0447\u0435\u043c \u0441\u044b\u0440\u044b\u0445 LLM. \u0422\u0430\u043a\u0436\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e <a href=\"https:\/\/arxiv.org\/abs\/2405.15793\">SWE-Agent<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2410.03859\">SWE-Bench Multimodal<\/a> \u0438 <a href=\"https:\/\/kprize.ai\/\">Konwinski Prize<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2210.03629\"><strong>ReAct<\/strong><\/a><strong> <\/strong>(<a href=\"https:\/\/www.latent.space\/p\/shunyu\">\u043f\u043e\u0434\u043a\u0430\u0441\u0442<\/a>) \u2014 ReAct \u0441\u0442\u0430\u043b \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 LLM, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 <a href=\"https:\/\/gorilla.cs.berkeley.edu\/\">Gorilla<\/a> \u0438 <a href=\"https:\/\/gorilla.cs.berkeley.edu\/leaderboard.html\">BFCL Leaderboard<\/a>. \u0418\u0437 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u0443\u0447\u0438\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2302.04761\">Toolformer<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2303.17580\">HuggingGPT<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2310.08560\"><strong>MemGPT<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0438\u043a \u044d\u043c\u0443\u043b\u044f\u0446\u0438\u0438 \u0434\u043e\u043b\u0433\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u0430\u044f \u0432 <a href=\"https:\/\/openai.com\/index\/memory-and-new-controls-for-chatgpt\/\">ChatGPT<\/a> \u0438 <a href=\"https:\/\/langchain-ai.github.io\/langgraph\/concepts\/memory\/#episodic-memory\">LangGraph<\/a>. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0430\u0433\u0435\u043d\u0442\u043e\u0432: \u043e\u0442 <a href=\"https:\/\/arxiv.org\/abs\/2308.00352\">MetaGPT<\/a> \u0434\u043e <a href=\"https:\/\/arxiv.org\/abs\/2308.08155\">AutoGen<\/a> \u0438 <a href=\"https:\/\/github.com\/joonspk-research\/generative_agents\">Smallville<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2305.16291\"><strong>Voyager<\/strong><\/a><strong> <\/strong>\u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 Nvidia \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0440\u0435\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 <a href=\"https:\/\/arxiv.org\/abs\/2309.02427\">\u043a\u043e\u0433\u043d\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <\/a>(<strong>curriculum<\/strong>,<strong> skill library<\/strong>, <strong>sandbox<\/strong>) \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 <a href=\"https:\/\/arxiv.org\/abs\/2409.07429\">Agent Workflow Memory<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.anthropic.com\/research\/building-effective-agents\"><strong>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b Anthropic<\/strong><\/a><strong> <\/strong>\u043d\u0430 \u0442\u0435\u043c\u0443 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f <strong>\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/strong> \u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u0437\u0430 2024 \u0433\u043e\u0434 \u0441 \u0443\u043f\u043e\u0440\u043e\u043c \u043d\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c chaining, \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0421\u043c. \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<a href=\"https:\/\/lilianweng.github.io\/posts\/2023-06-23-agent\/\"> \u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/a> (\u0431\u044b\u0432\u0448\u0435\u0439 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u0446\u044b OpenAI), <a href=\"https:\/\/www.latent.space\/p\/shunyu\">\u0421\u0443\u043d\u044c\u044e \u042f\u043e<\/a> (\u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0433\u043e \u0432 OpenAI) \u0438 <a href=\"https:\/\/huyenchip.com\/\/2025\/01\/07\/agents.html\">\u0427\u0438\u043f\u0430 \u0425\u0443\u044d\u043d\u0430<\/a>.<\/p>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%BA%D0%BE%D0%B4%D0%B0\" id=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430\"><\/a><\/p>\n<h2>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2211.15533\"><strong>The Stack <\/strong><\/a>\u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442-\u0431\u043b\u0438\u0437\u043d\u0435\u0446 The Pile \u0441 \u0443\u043f\u043e\u0440\u043e\u043c \u043d\u0430 \u043a\u043e\u0434, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/datasets\/bigcode\/the-stack-v2\">The Stack v2<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2402.19173\">StarCoder<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438 Open Code <\/strong>\u2014 \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 <a href=\"https:\/\/arxiv.org\/abs\/2401.14196\">DeepSeek-Coder<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2409.12186\">Qwen2.5-Coder<\/a> \u0438 <a href=\"https:\/\/ai.meta.com\/research\/publications\/code-llama-open-foundation-models-for-code\/\">CodeLlama<\/a>. \u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 <a href=\"https:\/\/www.latent.space\/p\/claude-sonnet\">\u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430 3.5 Sonnet<\/a>, \u043d\u043e \u043f\u043e \u043d\u0435\u0439 \u043d\u0435 \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u043b\u0438 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2107.03374\"><strong>HumanEval\/Codex <\/strong><\/a>\u2014 \u044d\u0442\u043e\u0442 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u0431\u044b\u0442\u044c \u0432\u044b\u0437\u043e\u0432\u043e\u043c \u0434\u043b\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u043d\u043e \u043e\u043d \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0444\u0435\u0440\u0435 \u0431\u043e\u043b\u0435\u0435 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442 SWE-Bench, \u043d\u043e \u043e\u043d \u0437\u0430\u0442\u0440\u0430\u0442\u0435\u043d \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u0430 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438 \u044d\u0442\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u2014 <a href=\"https:\/\/aider.chat\/docs\/leaderboards\/\">Aider<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2312.02143\">Codeforces<\/a>, <a href=\"https:\/\/huggingface.co\/spaces\/bigcode\/bigcodebench-leaderboard\">BigCodeBench<\/a>, <a href=\"https:\/\/livecodebench.github.io\/\">LiveCodeBench<\/a> \u0438 <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-to-be-named-5745\/\">SciCode<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.08500\"><strong>AlphaCodeium <\/strong><\/a>\u2014 Google \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0430 <a href=\"https:\/\/news.ycombinator.com\/item?id=34020025\">AlphaCode<\/a> \u0438 <a href=\"https:\/\/x.com\/RemiLeblond\/status\/1732419456272318614\">AlphaCode2<\/a> , \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0435\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0439 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u0435\u0442\u043e\u0434 <strong>Flow Engineering <\/strong>\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/criticgpt.org\/criticgpt-openai\/\"><strong>CriticGPT<\/strong><\/a><strong> <\/strong>\u2014 <a href=\"https:\/\/arxiv.org\/abs\/2412.15004v1\">\u043a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e<\/a>, LLM \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434, \u0438\u043c\u0435\u044e\u0449\u0438\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c\u044e. OpenAI \u043e\u0431\u0443\u0447\u0438\u043b\u0430 \u0434\u043b\u044f \u0438\u0445 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f CriticGPT, \u0430 Anthropic \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <a href=\"https:\/\/transformer-circuits.pub\/2024\/scaling-monosemanticity\/index.html#safety-relevant-code\">\u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b<\/a>, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 LLM \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u0442\u0430\u043a\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430 \u2014 \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u044c, \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442\u044c\u0441\u044f \u0432 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443, \u0430 \u043d\u0435 \u0432 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. <a href=\"https:\/\/www.youtube.com\/watch?v=Ve-akpov78Q\">\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430 <\/a>\u0438 <a href=\"https:\/\/www.youtube.com\/watch?v=T7NWjoD_OuY&amp;t=8s\">\u043a\u043e\u0434\u043e\u0432\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 Devin<\/a> \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0442\u0440\u0430\u0441\u043b\u0435\u0432\u044b\u0445 \u043f\u043e\u0441\u0442\u0430\u0445 \u0438 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u0445.<\/p>\n<p><a class=\"anchor\" name=\"%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B5%20%D0%B7%D1%80%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435\"><\/a><\/p>\n<h2>\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435<\/h2>\n<ul>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u043c\u0443 \u0437\u0440\u0435\u043d\u0438\u044e, \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 LLM<\/strong>, \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b: \u0437\u0434\u0435\u0441\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 \u043f\u043e<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/1506.02640\"><strong>YOLO<\/strong><\/a><strong> <\/strong>(\u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043d <a href=\"https:\/\/github.com\/ultralytics\/ultralytics\">\u0438\u043c\u0435\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u044e 11<\/a>, \u043d\u043e <a href=\"https:\/\/news.ycombinator.com\/item?id=42352342\">\u0435\u0433\u043e \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0443\u044e<\/a> \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0438\u0433\u0440\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b (\u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u0442\u0430\u0442\u044c\u044f <a href=\"https:\/\/arxiv.org\/abs\/2304.08069\">DETRs Beat YOLOs<\/a>).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2103.00020\"><strong>CLIP<\/strong><\/a><strong> <\/strong>\u2014 \u043f\u0435\u0440\u0432\u043e\u043c \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u043c <a href=\"https:\/\/arxiv.org\/abs\/2010.11929\">ViT<\/a>. \u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0435\u0433\u043e \u0432\u044b\u0442\u0435\u0441\u043d\u0438\u043b\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2201.12086\">BLIP<\/a>\/<a href=\"https:\/\/arxiv.org\/abs\/2301.12597\">BLIP2<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/i\/152857207\/part-vision\">SigLIP\/PaliGemma<\/a>, \u043d\u043e \u043e \u043d\u0435\u043c \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.06209\"><strong>MMVP<\/strong><\/a> (<a href=\"https:\/\/www.latent.space\/p\/2024-vision\"><strong>LS Live<\/strong><\/a>) \u2014 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0432\u0430\u0436\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c CLIP. \u0422\u0430\u043a\u0436\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 MMLU (<a href=\"https:\/\/arxiv.org\/abs\/2311.16502\">MMMU<\/a>) \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2410.03859\">SWE-Benc<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2304.02643\"><strong>Segment Anything Model <\/strong><\/a><strong>\u0438 \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2408.00714\"><strong>SAM 2<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0447\u0435\u043d\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u0430\u044f \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0432\u0438\u0434\u0435\u043e. \u041d\u0430 \u043e\u0434\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441 <a href=\"https:\/\/github.com\/IDEA-Research\/GroundingDINO\">GroundingDINO<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f early fusion<\/strong>: \u0432 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0432\u0435\u0441 \u0440\u0430\u0431\u043e\u0442\u0430\u043c \u043f\u043e \u043c\u0430\u043b\u043e\u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e\u043c\u0443 \u00ablate fusion\u00bb \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2304.08485\">LLaVA<\/a>, early fusion \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 <a href=\"https:\/\/huyenchip.com\/2023\/10\/10\/multimodal.html\"><strong>Flamingo<\/strong><\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2405.09818\"><strong>Chamel<\/strong>eon<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2411.14402\">AIMv2<\/a> \u043e\u0442 Apple, <a href=\"https:\/\/arxiv.org\/abs\/2404.12387\">Core<\/a> \u043e\u0442 Reka \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 <a href=\"https:\/\/lilianweng.github.io\/posts\/2022-06-09-vlm\/\">\u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442 \u043f\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c<\/a> (VLM).<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 VLM \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043d\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u0442\u0441\u044f (\u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0431\u044b\u043b\u0438 <a href=\"https:\/\/cdn.openai.com\/papers\/GPTV_System_Card.pdf\">\u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430 GPT4V <\/a>\u0438 <a href=\"https:\/\/arxiv.org\/abs\/2309.17421\">\u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f<\/a>). \u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0438\u043c\u0435\u0442\u044c \u043e\u043f\u044b\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0437\u0440\u0435\u043d\u0438\u044f 4o (\u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0441 <a href=\"https:\/\/blog.roboflow.com\/gpt-4o-object-detection\/\">\u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u043e\u043c \u0437\u0440\u0435\u043d\u0438\u044f <\/a>\u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438), Claude 3.5 Sonnet\/Haiku, Gemini 2.0 Flash \u0438 o1. \u0421\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0438\u0445: <a href=\"https:\/\/mistral.ai\/news\/pixtral-large\/\">Pixtral<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-llama-32-on-device-1b3b-and-multimodal\/\">Llama 3.2<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=T7sxvrJLJ14\">Moondream<\/a>, <a href=\"https:\/\/news.ycombinator.com\/item?id=42505038\">QVQ<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%93%D0%BE%D0%BB%D0%BE%D1%81\" id=\"\u0413\u043e\u043b\u043e\u0441\"><\/a><\/p>\n<h2>\u0413\u043e\u043b\u043e\u0441<\/h2>\n<ul>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2212.04356\"><strong>Whisper<\/strong><\/a><strong> <\/strong>\u2014 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0410\u043b\u0435\u043a\u0430 \u0420\u044d\u0434\u0444\u043e\u0440\u0434\u0430 \u043f\u043e \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044e \u0440\u0435\u0447\u0438. Whisper <a href=\"https:\/\/news.ycombinator.com\/item?id=33884716\"><strong>v2<\/strong><\/a>, <a href=\"https:\/\/news.ycombinator.com\/item?id=38166965\"><strong>v3<\/strong><\/a>, <a href=\"https:\/\/github.com\/huggingface\/distil-whisper\"><strong>distil-whisper<\/strong><\/a> \u0438 <a href=\"https:\/\/amgadhasan.substack.com\/p\/demystifying-openais-new-whisper\"><strong>v3 Turbo<\/strong><\/a> \u0438\u043c\u0435\u044e\u0442 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430, \u043d\u043e \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442 \u043f\u043e \u043d\u0438\u043c \u043d\u0435 \u043d\u0430\u0439\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2205.04421?utm_source=chatgpt.com\"><strong>NaturalSpeech<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437 \u0432\u0435\u0434\u0443\u0449\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043a \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0440\u0435\u0447\u044c. \u041d\u0435\u0434\u0430\u0432\u043d\u043e \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2403.03100\">v3<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2306.12925\"><strong>AudioPaLM <\/strong><\/a>\u2014 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0439 Google \u043e \u0433\u043e\u043b\u043e\u0441\u043e\u0432\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f\u0445 \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a PaLM \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432 Gemini.\u00a0<\/p>\n<\/li>\n<li>\n<p><a href=\"http:\/\/moshi\/\"><strong>Kyutai Moshi<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u044e\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u0440\u0435\u0447\u0438 \u0432 \u0442\u0435\u043a\u0441\u0442 (\u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 <a href=\"https:\/\/www.youtube.com\/watch?v=hm2IJSKcYvo\">\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0434\u0435\u043c\u043e<\/a>). \u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/www.hume.ai\/blog\/introducing-octave\">\u043e\u0431\u0437\u043e\u0440 Hume OCTAVE<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.latent.space\/p\/realtime-api\"><strong>OpenAI Realtime API: The Missing Manual<\/strong><\/a> \u2014 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442 \u043f\u043e \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u043e\u0439 \u00ab\u043e\u043c\u043d\u0438\u043c\u043e\u0434\u0435\u043b\u0438\u00bb \u043d\u0435\u0442, \u043d\u043e \u0437\u0430\u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 <a href=\"https:\/\/www.latent.space\/p\/realtime-api\">\u043c\u0430\u043d\u0443\u043b\u043e\u043c \u043f\u043e Realtime API<\/a>, \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u043c Latent Space.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0439 \u0438 \u043a\u043e\u043f\u043d\u0443\u0442\u044c \u0447\u0443\u0442\u044c \u0433\u043b\u0443\u0431\u0436\u0435 \u2014 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 Daily, Livekit, Vapi, Assembly, Deepgram, Fireworks, Cartesia, Elevenlabs \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0422\u0430\u043a\u0436\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u043e\u0431\u0437\u043e\u0440 <a href=\"https:\/\/www.cartesia.ai\/blog\/state-of-voice-ai-2024\">State of Voice 2024<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9%20%D0%B8%20%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE\" id=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0432\u0438\u0434\u0435\u043e\"><\/a><\/p>\n<h2>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0432\u0438\u0434\u0435\u043e<\/h2>\n<ul>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u0430 \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2112.10752\"><strong>Latent Diffusion<\/strong><\/a> \u2014 \u043f\u043e \u0441\u0443\u0442\u0438, \u0441\u0442\u0430\u0442\u044c\u044f \u043e Stable Diffusion. \u0421\u043c. \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e <a href=\"https:\/\/stability.ai\/news\/stable-diffusion-v2-release\">SD2<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2307.01952\">SDXL<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2403.03206\">SD3<\/a> (\u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430\u0434 <a href=\"https:\/\/github.com\/black-forest-labs\/flux\">BFL Flux<\/a>).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2102.12092\"><strong>DALL-E<\/strong><\/a><strong> \/ <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2204.06125\"><strong>DALL-E-2<\/strong><\/a><strong> \/ <\/strong><a href=\"https:\/\/cdn.openai.com\/papers\/dall-e-3.pdf\"><strong>DALL-E-3<\/strong><\/a> \u2014 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c OpenAI.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2205.11487\"><strong>Imagen<\/strong><\/a><strong> \/ <\/strong><a href=\"https:\/\/deepmind.google\/technologies\/imagen-2\/\"><strong>Imagen 2<\/strong><\/a><strong> \/ <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2408.07009\"><strong>Imagen 3<\/strong><\/a> \u2014 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c Google. \u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 <a href=\"https:\/\/www.reddit.com\/r\/singularity\/comments\/1exsq4d\/introducing_ideogram_20_our_most_advanced\/\"><strong>\u044d\u0442\u043e\u0442 \u0442\u0440\u0435\u0434 \u043f\u0440\u043e Ideogram<\/strong><\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2303.01469\"><strong>Consistency Models<\/strong><\/a><strong> <\/strong>\u2014 \u044d\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430 \u0432 \u0434\u0435\u043a\u0430\u0431\u0440\u0435 2023 \u0433\u043e\u0434\u0430 <a href=\"https:\/\/www.latent.space\/p\/tldraw\">\u043f\u0440\u0438\u0432\u043b\u0435\u043a\u043b\u0430 \u043a \u0441\u0435\u0431\u0435 \u043d\u0435\u043c\u0430\u043b\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/a>. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043e\u043d\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2410.11081\">\u0435\u0449\u0435 \u043e\u0434\u043d\u0438\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0431\u0437\u043e\u0440 <\/strong><a href=\"https:\/\/openai.com\/index\/sora\/\"><strong>Sora<\/strong><\/a><strong> \u043e\u0442 OpenAI <\/strong>\u2014 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0432\u0438\u0434\u0435\u043e. \u041a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u043e, \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c <a href=\"https:\/\/arxiv.org\/abs\/2212.09748\">\u0441\u0442\u0430\u0442\u044c\u0438 \u043e DiT <\/a>(\u0442\u0430 \u0436\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u0430), \u043d\u043e \u044d\u0442\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0436\u043d\u0435\u0439\u0448\u0438\u0445 \u0440\u0435\u043b\u0438\u0437\u043e\u0432 \u0433\u043e\u0434\u0430, \u0438\u043c\u0435\u044e\u0449\u0438\u0439 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <a href=\"https:\/\/artificialanalysis.ai\/text-to-video\/arena?tab=Leaderboard\">\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438<\/a> \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2412.00131\">OpenSora<\/a> (<a href=\"https:\/\/lilianweng.github.io\/posts\/2024-04-12-diffusion-video\/%D1%81\">\u043e\u0431\u0437\u043e\u0440 \u043e\u0442 \u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/a>).<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 <strong>ComfyUI<\/strong> (\u0432\u043e\u0442<a href=\"https:\/\/www.latent.space\/p\/comfyui\"> \u0438\u043d\u0442\u0435\u0440\u0432\u044c\u044e \u0441 \u0435\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u0430\u043c\u0438<\/a>). <a href=\"https:\/\/www.youtube.com\/watch?v=1mG678f1ZYU&amp;pp=ygUOdGV4dCBkaWZmdXNpb24%3D\">\u0414\u0438\u0444\u0444\u0443\u0437\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432<\/a>\/<a href=\"https:\/\/arxiv.org\/abs\/2302.03917\">\u043c\u0443\u0437\u044b\u043a\u0438<\/a> \u0438 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u043f\u043e\u043a\u0430 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0438\u0448\u0435\u0432\u044b\u043c\u0438, \u043d\u043e \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0442 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p><a class=\"anchor\" name=\"%D0%A4%D0%B0%D0%B9%D0%BD%D1%82%D1%8E%D0%BD%D0%B8%D0%BD%D0%B3\" id=\"\u0424\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\"><\/a><\/p>\n<h2>\u0424\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433<\/h2>\n<ul>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2106.09685\"><strong>LoRA<\/strong><\/a> <strong>\u0438 <\/strong><a href=\"http:\/\/arxiv.org\/abs\/2305.14314\"><strong>QLoRA<\/strong><\/a><strong> <\/strong>\u2014 \u0441\u0430\u043c\u043e\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u0435 \u0431\u044e\u0434\u0436\u0435\u0442\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u0430\u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 4o (<a href=\"https:\/\/www.latent.space\/p\/cosine\">\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u043e \u0432<strong> <\/strong>\u044d\u0442\u043e\u043c \u043f\u043e\u0434\u043a\u0430\u0441\u0442\u0435<\/a>). \u0412 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0446\u0435\u043b\u044f\u0445 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c <a href=\"https:\/\/www.answer.ai\/posts\/2024-03-06-fsdp-qlora.html\">FSDP+QLoRA<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u0430 \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2305.18290\"><strong>\u043f\u0440\u044f\u043c\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u0439<\/strong><\/a><strong> (DPO) <\/strong>\u2014 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0430\u044f, \u043d\u043e \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u0430\u0431\u0430\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 <a href=\"https:\/\/arxiv.org\/abs\/1707.06347\">PPO<\/a>, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u043c\u0430\u044f OpenAI.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2404.03592\"><strong>\u0442\u043e\u043d\u043a\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439 <\/strong><\/a>\u2014 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u043d\u043a\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u043e\u0435\u0432 \u0443\u043f\u043e\u0440 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.microsoft.com\/en-us\/research\/blog\/orca-agentinstruct-agentic-flows-can-be-effective-synthetic-data-generators\/\"><strong>Orca 3\/AgentInstruct<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 (\u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c <a href=\"https:\/\/www.latent.space\/p\/2024-syndata-smolmodels\">\u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u043a\u0430\u0441\u0442<\/a>).<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (RL) \u0438 Reasoning Tuning <\/strong>\u2014 <a href=\"https:\/\/www.interconnects.ai\/p\/openais-reinforcement-finetuning\">RL-\u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433 \u0434\u043b\u044f o1<\/a> \u043f\u043e\u043a\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0431\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2305.20050\">Let\u2019s Verify Step By Step<\/a> \u0438 <a href=\"https:\/\/x.com\/swyx\/status\/1867990396762243324\">\u0434\u043e\u043a\u043b\u0430\u0434\u044b \u041d\u043e\u0430\u043c\u0430 \u0411\u0440\u0430\u0443\u043d\u0430<\/a> \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0432\u0430\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0438\u0437\u0443\u0447\u0438\u0442\u044c<a href=\"https:\/\/github.com\/unslothai\/unsloth\"> \u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u043e Unsloth <\/a>\u0438 \u0441\u0442\u0430\u0442\u044c\u044e <a href=\"https:\/\/www.philschmid.de\/fine-tune-llms-in-2025\">How to fine-tune open LLM<\/a> \u043e\u0442 HuggingFace, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0433\u043b\u0443\u0431\u043e\u043a\u0430\u044f \u0442\u0435\u043c\u0430: \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0434\u043b\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u0442\u0430\u043a \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u0432 \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0433\u0434\u0435 \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0438 \u043c\u0435\u0442\u043e\u0434\u044b.<\/p>\n<hr\/>\n<p><a class=\"anchor\" name=\"%D0%A1%20%D1%87%D0%B5%D0%B3%D0%BE%20%D0%BD%D0%B0%D1%87%D0%B0%D1%82%D1%8C\" id=\"\u0421 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c\"><\/a><\/p>\n<h2>\u0421 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c<\/h2>\n<p>\u0421\u0442\u043e\u043b\u044c \u043e\u0431\u044a\u0435\u043c\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043f\u0443\u0433\u0430\u044e\u0449\u0435 \u0434\u043b\u044f \u043d\u043e\u0432\u0438\u0447\u043a\u0430. \u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0441\u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0434\u043b\u044f \u0432\u0430\u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0435\u0441, \u0438 \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043b\u0430\u043d\u0430.\u00a0<\/p>\n<p>\u041c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e <a href=\"https:\/\/www.latent.space\/i\/152108729\/how-to-read-papers-in-an-hour\">\u00ab\u041a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u0438 \u0437\u0430 \u0447\u0430\u0441\u00bb<\/a>. \u041f\u0430\u0440\u0443 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u043e\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0434\u0430\u043d\u043d\u0443\u044e \u0442\u0435\u043c\u0443 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c <a href=\"https:\/\/x.com\/swyx\/status\/1875606586569453592\">\u0432 \u044d\u0442\u043e\u043c \u0442\u0440\u0435\u0434\u0435<\/a>, \u0430 <a href=\"https:\/\/niels-ole.com\/2025\/01\/05\/notes-on-the-2025-ai-engineer-reading-list\">\u0437\u0434\u0435\u0441\u044c <\/a>\u0432\u044b \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u0434\u043d\u0435\u0432\u043d\u0438\u043a \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u0435\u0439 \u0441 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c\u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0430\u043c\u0438 \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0441\u0442\u0430\u0442\u044c\u044f\u043c \u0438\u0437 \u044d\u0442\u043e\u0439 \u043f\u043e\u0434\u0431\u043e\u0440\u043a\u0438. \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0435\u0434\u0438\u043d\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u0438\u043a\u043e\u0432, \u043c\u043e\u0436\u0435\u0442\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043a <a href=\"https:\/\/discord.com\/invite\/xJJMRaWCRt\">Discord-\u0441\u0435\u0440\u0432\u0435\u0440\u0443 Latent Space<\/a>.\u00a0<\/p>\n<p>\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043b\u0438 \u043d\u0430\u0443\u0447\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u043e\u0438\u043b\u043e \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432 \u044d\u0442\u043e\u0442 \u0441\u043f\u0438\u0441\u043e\u043a? \u0414\u0435\u043b\u0438\u0442\u0435\u0441\u044c \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445!\u00a0<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/867762\/\"> https:\/\/habr.com\/ru\/articles\/867762\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0434\u0430\u0439\u0434\u0436\u0435\u0441\u0442\u0435 \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 50 \u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0418\u0418 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b. \u041f\u043e\u0434\u0431\u043e\u0440\u043a\u0430 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0434\u0435\u0441\u044f\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439: \u043e\u0442 \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433\u0430 \u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0434\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u0438 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043a\u0430\u043a \u0434\u043b\u044f \u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u0418\u0418-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0442\u044f\u0442 \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043d\u0430\u0432\u044b\u043a\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0430\u043a \u0438 \u0442\u0435\u043c, \u043a\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0432\u043e\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043f\u043e\u0438\u0441\u043a\u0430\u0445 \u0442\u043e\u0447\u043a\u0438 \u0432\u0445\u043e\u0434\u0430 \u0432 \u0442\u0443 \u0438\u043b\u0438 \u0438\u043d\u0443\u044e \u0442\u0435\u043c\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/summary>\n<div class=\"spoiler__content\">\n<ul>\n<li>\n<p><a href=\"#%D0%9F%D0%B5%D1%80%D0%B5%D0%B4%D0%BE%D0%B2%D1%8B%D0%B5%20LLM\">\u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 LLM<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8%20%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D1%8B\">\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%9F%D1%80%D0%BE%D0%BC%D1%82%D0%B8%D0%BD%D0%B3,%20In-Context%20Learning%20%D0%B8%20Chain%20of%20Thought\">\u041f\u0440\u043e\u043c\u0442\u0438\u043d\u0433, In-Context Learning \u0438 Chain of Thought<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D1%81%20%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9%20%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%BE%D0%B9%20(RAG)\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D1%8B\">\u0410\u0433\u0435\u043d\u0442\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%BA%D0%BE%D0%B4%D0%B0\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B5%20%D0%B7%D1%80%D0%B5%D0%BD%D0%B8%D0%B5\">\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%BE%D0%BB%D0%BE%D1%81\">\u0413\u043e\u043b\u043e\u0441<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9%20%D0%B8%20%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0432\u0438\u0434\u0435\u043e<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A4%D0%B0%D0%B9%D0%BD%D1%82%D1%8E%D0%BD%D0%B8%D0%BD%D0%B3\">\u0424\u0430\u0439\u043d\u0442\u044e\u043d\u0438\u043d\u0433<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#%D0%A1%20%D1%87%D0%B5%D0%B3%D0%BE%20%D0%BD%D0%B0%D1%87%D0%B0%D1%82%D1%8C\">\u0421 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"%D0%9F%D0%B5%D1%80%D0%B5%D0%B4%D0%BE%D0%B2%D1%8B%D0%B5%20LLM\" id=\"\u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 LLM\">\u044b\u0435 LLM&#187;<\/a><\/p>\n<h2>\u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 LLM<\/h2>\n<ol>\n<li>\n<p><strong>\u041d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/cdn.openai.com\/research-covers\/language-unsupervised\/language_understanding_paper.pdf\"><strong>GPT1<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/cdn.openai.com\/better-language-models\/language_models_are_unsupervised_multitask_learners.pdf\"><strong>GPT2<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2005.14165\"><strong>GPT3<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2107.03374\"><strong>Codex<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2203.02155\"><strong>InstructGPT<\/strong><\/a><strong> \u0438 <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2303.08774\"><strong>GPT4<\/strong><\/a> \u043e\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0438\u0437 OpenAI. \u0417\u0434\u0435\u0441\u044c \u0432\u0440\u044f\u0434 \u043b\u0438 \u043d\u0443\u0436\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u041f\u043e <a href=\"https:\/\/openai.com\/index\/chatgpt\/\">GPT3.5<\/a>, <a href=\"https:\/\/openai.com\/index\/hello-gpt-4o\/\">4o<\/a>, <a href=\"https:\/\/openai.com\/index\/introducing-openai-o1-preview\/\">o1<\/a> \u0438 <a href=\"https:\/\/openai.com\/index\/deliberative-alignment\/\">o3<\/a> \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u043b\u0430 \u0443\u0436\u0435 \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0435 \u043a\u0430\u0440\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e <\/strong><a href=\"https:\/\/www-cdn.anthropic.com\/de8ba9b01c9ab7cbabf5c33b80b7bbc618857627\/Model_Card_Claude_3.pdf\"><strong>Claude 3<\/strong><\/a><strong> \u0438 <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2312.11805\"><strong>Gemini 1<\/strong><\/a>, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 OpenAI. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u044d\u0442\u043e <a href=\"https:\/\/www.latent.space\/p\/claude-sonnet\">Claude 3.5 Sonnet<\/a> \u0438 <a href=\"https:\/\/blog.google\/technology\/google-deepmind\/google-gemini-ai-update-december-2024\/#gemini-2-0-flash\">Gemini 2.0 Flash<\/a>\/<a href=\"https:\/\/ai.google.dev\/gemini-api\/docs\/thinking-mode\">Flash Thinking<\/a>. \u0422\u0430\u043a\u0436\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u043f\u043e <a href=\"https:\/\/arxiv.org\/abs\/2408.00118\">Gemma 2<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0430\u0443\u0447\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2302.13971\"><strong>LLaMA 1<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2307.09288\"><strong>Llama 2<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2407.21783\"><strong>Llama 3<\/strong><\/a> \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0432 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0415\u0441\u043b\u0438 \u0432\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f LLM, \u043c\u043e\u0436\u0435\u0442\u0435 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e <a href=\"https:\/\/arxiv.org\/abs\/2310.06825\">Mistral 7B<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2401.04088\">Mixtral<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2410.07073\">Pixtral<\/a>.\u00a0<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u0438 \u043f\u043e DeepSeek <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.02954\"><strong>V1<\/strong><\/a>,<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.14196\"><strong>Coder<\/strong><\/a>,<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.06066\"><strong>MoE<\/strong><\/a>,<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2405.04434\"><strong>V2<\/strong><\/a>,<a href=\"https:\/\/github.com\/deepseek-ai\/DeepSeek-V3\"><strong> V3<\/strong><\/a>. \u041f\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u044f \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u044f \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2407.21075\"><strong>Apple Intelligence<\/strong><\/a>. \u042d\u0442\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 Mac \u0438 iPhone.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u043e\u0436\u043d\u043e \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 LLM \u0438 \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0438\u0445, \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u044a\u0435\u043c\u043d\u0430\u044f \u0442\u0435\u043c\u0430.<\/p>\n<ul>\n<li>\n<p>\u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u043c\u0438 \u043b\u043e\u0448\u0430\u0434\u043a\u0430\u043c\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 BERT: \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u0441\u0442\u043e\u0432 <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-modernbert-small-new-retrieverclassifier\/\">\u043e ModernBERT<\/a> \u0438 <a href=\"https:\/\/www.answer.ai\/posts\/colbert-pooling.html\">ColBERT<\/a> \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0435\u0440\u043f\u043d\u0443\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0433\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e LLM, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0437\u043d\u0430\u0442\u044c: AI2 (<a href=\"https:\/\/arxiv.org\/abs\/2402.00838\">Olmo<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2409.17146\">Molmo<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2409.02060\">OlmOE<\/a>, <a href=\"https:\/\/allenai.org\/blog\/tulu-3-technical\">T\u00fclu 3<\/a>, <a href=\"https:\/\/x.com\/soldni\/status\/1875266934943649808?s=46\">Olmo 2<\/a>), <a href=\"https:\/\/github.com\/xai-org\/grok-1\">Grok<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-olympus-has-dropped-aka-amazon-nova\/\">Amazon Nova<\/a>, <a href=\"https:\/\/www.wired.com\/story\/chinese-startup-01-ai-is-winning-the-open-source-ai-race\/\">Yi<\/a>, <a href=\"https:\/\/www.latent.space\/p\/yitay\">Reka<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-jamba-mixture-of-architectures-dethrones\/\">Jamba<\/a>, <a href=\"https:\/\/cohere.com\/command\">Cohere<\/a>, <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-to-be-named-2748\/\">Nemotron<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2412.08905\">Microsoft Phi<\/a>, <a href=\"https:\/\/www.latent.space\/p\/2024-open-models\">HuggingFace SmolLM<\/a>. \u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043e\u043d\u0438 \u043d\u0438\u0436\u0435 \u0432 \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0430\u0445, \u043d\u0430\u0443\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0435\u0441\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u043f\u043e \u0432\u0441\u0435\u043c.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0440\u0435\u043c\u044f, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443 \u043f\u043e <strong>\u0437\u0430\u043a\u043e\u043d\u0430\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/strong> <a href=\"http:\/\/arxiv.org\/abs\/2001.08361\">Kaplan<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2203.15556\">Chinchilla<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2206.07682\">Emergence<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2304.15004\">Mirage<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2401.00448\">Post-Chinchilla<\/a>.<\/p>\n<\/li>\n<li>\n<p>\u0412 2025 \u0433\u043e\u0434\u0443 \u0432 \u0430\u0432\u0430\u043d\u0433\u0430\u0440\u0434\u0435 (o1, <a href=\"https:\/\/en.wikipedia.org\/wiki\/OpenAI_o3\">o3<\/a>, <a href=\"https:\/\/api-docs.deepseek.com\/news\/news1120\">R1<\/a>, <a href=\"https:\/\/qwenlm.github.io\/blog\/qwq-32b-preview\/\">QwQ<\/a>\/<a href=\"https:\/\/qwenlm.github.io\/blog\/qvq-72b-preview\/\">QVQ<\/a>, <a href=\"https:\/\/fireworks.ai\/blog\/fireworks-compound-ai-system-f1\">f1<\/a>) \u0431\u0443\u0434\u0443\u0442 <strong>\u0434\u0443\u043c\u0430\u044e\u0449\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (reasoning models)<\/strong>. \u041f\u043e \u043d\u0438\u043c \u0435\u0449\u0435 \u043d\u0435\u0442 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439, \u043d\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u0437 \u0440\u0430\u0431\u043e\u0442 <a href=\"https:\/\/arxiv.org\/abs\/2305.20050\">Let\u2019s Verify Step By Step<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2203.14465\">STaR<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 <a href=\"https:\/\/www.youtube.com\/live\/Gr_eYXdHFis\">\u0434\u043e\u043a\u043b\u0430\u0434\u043e\u0432 \u041d\u043e\u0430\u043c\u0430 \u0411\u0440\u0430\u0443\u043d\u0430<\/a>. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0430\u043a\u043a\u0443\u043c\u0443\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f <a href=\"https:\/\/hn.algolia.com\/?dateRange=all&amp;page=0&amp;prefix=false&amp;query=o1&amp;sort=byPopularity&amp;type=story\">\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u043c\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 <\/a>\u0438 \u0432 \u0422\u0432\u0438\u0442\u0442\u0435\u0440\u0435.<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"%D0%91%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8%20%D0%B8%20%D1%82%D0%B5%D1%81%D1%82%D1%8B\" id=\"\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u044b\">\u0438 \u0442\u0435\u0441\u0442\u044b&#187;><\/a><\/p>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u044b<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2009.03300\"><strong>MMLU<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 \u043e\u0431\u0449\u0435\u0439 \u044d\u0440\u0443\u0434\u0438\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u043e\u0438\u0442 \u0432 \u043e\u0434\u043d\u043e\u043c \u0440\u044f\u0434\u0443 \u0441 <a href=\"https:\/\/arxiv.org\/abs\/2311.12022\">GPQA<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2206.04615\">BIG-Bench<\/a>. \u0412 2025 \u0433\u043e\u0434\u0443 \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2406.01574\">MMLU Pro<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2311.12022\">GPQA Diamond<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2210.09261\">BIG-Bench Hard<\/a><strong>.<\/strong><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2310.16049\"><strong>MuSR<\/strong><\/a><strong> <\/strong>\u2014 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0434\u043e\u043b\u0433\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u0421\u0440\u0430\u0432\u043d\u0438\u043c \u0441 <a href=\"https:\/\/arxiv.org\/abs\/2412.15204\">LongBench<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2406.10149\">BABILong<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/p\/gradient\">RULER<\/a><strong>.<\/strong> \u0420\u0430\u0431\u043e\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0442\u0435\u043c, \u043a\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 <a href=\"https:\/\/arxiv.org\/abs\/2307.03172\">Lost in the Middle<\/a> \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0447\u0430\u0442 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u0430 <a href=\"https:\/\/github.com\/gkamradt\/LLMTest_NeedleInAHaystack\">Needle in a Haystack<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2103.03874\"><strong>MATH <\/strong><\/a>\u2014 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u0439. \u041f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0435 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0434\u0435\u043b\u0430\u044e\u0442 \u0443\u043f\u043e\u0440 \u043d\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2411.04872\">FrontierMath<\/a> \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b MATH: MATH level 5, <a href=\"https:\/\/www.kaggle.com\/datasets\/hemishveeraboina\/aime-problem-set-1983-2024\">AIME<\/a>, <a href=\"https:\/\/github.com\/ryanrudes\/amc\">AMC10\/AMC12<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2311.07911\"><strong>IFEval<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0438\u0439 \u043d\u0430\u0432\u044b\u043a \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, <a href=\"https:\/\/machinelearning.apple.com\/research\/introducing-apple-foundation-models\">\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0439 \u043d\u0430 \u0432\u043e\u043e\u0440\u0443\u0436\u0435\u043d\u0438\u0435 Apple<\/a>. <a href=\"https:\/\/arxiv.org\/abs\/2306.05685\">MT-Bench<\/a> \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u044c\u044e IFEval.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0435\u043b\u043b\u0435\u043d\u0434\u0436 <\/strong><a href=\"https:\/\/arcprize.org\/arc\"><strong>ARC AGI<\/strong><\/a><strong> <\/strong>\u2014 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0434\u043b\u044f \u00abIQ-\u0442\u0435\u0441\u0442\u0430\u00bb \u043d\u0430\u0432\u044b\u043a\u043e\u0432 \u043a \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0442\u0435\u0440\u044f\u0435\u0442 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 <a href=\"https:\/\/www.latent.space\/p\/benchmarks-101\">Benchmarks 101<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/p\/benchmarks-201\">Benchmarks 201<\/a>. \u0412 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043e <a href=\"https:\/\/www.latent.space\/p\/carlini\">Carlini<\/a>, <a href=\"https:\/\/www.latent.space\/p\/lmarena\">LMArena<\/a> \u0438 <a href=\"https:\/\/www.latent.space\/p\/braintrust\">Braintrust<\/a> \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a-\u0430\u0440\u0435\u043d\u0430\u0445 (\u0441\u043c. <a href=\"https:\/\/hamel.dev\/blog\/posts\/llm-judge\/\">LLM-as-Judge<\/a> \u0438 <a href=\"https:\/\/applied-llms.org\/#evaluation-monitoring\">\u044d\u0441\u0441\u0435 Applied LLM<\/a>). \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435, \u0441\u043e\u0432\u0435\u0442\u0443\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u043e <a href=\"https:\/\/www.latent.space\/p\/datasets-101\">\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%9F%D1%80%D0%BE%D0%BC%D1%82%D0%B8%D0%BD%D0%B3,%20In-Context%20Learning%20%D0%B8%20Chain%20of%20Thought\" id=\"\u041f\u0440\u043e\u043c\u0442\u0438\u043d\u0433, In-Context Learning \u0438 Chain of Thought\">Thought&#187;><\/a><\/p>\n<h2>\u041f\u0440\u043e\u043c\u0442\u0438\u043d\u0433, In-Context Learning \u0438 Chain of Thought<\/h2>\n<blockquote>\n<p><em>\u0412\u044b\u0448\u0435 \u043c\u044b \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u0438 <\/em><a href=\"https:\/\/arxiv.org\/abs\/2005.14165\"><em>\u0441\u0442\u0430\u0442\u044c\u044e \u043e GPT3,<\/em><\/a><em> \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f In-Context Learning (ICL) \u2014 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f, \u0431\u043b\u0438\u0437\u043a\u0430\u044f \u043a \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433\u0443. \u0414\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u043d\u043e\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0442\u0435\u043c\u044b \u0441\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 <\/em><a href=\"https:\/\/www.latent.space\/i\/93381455\/what-is-prompt-injection\"><em>\u0438\u043d\u044a\u0435\u043a\u0446\u0438\u044f\u0445 \u043f\u0440\u043e\u043c\u0442\u043e\u0432<\/em><\/a><em> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e \u043d\u0438\u0445 \u043f\u0438\u0441\u0430\u043b\u0438 <\/em><a href=\"https:\/\/lilianweng.github.io\/posts\/2023-10-25-adv-attack-llm\/\"><em>\u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/em><\/a><em> \u0438 <\/em><a href=\"https:\/\/simonwillison.net\/series\/prompt-injection\/\"><em>\u0421\u0430\u0439\u043c\u043e\u043d \u0412\u0438\u043b\u043b\u0441\u043e\u043d<\/em><\/a><em>).<\/em><\/p>\n<\/blockquote>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2406.06608\"><strong>The Prompt Report<\/strong><\/a> \u2014 \u043e\u0431\u0437\u043e\u0440 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u043e \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433\u0435 (<a href=\"https:\/\/www.latent.space\/p\/learn-prompting\">\u0437\u0434\u0435\u0441\u044c <\/a>\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043b\u0443\u0448\u0430\u0442\u044c \u043f\u043e\u0434\u043a\u0430\u0441\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2201.11903\"><strong>Chain of thought<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442, \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0432\u0448\u0438\u0445 \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u044f\u043c\u0438 \u043f\u043e <a href=\"https:\/\/arxiv.org\/abs\/2112.00114\">Scratchpads<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2205.11916\">Let\u2019s Think Step by Step<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2305.10601\"><strong>Tree of Thought<\/strong><\/a><strong> <\/strong>\u2014 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 lookahead \u0438 backtracking (<a href=\"https:\/\/www.latent.space\/p\/shunyu\">\u043f\u043e\u0434\u043a\u0430\u0441\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443<\/a>).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/aclanthology.org\/2021.emnlp-main.243\/\"><strong>Prompt Tuning<\/strong><\/a><strong> <\/strong>\u2014 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u043e\u043c\u0442\u044b; \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2101.00190\">\u0442\u044e\u043d\u0438\u043d\u0433 \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u043e\u0432<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2402.10200\">\u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c<\/a> (\u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, <a href=\"https:\/\/github.com\/xjdr-alt\/entropix\">\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438<\/a>) \u0438\u043b\u0438 <a href=\"https:\/\/vgel.me\/posts\/representation-engineering\/\">\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u044e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0439<\/a> (representation engineering).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2211.01910\"><strong>\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433<\/strong> <\/a>(automatic prompt engineering) \u2014 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0435\u0435, \u0447\u0442\u043e \u043b\u044e\u0434\u0438 \u0443\u0436\u0430\u0441\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 zero-shot prompting \u0438 \u0447\u0442\u043e LLM \u043c\u043e\u0433\u0443\u0442 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c <em>\u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442\u0438\u043d\u0433<\/em>. \u0421\u0430\u043c\u0443\u044e \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\/\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2310.03714\">DSPy<\/a>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c, \u043a\u0430\u043a \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432: \u043c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u044b <a href=\"https:\/\/lilianweng.github.io\/posts\/2023-03-15-prompt-engineering\/\">\u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/a>, <a href=\"https:\/\/eugeneyan.com\/writing\/prompting\/\">\u042e\u0434\u0436\u0438\u043d\u0430 \u042f\u043d\u0430<\/a>, <a href=\"https:\/\/github.com\/anthropics\/prompt-eng-interactive-tutorial\">Anthropic\u2019s Prompt Engineering Tutorial<\/a> \u0438 <a href=\"https:\/\/www.youtube.com\/watch?v=hkhDdcM5V94\">AI Engineer Workshop<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D1%81%20%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D0%BD%D0%BE%D0%B9%20%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%BE%D0%B9%20(RAG)\" id=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)\">\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)&#187;><\/a><\/p>\n<h2>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 (RAG)<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/nlp.stanford.edu\/IR-book\/information-retrieval-book.html\"><strong>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a<\/strong><\/a><strong> <\/strong>\u2014 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043d\u0435\u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u043a\u043d\u0438\u0433\u0443, \u043d\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0434\u0447\u0435\u0440\u043a\u043d\u0443\u0442\u044c, \u0447\u0442\u043e RAG \u2014 \u044d\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Information_retrieval#History\">\u0434\u043b\u0438\u0442\u0441\u044f \u0443\u0436\u0435 \u0448\u0435\u0441\u0442\u044c\u0434\u0435\u0441\u044f\u0442 \u043b\u0435\u0442<\/a> \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Tf%E2%80%93idf\">TF-IDF<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Okapi_BM25\">BM25<\/a>, <a href=\"https:\/\/github.com\/facebookresearch\/faiss\">FAISS<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/1603.09320\">HNSW<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u00ab\u0441\u043a\u0443\u0447\u043d\u044b\u0435\u00bb \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2005.11401\"><strong>\u041f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u043e RAG <\/strong><\/a><strong>\u0437\u0430 2020 \u0433\u043e\u0434<\/strong> \u2014 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u043d\u0435\u0439 \u0432\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u044d\u0442\u043e\u0442 \u0442\u0435\u0440\u043c\u0438\u043d. \u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0442\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 Contextual \u0438 \u0432\u0432\u0435\u043b\u0438 \u0432 \u043e\u0431\u0438\u0445\u043e\u0434 <a href=\"https:\/\/contextual.ai\/introducing-rag2\/\">\u043f\u043e\u0434\u0445\u043e\u0434 RAG 2.0<\/a>. \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0434\u043b\u044f RAG \u2014 <a href=\"https:\/\/docs.llamaindex.ai\/en\/stable\/optimizing\/advanced_retrieval\/query_transformations\/\">HyDE<\/a>, <a href=\"https:\/\/research.trychroma.com\/evaluating-chunking\">chunking<\/a>, <a href=\"https:\/\/cohere.com\/blog\/rerank-3pt5\">rerankers<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=i2vBaFzCEJw\">\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/a> \u2014 \u043b\u0443\u0447\u0448\u0435 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b <a href=\"https:\/\/www.youtube.com\/watch?v=FDEmbYPgG-s\">\u0432 \u0434\u0440\u0443\u0433\u0438\u0445<\/a> <a href=\"https:\/\/www.youtube.com\/watch?v=DId2KP8Ykz4\">\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u0445<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2210.07316\"><strong>MTEB<\/strong><\/a><strong> <\/strong>\u2014 \u044d\u0442\u043e\u0442 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/news.ycombinator.com\/item?id=42504379\">\u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u0441\u0432\u043e\u0438\u043c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c<\/a>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0433\u043e \u0430\u0432\u0442\u043e\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 <a href=\"https:\/\/x.com\/Nils_Reimers\/status\/1870812625505849849\">\u0435\u0433\u043e \u043d\u0435\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c<\/a>. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u0435-\u0444\u0430\u043a\u0442\u043e \u043e\u043d \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u043c. \u041e \u043c\u043d\u043e\u0433\u0438\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u0430\u043c\u0438: <a href=\"https:\/\/huggingface.co\/sentence-transformers\/all-MiniLM-L6-v2\">SentenceTransformers<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=VIqXNRsRRQo\">OpenAI, Nomic Embed, Jina v3, cde-small-v1<\/a>, <a href=\"https:\/\/x.com\/zach_nussbaum\/status\/1873813021786767699?s=46&amp;t=tMWvmS3OL3Ssg0b9lKvp4Q\">ModernBERT Embed<\/a>; \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f <a href=\"https:\/\/huggingface.co\/blog\/matryoshka\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 Matryoshka<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/pdf\/2404.16130\"><strong>GraphRAG<\/strong><\/a><strong> <\/strong>\u2014 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 <a href=\"https:\/\/www.microsoft.com\/en-us\/research\/blog\/graphrag-unlocking-llm-discovery-on-narrative-private-data\/?utm_source=ainews&amp;utm_medium=email&amp;utm_campaign=ainews-graphrag\">Microsoft<\/a> \u043f\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0433\u0440\u0430\u0444\u043e\u0432 \u0437\u043d\u0430\u043d\u0438\u0439 \u0432 RAG, \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u043c <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-graphrag\/\">\u0432 open source<\/a>. \u041e\u0434\u0438\u043d \u0438\u0437 <a href=\"https:\/\/www.youtube.com\/watch?v=knDDGYHnnSI\">\u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0442\u0440\u0435\u043d\u0434\u043e\u0432 \u0432 RAG<\/a> \u0432 2024 \u0433\u043e\u0434\u0443, \u043d\u0430\u0440\u044f\u0434\u0443 \u0441 <a href=\"https:\/\/github.com\/stanford-futuredata\/ColBERT\">ColBERT<\/a>\/ColPali\/ColQwen (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0431 \u044d\u0442\u043e\u043c \u0432 \u0440\u0430\u0437\u0434\u0435\u043b\u0435 7).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2309.15217\"><strong>RAGAS<\/strong><\/a><strong> <\/strong>\u2014 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 RAG, <a href=\"https:\/\/x.com\/swyx\/status\/1724490887147978793\">\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 OpenAI<\/a>. \u0422\u0430\u043a\u0436\u0435 \u0441\u043c. <a href=\"https:\/\/arxiv.org\/abs\/2407.07858v1\">\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a Nvidia FACTS <\/a>\u0438 <a href=\"https:\/\/lilianweng.github.io\/posts\/2024-07-07-hallucination\/\">Extrinsic Hallucinations in LLMs<\/a><strong> <\/strong>\u2014 \u043e\u0431\u0437\u043e\u0440 \u043f\u0440\u0438\u0447\u0438\u043d\/\u043e\u0446\u0435\u043d\u043e\u043a \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c \u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 2024 \u0433\u043e\u0434\u0443 RAG \u0441\u0442\u0430\u043b\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0418\u0418, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0432\u0435\u0442\u0443\u0435\u043c \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u043f\u043e \u043d\u0435\u0439 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0442\u0440\u0430\u0441\u043b\u0435\u0432\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0446\u0435\u043d\u043d\u044b\u043c\u0438 \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c\u0438 \u0431\u0443\u0434\u0443\u0442 <a href=\"https:\/\/docs.llamaindex.ai\/en\/stable\/understanding\/rag\/\">LlamaIndex<\/a> (<a href=\"https:\/\/www.deeplearning.ai\/short-courses\/building-evaluating-advanced-rag\/\">\u043a\u0443\u0440\u0441<\/a>) \u0438 <a href=\"https:\/\/python.langchain.com\/docs\/tutorials\/rag\/\">LangChain<\/a> (<a href=\"https:\/\/www.youtube.com\/watch?v=wd7TZ4w1mSw\">\u0432\u0438\u0434\u0435\u043e<\/a>). \u0415\u0449\u0435 RAG \u0447\u0430\u0441\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442 \u043f\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0441 Long Context \u2014 <a href=\"https:\/\/arxiv.org\/abs\/2407.16833\">\u0432\u043e\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435<\/a> \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443.<\/p>\n<p><a class=\"anchor\" name=\"%D0%90%D0%B3%D0%B5%D0%BD%D1%82%D1%8B\" id=\"\u0410\u0433\u0435\u043d\u0442\u044b\">\u0442\u044b&#187;><\/a><\/p>\n<h2>\u0410\u0433\u0435\u043d\u0442\u044b<\/h2>\n<ol>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2310.06770\"><strong>SWE-Bench<\/strong><\/a><strong> <\/strong>(<a href=\"https:\/\/www.latent.space\/p\/iclr-2024-benchmarks-agents?utm_source=publication-search#%C2%A7section-b-benchmarks\">\u043f\u043e\u0434\u043a\u0430\u0441\u0442 \u043d\u0430 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443<\/a>) \u2014 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0435\u0433\u043e <a href=\"https:\/\/www.latent.space\/p\/claude-sonnet\">\u043d\u0430\u0447\u0430\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Anthropic<\/a>, Devin \u0438 <a href=\"https:\/\/openai.com\/index\/introducing-swe-bench-verified\/\">OpenAI<\/a>, \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u044d\u0442\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0441\u0430\u043c\u044b\u0439 \u0432\u044b\u0441\u043e\u043a\u043e\u0440\u0435\u0439\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0430\u0433\u0435\u043d\u0442\u043e\u0432 (\u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 <a href=\"https:\/\/github.com\/web-arena-x\/webarena\">WebArena<\/a> \u0438 <a href=\"https:\/\/x.com\/jiayi_pirate\/status\/1871249410128322856\">SWE-Gym<\/a>). \u0421\u0442\u0440\u043e\u0433\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u044d\u0442\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043a\u043e\u0434\u0438\u043d\u0433\u0430, \u043d\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0442\u0435\u0441\u0442 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u0447\u0435\u043c \u0441\u044b\u0440\u044b\u0445 LLM. \u0422\u0430\u043a\u0436\u0435 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e <a href=\"https:\/\/arxiv.org\/abs\/2405.15793\">SWE-Agent<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2410.03859\">SWE-Bench Multimodal<\/a> \u0438 <a href=\"https:\/\/kprize.ai\/\">Konwinski Prize<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2210.03629\"><strong>ReAct<\/strong><\/a><strong> <\/strong>(<a href=\"https:\/\/www.latent.space\/p\/shunyu\">\u043f\u043e\u0434\u043a\u0430\u0441\u0442<\/a>) \u2014 ReAct \u0441\u0442\u0430\u043b \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 LLM, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445 \u0432\u043d\u0435\u0448\u043d\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 <a href=\"https:\/\/gorilla.cs.berkeley.edu\/\">Gorilla<\/a> \u0438 <a href=\"https:\/\/gorilla.cs.berkeley.edu\/leaderboard.html\">BFCL Leaderboard<\/a>. \u0418\u0437 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u0443\u0447\u0438\u0442\u044c <a href=\"https:\/\/arxiv.org\/abs\/2302.04761\">Toolformer<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2303.17580\">HuggingGPT<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2310.08560\"><strong>MemGPT<\/strong><\/a><strong> <\/strong>\u2014 \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0438\u043a \u044d\u043c\u0443\u043b\u044f\u0446\u0438\u0438 \u0434\u043e\u043b\u0433\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u0430\u044f \u0432 <a href=\"https:\/\/openai.com\/index\/memory-and-new-controls-for-chatgpt\/\">ChatGPT<\/a> \u0438 <a href=\"https:\/\/langchain-ai.github.io\/langgraph\/concepts\/memory\/#episodic-memory\">LangGraph<\/a>. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0430\u0433\u0435\u043d\u0442\u043e\u0432: \u043e\u0442 <a href=\"https:\/\/arxiv.org\/abs\/2308.00352\">MetaGPT<\/a> \u0434\u043e <a href=\"https:\/\/arxiv.org\/abs\/2308.08155\">AutoGen<\/a> \u0438 <a href=\"https:\/\/github.com\/joonspk-research\/generative_agents\">Smallville<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2305.16291\"><strong>Voyager<\/strong><\/a><strong> <\/strong>\u2014 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 Nvidia \u0441\u043f\u043e\u0441\u043e\u0431 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0440\u0435\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 <a href=\"https:\/\/arxiv.org\/abs\/2309.02427\">\u043a\u043e\u0433\u043d\u0438\u0442\u0438\u0432\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <\/a>(<strong>curriculum<\/strong>,<strong> skill library<\/strong>, <strong>sandbox<\/strong>) \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442\u044c\u0441\u044f \u0432 \u044d\u0442\u0443 \u0442\u0435\u043c\u0443, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 <a href=\"https:\/\/arxiv.org\/abs\/2409.07429\">Agent Workflow Memory<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.anthropic.com\/research\/building-effective-agents\"><strong>\u041c\u0430\u0442\u0435\u0440\u0438\u0430\u043b Anthropic<\/strong><\/a><strong> <\/strong>\u043d\u0430 \u0442\u0435\u043c\u0443 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f <strong>\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432<\/strong> \u2014 \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043e\u0431\u0437\u043e\u0440 \u0437\u0430 2024 \u0433\u043e\u0434 \u0441 \u0443\u043f\u043e\u0440\u043e\u043c \u043d\u0430 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c chaining, \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0421\u043c. \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<a href=\"https:\/\/lilianweng.github.io\/posts\/2023-06-23-agent\/\"> \u041b\u0438\u043b\u0438\u0430\u043d \u0412\u0435\u043d\u0433<\/a> (\u0431\u044b\u0432\u0448\u0435\u0439 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u0446\u044b OpenAI), <a href=\"https:\/\/www.latent.space\/p\/shunyu\">\u0421\u0443\u043d\u044c\u044e \u042f\u043e<\/a> (\u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0433\u043e \u0432 OpenAI) \u0438 <a href=\"https:\/\/huyenchip.com\/\/2025\/01\/07\/agents.html\">\u0427\u0438\u043f\u0430 \u0425\u0443\u044d\u043d\u0430<\/a>.<\/p>\n<\/li>\n<\/ol>\n<p><a class=\"anchor\" name=\"%D0%93%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%BA%D0%BE%D0%B4%D0%B0\" id=\"\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430\">\u044f \u043a\u043e\u0434\u0430&#187;><\/a><\/p>\n<h2>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430<\/h2>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2211.15533\"><strong>The Stack <\/strong><\/a>\u2014 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442-\u0431\u043b\u0438\u0437\u043d\u0435\u0446 The Pile \u0441 \u0443\u043f\u043e\u0440\u043e\u043c \u043d\u0430 \u043a\u043e\u0434, \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0430\u044f \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/datasets\/bigcode\/the-stack-v2\">The Stack v2<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2402.19173\">StarCoder<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u0438 Open Code <\/strong>\u2014 \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 <a href=\"https:\/\/arxiv.org\/abs\/2401.14196\">DeepSeek-Coder<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2409.12186\">Qwen2.5-Coder<\/a> \u0438 <a href=\"https:\/\/ai.meta.com\/research\/publications\/code-llama-open-foundation-models-for-code\/\">CodeLlama<\/a>. \u041c\u043d\u043e\u0433\u0438\u0435 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 <a href=\"https:\/\/www.latent.space\/p\/claude-sonnet\">\u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430 3.5 Sonnet<\/a>, \u043d\u043e \u043f\u043e \u043d\u0435\u0439 \u043d\u0435 \u0432\u044b\u043f\u0443\u0441\u043a\u0430\u043b\u0438 \u043d\u0430\u0443\u0447\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2107.03374\"><strong>HumanEval\/Codex <\/strong><\/a>\u2014 \u044d\u0442\u043e\u0442 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u0431\u044b\u0442\u044c \u0432\u044b\u0437\u043e\u0432\u043e\u043c \u0434\u043b\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440, \u043d\u043e \u043e\u043d \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0444\u0435\u0440\u0435 \u0431\u043e\u043b\u0435\u0435 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442 SWE-Bench, \u043d\u043e \u043e\u043d \u0437\u0430\u0442\u0440\u0430\u0442\u0435\u043d \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0430\u0433\u0435\u043d\u0442\u043e\u0432, \u0430 \u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0430\u043d\u0430\u043b\u043e\u0433\u0438 \u044d\u0442\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u2014 <a href=\"https:\/\/aider.chat\/docs\/leaderboards\/\">Aider<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2312.02143\">Codeforces<\/a>, <a href=\"https:\/\/huggingface.co\/spaces\/bigcode\/bigcodebench-leaderboard\">BigCodeBench<\/a>, <a href=\"https:\/\/livecodebench.github.io\/\">LiveCodeBench<\/a> \u0438 <a href=\"https:\/\/buttondown.com\/ainews\/archive\/ainews-to-be-named-5745\/\">SciCode<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2401.08500\"><strong>AlphaCodeium <\/strong><\/a>\u2014 Google \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0430 <a href=\"https:\/\/news.ycombinator.com\/item?id=34020025\">AlphaCode<\/a> \u0438 <a href=\"https:\/\/x.com\/RemiLeblond\/status\/1732419456272318614\">AlphaCode2<\/a> , \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0435\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0439 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u0435\u0442\u043e\u0434 <strong>Flow Engineering <\/strong>\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043b\u044e\u0431\u043e\u0439 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/criticgpt.org\/criticgpt-openai\/\"><strong>CriticGPT<\/strong><\/a><strong> <\/strong>\u2014 <a href=\"https:\/\/arxiv.org\/abs\/2412.15004v1\">\u043a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e<\/a>, LLM \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434, \u0438\u043c\u0435\u044e\u0449\u0438\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c\u044e. OpenAI \u043e\u0431\u0443\u0447\u0438\u043b\u0430 \u0434\u043b\u044f \u0438\u0445 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f CriticGPT, \u0430 Anthropic \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 <a href=\"https:\/\/transformer-circuits.pub\/2024\/scaling-monosemanticity\/index.html#safety-relevant-code\">\u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b<\/a>, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 LLM \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u0442 \u0442\u0430\u043a\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<\/li>\n<\/ol>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430 \u2014 \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u043e\u0431\u043b\u0430\u0441\u0442\u044c, \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u0442\u044c\u0441\u044f \u0432 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0443, \u0430 \u043d\u0435 \u0432 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. <a href=\"https:\/\/www.youtube.com\/watch?v=Ve-akpov78Q\">\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0438 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430 <\/a>\u0438 <a href=\"https:\/\/www.youtube.com\/watch?v=T7NWjoD_OuY&amp;t=8s\">\u043a\u043e\u0434\u043e\u0432\u044b\u0445 \u0430\u0433\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u043f\u043e\u0434\u043e\u0431\u0438\u0435 Devin<\/a> \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0442\u0440\u0430\u0441\u043b\u0435\u0432\u044b\u0445 \u043f\u043e\u0441\u0442\u0430\u0445 \u0438 \u0434\u043e\u043a\u043b\u0430\u0434\u0430\u0445.<\/p>\n<p><a class=\"anchor\" name=\"%D0%9A%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80%D0%BD%D0%BE%D0%B5%20%D0%B7%D1%80%D0%B5%D0%BD%D0%B8%D0%B5\" id=\"\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435\">\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435&#187;<\/a><\/p>\n<h2>\u041a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0435 \u0437\u0440\u0435\u043d\u0438\u0435<\/h2>\n<ul>\n<li>\n<p><strong>\u0420\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u043c\u0443 \u0437\u0440\u0435\u043d\u0438\u044e, \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 LLM<\/strong>, \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b: \u0437\u0434\u0435\u0441\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u043e\u0439 \u043f\u043e<strong> <\/strong><a href=\"https:\/\/arxiv.org\/abs\/1506.02640\"><strong>YOLO<\/strong><\/a><strong> <\/strong>(\u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043d <a href=\"https:\/\/github.com\/ultralytics\/ultralytics\">\u0438\u043c\u0435\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u044e 11<\/a>, \u043d\u043e <a href=\"https:\/\/news.ycombinator.com\/item?id=42352342\">\u0435\u0433\u043e \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0443\u044e<\/a> \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443). \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0438\u0433\u0440\u0430\u0442\u044c \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u044b (\u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u0442\u0430\u0442\u044c\u044f <a href=\"https:\/\/arxiv.org\/abs\/2304.08069\">DETRs Beat YOLOs<\/a>).<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e <\/strong><a href=\"https:\/\/arxiv.org\/abs\/2103.00020\"><strong>CLIP<\/strong><\/a><strong> <\/strong>\u2014 \u043f\u0435\u0440\u0432\u043e\u043c \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u043c <a href=\"https:\/\/arxiv.org\/abs\/2010.11929\">ViT<\/a>. <\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-454187","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/454187","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=454187"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/454187\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=454187"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=454187"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=454187"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}