{"id":478544,"date":"2026-05-04T15:16:36","date_gmt":"2026-05-04T15:16:36","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=478544"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=478544","title":{"rendered":"\u0411\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u2014 \u0445\u0443\u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442"},"content":{"rendered":"
\n

\u043f\u043e\u0447\u0435\u043c\u0443 AI-\u0430\u0433\u0435\u043d\u0442\u044b \u0434\u0435\u0433\u0440\u0430\u0434\u0438\u0440\u0443\u044e\u0442 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0441\u0435\u0441\u0441\u0438\u044f\u0445 \u0438 \u043f\u0440\u0438 \u0447\u0451\u043c \u0442\u0443\u0442 CoT<\/h2>\n

\u041f\u043e\u0441\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e Cursor<\/a> \u0438 \u0441\u0436\u0430\u0442\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0435\u0432. \u0412 \u043a\u043e\u043c\u0435\u043d\u0442\u0430\u0445 \u0441\u043f\u043e\u0440\u044f\u0442: \u0432\u0438\u043d\u043e\u0432\u0430\u0442 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u0438\u043d\u0433? \u0418\u043b\u0438 attention dilution? \u0418\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0441\u043b\u0443\u0448\u0430\u043b\u0430\u0441\u044c? \u0418\u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435, \u0430 \u0432 alignment?<\/p>\n

\u0421\u043f\u043e\u0440 \u0445\u043e\u0440\u043e\u0448\u0438\u0439, \u043d\u043e \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443: \u0443 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043d\u0435\u0442 \u043e\u0431\u0449\u0435\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u044b \u0442\u043e\u0433\u043e, \u043a\u0430\u043a LLM \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c. \u041c\u044b \u0432\u0438\u0434\u0438\u043c \u0441\u0438\u043c\u043f\u0442\u043e\u043c\u044b (\u0430\u0433\u0435\u043d\u0442 \u0443\u0434\u0430\u043b\u0438\u043b \u0431\u0430\u0437\u0443, \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u0435\u0442, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438), \u043d\u043e \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b.<\/p>\n

\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u0442\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443<\/p>\n\n

Disclaimer<\/h3>\n

\u042f \u043d\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c alignment \u0438 \u043d\u0435 \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a Anthropic\/OpenAI. \u042f \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0441 23 \u0433\u043e\u0434\u0430\u043c\u0438 \u043e\u043f\u044b\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u043f\u043b\u043e\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 AI-\u0430\u0433\u0435\u043d\u0442\u0430\u043c\u0438 \u0438 \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u0430\u043b \u043a\u0443\u0447\u0443 \u0441\u0442\u0430\u0442\u0435\u0439 \u043d\u0430 arxiv, \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0438 \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f. \u0412\u0441\u0451 \u043d\u0438\u0436\u0435 — \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044f \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0441 \u043c\u043e\u0438\u043c\u0438 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438.<\/p>\n\n

1. Chain-of-Thought: \u0447\u0442\u043e \u044d\u0442\u043e \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043d\u0435 \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435<\/h3>\n

CoT (Chain-of-Thought) — \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u0440\u043e\u0441\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u0448\u0430\u0433 \u0437\u0430 \u0448\u0430\u0433\u043e\u043c\u00bb \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u0432\u0435\u0442\u043e\u043c. \u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0442\u0440\u044f\u0441\u0430\u044e\u0449\u0435. \u041d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 CoT \u043a\u0430\u043a \u00ab\u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0435\u0442\u00bb.<\/p>\n

\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435.<\/p>\n

CoT — \u043f\u043e\u0441\u0442-\u0445\u043e\u043a \u043d\u0430\u0440\u0440\u0430\u0442\u0438\u0432, \u043d\u0435 \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0430<\/h4>\n

Turpin et al. (2023) \u00abFaithful Chain-of-Thought Reasoning?\u00bb<\/strong> — arxiv.org\/abs\/2303.06968<\/a><\/p>\n

\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e CoT \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u0430\u0436\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043e\u043d\u0438 \u043f\u043e\u0434\u0441\u043e\u0432\u044b\u0432\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u043a\u0438 (distractors), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u043b\u0438 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u0435\u043d\u044f\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0434 \u0432\u043b\u0438\u044f\u043d\u0438\u0435\u043c \u043e\u0442\u0432\u043b\u0435\u043a\u0430\u044e\u0449\u0438\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u043d\u043e \u0432 CoT-\u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0438 \u043f\u0438\u0441\u0430\u043b\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435, \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u043e\u0435 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439.<\/p>\n

\n

\u00abCoT explanations can be unfaithful: they can systematically misrepresent the true reasons for a model’s predictions\u00bb.<\/p>\n<\/blockquote>\n

Sharma et al. (2023) \u00abCoT — \u043f\u043e\u0441\u0442-\u0445\u043e\u043a \u0440\u0430\u0446\u0438\u043e\u043d\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00bb<\/strong> — arxiv.org\/abs\/2307.15983<\/a><\/p>\n

\u041f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043e\u0442\u0432\u043b\u0435\u043a\u0430\u044e\u0449\u0438\u0435 \u0444\u0440\u0430\u0437\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 CoT \u043e\u043f\u0440\u0430\u0432\u0434\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0430\u0435\u0442 — \u043e\u043d\u0430 \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0435\u0442 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n

Lanham et al. (2023) \u00abCoT as Narrative, Not Trace\u00bb<\/strong> — arxiv.org\/abs\/2309.15500<\/a><\/p>\n

\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0451\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u0430\u0436\u0435 \u0441 \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u0439 \u0438\u043b\u0438 \u043e\u0431\u0440\u044b\u0432\u043e\u0447\u043d\u043e\u0439 CoT. \u0415\u0441\u043b\u0438 \u0431\u044b CoT \u0431\u044b\u043b\u0430 \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u043e\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f, \u043d\u0435\u0432\u0435\u0440\u043d\u0430\u044f CoT \u0432\u0435\u043b\u0430 \u0431\u044b \u043a \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442\u0443. \u041d\u043e \u043d\u0435\u0442. CoT — \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0441\u0442-\u0444\u0430\u043a\u0442\u0443\u043c.<\/p>\n

\u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/h4>\n

\u041a\u043e\u0433\u0434\u0430 AI-\u0430\u0433\u0435\u043d\u0442 \u043f\u0438\u0448\u0435\u0442 \u00ab\u044f \u043d\u0430\u0440\u0443\u0448\u0438\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u0438\u0437\u0432\u0438\u043d\u0438\u0442\u0435\u00bb — \u044d\u0442\u043e \u043d\u0435 \u0442\u0440\u0430\u0441\u0441\u0438\u0440\u043e\u0432\u043a\u0430 \u0435\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043f\u043e\u0441\u0442-\u0445\u043e\u043a \u043d\u0430\u0440\u0440\u0430\u0442\u0438\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 post-factum, \u0432\u0438\u0434\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432 \u043e\u0434\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. \u0412 \u043c\u043e\u043c\u0435\u043d\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441\u0432\u044f\u0437\u043a\u0438 \u043c\u043e\u0433\u043b\u043e \u043d\u0435 \u0431\u044b\u0442\u044c, \u043d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u00bb \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u0442\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u043b\u0430, \u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0437\u0432\u0443\u0447\u0430\u0442\u044c \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e.<\/p>\n

CoT — \u044d\u0442\u043e \u043d\u0435 \u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435. \u042d\u0442\u043e \u043e\u0437\u0432\u0443\u0447\u043a\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n\n

2. \u0421\u0436\u0430\u0442\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430: \u043a\u0430\u043a \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0442\u0435\u0440\u044f\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e<\/h3>\n

\u0414\u0432\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u0438\u043d\u0433\u0430<\/h4>\n

\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0441\u0436\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442:<\/p>\n

    \n
  1. \n

    Truncation<\/strong> — \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442\u0440\u0435\u0437\u0430\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u043e\u0431\u044b\u0447\u043d\u043e \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0443 \u0438\u043b\u0438 \u043d\u0430\u0447\u0430\u043b\u043e). \u0414\u0435\u0448\u0451\u0432\u043e, \u0433\u0440\u0443\u0431\u043e, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e.<\/p>\n<\/li>\n

  2. \n

    Prompt-based summarization<\/strong> — \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0432\u043a\u0440\u0430\u0442\u0446\u0435. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 Cursor, Claude Code \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 AI-\u0430\u0433\u0435\u043d\u0442\u0430\u0445.<\/p>\n<\/li>\n<\/ol>\n

    Lost in the Middle<\/h4>\n

    Liu et al. (2023) \u00abLost in the Middle\u00bb<\/strong> — arxiv.org\/abs\/2307.03172<\/a><\/p>\n

    \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435: \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0445\u0443\u0436\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u0443\u044e \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0412\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0438 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 — \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0438 \u043a\u043e\u043d\u0446\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u043e, \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 — \u043f\u043b\u043e\u0445\u043e.<\/p>\n

    U-\u043e\u0431\u0440\u0430\u0437\u043d\u0430\u044f \u043a\u0440\u0438\u0432\u0430\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u042d\u0442\u043e \u043d\u0435 \u0431\u0430\u0433, \u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u043e\u0432.<\/p>\n

    \u041f\u0440\u0438 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u0438\u043d\u0433\u0435 (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e truncation) \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0430. \u0415\u0441\u043b\u0438 \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0432\u044f\u0437\u043a\u0430 (\u00ab\u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0410 \u2192 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0425 \u043f\u043e\u0434\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u043e\u0434 \u0410\u00bb) \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 — \u043e\u043d\u0430 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f.<\/p>\n

    Baker et al. (2024) \u00abLost in the Middle, and In-Between\u00bb<\/strong> — arxiv.org\/abs\/2412.10079<\/a><\/p>\n

    \u041f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u043e\u0442\u0435\u0440\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0432, \u043d\u043e \u0438 \u0432 \u043f\u043e\u0442\u0435\u0440\u0435 multi-hop \u0441\u0432\u044f\u0437\u0435\u0439. \u041c\u043e\u0434\u0435\u043b\u044c \u0445\u0443\u0436\u0435 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0434\u0432\u0430 \u0444\u0430\u043a\u0442\u0430, \u0435\u0441\u043b\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432. \u041a\u043e\u043c\u043f\u0430\u043a\u0442\u0438\u043d\u0433 \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0435 \u0440\u0430\u0437\u0440\u044b\u0432\u044b.<\/p>\n

    Prompt-based summarization — \u043e\u0441\u043e\u0431\u0430\u044f \u0431\u043e\u043b\u044c<\/h4>\n

    Cursor \u0438 Claude Code \u043d\u0435 \u0442\u0443\u043f\u043e \u043e\u0442\u0440\u0435\u0437\u0430\u044e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442. \u041e\u043d\u0438 \u043f\u0440\u043e\u0441\u044f\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u0440\u0430\u0442\u043a\u0438\u0439 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442 \u0441 \u043d\u0438\u043c. \u0417\u0432\u0443\u0447\u0438\u0442 \u0440\u0430\u0437\u0443\u043c\u043d\u043e, \u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443:<\/p>\n

    \u0421\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f — \u044d\u0442\u043e lossy compression. \u041e\u043d\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0444\u0430\u043a\u0442\u044b, \u043d\u043e \u0442\u0435\u0440\u044f\u0435\u0442 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438. \u00ab\u0410\u0433\u0435\u043d\u0442 \u043e\u0442\u043a\u0440\u044b\u043b \u0444\u0430\u0439\u043b config.yml, \u043d\u0430\u0448\u0451\u043b \u043f\u0430\u0440\u043e\u043b\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0435\u0433\u043e \u0434\u043b\u044f \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a API\u00bb — \u0432 \u0441\u0436\u0430\u0442\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u043e\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u00ab\u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0438\u043b\u0441\u044f \u043a API\u00bb, \u0430 \u0441\u0432\u044f\u0437\u043a\u0430 \u00ab\u043f\u0430\u0440\u043e\u043b\u044c \u0432\u0437\u044f\u0442 \u0438\u0437 config.yml\u00bb \u0438\u0441\u0447\u0435\u0437\u043d\u0435\u0442.<\/p>\n

    \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u0441\u043e \u0437\u043b\u0430 :). \u0421\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0442\u043e\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0441\u0432\u044f\u0437\u043a\u0430 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 10 \u0448\u0430\u0433\u043e\u0432. \u041e\u043d \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u0438 \u0437\u0434\u0435\u0441\u044c \u0438 \u0441\u0435\u0439\u0447\u0430\u0441, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n\n

    3. Attention dilution: \u043a\u043e\u0433\u0434\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e<\/h3>\n

    \u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430<\/h4>\n

    Attention \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 — \u044d\u0442\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u00ab\u0432\u0435\u0441 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u00bb \u043c\u0435\u0436\u0434\u0443 \u0432\u0441\u0435\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 — \u0442\u0435\u043c \u0442\u043e\u043d\u044c\u0448\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435.<\/p>\n

    \u041d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0432\u0438\u0434\u0438\u0442\u00bb \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u044b\u0435.<\/p>\n

    Hsieh et al. (2024) \u00abFound in the Middle: Calibrating Positional Attention Bias\u00bb<\/strong> — arxiv.org\/abs\/2406.16008<\/a><\/p>\n

    \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e, \u0438 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u0442\u044c. \u041d\u043e \u0441\u0430\u043c \u0444\u0430\u043a\u0442 \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 — \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e.<\/p>\n

    \u041a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442: Du et al.<\/h4>\n

    Du et al. (2024) \u00abContext Length Alone Hurts LLM Performance Despite Perfect Retrieval\u00bb<\/strong> — arxiv.org\/abs\/2510.05381<\/a><\/p>\n

    \u042d\u0442\u043e, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u0441\u0430\u043c\u0430\u044f \u0432\u0430\u0436\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b.<\/p>\n

    \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u0436\u0435\u0441\u0442\u043e\u043a\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0412\u0437\u044f\u043b\u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438: \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e<\/em> \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e (retrieval perfect), \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043b\u0438 \u0435\u0439 \u0434\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430?<\/p>\n

    \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: \u043d\u0435\u0442, \u043d\u0435 \u043f\u043e\u043c\u043e\u0436\u0435\u0442<\/strong>. \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442 \u043d\u0430 13.9% — 85% \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u0438\u043d\u044b \u0432\u0445\u043e\u0434\u0430, \u0434\u0430\u0436\u0435 \u043a\u043e\u0433\u0434\u0430:<\/p>\n