{"id":366927,"date":"2024-05-21T03:10:26","date_gmt":"2024-05-21T03:10:26","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=366927"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=366927","title":{"rendered":"<span>GigaChat \u043e\u0431\u043e\u0433\u043d\u0430\u043b \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 ChatGPT \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e 32 \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0421\u0430\u043b\u044e\u0442! \u0423\u0436\u0435 \u043d\u0438 \u0434\u043b\u044f \u043a\u043e\u0433\u043e \u043d\u0435 \u0441\u0435\u043a\u0440\u0435\u0442, \u0447\u0442\u043e GigaChat \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0435\u0431\u044f \u0434\u043e\u043b\u0433\u043e \u0436\u0434\u0430\u0442\u044c. \u0420\u0430\u0434\u044b \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c \u0432\u0430\u043c, \u0447\u0442\u043e \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 GigaChat Lite \u0438 GigaChat Pro \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0449\u043d\u044b\u0439 \u0430\u043f\u0433\u0440\u0435\u0439\u0434 \u0438 \u0441\u0442\u0430\u043b\u0438 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0435\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u0443\u043c\u043d\u044b\u043c\u0438 \u0438 \u0442\u043e\u0447\u043d\u044b\u043c\u0438 \u0432 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u0447\u0435\u043c ChatGPT (gpt-3.5-turbo-0613) \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 <abbr class=\"habraabbr\" title=\"Measuring Massive Multitask Language Understanding ( \u0441\u0441\u044b\u043b\u043a\u0430)\" data-title=\"&lt;p>Measuring Massive Multitask Language Understanding (&lt;a href=&quot;https:\/\/arxiv.org\/pdf\/2009.03300.pdf%7C&quot;>\u0441\u0441\u044b\u043b\u043a\u0430&lt;\/a>)&lt;\/p>&lt;p>&lt;\/p>&#187; data-abbr=&#187;MMLU&#187;>MMLU<\/abbr>. \u041d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c GigaChat \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 2,5 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a.<\/p>\n<p>\u0412 \u043d\u043e\u0432\u043e\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 GigaChat Lite \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043e 32768 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (GigaChat Lite+), \u0430 GigaChat Pro \u2014 \u0434\u043e 8192 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412\u043c\u0435\u0441\u0442\u0435 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0434\u044f ChatGPT \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c <abbr class=\"habraabbr\" title=\"Side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432\" data-title=\"&lt;p>Side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432&lt;\/p>&#187; data-abbr=&#187;SBS&#187;>SBS<\/abbr> \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c MMLU, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0430\u043f\u0434\u0435\u0439\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0435, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0435 \u0438 \u043f\u0440\u0430\u0432\u0443, \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0435 \u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (\u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432).<\/p>\n<p>\u0423\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0443\u044e \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e GigaChat \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438<\/h2>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043e \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 SBS \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u043c\u044b \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u043b\u0438 \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/sberdevices\/articles\/780334\/\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>.<\/p>\n<h3>SBS (Side-By-Side)<\/h3>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b SBS (52%) GigaChat Pro [25.01.2024] vs ChatGPT [gpt-3.5-turbo-0613] (48%)<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/45d\/0be\/78f\/45d0be78f20e6a6ee44d2f7143b21252.png\" alt=\"SBS GigaChatPro [25.01.2024] VS ChatGPT [19.01.2024].png\" title=\"SBS GigaChat Pro [25.01.2024] VS ChatGPT [19.01.2024]\" width=\"1930\" height=\"700\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45d\/0be\/78f\/45d0be78f20e6a6ee44d2f7143b21252.png\"\/><\/p>\n<div><figcaption>SBS GigaChat Pro [25.01.2024] VS ChatGPT [19.01.2024]<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b SBS (52%) GigaChat Pro [25.01.2024] vs GigaChat Pro [previous] (48%)<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1f0\/e44\/f3c\/1f0e44f3c0484dedfcd05c3158193079.png\" alt=\"SBS GigaChatPro [25.01.2024] VS GigaChatPro [previous].png\" title=\"SBS GigaChat Pro [25.01.2024] VS GigaChat Pro [previous]\" width=\"1930\" height=\"700\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f0\/e44\/f3c\/1f0e44f3c0484dedfcd05c3158193079.png\"\/><\/p>\n<div><figcaption>SBS GigaChat Pro [25.01.2024] VS GigaChat Pro [previous]<\/figcaption><\/div>\n<\/figure>\n<h3>\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0441\u043b\u0435 alignment<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"119\" width=\"119\">\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p>MMLU\/en5-shot in system prompt<\/p>\n<\/th>\n<th>\n<p>MMLU\/en5-shot as messages<\/p>\n<\/th>\n<th>\n<p>MMLU\/ru<\/p>\n<\/th>\n<th>\n<p>\u041f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438*<\/p>\n<\/th>\n<th>\n<p>\u041e\u0442\u0432\u0435\u0442\u044b \u043f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c*<\/p>\n<\/th>\n<th>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GigaChat Pro [25.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">68,9<\/p>\n<\/td>\n<td>\n<p align=\"left\">68,8<\/p>\n<\/td>\n<td>\n<p align=\"left\">60,7<\/p>\n<\/td>\n<td>\n<p align=\"left\">76,5<\/p>\n<\/td>\n<td>\n<p align=\"left\">77,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">8192<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GigaChat Lite+ [25.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">58<\/p>\n<\/td>\n<td>\n<p align=\"left\">60,5<\/p>\n<\/td>\n<td>\n<p align=\"left\">52,8<\/p>\n<\/td>\n<td>\n<p align=\"left\">70<\/p>\n<\/td>\n<td>\n<p align=\"left\">72,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">32768<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">ChatGPT (gpt-3.5-turbo-0613) [19.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">67,9<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0**<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">4096<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GPT4 (gpt-4-0613)[19.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">83,6<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.4**<\/p>\n<\/td>\n<td>\n<p align=\"left\">78,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">8192<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GPT4-Turbo (gpt-4-1106-preview) [19.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">75,3<\/p>\n<\/td>\n<td>\n<p align=\"left\">81,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">131072<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043c\u0435\u0440\u0435 <strong>MMLU\/en 5-shot in system prompt<\/strong> GigaChat Pro \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 OpenAI ChatGPT.<\/p>\n<p>\u0414\u0432\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0441 MMLU \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u042d\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0423\u043c\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u0445 \u2014 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 prompt engineering (\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0437\u0430\u0442\u0440\u0430\u0432\u043e\u043a). GigaChat \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f.<\/p>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 MMLU\/en \u0434\u043b\u044f GigaChat Pro \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u043e\u0441\u044c \u043d\u0430 10,7%, \u0430 \u0434\u043b\u044f GigaChat Lite+ \u2014 \u043d\u0430 13,0% \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445.<\/p>\n<p>* \u0421\u043e\u0441\u0442\u0430\u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u0431\u044b\u043b \u0438\u0437\u043c\u0435\u043d\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>** \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u0437 <strong>GPT-4 Technical Report<\/strong> (<a href=\"https:\/\/cdn.openai.com\/papers\/gpt-4.pdf%7C\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>).<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u043e\u0440\u043c\u0430\u0442 \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u043c\u0435\u0440\u0430 MMLU\/en \u0447\u0435\u0440\u0435\u0437 API<\/summary>\n<div class=\"spoiler__content\">\n<p>MMLU \u2014 <strong>Measuring Massive Multitask Language Understanding <\/strong>(<a href=\"https:\/\/arxiv.org\/pdf\/2009.03300.pdf%7C\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>), \u0434\u0430\u043d\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 57 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439. \u0412 \u0437\u0430\u043c\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 <strong>test<\/strong> \u0447\u0430\u0441\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438 <strong>few-shot<\/strong> \u043f\u043e\u0434\u0445\u043e\u0434, \u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0435\u0435 5-shot. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043c\u0438\u043c\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 5 \u043f\u0430\u0440 \u0432\u043e\u043f\u0440\u043e\u0441-\u043e\u0442\u0432\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0438\u0437 <strong>dev<\/strong> \u0447\u0430\u0441\u0442\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0442\u0435\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 5-shot-\u043e\u043c:<\/p>\n<pre><code>The following are multiple choice questions (with answers) about abstract algebra Find all c in Z_3 such that Z_3[x]\/(x^2 + c) is a field. A. 0 B. 1 C. 2 D. 3 Answer: B Statement 1 | If aH is an element of a factor group, then |aH| divides |a|. Statement 2 | If H and K are subgroups of G then HK is a subgroup of G. A. True, True B. False, False C. True, False D. False, True Answer: B Statement 1 | Every element of a group generates a cyclic subgroup of the group. Statement 2 | The symmetric group S_10 has 10 elements. A. True, True B. False, False C. True, False D. False, True Answer: C Statement 1| Every function from a finite set onto itself must be one to one. Statement 2 | Every subgroup of an abelian group is abelian. A. True, True B. False, False C. True, False D. False, True Answer: A Find the characteristic of the ring 2Z. A. 0 B. 3 C. 12 D. 30 Answer: A Find all zeros in the indicated finite field of the given polynomial with coefficients in that field. x^5 + 3x^3 + x^2 + 2x in Z_5 Choose an answer from the options: A. 0 B. 1 C. 0,1 D. 0,4 Answer: <\/code><\/pre>\n<p>\u0414\u043b\u044f \u0437\u0430\u043c\u0435\u0440\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u0445 (\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430\u0445, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f) \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u0430\u043d\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u041c\u044b \u0432\u0437\u044f\u043b\u0438 \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0442\u0430\u043a\u0438\u0445 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>5-shot in system prompt<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0438 few-shot \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 <strong>system<\/strong>, \u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432 <strong>user<\/strong> \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438. \u0414\u0430\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441 open-source-\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0435 (<a href=\"https:\/\/huggingface.co\/spaces\/HuggingFaceH4\/open_llm_leaderboard\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>).<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0447\u0430\u0442\u0430:<\/p>\n<pre><code class=\"json\">[     {         \"role\": \"system\",         \"content\": \"The following are multiple choice questions (with answers) about abstract algebra\\\\n\\\\nFind all c in Z_3 such that Z_3[x]\/(x^2 + c) is a field.\\\\nA. 0\\\\nB. 1\\\\nC. 2\\\\nD. 3\\\\nAnswer: B\\\\n\\\\nStatement 1 | If aH is an element of a factor group, then |aH| divides |a|. Statement 2 | If H and K are subgroups of G then HK is a subgroup of G.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: B\\\\n\\\\nStatement 1 | Every element of a group generates a cyclic subgroup of the group. Statement 2 | The symmetric group S_10 has 10 elements.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: C\\\\n\\\\nStatement 1| Every function from a finite set onto itself must be one to one. Statement 2 | Every subgroup of an abelian group is abelian.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: A\\\\n\\\\nFind the characteristic of the ring 2Z.\\\\nA. 0\\\\nB. 3\\\\nC. 12\\\\nD. 30\\\\nAnswer: A\"     },     {         \"role\": \"user\",         \"content\": \"(Z,*) is a group with a*b = a+b+1 for all a, b in Z. The inverse of a is\\\\nChoose an answer from the options:\\\\nA. 0\\\\nB. -2\\\\nC. a-2\\\\nD. (2+a)*-1\\\\nAnswer: \"     } ] <\/code><\/pre>\n<ol>\n<li>\n<p>5-shot as messages<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u0438\u0441\u043d\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 system, \u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0430 \u0432\u043e\u043f\u0440\u043e\u0441-\u043e\u0442\u0432\u0435\u0442 \u0438\u0437 few-shot \u0432 \u0434\u0432\u0443\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<pre><code class=\"json\">[     {         \"role\": \"system\",         \"text\": \"The following are multiple choice questions (with answers) about abstract algebra\"     },     {         \"role\": \"user\",         \"text\": \"Find all c in Z_3 such that Z_3[x]\/(x^2 + c) is a field.\\\\nA. 0\\\\nB. 1\\\\nC. 2\\\\nD. 3\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"B\"     },     {         \"role\": \"user\",         \"text\": \"Statement 1 | If aH is an element of a factor group, then |aH| divides |a|. Statement 2 | If H and K are subgroups of G then HK is a subgroup of G.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"B\"     },     {         \"role\": \"user\",         \"text\": \"Statement 1 | Every element of a group generates a cyclic subgroup of the group. Statement 2 | The symmetric group S_10 has 10 elements.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"C\"     },     {         \"role\": \"user\",         \"text\": \"Statement 1| Every function from a finite set onto itself must be one to one. Statement 2 | Every subgroup of an abelian group is abelian.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"A\"     },     {         \"role\": \"user\",         \"text\": \"Find the characteristic of the ring 2Z.\\\\nA. 0\\\\nB. 3\\\\nC. 12\\\\nD. 30\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"A\"     },     {         \"role\": \"user\",         \"text\": \"Find the degree for the given field extension Q(sqrt(2), sqrt(3), sqrt(18)) over Q.\\\\nA. 0\\\\nB. 4\\\\nC. 2\\\\nD. 6\\\\nAnswer: \"     } ] <\/code><\/pre>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 OpenAI \u2014 <em>temperature=0, max_tokens=1 .<\/em><\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 GigaChat \u2014 <em>temperature=1e-6, max_tokens=1 .<\/em><\/p>\n<\/div>\n<\/details>\n<h3>\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u043c\u0435\u0440\u043e\u0432<\/h3>\n<p>\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0434\u0430 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 <a href=\"https:\/\/gitlab.com\/Pupy101\/api-mmlu-eval\">api-mmlu-eval<\/a>. \u041f\u0440\u0438\u0433\u043b\u0430\u0448\u0430\u0435\u043c \u0432\u0441\u0435\u0445 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 API.<\/p>\n<h3>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/h3>\n<p>GigaChat \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0431\u044f Rotary Positional Embeddings, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 <strong>NTK-Aware Scaled RoPE,<\/strong> \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0437\u044f\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0435 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0441\u0442\u0440\u043e\u043a.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <strong>NTK-Aware Scaled RoPE<\/strong>, ****\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0439 \u0441\u0435\u0442\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0435, \u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c pretrain.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u043e\u0432\u044b\u043c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u0435\u0441\u0442 PassKey Retrieval.<\/p>\n<details class=\"spoiler\">\n<summary>Passkey retrieval<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 PassKey Retrieval \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u043c\u0443\u0441\u043e\u0440\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u041c\u0435\u0441\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0441 \u043a\u043b\u044e\u0447\u043e\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u0430 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437. \u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0448\u0430\u0431\u043b\u043e\u043d \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u0434\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/57a\/d3e\/5b8\/57ad3e5b8ad0e1df503b5e2aaf51880f.png\" alt=\"PassKey input format\" title=\"PassKey input format\" width=\"1841\" height=\"457\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/57a\/d3e\/5b8\/57ad3e5b8ad0e1df503b5e2aaf51880f.png\"\/><\/p>\n<div><figcaption>PassKey input format<\/figcaption><\/div>\n<\/figure>\n<\/div>\n<\/details>\n<p>\u0414\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0439 \u043a\u043b\u044e\u0447\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c\/\u0422\u043e\u043a\u0435\u043d\u044b<\/p>\n<\/th>\n<th>\n<p>4096<\/p>\n<\/th>\n<th>\n<p>8192<\/p>\n<\/th>\n<th>\n<p>16384<\/p>\n<\/th>\n<th>\n<p>32768<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Lite+<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Pro<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GPT-4<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, GigaChat Lite+ \u0438 GigaChat Pro \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u0443\u044f \u0432\u0435\u0441\u044c \u0441\u0432\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<h2>\u041a\u0430\u043a \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c GigaChat<\/h2>\n<p>\u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a Giga\u0421hat \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"https:\/\/developers.sber.ru\/gigachat\/\">\u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u043e\u0442\u044b \u0432 <a href=\"http:\/\/t.me\/gigachat_bot\">Telegram<\/a> \u0438 <a href=\"https:\/\/vk.me\/gigachat\">VK<\/a>. \u041e\u043d \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0432\u0441\u0435\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0412\u0441\u0435, \u0447\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u2014 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0432\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0431\u043a\u0438\u0439 \u0434\u043e\u0441\u0442\u0443\u043f, \u043f\u0440\u0438\u0433\u043b\u0430\u0448\u0430\u0435\u043c \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/developers.sber.ru\/portal\/products\/gigachat-api\">Gigachat API<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u0432\u043e\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044f\u043c\u0438.<\/p>\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u00a0<a href=\"https:\/\/developers.sber.ru\/link\/gigachat-api-b2d\">Freemium-\u0434\u043e\u0441\u0442\u0443\u043f \u043a GigaChat<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u00a0950\u00a0\u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f GigaChat\u00a0Lite\u00a0\u0438\u00a050\u00a0\u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043b\u044f GigaChat Pro.\u00a0 Freemium \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u0432 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0432 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0435 \u043d\u0438\u0436\u0435:<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 GigaChat Lite, GigaChat Lite+, GigaChat Pro<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044f model<\/p>\n<\/th>\n<th>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/th>\n<th>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Lite<\/p>\n<\/td>\n<td>\n<p align=\"left\">GigaChat<br \/>GigaChat:latest<\/p>\n<\/td>\n<td>\n<p align=\"left\">8192 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c \u0441 7 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 8 \u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u041f\u043e\u0434\u043e\u0439\u0434\u0435\u0442 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0437\u0430\u0434\u0430\u0447, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0445 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Lite+<\/p>\n<\/td>\n<td>\n<p align=\"left\">GigaChat-Plus<\/p>\n<\/td>\n<td>\n<p align=\"left\">32768 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c \u0441 7 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0432 32 \u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0418\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442 \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0449\u0438\u0445 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0432 \u0437\u0430\u043f\u0440\u043e\u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0435\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0442\u0430\u0442\u0435\u0439 \u0438\u043b\u0438 \u0442\u0440\u0430\u043d\u0441\u043a\u0440\u0438\u043f\u0446\u0438\u044f \u0437\u0432\u043e\u043d\u043a\u043e\u0432, \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043f\u0440\u043e\u0447\u0435\u0435.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Pro<\/p>\n<\/td>\n<td>\n<p align=\"left\">GigaChat-Pro<\/p>\n<\/td>\n<td>\n<p align=\"left\">8192 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c \u0441 29 \u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0432 8 \u0442\u044b\u0441. \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u041b\u0443\u0447\u0448\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f\u043c \u0438 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u2014 \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0432 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438 \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<h3>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u043d\u043e\u0441\u0442\u0438<\/h3>\n<p>\u0412 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u0435 \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u0438\u0442\u044c \u043a\u043e\u043b\u043b\u0435\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u0443\u0447\u0430\u0441\u0442\u0438\u0435 \u0432 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0438 \u043d\u0430\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u044e\u0442 \u0443\u0434\u0438\u0432\u043b\u044f\u0442\u044c \u0441\u0432\u043e\u0435\u0439 \u0432\u043e\u0432\u043b\u0435\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u044d\u043d\u0442\u0443\u0437\u0438\u0430\u0437\u043c\u043e\u043c. \u0412\u044b \u043b\u0443\u0447\u0448\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430!<\/p>\n<p>\u0417\u0430\u0445\u043e\u0434\u0438\u0442\u0435 \u0432 \u043d\u0430\u0448 Telegram-\u043a\u0430\u043d\u0430\u043b <a href=\"https:\/\/t.me\/+u63h0VdC6BEwMzQ6\">Salute AI<\/a>, \u0433\u0434\u0435 \u043c\u044b \u0434\u0435\u043b\u0438\u043c\u0441\u044f \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u043c\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 \u0432 \u0447\u0430\u0442 <a href=\"https:\/\/t.me\/SaluteTechGroup\">Salute AI Community<\/a>, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u043c\u0438 \u043b\u0438\u0447\u043d\u043e.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b: \u0413\u0440\u0438\u0433\u043e\u0440\u0438\u0439 \u041b\u0435\u043b\u0435\u0439\u0442\u043d\u0435\u0440 (<a class=\"mention\" href=\"\/users\/RunFMe\">@RunFMe<\/a>), \u041f\u043e\u0440\u0445\u0443\u043d \u0421\u0435\u0440\u0433\u0435\u0439, \u041c\u0438\u0445\u0430\u0438\u043b \u041a\u043e\u043b\u0435\u0441\u043e\u0432 (<a class=\"mention\" href=\"\/users\/m1shail\">@m1shail<\/a>), \u041b\u0443\u0440\u044c\u0435 \u0415\u0432\u0433\u0435\u043d\u0438\u0439 (<a class=\"mention\" href=\"\/users\/eugenelourie\">@eugenelourie<\/a>), \u0413\u043e\u043b\u043e\u0432\u0438\u043d \u0414\u043c\u0438\u0442\u0440\u0438\u0439 (<a class=\"mention\" href=\"\/users\/GolovinDS\">@GolovinDS<\/a>)<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/790470\/\"> https:\/\/habr.com\/ru\/articles\/790470\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0421\u0430\u043b\u044e\u0442! \u0423\u0436\u0435 \u043d\u0438 \u0434\u043b\u044f \u043a\u043e\u0433\u043e \u043d\u0435 \u0441\u0435\u043a\u0440\u0435\u0442, \u0447\u0442\u043e GigaChat \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0435\u0431\u044f \u0434\u043e\u043b\u0433\u043e \u0436\u0434\u0430\u0442\u044c. \u0420\u0430\u0434\u044b \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c \u0432\u0430\u043c, \u0447\u0442\u043e \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 GigaChat Lite \u0438 GigaChat Pro \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0449\u043d\u044b\u0439 \u0430\u043f\u0433\u0440\u0435\u0439\u0434 \u0438 \u0441\u0442\u0430\u043b\u0438 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0435\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u0443\u043c\u043d\u044b\u043c\u0438 \u0438 \u0442\u043e\u0447\u043d\u044b\u043c\u0438 \u0432 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u0447\u0435\u043c ChatGPT (gpt-3.5-turbo-0613) \u043d\u0430 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 <abbr class=\"habraabbr\" title=\"Measuring Massive Multitask Language Understanding ( \u0441\u0441\u044b\u043b\u043a\u0430)\" data-title=\"&lt;p>&lt;p>Measuring Massive Multitask Language Understanding (&lt;a href=&quot;https:\/\/arxiv.org\/pdf\/2009.03300.pdf%7C&quot;>\u0441\u0441\u044b\u043b\u043a\u0430&lt;\/a>)&lt;\/p>&lt;p>&lt;\/p>&#187; data-abbr=&#187;MMLU&#187;>MMLU<\/abbr>. \u041d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c GigaChat \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 2,5 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0447\u0435\u043b\u043e\u0432\u0435\u043a.<\/p>\n<p>\u0412 \u043d\u043e\u0432\u043e\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 GigaChat Lite \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043e 32768 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (GigaChat Lite+), \u0430 GigaChat Pro \u2014 \u0434\u043e 8192 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412\u043c\u0435\u0441\u0442\u0435 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u043c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0434\u044f ChatGPT \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c <abbr class=\"habraabbr\" title=\"Side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432\" data-title=\"&lt;p>\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432&#187; data-title=&#187;&lt;p>Side-by-side \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432&lt;\/p>&#187; data-abbr=&#187;SBS&#187;>SBS<\/abbr> \u0438 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c MMLU, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0430\u043f\u0434\u0435\u0439\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0435, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0435 \u0438 \u043f\u0440\u0430\u0432\u0443, \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0435 \u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (\u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432).<\/p>\n<p>\u0423\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0443\u044e \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e GigaChat \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438<\/h2>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043e \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 SBS \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u043c\u044b \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u043b\u0438 \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/sberdevices\/articles\/780334\/\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>.<\/p>\n<h3>SBS (Side-By-Side)<\/h3>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b SBS (52%) GigaChat Pro [25.01.2024] vs ChatGPT [gpt-3.5-turbo-0613] (48%)<\/strong><\/p>\n<figure class=\"full-width\">\n<div><figcaption>SBS GigaChat Pro [25.01.2024] VS ChatGPT [19.01.2024]<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b SBS (52%) GigaChat Pro [25.01.2024] vs GigaChat Pro [previous] (48%)<\/strong><\/p>\n<figure class=\"full-width\">\n<div><figcaption>SBS GigaChat Pro [25.01.2024] VS GigaChat Pro [previous]<\/figcaption><\/div>\n<\/figure>\n<h3>\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e\u0441\u043b\u0435 alignment<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"119\" width=\"119\">\n<p>\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p>MMLU\/en5-shot in system prompt<\/p>\n<\/th>\n<th>\n<p>MMLU\/en5-shot as messages<\/p>\n<\/th>\n<th>\n<p>MMLU\/ru<\/p>\n<\/th>\n<th>\n<p>\u041f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0435 \u0437\u0430\u0434\u0430\u0447\u0438*<\/p>\n<\/th>\n<th>\n<p>\u041e\u0442\u0432\u0435\u0442\u044b \u043f\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c*<\/p>\n<\/th>\n<th>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GigaChat Pro [25.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">68,9<\/p>\n<\/td>\n<td>\n<p align=\"left\">68,8<\/p>\n<\/td>\n<td>\n<p align=\"left\">60,7<\/p>\n<\/td>\n<td>\n<p align=\"left\">76,5<\/p>\n<\/td>\n<td>\n<p align=\"left\">77,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">8192<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GigaChat Lite+ [25.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">58<\/p>\n<\/td>\n<td>\n<p align=\"left\">60,5<\/p>\n<\/td>\n<td>\n<p align=\"left\">52,8<\/p>\n<\/td>\n<td>\n<p align=\"left\">70<\/p>\n<\/td>\n<td>\n<p align=\"left\">72,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">32768<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">ChatGPT (gpt-3.5-turbo-0613) [19.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">67,9<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.0**<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">4096<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GPT4 (gpt-4-0613)[19.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">83,6<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.4**<\/p>\n<\/td>\n<td>\n<p align=\"left\">78,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">8192<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"left\">GPT4-Turbo (gpt-4-1106-preview) [19.01.2024]<\/p>\n<\/td>\n<td>\n<p align=\"left\">75,3<\/p>\n<\/td>\n<td>\n<p align=\"left\">81,1<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">131072<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043c\u0435\u0440\u0435 <strong>MMLU\/en 5-shot in system prompt<\/strong> GigaChat Pro \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 OpenAI ChatGPT.<\/p>\n<p>\u0414\u0432\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0441 MMLU \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u044f \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u042d\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0423\u043c\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u0445 \u2014 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 prompt engineering (\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0443 \u0437\u0430\u0442\u0440\u0430\u0432\u043e\u043a). GigaChat \u2014 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u0445 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f.<\/p>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 MMLU\/en \u0434\u043b\u044f GigaChat Pro \u043f\u043e\u0432\u044b\u0441\u0438\u043b\u043e\u0441\u044c \u043d\u0430 10,7%, \u0430 \u0434\u043b\u044f GigaChat Lite+ \u2014 \u043d\u0430 13,0% \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445.<\/p>\n<p>* \u0421\u043e\u0441\u0442\u0430\u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u0431\u044b\u043b \u0438\u0437\u043c\u0435\u043d\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>** \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u0437 <strong>GPT-4 Technical Report<\/strong> (<a href=\"https:\/\/cdn.openai.com\/papers\/gpt-4.pdf%7C\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>).<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u043e\u0440\u043c\u0430\u0442 \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u043c\u0435\u0440\u0430 MMLU\/en \u0447\u0435\u0440\u0435\u0437 API<\/summary>\n<div class=\"spoiler__content\">\n<p>MMLU \u2014 <strong>Measuring Massive Multitask Language Understanding <\/strong>(<a href=\"https:\/\/arxiv.org\/pdf\/2009.03300.pdf%7C\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>), \u0434\u0430\u043d\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 57 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439. \u0412 \u0437\u0430\u043c\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 <strong>test<\/strong> \u0447\u0430\u0441\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438 <strong>few-shot<\/strong> \u043f\u043e\u0434\u0445\u043e\u0434, \u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0435\u0435 5-shot. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u043c\u0438\u043c\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 5 \u043f\u0430\u0440 \u0432\u043e\u043f\u0440\u043e\u0441-\u043e\u0442\u0432\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0438\u0437 <strong>dev<\/strong> \u0447\u0430\u0441\u0442\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0434\u043b\u044f \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0442\u0435\u043c\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441 5-shot-\u043e\u043c:<\/p>\n<pre><code>The following are multiple choice questions (with answers) about abstract algebra Find all c in Z_3 such that Z_3[x]\/(x^2 + c) is a field. A. 0 B. 1 C. 2 D. 3 Answer: B Statement 1 | If aH is an element of a factor group, then |aH| divides |a|. Statement 2 | If H and K are subgroups of G then HK is a subgroup of G. A. True, True B. False, False C. True, False D. False, True Answer: B Statement 1 | Every element of a group generates a cyclic subgroup of the group. Statement 2 | The symmetric group S_10 has 10 elements. A. True, True B. False, False C. True, False D. False, True Answer: C Statement 1| Every function from a finite set onto itself must be one to one. Statement 2 | Every subgroup of an abelian group is abelian. A. True, True B. False, False C. True, False D. False, True Answer: A Find the characteristic of the ring 2Z. A. 0 B. 3 C. 12 D. 30 Answer: A Find all zeros in the indicated finite field of the given polynomial with coefficients in that field. x^5 + 3x^3 + x^2 + 2x in Z_5 Choose an answer from the options: A. 0 B. 1 C. 0,1 D. 0,4 Answer: <\/code><\/pre>\n<p>\u0414\u043b\u044f \u0437\u0430\u043c\u0435\u0440\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u0445 (\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430\u0445, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0438\u0445 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f) \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0434\u0430\u043d\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f. \u041c\u044b \u0432\u0437\u044f\u043b\u0438 \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u0442\u0430\u043a\u0438\u0445 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>5-shot in system prompt<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0438 few-shot \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 <strong>system<\/strong>, \u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432 <strong>user<\/strong> \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438. \u0414\u0430\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0441 open-source-\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u0435 (<a href=\"https:\/\/huggingface.co\/spaces\/HuggingFaceH4\/open_llm_leaderboard\">\u0441\u0441\u044b\u043b\u043a\u0430<\/a>).<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u0447\u0430\u0442\u0430:<\/p>\n<pre><code class=\"json\">[     {         \"role\": \"system\",         \"content\": \"The following are multiple choice questions (with answers) about abstract algebra\\\\n\\\\nFind all c in Z_3 such that Z_3[x]\/(x^2 + c) is a field.\\\\nA. 0\\\\nB. 1\\\\nC. 2\\\\nD. 3\\\\nAnswer: B\\\\n\\\\nStatement 1 | If aH is an element of a factor group, then |aH| divides |a|. Statement 2 | If H and K are subgroups of G then HK is a subgroup of G.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: B\\\\n\\\\nStatement 1 | Every element of a group generates a cyclic subgroup of the group. Statement 2 | The symmetric group S_10 has 10 elements.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: C\\\\n\\\\nStatement 1| Every function from a finite set onto itself must be one to one. Statement 2 | Every subgroup of an abelian group is abelian.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: A\\\\n\\\\nFind the characteristic of the ring 2Z.\\\\nA. 0\\\\nB. 3\\\\nC. 12\\\\nD. 30\\\\nAnswer: A\"     },     {         \"role\": \"user\",         \"content\": \"(Z,*) is a group with a*b = a+b+1 for all a, b in Z. The inverse of a is\\\\nChoose an answer from the options:\\\\nA. 0\\\\nB. -2\\\\nC. a-2\\\\nD. (2+a)*-1\\\\nAnswer: \"     } ] <\/code><\/pre>\n<ol>\n<li>\n<p>5-shot as messages<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435, \u0438\u0441\u043d\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 system, \u0430 \u043a\u0430\u0436\u0434\u0430\u044f \u043f\u0430\u0440\u0430 \u0432\u043e\u043f\u0440\u043e\u0441-\u043e\u0442\u0432\u0435\u0442 \u0438\u0437 few-shot \u0432 \u0434\u0432\u0443\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<pre><code class=\"json\">[     {         \"role\": \"system\",         \"text\": \"The following are multiple choice questions (with answers) about abstract algebra\"     },     {         \"role\": \"user\",         \"text\": \"Find all c in Z_3 such that Z_3[x]\/(x^2 + c) is a field.\\\\nA. 0\\\\nB. 1\\\\nC. 2\\\\nD. 3\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"B\"     },     {         \"role\": \"user\",         \"text\": \"Statement 1 | If aH is an element of a factor group, then |aH| divides |a|. Statement 2 | If H and K are subgroups of G then HK is a subgroup of G.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"B\"     },     {         \"role\": \"user\",         \"text\": \"Statement 1 | Every element of a group generates a cyclic subgroup of the group. Statement 2 | The symmetric group S_10 has 10 elements.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"C\"     },     {         \"role\": \"user\",         \"text\": \"Statement 1| Every function from a finite set onto itself must be one to one. Statement 2 | Every subgroup of an abelian group is abelian.\\\\nA. True, True\\\\nB. False, False\\\\nC. True, False\\\\nD. False, True\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"A\"     },     {         \"role\": \"user\",         \"text\": \"Find the characteristic of the ring 2Z.\\\\nA. 0\\\\nB. 3\\\\nC. 12\\\\nD. 30\\\\nAnswer: \"     },     {         \"role\": \"assistant\",         \"text\": \"A\"     },     {         \"role\": \"user\",         \"text\": \"Find the degree for the given field extension Q(sqrt(2), sqrt(3), sqrt(18)) over Q.\\\\nA. 0\\\\nB. 4\\\\nC. 2\\\\nD. 6\\\\nAnswer: \"     } ] <\/code><\/pre>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 OpenAI \u2014 <em>temperature=0, max_tokens=1 .<\/em><\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 GigaChat \u2014 <em>temperature=1e-6, max_tokens=1 .<\/em><\/p>\n<\/div>\n<\/details>\n<h3>\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0437\u0430\u043c\u0435\u0440\u043e\u0432<\/h3>\n<p>\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0434\u0430 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 <a href=\"https:\/\/gitlab.com\/Pupy101\/api-mmlu-eval\">api-mmlu-eval<\/a>. \u041f\u0440\u0438\u0433\u043b\u0430\u0448\u0430\u0435\u043c \u0432\u0441\u0435\u0445 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 API.<\/p>\n<h3>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/h3>\n<p>GigaChat \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0431\u044f Rotary Positional Embeddings, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 <strong>NTK-Aware Scaled RoPE,<\/strong> \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u0437\u044f\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u0441\u0442\u0430\u0440\u043e\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0435 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0441\u0442\u0440\u043e\u043a.<\/p>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <strong>NTK-Aware Scaled RoPE<\/strong>, ****\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0439 \u0441\u0435\u0442\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0435, \u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c pretrain.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u0441\u043b\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u043e\u0432\u044b\u043c \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u0435\u0441\u0442 PassKey Retrieval.<\/p>\n<details class=\"spoiler\">\n<summary>Passkey retrieval<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 PassKey Retrieval \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u044e\u0447\u0430 \u0432 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u043c\u0443\u0441\u043e\u0440\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u041c\u0435\u0441\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0441 \u043a\u043b\u044e\u0447\u043e\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u0430 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435\u0445 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437. \u041d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0448\u0430\u0431\u043b\u043e\u043d \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u0434\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>PassKey input format<\/figcaption><\/div>\n<\/figure>\n<\/div>\n<\/details>\n<p>\u0414\u043e\u043b\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0439 \u043a\u043b\u044e\u0447\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c\/\u0422\u043e\u043a\u0435\u043d\u044b<\/p>\n<\/th>\n<th>\n<p>4096<\/p>\n<\/th>\n<th>\n<p>8192<\/p>\n<\/th>\n<th>\n<p>16384<\/p>\n<\/th>\n<th>\n<p>32768<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Lite+<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GigaChat Pro<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GPT-4<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, GigaChat Lite+ \u0438 GigaChat Pro \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u0443\u0442\u0438\u043b\u0438\u0437\u0438\u0440\u0443\u044f \u0432\u0435\u0441\u044c \u0441\u0432\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<h2>\u041a\u0430\u043a \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c GigaChat<\/h2>\n<p>\u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f \u043a Giga\u0421hat \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"https:\/\/developers.sber.ru\/gigachat\/\">\u0432\u0435\u0431-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u043e\u0442\u044b \u0432 <a href=\"http:\/\/t.me\/gigachat_bot\">Telegram<\/a> \u0438 <a href=\"https:\/\/vk.me\/gigachat\">VK<\/a>. \u041e\u043d \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0432\u0441\u0435\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0412\u0441\u0435, \u0447\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u2014 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0432\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0431\u043a\u0438\u0439 \u0434\u043e\u0441\u0442\u0443\u043f, \u043f\u0440\u0438\u0433\u043b\u0430\u0448\u0430\u0435\u043c \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/developers.sber.ru\/portal\/products\/gigachat-api\">Gigachat API<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u0432\u043e\u0438 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u044b, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044f\u043c\u0438.<\/p>\n<p>\u0412<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-366927","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/366927","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=366927"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/366927\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=366927"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=366927"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=366927"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}