Я тут решил решил чуток заморочиться и протестировать локальные MOE модели на кодинг. Кодинг громко сказано — мои задачи исключительно игры причем на html, css, js. Но зато с таким набором можно сразу в продакшен, легко проверить без компиляций, кроссплатформенность ну и другие известные плюсы и минусы. На тесте побывало 10 моделей: Qwen 3.6 (MTP), KAT Coder V2.5, Gemma 4, Aurora-Code-1, Frontis, GLM 4.7 Flash, Ornith 1.0, Salience 1.5 Pro, Agents A1, GPT-oss 20b. Ссылки на модели есть в таблице результатов на которую ниже будет тоже ссылка. Многие из этих моделей сделаны на базе Qwen и тем интереснее было тестировать, потому что по бенчмаркам в карточках моделей на HF они часто превосходят своего учителя. Правда я сразу был настроен скептически и понимал что вряд ли они смогут составить реальную конкуренцию — хоть и дообучаются на кодинг, но такого рода тесты не очень как будто бы проходят, что собственно и подтверждает итоговая таблица с результатами (подсчитывал результаты Qwen3.8-Max):
|
Место |
Модель |
G |
M |
V |
S |
E |
Final |
|---|---|---|---|---|---|---|---|
|
🥇 1 |
Qwen 3.6 (MTP) |
9 |
9 |
8.3 |
8 |
9 |
87 |
|
🥈 2 |
KAT Coder V2.5 |
8 |
7 |
8.0 |
8 |
9 |
80 |
|
🥉 3 |
Gemma 4 |
8 |
7 |
5.3 |
8 |
7 |
71 |
|
4 |
Aurora-Code-1 |
7 |
8 |
8.3 |
7 |
5 |
70 |
|
5 |
Frontis |
7 |
8 |
6.3 |
6 |
3 |
61 |
|
6 |
GLM 4.7 Flash |
6 |
6 |
6.0 |
7 |
3 |
56 |
|
7 |
Ornith 1.0 |
6 |
5 |
8.0 |
5 |
3 |
54 |
|
8 |
Salience 1.5 Pro |
5 |
5 |
5.3 |
5 |
5 |
51 |
|
9 |
Agents A1 |
5 |
5 |
3.7 |
6 |
5 |
49 |
|
10 |
GPT-oss 20b |
3 |
3 |
2.0 |
5 |
4 |
34 |
Final = (Gameplay + Mobile + Visuals + Stability + Efficiency) × 2
Аналитику он брал с отдельной страницы (очень удобно что он может читать ссылки на страницы), где я свел описание ощущений играбельности и тестирования результатов в таблицы, так же скинул ему коллажи со скринами из игр, в общем +- я думаю этот рейтинг соответствует моим ощущениям по качеству. Таблицы и скрины тут: LLM_test. Сами игры в которые можно поиграть тут: LLM_test_games
Как все это делалось — я давал моделям абсолютно одинаковые промты чтобы они сделали игры: 3 промпта — 3 игры. Первый запрос это создать игру «Мастермайнд».
Скрытый текст
«Нужно разработать игру mastermind на html, css и js с простым адаптивным дизайном для удобного игрового процесса на мобильном устройстве.
Задача игрока угадать последовательность из 4 цветов (цвета могут повторяться в последовательности).
Игра визуально состоит из блоков:
1. игровое поле, где хранится история попыток с отображением результата
2. ниже блок с текущей попыткой
3. в самом низу панель управления.
Сверху игровое поле, под ним блок с текщей попыткой и в самом низу панель управления (в нижней части экрана).
Панель управления состоит из блока с 6 разноцветными кругами (конфигурация 3+3 в две строки) и справа от блока с цветами будет блок из 2 кнопок («проверить» и «убрать». распологаются друг под другом) в самом низу должна быть кнопка «новая игра».
По клику на каждый круг этот цвет должен наполнять текущую попытку (блок текущей попытки), заполняя игровую зону последовательно друг за другом, что означает что если щелкнул например красный круг первым, то он встает в угадываемую последовательность на первое место. Следующий синий, и он встает на вторую позицию. Если нажать на кнопку «убрать», то из текущей попытки убирается последний добавленный цвет. После заполенения 4 цветов нажимается кнопка «проверить» после чего вся последовательность перемещается в игровое поле с номером попытки и результатом в виде черных и белых кружков указывающие на соответствие цветов в угадываемой последовательности (черный — цвет на своем месте, белый — цвет есть, но не на своем месте). При этом очищается поле с текущей попыткой. Угадываемые последовательности цветов в игровой зоне (в истории) нужно заполнять снизу вверх: это означает что последняя угадываемая последовательность цветов должна находиться всегда внизу, и обязательно прикреплена к нижнему краю игрового поля (выравнивание по низу внутри игрового поля). Попытки пронумеровать и расположить так чтобы первая была вверху, последняя внизу. (например было 3 попытки соответственно вверху первая, ниже вторая, еще ниже третья — все три прилипают к нижнему блоку с текущей попыткой). При угадывании выдавать сообщение с количеством попыток и просмотром правильной комбинации Нужно использовать только javascript html и css — все в одном файле чтобы запустить локально.»
Я придумал этот промпт давным давно и тестирую им нейросети уже тоже давно. Еще год назад даже топовые модели не могли сделать готовую игру за один промпт. Однажды на LLM Arena Клод смог сделать отличную игру, и тогда я понял что это возможно. И вот буквально с выходом последних МОЕ моделей, это стало возможным и на локальных моделях на довольно сносных скоростях. Кстати тестирование запускал на ПК с RTX3070 (8Гб), 32 Гб ОЗУ, Ryzen 9 5950X. Запускал на недавней сборке Llama-cpp, такой командой:
/mnt/xxx/llama/llama-server -m "/mnt/zzz/_models/Salience-1.5-Pro.Q4_K_M.gguf" -c 65536 -cmoe -fa on --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.00
флаг -cmoe переносит часть слоев в оперативную память позволяя запускать модели даже с квантованием, весящих больше 20 Гб, на видеокарте с объемом памяти 8 Гб как у меня. Естественно это немного замедляет скорость генерации, у меня в среднем модели на базе Квена выдавали 25-28 т/с, сам Квен, так как он MTP выдавал 37-40 т/с. GLM 18 т/с, Gemma4 28 т/с. Все это фиксировалось в таблице и тоже немного влияло на рейтинг (а может и не немного).
Вторая игра для генерации это был тетрис, и я простыми словами попросил: «напиши игру тетрис на html, css, js одной страницей«. При этом не уточнял про мобильную играбельность, поэтому даже 2 топовых места из 3 не сделали мобильную версию. Скорее всего проблема в том что хорошие результаты я потом стал перепроверять по второму разу и тогда модели теряли эффективность не заслуженно. Потому что Aurora как-то поитереснее тетрис и танки сделала. В общем методика страдает, и все это тоже сильно субьективно и местячково. Фишка в том (и я это описывал в таблицах результатов), что даже если модель сделала с первого раза какое-то задание — это вовсе не означает что в следующий раз она так же хорошо сделает это. Это же касается и Квена — но у него как-то все-равно по стабильности по лучше, ну и + MTP буст к скорости.
Третья игра — это танчики как старый добрый BattleCity. Даже сам запрос я делал на английском, так как подсмотрел у одного пользователя Хабра, ровно тот же запрос «Write a game similar to Battle City in a single HTML file without dependencies, running on desktop and mobile.» Рекомендую вам попробовать поиграть (ссылка на игры еще раз). Кстати, там выявился один интересный баг в этой игре и он есть почти у всех — скорость движения и смены фреймов зависит от выставленной в системе частоты монитора — чем больше тем быстрее, я тестировал и не знал что в системе стояло 60Гц — все работало неплохо, а оказалось что не все так однозначно. Уже не стал пересчитывать рейтинги, вряд ли это сильно бы повлияло.
В общем получилось вот такое небольшое исследование, которое мне все же доказало что пока что нет особого смысла брать что-то другое кроме Квена. Об этом я подозревал и до этого эксперимента (так как нет-нет, да и тестировал всякие модели), но все же было сомнение. И как правильно высказала нейронка при составлении рейтинга — более предсказуемый результат все же лучше, чем получать шедевры раз через раз, а то и 2-3. И еще я подумал, что если что-то достойное уже получилось с первого раза — это есть смысл допиливать, а если нет, то лучше начать генерацию заново.
И еще кое-что. Я начинал тестировать нейронки еще на ноуте, где видеопамяти всего4 Гб и там возможно запускать максимум 9b модели и то на очень ограниченном контексте, но я все еще не теряю надежды, что скоро и они смогу сходу делать что-то играбельное. И должен сказать что это уже +- получается. Недавно у меня было один раз так, что Qwen3.5-9b выдал что-то играбельное на этих запросах про тетрис и мастермайнд. Конечно, это оказалось возможно всего 1 раз из 10-20, но все же. И кстати, тестировал модель Nanbeige4.2-3B — она повторяет «играбельные» версии сильно чаще. А ведь это не 9b, а 3b, удивительно.
Чтобы не прогуливаться по непонятным ссылкам, все же выложу итоговые таблицы тестирования:
Скрытый текст
|
Название |
Ссылка |
Примечание к модели |
Кол-во запросов |
Пояснение |
Мобильный вид |
Играбельность |
Красивость |
Замечания/примечания |
Соотвествие ТЗ |
Токены |
Время, сек |
т/с |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Agents |
35B-A3B |
2 |
Вторым запросом исправил размер шаров в панели управления и «прилипание», не исправил серый цвет в попытке |
4 |
3 |
белый |
Проблемы с выравниванием попыток, медленный интерфейс, серые круги (не видно какой цвет выбран в текущей попытке). |
Прилипание + сортировка + нумерация + панель управления + |
14845 |
577 |
25,7 |
|
|
Frontis |
35B-A3B (На базе Qwen 3.6) |
2 |
Первый запрос игра играется, но есть огрехи с нажатием кнопки и «прилипанием» истории, вторым исправил это |
4 |
4 |
белый, простецкий вид |
огромные круги, панель управления занимает половину высоты, кнопки убрать и проверить на новой строке |
Прилипание + сортировка + нумерация + панель управления — |
19245 |
726 |
26,5 |
|
|
GLM |
30B-A3B |
2 |
Были нарекания к сортировке истории и нумерации попыток при том что один из предыдущих разов с первого раза по тз почти (было нарекание по прилипанию), поэтомя я решил доделать, появились номера, но сортировка страдает |
4 |
4 |
темный, стильно |
огромные круги, панель управления занимает половину высоты, кнопки убрать и проверить на новой строке, сортировка не правильная, выравнивание попыток скачет (нет выравнивания) |
Прилипание + сортировка — нумерация + панель управления — |
12199 |
662 |
18,4 |
|
|
Gemma |
26B-A4B (+MTP) |
1 |
|
5 |
5 |
темный, стильный |
|
Прилипание + сортировка+ нумерация + панель управления + |
6369 |
230 |
27,7 |
|
|
KAT |
https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF |
35B-A3B |
1 |
|
5+ |
5 |
темный, стильный |
Масштаб сразу+ стильные круги+ пеги показывают место — |
Прилипание + сортировка+ нумерация + панель управления + |
5766 |
213 |
27,1 |
|
Ornith |
35B-A3B на базе Qwen 3.5(?) |
1 |
|
4+ |
4 |
темный, стильный |
пеги показывают место, новая игра не на новой строке |
Прилипание + сортировка+ нумерация + панель управления — |
6039 |
223 |
27,1 |
|
|
Qwen |
35B-A3B (MTP версия) |
1 |
|
5+ |
5 |
темный, стильный |
Масштаб сразу+ стильные круги+ |
Прилипание + сортировка+ нумерация + панель управления + |
6789 |
180 |
37,7 |
|
|
Salience |
35B-A3B |
1 |
|
5 |
5 |
темный, стильный |
Масштаб сразу+ |
Прилипание + сортировка+ нумерация + панель управления + |
5539 |
207 |
26,8 |
|
|
Aurora |
36B-A3B |
1 |
|
5 |
4 |
темный, стильный |
Масштаб сразу+, но панель управления крупновата, пеги темные |
Прилипание + сортировка+ нумерация + панель управления + |
6096 |
225 |
27,1 |
|
Название |
Ссылка |
Примечание к модели |
Кол-во запросов |
Пояснение |
Мобильная игра |
Красивость |
Замечания/примечания |
Токены |
Время, сек |
т/с |
|---|---|---|---|---|---|---|---|---|---|---|
|
Agents |
35B-A3B |
1 |
На самом деле 2, так как первый не рисовал падающие фигуры |
нет |
очень простой вид |
Понятный посчет очков, нет дропа фигур |
3837 |
144 |
26,6 |
|
|
Frontis |
35B-A3B (На базе Qwen 3.6) |
1 |
На самом деле 2 потому что самый первый я остановил — я увидел что он начал тупо писать код в раздумиях |
есть + |
Современно, подсветка падения фигуры |
подсчет очков странный. Нет дропа в пк версии в мобильном есть, линии считаются |
7157 |
281 |
25,5 |
|
|
GLM |
30B-A3B |
1 |
В этот раз сгенерировал с первого раза ( почему говорю в этот раз, потому что пару дней назад это было со второго раза, но в той игре был классный звук зато, хотя и вид такой же простецкий немного, там заставка не исчезала после начала игры, вторым запросом испраился) |
есть + |
простой вид, но в мобильном кнопки управления интереснее, масштабирование норм |
Лучше мобильное управление чем у некоторых, но нет дропа, понятный подсчет очков |
6411 |
356 |
18,0 |
|
|
Gemma |
26B-A4B (+MTP) |
1 |
с первого раза |
нет |
очень простой вид |
понятный посчет очков и линий (за тетрис больше), нет дропа |
4291 |
153 |
28,0 |
|
|
KAT |
https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF |
35B-A3B |
1 |
с первого раза |
нет |
Современно, подсветка падения фигуры |
подсчет очков странный , линии считаются, есть дроп |
4907 |
186 |
26,4 |
|
Ornith |
35B-A3B на базе Qwen 3.5(?) |
1 |
тетрис с первого раза, но как-то глючно, не стал просить исправлять |
нет |
Современно, подсветка падения фигуры |
! Нефиксируются фигуры при дропе, после снятия слоя нужно тоже жать пробел чтобы пошла фигура. Явняй глюк. Есть рекорды +, но очки опять не понятно для меня. Линии считаются |
5733 |
219 |
26,2 |
|
|
Qwen |
35B-A3B (MTP версия) |
1 |
По сути с третьего раза, первый глючный, и не смог его исправить нормально, поэтому начал третий заново |
есть + , немного путанное… |
Современно, подсветка падения фигуры |
счет непонятный, линии считаются, есть дроп |
6236 |
155 |
40,2 |
|
|
Salience |
35B-A3B |
1 |
Тоже со второго раза, первый раз не играбельная совсем. кнопку играть жмешь на заставке и ничего не происходит |
нет |
Современно, подсветка падения фигуры |
счет понятный, линии считаются, глюк с дропом — перезапуск игры вместо роняния |
5436 |
202 |
26,9 |
|
|
Aurora |
36B-A3B |
2 |
для запуска игры требовалось нажать кнопку старт, но в мобильном виде, кнопка пропадала, игра не стартовала. Вторым запросом попросил убрать кнопку и стартовать в автомате |
есть + |
Современно, подсветка падения фигуры |
счет непонятный, линии считаются, есть дроп. Небольшой глюк с отображением следующей фигуры, в мобильном играться с масштабом чтобы поиграть, но надо учитывать что у некоторых мобильной совсем нет |
12385 |
470 |
26,4 |
|
Название |
Ссылка |
Примечание к модели |
Кол-во запросов |
Пояснение |
Мобильная игра |
Красивость |
Замечания/примечания |
Токены |
Время, сек |
т/с |
|---|---|---|---|---|---|---|---|---|---|---|
|
Agents |
35B-A3B |
1 |
|
есть |
Сами танки просто квадраты огромные, кирпичи (сомнительный дизайн), броня, нет штаба |
противники выезжают за края-, танки могут проезжать частично сквозь кирпичи, иногда застревают, на мобильном масштаб 65% |
7191 |
269 |
26,7 |
|
|
Frontis |
35B-A3B (На базе Qwen 3.6) |
1 |
|
есть+ |
танки стильные, нравятся, кирпичи стильные, есьт река, броня |
проезжает сквозь кирпичи и всего остального |
7417 |
287 |
25,8 |
|
|
GLM |
30B-A3B |
1 |
Танки — прям видно что китайская нейросеть — думала и писала по-китайски, в игре все подсказки и слова на китайском (вряд ли даже минус) |
есть- |
Стиля нет, танки простецкие, меняют размеры при повороте, есть звуки+, нет штаба, мешанина из кирпичей, брони нет |
Враги только поверху ездят, бывает уезжают тоже за экран, масштаб 50-65%. В мобильном не работает огонь-. |
8826 |
479 |
18,4 |
|
|
Gemma |
26B-A4B (+MTP) |
2 |
Первый раз сгенерировал неиграбельную игру, танки не ездили, мой танк при выстреле сразу геймовер потому что спавнился на базе и пуля уничтожала базу. Вторым запросом починил косяки. перестраховался и своей пулей не могу уничтожить штаб |
есть+ |
Стиль минималистичный, простейшие фигуры, но есть в этом свой шарм. в целом просто и со в кусом |
масштаб 80% |
16038 |
560 |
28,6 |
|
|
KAT |
https://huggingface.co/bartowski/Kwaipilot_KAT-Coder-V2.5-Dev-GGUF |
35B-A3B |
3 |
Первая попытка и ее исправление не удались. Вторая + исправления в итоге |
есть+ |
Стиль интересный, компоновка классическая при этом из простых фигур, танки цветные, что тоже интересно, выглядят как танки |
Очень сложно играть но тем интереснее, 3 жизни. Кнопка старт игры не исчезает и перекрывает часть игрового поля. 100% масштаб (+?) |
9851 |
380 |
25,9 |
|
Ornith |
35B-A3B на базе Qwen 3.5(?) |
1 |
С первого раза отлично, впечатлился. Но для чистоты эксперимента запустил генерации еще, и 2 другие были не играбельны… |
есть — |
Очень стильно, несколько уровней и уровней сложности при старте (на выбор 4 кнопки при старте), реки, трава, кирпичи, броня, бонусы!!! Танки стильные, звуки. Очень и очень круто |
Единичный экземпляр, другие запросы модели не удались также, и более того не удались почти совсем. При этом даже эта игра на мобильном совсем не играбельная — управление глючит. |
21324 |
835 |
25,5 |
|
|
Qwen |
35B-A3B (MTP версия) |
1 |
|
есть+ |
Тоже довольно стильно, но танки больше размером чем кирпичи.. Впрочем это тоже инетересно. Есть звуки, реки, трава. уровни генерируются рандомно+ |
иногда генерируется так что штаб без защиты, впрочем это тоже вряд ли минус. В целом не могу придумать минусы, только придирки. Интересно так что можно на паузу поставить (+?) |
10973 |
291 |
37,7 |
|
|
Salience |
35B-A3B |
1 |
Танки получились не играбельными хотя очень навороченные поидее — там анимации, трава, вода, броня, танк проезжает сквозь все препятствия а ощющение будто бы поле недорисовано — есть бонусы, бомбы и прочее, врагов не увидел. Играть не возможно, хотя по размеру и задумке навероченное что-то. Вторым запросом сделал тоже не играбельную игру |
есть— |
кирпичи зеленка, но вцелом неиграбельное нечто |
не играется вообще — что-то как-то управляется, но ни такнка ни врагов не видно… — |
13577 |
519 |
26,2 |
|
|
Aurora |
36B-A3B |
1 |
Первым запросом сразу играбельная игра, не идеал но нормально. Второй и третий для теста — не пошли, четвертый тоже хорошая игра, которую решил допилить еще двумя запросами. |
есть |
Классическая компоновка, кирпичи, |
Стреляют чуть ли не сплошным потоком, танки визуально не поворачиваются. |
12205 |
464 |
26,3 |
ссылка на оригинал статьи https://habr.com/ru/articles/1068416/