6 моделей, 3 инфраструктурных задачи, 1 локальный AI-агент

В прошлой статье было показано, что обычный MacBook Pro M2 16GB может с оговорками решать инфраструктурные проблемы используя локальную LLM. В этой статье будут показаны результаты решения более сложных инфраструктурных задач на более тяжеловесных моделях.

Если лень читать и листать до конца, то вот ключевые результаты:
1. Qwen3.6-27B не справился даже с лёгкой задачей — проигрывает как в качестве так и во времени решения
2. Qwen3.6-27B, хоть и плохо, но смог завершить эксперимент, в отличие от Gemma4-31-B
3. На простой задаче MoE модели Qwen3.6-35B-A3B и Gemma работают одинаково хорошо, однако Gemma тратит больше токенов и требовательнее к памяти.
4. На средней задаче MoE Qwen3.6 показал себя значительно лучше Gemma.
5. В то время как на тяжелой задаче качество решения Qwen значительно упало, Gemma полностью провалилась.
6. Качество решения тяжелой задачи с помощью рассматриваемых MoE моделей можно улучшить до идеала если точно описывать проблему.

Мой личный выбор — Qwen3.6-35-A3B для проблем, которые сформулированы общими словами, Gemma4-26B-A4B — для чётко описанных проблем. Далее обо всём этом подробнее.

Содержание

1. Состав испытательного стенда

2. Инфраструктурные задачи

3. Эксперименты

   1. Dense-Dense; простая задача (simple); обычный промпт (regular)

   2. Dense-MoE; простая задача (simple); обычный промпт (regular)

   3. MoE-MoE; простая задача (simple); обычный промпт (regular)

   4. MoE-MoE; средняя задача (medium); обычный промпт (regular)

   5. MoE-MoE; сложная задача (difficult); обычный промпт (regular)

   6. MoE-MoE; сложная задача (difficult); подробный промпт (precise)

4. А как же обычный MacBook с 16GB?

1. Состав испытательного стенда

• MacBook Pro M4 — 14 CPU (10+4), 20 GPU, 48GB Unified RAM (далее MB48)

• LMStudio 0.4.6+1

• LMStudio MLX Runtime 1.6.0

• Модели:

2. Инфраструктурные задачи

На схеме каждого эксперимента/задачи дан список проблем, которые модель должна решить для выполнения испытания. За устранение каждой проблемы выставляется оценка от 0 до 2, где:
0 (красный) — “не исправлено”
1 (оранжевый) — “исправлено, но можно было бы правильнее”
2 (зеленый) — “исправлено”.

Простая задача и промпт для неё

Обычный/regular промпт

python приложение по адресу http://10.12.2.134:8000/info возвращает 500. раньше возвращалось {«system_name»:»Linux»,»internet_ok»:true}. исправь

Задача средней сложности и промпт для неё

Обычный/regular промпт

python приложение по адресу http://10.12.2.134/get-info (порт 80) сейчас недоступно. раньше возвращалось {«system_name»:»Linux»,»internet_ok»:true}. исправь

Сложная задача и промпты для неё

Обычный/regular промпт

python приложение отвечавшее по адресу http://10.12.2.185/get-info (порт 80) сейчас недоступно. раньше возвращалось {«system_name»:»Linux»,»internet_ok»:true}. исправь

Подробный/precise промпт

Исправить окружение. Сейчас fastapi-приложение доступное по адресу http://10.12.2.134:8000/info

В нём (на сервере приложений) исправь:

1. Опечатка в классе исключения в except

2. Отсутствующий import requests

3. Отсутствующий requests в venv

На хосте nginx:

1. Установи nginx

2. Сделай конфиг чтобы запрос http://10.12.2.185:80/get-info попадал в http://10.12.2.134:8000/info

В результате исправлений должен быть получен ответ {«system_name»:»Linux»,»internet_ok»:true} на запрос http://10.12.2.185/get-info

Дополнительно, в таблицах качественного сравнения присутствуют критерии:
— “Следовал системному промпту”
— “Не врал в саммари”: в конце диагностики и исправления агент выдаёт саммари от модели — “что было сделано” — иногда такие заявления расходились с действительностью. некоторые вообще симулировали цикл “выполнить команду — получить вывод команды для анализа”
— “Убедился в проблеме”: прежде чем браться за устранение проблем, проверить — есть ли проблема на самом деле.

Они тоже оцениваются по шкале 0..2.

3. Эксперименты

Для каждой не выбывшей из “соревнования” модели были проведены следующие эксперименты:
1. До 2х экспериментов на моделях Dense и некоторых MoE.
2. Минимум 5 запусков/экспериментов каждой продолжившей участие в экспериментах модели МоЕ на задачах simple и medium сложности с regular промптом.
3. Минимум 3 запусков/экспериментов каждой продолжившей участие в экспериментах модели МоЕ на задаче difficult сложности с regular промптом.

3.1. Dense-Dense; лёгкая задача (simple); обычный промпт (regular)

3.2. Dense-MoE; простая задача (simple); обычный промпт (regular)

По итогам эксперимента Dense-Dense-Здесь привожу количественные данные по одной Dense модели — Qwen3.6-27B — в сравнении с Qwen3.6-35-A3B.

Качественная оценка Dense была дана выше. Здесь только количественное сравнение динамики memory footprint в зависимости от количества токенов на одном эксперименте.

3.3. MoE-MoE; лёгкая задача (simple); обычный промпт (regular)

Ниже дано сравнение потраченных токенов, времени работы и footprint памяти после выполнения задачи:

Поскольку в виде графиков сравнивать качественные результаты неудобно, далее буду приводить данные в табличной форме, добавив к ним значимые количественные данные для каждого из 5 экспериментов

Комментарии:
Gemma4-26B-A4B — эксперимент 5 — запуск сервиса. запустил — но новый инстанс с новым портом.

3.4. MoE-MoE; средняя задача (medium); обычный промпт (regular)

Комментарии:
— Qwen3.6-35B-A3B — Эксперименты 1-4 — порт исправил, но с помощью root пользователя, а не nginx/iptables
— Gemma4-26B-A4B — Эксперимент 3 — вместо исправления опечатки использовал другой класс исключения
— Gemma4-26B-A4B — Эксперимент 5 — порт исправил, но с помощью root пользователя, а не nginx/iptables

3.5. MoE-MoE; сложная задача (difficult); обычный промпт (regular)

Комментарии:
Gemma4-26B-A4B — Эксперименты 1-2 — Потрачено более 100.000 токенов на поиск приложения на неверном сервере — эксперимент прерван

3.6. MoE-MoE; сложная задача (difficult); подробный промпт (precise)

Qwen regular vs Qwen precise

Gemma regular vs Gemma precise

Gemma precise vs Qwen precise

4. А как же обычный MacBook с 16GB?

Отдельно от основного хода эксперимента провел несколько тестов difficult-precise с моделью Qwen3.5-9B-4b из предыдущего поста — качественные результаты даёт также в половине случаев