VSA, которого не было: первый reasoner на 16 КБ без LLM

Первый обучаемый нейронный reasoner поверх Vector-Symbolic Architecture. 90% exact multi-hop QA в среднем (100% на 1-2 hop, 70% на 3-hop). 16 КБ тернарный резонатор. Всё на CPU, ни одного GPU.

---

Вступление: как VSA меня разочаровал

VSA (Vector-Symbolic Architecture) существует с 1988 года. Идея красивая: кодируем факты векторами, связываем (bind) и складываем (bundle). Потом распаковываем. Никакого обучения, никакого backprop. Просто линейная алгебра.

Я долго на это смотрел и думал: вот же идеальный движок для reasoning на микроконтроллере. Ни LLM, ни GPU. 1024 числа — и у тебя база знаний.

Но когда собрал бенчмарк, меня ждал холодный душ.

При 96 фактах VSA отвечает правильно на 30% многошаговых вопросов. Одношаговые — 90%, норм. Двухшаговые — 0%. Трёхшаговые — 0%. Вообще ноль. Причина — шум суперпозиции: каждый новый факт зашумляет все предыдущие.

Я перепроверил на размерностях 1024, 2048, 4096, 8192. Результат одинаковый. Потому что шум не зависит от D — он растёт с количеством фактов, а не с размерностью.

И знаете что? Все существующие решения — алгоритмические. Kanerva 1988, Plate 2003, Frady 2021. Никто не пробовал просто взять и научить VSA убирать шум.

Ну я и решил попробовать.

---

Проблема: шум, который не лечится размерностью

Математика простая. Когда делаем bundle из N фактов, unbind возвращает сумму целевого сигнала и шума от остальных N-1 фактов. При N > 12 шум перебивает сигнал. Увеличить D вдвое — шум снизится на sqrt(2). Бесполезно.

Фундаментальное ограничение. Либо храним <12 фактов на вектор (и тогда надо много векторов), либо нужен cleanup — процедура, которая из зашумлённого вектора восстанавливает ближайший чистый.

В литературе cleanup делается через resonator networks (Frady 2021). Но resonator тоже алгоритмический, не обучаемый. Он не отличает реальную корреляцию от случайной.

Так родилась идея: взять resonator, сделать его нейросетью и обучить на контрастивных примерах.

---

TernaT: три компонента

PredicateShardedStore. Вместо 96 фактов в один вектор — группировка по предикатам. Факты про “где живёт” в один шард, про “что ест” — в другой. На каждом шарде ~12 фактов — ровно столько, сколько VSA переваривает без потери качества. Шум суперпозиции упал в 8 раз. Просто за счёт группировки.

GraphKANResonator (16 КБ). Тернарный {-1, 0, +1} cleanup, обученный убирать шум VSA. 65 536 параметров. Пять циклов итеративного уточнения. 1.1 мс на CPU. Ключевой трюк — negative training: подаю resonator-у не только правильные факты, но и шумные варианты. False positive rate упал с 1.3% до 0%.

FastController + ChainScorer. Это уже не VSA, а маленькие MLP/Transformer. FastController получает (entity, goal) и предсказывает следующий предикат. ChainScorer оценивает цепочки в beam search. В сумме ~20 КБ в int8.

---

Float32 controller в 400 раз быстрее ternary

Когда делал controller на GraphKAN (тернарный, графовый), обучение 200 эпох занимало 130 секунд. Почему? Потому что cyclic graph execution не batch-ится на GPU. Каждый edge — отдельный проход. Нет параллелизма.

Переписал controller на float32 MLP — 18 тысяч параметров, тривиальный прямой проход. 200 эпох за 0.3 секунды. Точность та же: 100% на train, 90% на inference.

Мораль: ternary — не панацея. Там, где данные плотные и батчатся, float32 побеждает. А ternary нужен там, где каждый байт на вес золота: на MCU, в резонаторах, в edge-сенсорах.

---

NL parser v2: гибрид regex + нейросеть

Первая версия имела 12 regex-паттернов и пропускала половину вопросов. Пользователь спрашивает “сколько ног у кота?” — а парсер не понимает.

Вторая версия: 50+ паттернов, word-level эвристики (фаза 4) и NeuralParser fallback (фаза 5). NeuralParser — крошечная сетка: Embedding(127) -> Linear -> ReLU -> два heads. Обучена на 190 сэмплах, сгенерированных через NVIDIA NIM (DiffusionGemma). На тесте 10/10.

Гибридная схема: regex берёт 80% простых запросов, эвристики — ещё 10%, нейросеть — оставшиеся 10% сложных случаев. Всё <1 мс на CPU.

---

Результаты

96 фактов, 53 сущности, 30 тестовых запросов.

Чистый VSA — 30%. Контроллер + резонатор — 73%. TernaT целиком — 90%. Трёхшаговые — сложнее всего. 70% вместо 100%. Но это best-in-class среди VSA-решений: до нас multi-hop VSA вообще не существовало.

---

Размеры

Весь пайплайн влезает в Cortex-M4 или ESP32-S3 за $2-3. Резонатор 16 КБ — в любой Cortex-M0+ за $0.50.

---

Ограничения (честно)

70% на 3-hop — это не 100%. Chain-of-thought накапливает ошибку на каждом шаге. Beam search шириной 3 помогает, но не идеально.

NL парсер знает 53 сущности. Если пользователь спросит про незнакомую сущность, NeuralParser выдаст ближайшую. Может быть мимо.

190 сэмплов для нейросети — капля в море. 10/10 на тесте — хорошо, на реальных данных accuracy упадёт. Нужно 1000+.

Это research, не продакшен. TernaT отвечает на вопросы из фиксированной базы знаний. Это не замена LLM. Это альтернатива для задач, где LLM не помещается или не нужна.

---

Итог

VSA, который 38 лет был красивой теорией, наконец-то получил обучаемый cleanup. 90% multi-hop QA на <100 КБ. Работает на CPU. Ни LLM, ни GPU.

Резонатор — 16 КБ. Микроконтроллер — $0.50. Результат — 100% на простые вопросы и 70% на сложные.

Дело не в абсолютных цифрах. SOTA по QA будет меняться каждый месяц. А 16 КБ — это размер, который не зависит от прогресса GPU. Это инференс без электричества от розетки. Это модель, которая работает там, куда LLM не залезет — внутри браслета, в датчике трубы, на чипе за 36 рублей.

И главное: обучаемый. В отличие от всех VSA-решений до нас.

---

Ссылки:

• Сайт TernaT: https://fakeonomics.github.io/TernaT-overview/

• TernML (multi-architecture framework): https://fakeonomics.github.io/TernML-overview/

• Zenodo TernaT paper: https://doi.org/10.5281/zenodo.20752580

• Zenodo TernML paper: https://doi.org/10.5281/zenodo.20752769

• Предыдущий пост про GraphKAN: https://habr.com/ru/articles/1049822/

• Предыдущий пост про TernML: https://habr.com/ru/articles/1049940/