Что такое однобитные и тернарные нейросети

Итак, только вычислительная часть обучения пятой версии ChatGPT обошлась в $500 миллионов. А вот уже полные затраты с исследованиями, данными и экспериментальными прогонами — от $1.25 до $2.5 млрд по разным оценкам. И речь пока именно о старте новой линейки, которая релизнулась чуть больше года назад. Далее — сервер с восемью H100 стоит от $270K до $450K, и это не считая сети, охлаждения и инфраструктуры. И это все при том, что 90% параметров большинства нейросетей — числа вроде 0.0003 или -0.0007, которые несут минимум полезной информации, но хранятся как полноценные 16-битные числа с плавающей точкой.

Содержать нейросеть — задачка весьма дорогая. Отсюда и вырос целый класс исследований — как сделать нейросеть, которая думает почти так же хорошо, но весит в 10 раз меньше и не требует GPU за $10K? Однобитные и тернарные сети — один из ответов на этот вопрос. 

Привет, дорогой ХАБР! Сегодня постараемся рассказать, насколько, собственно, реальны однобитные LLM.

А откуда взялась сама идея?

Первые попытки сжать веса до единственного бита датируются аж 2015-2016 годами. Группа из Монреальского университета предложила двоичное соединение (оно же — “BinaryConnect”) — подход, при котором каждый вес принимает только два значения. -1 или +1. 

Веса нейросети — это просто числа, которые определяют силу связи между нейронами. Грубо говоря, у каждого соединения есть условный коэффициент важности — т.е. насколько сильно один нейрон влияет на другой. Это и есть тот самый вес.

Во время обучения эти числа постепенно корректируются на очень маленькие величины. Микрошаги вроде +0.0003 или -0.0001. Если хранить только -1 или +1, такой шаг просто исчезнет, т.к. 1 + 0.0003 округляется обратно в 1. И именно поэтому точные значения накапливаются отдельно, а для вычислений берется уже округленная версия. 

Ребята из Монреаля в своем подходе и предложили — хранить точно, а считать грубо.

Год спустя команда из Технионского института (Израиль) под руководством Hubara пошла немного дальше. Бинаризовали не только веса, но и активации — промежуточные числа, которые передаются между слоями. Параллельно Rastegari с коллегами в работе XNOR-Net заменили матричное умножение на операцию побитового совпадения (или же “XNOR”, т.е. “eXclusive NOR” — “исключающее НЕ-ИЛИ”) и простой подсчет совпавших битов. Вот, и теоретически это до 58 раз быстрее обычного умножения на специализированном железе.

Тестировали на своих стандартных академических наборах. MNIST — 70 000 изображений рукописных цифр от 0 до 9, самый простой тест для классификации. CIFAR-10 — 60 000 небольших цветных фотографий в 10 категориях. Разные там самолеты, автомобили, птицы, кошки. На этих двух наборах бинарные сети справлялись хорошо. Но с базой изображений, или же ImageNet, с более чем 1.2 миллиона изображений в 1000 категориях, полноценный боевой тест оказался ощутимо хуже. На нем бинарные сети теряли 5-20% точности по сравнению с обычными. И это, к сожалению, ставило серьезный вопрос по их эффективности. 

После чего на несколько лет тема опять ушла в академические исследования.

Собственно, проблема оказалась не в самой идее бинаризации, а в двух вещах. Первая — масштаб. Маленькие сети чувствительны к точности весов, большие — меньше. А вторая — ноль. Нейрон не реагирует на все входные сигналы. Большинство для него просто нерелевантны. Какой-то один распознает горизонтальные линии, другой углы, третий кривые. И каждому важен только узкий набор признаков. Вес 0 — это самый простой способ сказать нейрону, что его такая история не касается.

В бинарной сети {-1, +1} нуля нет. Каждое соединение всегда активно. Либо усиливает, либо гасит. Чтобы нейрон фактически не влиял на результат, приходится компенсировать одни соединения другими. И емкость уходит на имитацию тишины.

Такая вот ситуация.

Когда — три лучше двух

Тернарные веса — {-1, 0, +1} — решают обе проблемы выше. Но, опять же, частично. Ноль позволяет нейрону просто не участвовать в вычислении. Это приближается к тому, как работают разреженные представления — когда большинство нейронов молчат, а активны только те, что отвечают за конкретный признак.

По теории информации три состояния кодируются в log₂(3) ≈ 1.58 бита на параметр. Отсюда и пошло название BitNet b1.58 от Майкрософт.

Математика прямого прохода при тернарных весах упрощается до очень простых сложений. Стандартная операция y = W · x, где умножение матриц на числа с плавающей точкой съедает основную часть вычислений, превращается в сумму входных значений с весом +1 минус сумма с весом -1. Умножения нет вообще. Процессор выполняет это быстрее, тратит меньше энергии и не греется так сильно.

Но есть техническая проблема с обучением. Функция sign(x), которая превращает вес в -1 или +1, не дифференцируема — производная равна нулю почти везде, обратное распространение ошибки через нее не идет. И нашли костыль. В прямом проходе используют настоящую sign(x), в обратном делают вид, что функции нет, и пропускают градиент насквозь. Проще говоря — при обучении притворяемся, что округления не было.

С теорией разобрались. А что получилось реализовать?

На момент написания данной статьи — в этой области всего несколько условных релизов.

Тот самый BitNet b1.58 от Microsoft — максимально зрелое и задокументированное решение. Официальная модель microsoft/bitnet-b1.58-2B-4T вышла в апреле 2025. Скромные, по нынешним меркам,  2.4 миллиарда параметров, обученных на 4 триллионах токенов. Доступна, кстати, на Hugging Face. 

Для инференса нужен отдельный движок bitnet.cpp — стандартные трансформеры с тернарными весами, увы, работают медленно, без прироста. В мае 2025 добавили CUDA-ядра для GPU, в январе 2026 обновили CPU-ядра с приростом 1.15-2.1× к предыдущей версии.

Архитектуры без матричного умножения — более радикальное направление, чем BitNet. BitNet убирает умножения только из линейных слоев, а механизм внимания все еще считает матрично. Т.е., обычное внимание смотрит на все токены сразу — каждое слово сравнивается с каждым другим. Это, собственно, и есть дорогое матричное умножение.

И тут данный блок заменили на рекуррентный. Модель читает токены по очереди и держит состояние памяти. Все, что было прочитано до этого момента. И никаких сравнений всех со всеми. Ни одного матричного умножения нигде в сети. При обучении экономит до 61% памяти, при инференсе — более 10× против обычного трансформера.

Рабочие модели тоже есть. ridger/MMfreeLM-2.7B — яркий пример. Можно найти на HuggingFace. Но если говорить откровенно, дальние зависимости очень размываются и то, что было 500 токенов назад, теряется. Трансформер с вниманием помнит точнее, конечно же. Так что — до широкого применения не дошло.

Bonsai WebGPU — отдельное семейство тернарных моделей (1.7B, 4B, 8B), которые запускаются прямо в браузере через WebGPU. Никакого сервера и установки не нужно — открыли ссылку, модель загружается локально в вкладку и считается на GPU пользователя. 8B-модель занимает ~1.15 ГБ видеопамяти. После первой загрузки работает оффлайн. Демо доступно на HuggingFace Spaces — webml-community/bonsai-webgpu.

Квантизация готовой модели до 2-3 бит — алгоритмы сжатия QuIP#, AQLM. Без обучения с нуля. Берете уже обученную модель и сжимаете ее веса математическими методами за несколько часов на одной видеокарте.

Т.е., например, ISTA-DASLab/Meta-Llama-3-8B-Instruct-AQLM-PV-2Bit-1×16 — Llama 3 8B в 2 битах, около 4 ГБ (эмбеддинги остаются в полной точности). relaxml/Llama-2-70b-chat-E8P-2Bit — 70B модель в ~17 ГБ вместо 140 ГБ в FP16. Качество хуже INT4, но лучшее среди 2-битных методов — основной смысл в том, чтобы запустить 70B там, куда INT4 физически не влезает. И без $100K на переобучение с нуля.

Но есть одно — НО

Нельзя взять Llama 4, Mistral Large 3 или Qwen3.6 и конвертировать их в BitNet. Это просто не получится без критической потери качества. Модель должна обучаться с нуля с тернарными ограничениями с первого шага, т.е. обучение с учетом квантизации. Суть в том, что модель адаптируется под ограничения весов прямо во время обучения, а не пытается соответствовать им после. 

Паритет с FP16 по качеству достигается только от ≥3B параметров. На моделях меньшего размера разрыв очень ощутим. На бенчмарках типа HellaSwag разница достигает 5-8% в пользу FP16.

Грубо говоря, пока что не более чем экспериментальный статус.

И по GPU. До мая 2025 BitNet на видеокарте работал медленнее FP16, потому что нативных CUDA-ядер не было. Веса приходилось распаковывать обратно в числа с плавающей точкой перед матричным умножением. Сейчас CUDA-ядра есть в репозитории bitnet.cpp, но ни vLLM, ни TensorRT, ни TGI их не поддерживают. Для GPU-деплоя в проде нужны разного рода кастомные решения.

Но, опять же — мы уже давно живем во времени, когда железо пока не успевает за идеями. Коммерческих чипов с нативной тернарной арифметикой нет. Ай-би-эмовский NorthPole — исследовательский прототип, в коммерческое производство не запущен. Нативно поддерживает 2/4/8-битные операции, тернарный формат технически подходит — но когда и выйдет ли в серию, информации нет. Intel актуально работает с Loihi 2 и системой Hala Point на его основе — тернарных весов в нативном виде нет. Groq, Cerebras, SambaNova нативную тернарную арифметику не поддерживают и публично не анонсировали. Все три заточены под FP8/INT8 и работают с обычными форматами квантизации.

Пока что — история с BitNet занимает нишу инструмента для экспериментов с конкретными нишевыми задачами на CPU-железе. Для большинства практических бытовых задач в 2026 году условный Q4_K_M (GGUF) через llama.cpp закрывает вопрос быстрее, дешевле и надежнее.

Вот нам кажется, что следующие 2-3 года будут показательными. Либо кто-то выпустит чип с нативным тернарным блоком и что-то такое пойдет в массы, либо про направление забудут. Хотелось бы, конечно, чтобы все получилось. Экологичнее и экономичнее это все.