Теперь Grok 2.5 можно запускать локально

Инженеры Unsloth представили оптимизированную версию модели Grok 2.5, которая теперь может работать локально на Mac с 128 ГБ оперативной памяти. В тестах достигли скорости около пяти токенов в секунду при размере модели в 270 миллиардов параметров.

Главное достижение — это радикальное сокращение веса. Размер Grok 2.5 уменьшили с 539 ГБ до 118 ГБ, то есть на 80%. Для этого ключевые слои модели сохранили в 8-битном формате, а все остальные сжали с помощью динамического 3-битного GGUF. При этом базовая архитектура и функциональность модели остались нетронутыми.

Разработчики отмечают, что оптимизация открывает путь к запуску сверхкрупных моделей без доступа к дата-центрам и дорогостоящим GPU. Теперь Grok можно использовать локально для экспериментов и приложений, где важна приватность или нет доступа к облаку.

Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!