Геометрия Attention: почему QK Norm это не просто костыль для стабильности, а способ заставить сеть понимать смысл
—
от автора
—
от автора
Привет, Хабр! Если вы следите за архитектурами современных LLM (например, LLaMA или Gemma), вы могли заметить одну маленькую, но важную деталь, которая стала стандартом де-факто — QK Norm (Query-Key Normalization). В официальных пейперах её использование объясняют сухим математическим языком: при масштабировании…
—
от автора
Друзья, знаю, что интернет переполнен воспеванием AI, что вызывает у многих людей (особенно специалистов) фрустрацию, особенно когда речь заходит о написании кода на C/C++. Я не AI-проповедник – просто активный и ответственный программист, который пользуется AI-инструментами. Недавно я предложил AI…
—
от автора
Впервые пишу статью одновременно как пользователь и разработчик продукта:Это HomeProxy-hiddify — форк проекта ImmortalWRT — HomeProxy, но использующий ядро hiddify-core вместо sing-box Результат моей работы — графическая надстройка для hiddify-core позволяющая настроить подключение к NaiveProxy, Mieru, ShadowTLS, Hysteria2, XRay, VLESS (XHTTP), VMESS, Trojan,…
—
от автора
Строительная отрасль всё активнее смотрит в сторону искусственного интеллекта: стройка — это сложный процесс с большим количеством людей, подрядчиков, техники, сроков, рисков и отклонений от плана. Поэтому цифровизация — логичный шаг, который упрощает и ускоряет все процессы в отрасли. Этот путь…
—
от автора
Авторы индекса TIOBE опубликовали майский рейтинг популярных языков программирования. Несколько позиций рейтинга в топ-10 претерпели изменения с начала 2026 года (1. Python. 2. C. 3. Java (на 3 с 4 места). 4. C++ (на 4 с 3 места). 5. C#. 6.…
—
от автора
Платформа препринтов arXiv ввела годовой бан для авторов, в чьих работах находят неопровержимые следы «ИИ-мусора». О новом подходе написал X Томас Диттерих, глава секции информатики arXiv: по его словам, если автор работы использовал ИИ для создания контента и не проверил его…
—
от автора
Обсуждения неудачных примеров README-файлов и документации — одна из популярных тем на профильных площадках и форумах [вкупе с другими «вечнозелеными» спорами в ИТ]. Сегодня мы в Beeline Cloud решили посмотреть, что думают о проблеме плохой документации разработчики и ученые, может…
—
от автора
XTLS-Reality, XHTTP, Naiveproxy и всякие там AnyTLS — это не интересно. Давайте копнем чуть глубже и посмотрим, где прячется настоящее безумие. Особенно учитывая, что мы живем во времена, когда даже самые, казалось бы, безумные вещи, могут оказаться весьма полезными чтобы…
—
от автора
Зачем ещё один бенч, когда MMLU вон стоит?Последние лет пять академия меряет AI вопросами из учебника. MMLU, BIG-bench, HELM, GPQA — все хотим узнать, «сколько модель знает в идеальных условиях». Это нужное измерение, никто не спорит. Проблема в том, что…
—
от автора
Привет, Хабр !Миграции базы данных вроде бы есть, Liquibase подключен, changelog лежит в репозитории, CI зелёный, релизы проходят регулярно. Значит, процесс под контролем?Не всегда…Миграции часто выглядят как обычная техническая рутина. Добавили колонку, создали индекс, поправили enum, пересобрали витрину. Но проблема…