Как технология LayerScale спасает сверхглубокие трансформеры (и почему о ней молчат туториалы)
—
от автора
—
от автора
В мире глубокого обучения существует наивный миф: «Если твоя модель недостаточно умная, просто накинь еще пару десятков слоев».На бумаге residual связи (те самые плюсики в коде: x=x+f(x) ) должны позволять нам строить сети бесконечной глубины, спасая градиенты от затухания. Но любой, кто…
—
от автора
Как известно, LLM — это машина, которая “видела” “весь Интернет”, много чего запомнила и много чему научилась. Задавая ей правильные вопросы можно получать “правильные” ответы (где “правильные” стоит понимать в статистическом смысле). Широта и универсальность таких способностей дает возможность ставить…
—
от автора
Антидетект-браузер звучит как что-то из серой зоны интернета. Часто так и есть. Его используют для арбитража, SMM, тестирования, парсинга, работы с несколькими кабинетами, иногда для откровенно грязных схем. Но сама идея интереснее, чем рекламные лендинги таких сервисов.Браузер давно перестал быть…
—
от автора
SpaceX сейчас готовится, как ожидается, к самому крупному публичному первичному размещению в истории, целевая оценка которого составит $1,75 трлн1. Для сравнения: это больше, чем Meta* или Tesla, и такое IPO легко превзойдёт рекорд биржевого дебюта Saudi Aramco. Ожидается, что это первичное…
—
от автора
Несколько лет назад я стал соавтором курса по UX/UI-дизайну и записал для него модуль про анимацию интерфейсов. Я давно занимаюсь обучением своей команды дизайнеров, но видеоуроки готовил впервые и не знал, как технически устроено производство онлайн-курса.Меня зовут Алексей Нибо, я…
—
от автора
Разработчик беспилотного водного электротранспорта Flymar выпустил первую в России систему электродвижения маломерных судов, достигающих скорости 55 км/ч. Система состоит из электрического двигателя и цифрового контроллера управления, который позволяет управлять судном в автономном режиме, рассказал «Ведомостям» сооснователь и генеральный директор компании…
—
от автора
Недавно я прочитал статью на Хабре о том, что чарты и рекомендации Яндекс Музыки начали массово заполняться нейросетевыми треками (так называемым «нейрослопом»). Меня эта ситуация зацепила, и я решил порассуждать: к чему приведет такое засилье алгоритмов, и чем искусственный интеллект…
—
от автора
Компания Google обновила антиспамовую политику для поиска, включив в неё попытки манипулировать генеративными ИИ‑ответами — AI Overview и AI Mode. Раньше правила касались только классического ранжирования.Компания уточнила формулировку вводной части документа: теперь спамом считаются не только попытки манипулировать системами ранжирования, но и попытки влиять на генеративные…
—
от автора
Real-time система не заканчивается на том, что backend опубликовал событие в Centrifugo. Это только половина работы. Вторая половина начинается на фронтенде и в эксплуатации: подключение клиента, обработка входящих сообщений, переподключение, истечение токенов, потеря сети, восстановление состояния, Nginx, секреты, логи и…
—
от автора
Меня зовут Ирек Агмалов, я DBA-SRE в Ви.Tech — IT-дочке ВсеИнструменты.ру.Мы обновляли PostgreSQL в кластере Patroni и хотели переключить приложение на новую версию без смены строки подключения и без долгого простоя.Для роутинга у нас уже использовались consul-dns и Patroni, поэтому…