Захотелось более детально разобраться и попробовать самостоятельно написать Transformer на PyTorch, а результатом поделиться здесь. Надеюсь, так же как и мне, это поможет ответить на какие-то вопросы в данной архитектуре. Оставляю ссылку на свой канал: not_magic_neural_networks0 IntroВпервые архитектуру трансформер предложили…

Когда-то давно общался с коллегой на тему всякого разного и в ходе беседы, он как-то вскользь сказал, «А в линуксе же кроме дефолтного STP ничего не поддерживается, ну вот я и…». Дальше уже ничего слышно не было. Как это не…

На конференции Nvidia GTC 2025 в Сан-Хосе генеральный директор Дженсен Хуан объявил о появлении в линейке продуктов компании ряда новых графических процессоров в течение следующих нескольких месяцев.Возможно, наиболее значимой была Vera Rubin. Vera Rubin, выпуск которой запланирован на вторую половину…

В последние годы стало очевидно, что классические центральные процессоры (CPU) и видеокарты (GPU) уже не всегда поспевают за непрерывным ростом и усложнением нейронных сетей. Вместо бесконечного наращивания «универсального» железа, компании начали разрабатывать и внедрять в своих дата-центрах Domain-Specific Architecture (DSA)…

Холдинги «Росэлектроника» и «Ростелеком» провели испытания системы для управления мобильными устройствами. Проверялась совместимость программно‑аппаратного комплекса виртуализации ЕСР VeiL производства НИИ «Масштаб» (входит в «Росэлектронику») и платформы централизованного управления мобильными устройствами «Аврора Центр» компании «Открытая мобильная платформа» (входит в «Ростелеком»). Тесты подтвердили,…

Призраки, возможно, существуют. По крайней мере многие утверждают, что видели их. Про призраков снято множество фильмов и написано много книг. Но я лично не встречал ни одного представителя этого явления и не смог бы серьёзно воспринимать никого, кто утверждал бы…

Введение: Когда JavaScript стало малоПредставьте, что вы можете запустить Photoshop в браузере без плагинов. Или обрабатывать 4K-видео на слабом смартфоне. А что, если нейросеть на сайте будет работать в 20 раз быстрее? Звучит как фантастика, но это уже реальность благодаря WebAssembly (Wasm).В…

«Лаборатории Касперского» представила отчёт о ландшафте угроз для систем промышленной автоматизации за 4 квартал 2024 года. По данным ИБ‑компании, в 4 квартале 2024 года их уровень остался высоким. При этом наблюдаются интересные тенденции: доля атакованных компьютеров немного снизилась, но увеличилось количество случаев блокировки шпионского ПО и программ‑вымогателей.По сравнению с предыдущим кварталом доля…

Во вторник компания добавила функцию в свой чат-бот Gemini на базе искусственного интеллекта, которую компания называет Canvas. Похожая по концепции на одноименный инструмент OpenAI Canvas для ChatGPT и Anthropic’s Artifacts, Canvas предоставляет пользователям Gemini интерактивное пространство, где они могут создавать, совершенствовать и делиться проектами по…

Сегодня состоялся релиз Java 24  – очередная не-LTS версия с важными улучшениями в производительности, многопоточности и API. Вот ключевые нововведения, вошедшие в состав новой версии: JEP 483 – AOT-загрузка и линковка классов – Ускоряет запуск JVM, предварительно загружая и валидируя…