Алгоритмы спекулятивного инференса LLM
—
от автора
—
от автора
ВведениеЗа последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности. Кроме того, генерация текста авторегрессионна — токен за…
—
от автора
Когда Михаил Авдеев в январе 2024 года слег с высокой температурой, он и представить не мог, что это станет отправной точкой для создания одного из самых перспективных стартапов в бьюти-индустрии России. Сегодня Daria AI — это чат-бот, который автоматизирует работу…
—
от автора
Запилил я в том году приложение на Python по доступу к YandexGPT через API, теперь вот появилось желание попилить дальше и добавить доступ к gpt-4o и gpt-4o‑mini заодно.Чем будет полезна эта программа — можно будет поэкспериментировать с системными запросами (в программе «Специализация»), которые можно создавать самому, и температурой…
—
от автора
Привет, Хабр! Это Артур Ишмаев, руководитель группы автоматизации проектирования в компании ПИК. Выполняя свои задачи, мы с командой придумали много необычных подходов, которые помогают генерировать застройку. Сегодня я хотел бы поделиться одним из методов, который мы придумали, реализуя градостроительный модуль платформы R2.…
—
от автора
Какая-то когорта людей, услышав о внедрении перфоманс ревью, отреагирует резко негативно из‑за предубеждений о том, что это инструмент для увольнения неугодных. Кто‑то подумает об этом как о системе доносов на коллег, а сами доносчики будут еще и в числе «хороших полицейских» у руководства. А кто‑то не верит в эту инициативу и не тратит время. Я…
—
от автора
Все счастливые продакт-менеджеры счастливы по-своему, но начинать, пожалуй, каждый должен одинаково.В этой статье, дорогой читатель, мы разберём, какие шаги помогут вам приблизиться к мечте стать продактом.Прежде чем перейти к делу, скажем, что продакт-менеджер управляет продуктом, а управление продуктом — это…
—
от автора
Самые интересные новости финансов и технологий в России и мире за неделю: Санта-ралли не задалось, Райф запретил своим клиентам материться (но не всем), Telegram стал прибыльным, Цукерберг перестал волноваться и полюбил «теорию мертвого интернета», нейроученый финансист настрогал 300 «научных» публикаций, а…
—
от автора
У меня техническое физтеховское образование, но сейчас я работаю руководителем проектов, то есть должность не техническая, а скорее управленческая. А как вы понимаете, чтобы работать с людьми, помимо технических навыков мне пришлось заниматься не самой любимой у технарей задачей –…
—
от автора
Ruby On Rails был краеугольным камнем в веб-разработке с момента своего основания, позволяя разработчикам создавать масштабируемые и поддерживаемые веб-приложения. С эволюцией Rails каждая версия вводила новые функции, улучшения производительности и безопасности. Поскольку Rails имеет открытый исходный код, разработчики постоянно решали…
—
от автора
Исследователи разработали более оптимизированный подход, который помогает системам искусственного интеллекта обрабатывать информацию. Новая система под названием RetroLLM объединяет два ранее раздельных этапа — поиск информации и написание текста — в единый процесс.Команда из Китайского народного университета, Университета Цинхуа и лаборатории Huawei…