TL;DRВ типичных агентских сценариях объем cached input токенов растет квадратично относительно количества ходов. Хорошая модель — модель которая решает задачу за минимальное количество ходов. Цена кэшированного чтения — определяющая характеристика стоимости инференса.Вместо введенияЕдинственная причина, по которой современные авторегрессионные трансформеры вообще пригодны для инференса — это использование KV…

Поиск первой работы в дизайне легко превращается в отдельный квест. В одной вакансии от новичка могут ждать навыков графического и веб-дизайнера, фотографа, маркетолога и иногда почти аналитика – а после отклика можно вообще не получить обратной связи.Я прошла этот путь…

Нейросеть Perplexity AI на русском: бесплатный Перплексити ИИ для поиска, ответов и работы с информацией онлайнЕще несколько лет назад поиск информации выглядел почти одинаково: пользователь вводил несколько слов, получал список страниц и самостоятельно собирал ответ из разных материалов. Сейчас появился…

Возвращаться в московское метро скоро станет приятнее, насколько это вообще возможно среди мутантов и радиации. 4A Games и Deep Silver анонсировали бесплатное обновление для Metro 2033 Redux и Metro: Last Light Redux. На ПК оно выйдет 22 октября, а на…

Каждый, кто делал бота поддержки или автоматизацию на языковых моделях, знает эту боль. Вы отправляете текст клиента в облачный API, ждёте, пока запрос долетит до дата-центра, отстоит очередь и вернётся, а потом ещё разбираете вежливый абзац, чтобы понять: так это…

TreeSitter – это набор инструментов, созданных сотрудниками GitHub. Если совсем грубо, зато кратко, TreeSitter строит синтактическое древо для переданного на вход исходного кода. Это не разбор регулярных выражений, а кое-что получше. Но самое главное преимущество TreeSitter познаётся в сравнении.Вот раньше…

Всех категорически приветствую, любители больших количеств девяток! [прим. — количество девяток означает, сколько сервис у нас доступен. Например, когда говорят «три девятки», то имею ввиду 99,9% доступность сервиса. Если переводить на человеческий, то это означает, что допускается простой в ~8-9…

В наших ИИ-приложениях часто нужны компоненты для быстрого принятия решений: выбрать следующий шаг в мультиагентной системе, оценить входные и выходные данные сложной задачи на рассуждение, маршрутизировать запрос, ранжировать и переупорядочивать входные данные. Такие решения должны приниматься с должным уровнем уверенности,…

Cortiq Mobile — приложение для Android и iOS (пока нет в Appstore, проходит проверку) с открытым кодом, которое запускает модели формата CMF прямо на телефоне. Сейчас производительность телефонов в некоторых случаях превышает производительность ПК поэтому небольшие LLM модели вполне можно…

Когда едешь в Армению на неделю, всё довольно просто: купить симку в аэропорту, поменять наличные на драмы, заказать такси через Яндекс Go и есть толму, запивая таном.Когда переезжаешь, всё не так просто. Разобраться с легализацией, найти жильё на долгосрок и…