Краткое резюме:
NVIDIA выпустила крупную коллекцию навыков и инструментов агентов Physical AI с открытым исходным кодом, охватывающую платформы NVIDIA Omniverse, Cosmos, Alpamayo и Metropolis для робототехники, автономных транспортных средств, компьютерного зрения (Vision AI) и промышленных цифровых двойников.
Новые навыки Physical AI превращают сложные процессы обучения, оценки и развёртывания Physical AI в повторяемые, оптимизированные и исполняемые агентами инструкции.
NVIDIA GTC Тайбэй — 31 мая 20026 года NVIDIA объявила о выпуске крупной коллекции навыков и инструментов Physical AI с открытым исходным кодом, которые помогают разработчикам превращать сложные рабочие процессы робототехники, автономных транспортных средств (AV), компьютерного зрения и промышленных цифровых двойников в задачи, исполняемые агентами. Это снижает затраты, время и сложность создания рабочих процессов Physical AI в масштабе.
По мере того как ИИ-агенты переходят от написания кода к оркестровке целых задач разработки, Physical AI становится следующим фронтиром. Навыки NVIDIA Physical AI, доступные в составе NVIDIA Agent Toolkit, позволяют агентам использовать библиотеки, модели и фреймворки NVIDIA для ускорения конвейеров генерации данных, симуляции, обучения, оценки и развёртывания за роботами, автономными автомобилями, фабриками и лабораториями.
«ИИ-агенты революционизируют разработку программного обеспечения, и этот сдвиг теперь приходит в Physical AI, распространяясь на системы, которые преобразят транспорт, производство, здравоохранение и робототехнику», — сказал Дженсен Хуанг, основанный и генеральный директор NVIDIA. «Когда агенты смогут напрямую использовать библиотеки, модели и фреймворки NVIDIA, разработка Physical AI ускорится, позволяя разработчикам с невероятной скоростью создавать роботов, автономных транспортных средств и промышленных систем будущего».
Инструменты и навыки, готовые для агентов, для разработки Physical AI
NVIDIA оптимизирует весь свой стек Physical AI для агентов, превращая библиотеки, модели и фреймворки в инструменты, вызываемые агентами. Это включает:
-
Модели основы мира NVIDIA Cosmos™ для рассуждения и генерации в физическом мире
-
Библиотеки NVIDIA Omniverse™ для симуляции и цифровых двойников
-
NVIDIA Isaac™ для симуляции робототехники и обучения роботов
-
NVIDIA Metropolis для компьютерного зрения (Vision AI)
-
NVIDIA Alpamayo для автономного вождения
-
Платформу NVIDIA Jetson™ для разработки edge AI
Чтобы помочь разработчикам применять эти инструменты, NVIDIA запускает новые навыки в составе NVIDIA Agent Toolkit, превращая процессы разработки Physical AI в повторяемые инструкции, которым могут следовать кодировочные агенты. Это включает, какие инструменты вызывать, какие выходные данные производить и как разработчики могут проверять результаты.
Разработчики также могут безопасно создавать и развёртывать автономных агентов, используя эти навыки, с помощью blueprint NVIDIA NemoClaw™ и среды выполнения NVIDIA OpenShell™, которая обеспечивает управление безопасностью и конфиденциальностью на основе политик на локальном или облачном оборудовании.
Навыки и инструменты NVIDIA Physical AI ускоряют агентскую разработку в следующих областях:
|
Область |
Описание |
|---|---|
|
Робототехника и edge AI |
Разработчики роботов могут использовать навыки для ускорения всего конвейера разработки робототехники: от генерации данных для обучения восприятию и мобильности до симуляции, автоматизации обучения навигации, развития обучения роботов и настройки edge-систем на базе Jetson для развёртывания. |
|
Автономные транспортные средства |
Для разработчиков AV навыки могут направлять агентов на реконструкцию данных, захваченных флотами, в среды симуляции, генерацию фотореалистичных сцен вождения в масштабе и запуск замкнутого обучения с подкреплением для расширения охвата обучения и оценки. |
|
Агенты Vision AI реального времени |
Для автоматизированного контроля и видеоинтеллекта навыки агентов помогают командам генерировать синтетические данные для обучения, тонко настраивать модели, автоматизировать разметку и создавать агентов видео ИИ, которые ищут, обобщают и анализируют живое или записанное видео. |
|
Промышленный ИИ |
Разработчики промышленного программного обеспечения могут использовать эти навыки для преобразования инженерных данных в активы CAD (компьютерного проектирования) для симуляции цифровых двойников, оптимизируя большие сцены OpenUSD с меньшим ручным настройкой. |
|
Здравоохранение |
Перед развёртыванием автоматизации в клинических средах команды здравоохранения могут направлять агентов через создание цифрового двойникаhospital-среды, генерацию данных sim-to-real и тестирование политик software-in-the-loop. |
Навыки можно комбинировать и интегрировать в более крупные агентские системы, позволяя разработчикам оркестрировать и автоматизировать сложные рабочие процессы, такие как генерация данных, симуляция, оптимизация, тонкая настройка инференса, непрерывная оценка и многое другое.
Лидеры отрасли создают на базе технологий NVIDIA Physical AI
Лидеры отрасли в производстве, автономных транспортных средствах, здравоохранении и промышленном программном обеспечении используют библиотеки NVIDIA Physical AI для развития разработки автономных систем и промышленного ИИ.
По мере того как эти библиотеки становятся готовыми для агентов, разработчики могут использовать навыки NVIDIA, чтобы помочь агентам автоматизировать настройку, выполнение и итерацию в сложных рабочих процессах Physical AI.
В электронном производстве:
-
TSMC и Pegatron тонко настраивают модели визуального контроля. Pegatron сократила время обучения и развёртывания модели на 67%, используя синтетические данные, сгенерированные с помощью навыка Defect Image Generation.
-
Delta Electronics сгенерировала синтетические данные о дефектах и использовала навык для обнаружения избыточной пайки на металлических шинах, улучшив скорость обнаружения на 17%.
-
Inventec разработала визуальный конвейер контроля Observation Agent, интегрировав навык Defect Image Generation, сократив усилия по сбору данных о дефектах для производства шасси ноутбуков на 30%.
-
Foxconn, работая с DeepHow, использовала навык для повышения эффективности производства, обнаруживая ошибки на ранней стадии, увеличивая первый проход yield примерно на 3%.
Для автономных транспортных средств: Li Auto, Afari и DeepRoute.ai используют модели NVIDIA Omniverse NuRec для нейронной реконструкции сцены и рендеринга, генерируя более 1000 реконструкций и более 300 000 рендеров и симуляций в день. Кроме того, они используют новый репозиторий навыков агентов для ускорения и улучшения разработки более безопасных иcapable систем автономного вождения.
В промышленном ИИ: Cadence, Dassault Systèmes, Siemens и Synopsys используют библиотеки и навыки NVIDIA Omniverse для инспекции инженерных данных, симуляции и интерактивных цифровых двойников. PTC, MetAI и Lightwheel используют фреймворк NVIDIA Isaac Sim™ и рабочие процессы на основе OpenUSD для преобразования данных CAD в активы и среды, готовые для симуляции. В рамках дорожной карты Autonomous Fab 2030 SK hynix реализует цифровые двойники полупроводниковых фабрик с использованием NVIDIA Omniverse и сотрудничает с NVIDIA и SK Telecom для проверки NVIDIA Agent Toolkit для специфичного для производства Physical AI.
1x, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI и Universal Robots среди лидеров робототехники, использующих готовый к агентам стек Physical AI NVIDIA для ускорения разработки робототехники от генерации данных до развёртывания.
Foxconn и Compal используют NVIDIA Isaac для здравоохранения для ускорения робототехники в больницах. Foxconn масштабирует Nurabot в нескольких больницах и средах долгосрочного ухода, принося робототехнику на базе ИИ к уходу за пациентами, а также представляя своего нового коллаборативного робота медсестры-хирурга для оптимизации рабочих процессов операционной. Compal продвигает процесс разработки своего робота PolyMedX к платформе оркестрации на уровне больницы, интегрируя симуляцию, ИИ и реальные операции.
Доступность
Инструменты и навыки агентов NVIDIA Physical AI теперь открыто доступны через GitHub и skills.sh для использования с любым кодинг-агентом.
Навыки и инструменты агентов для генерации синтетических данных — Neural Reconstruction, Video Augmentation, Defect Image Generation — также доступны для мгновенной пробной версии на NVIDIA Brev как Physical AI Launchables, предварительно настроенные среды, которые объединяют навыки и инструменты агентов для более быстрой генерации и оценки синтетических данных.
Microsoft, CoreWeave и Nebius интегрируют эти навыки и инструменты агентов со своими облачными услугами, чтобы позволить разработчикам оптимизировать и масштабировать генерацию синтетических данных и развёртывание.
Подпишитесь на канал Agentic Enterpise — о жизни ИИ-агентов в кровавом энтерпрайзе
ссылка на оригинал статьи https://habr.com/ru/articles/1043054/