Microsoft представила Magma — ИИ-систему для самостоятельного управления роботами и интерфейсами

Microsoft представила Magma — ИИ-систему для самостоятельного управления роботами и интерфейсами

Microsoft представила модель искусственного интеллекта Magma, способную одновременно обрабатывать визуальные данные, текст и управлять физическими объектами. Разработка стала результатом совместных усилий исследователей из Microsoft, KAIST, Университета Мэриленда, Университета Висконсин-Мэдисон и Университета Вашингтона. В отличие от существующих систем, таких как PALM-E и RT-2 от Google или ChatGPT for Robotics от Microsoft, которые используют отдельные модели для восприятия и управления, Magma объединяет эти возможности в единую основу. Система способна не только анализировать мультимодальные данные, но и самостоятельно действовать на их основе – будь то навигация по пользовательскому интерфейсу или манипуляции с физическими предметами. Скриншот видео, на котором Magma управляет роботизированной рукой. Источник: Microsoft Research Модель основана на двух ключевых компонентах. Первый – Set-of-Mark – идентифицирует объекты, с которыми можно взаимодействовать, присваивая числовые метки интерактивным элементам. Второй компонент – Trace-of-Mark – изучает схемы движения на основе видеоданных. Благодаря этому Magma может выполнять такие задачи, как навигация по интерфейсам или управление роботизированными манипуляторами. По данным Microsoft, модель Magma-8B показывает впечатляющие результаты в тестовых испытаниях. В частности, она набрала 80,0 баллов в тесте VQAv2 (Visual Question Answering) — стандартном тесте, где система должна отвечать на в...
23.02.2025
Сообщает: Источник  
Рубрика: «Наука и Техника»   Поделиться: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Microsoft представила ИИ-агента Magma для управления приложениями и реальными роботамиMicrosoft представила ИИ-агента Magma для управления приложениями и реальными роботами Разработчики из Microsoft Research представили мультимодальную языковую ИИ-модель Magma, которая способна обрабатывать визуальные и текстовые данные ...

Microsoft представила Magma  способный управлять роботами ИИMicrosoft представила Magma — способный управлять роботами ИИ Microsoft Research представила Magma, новую модель ИИ, способную понимать и взаимодействовать как с программным обеспечением, так и с физическими роб ...

ADATA представила компактный внешний SSD SC730 с двумя интерфейсамиADATA представила компактный внешний SSD SC730 с двумя интерфейсами ADATA объявила о выпуске внешнего SSD SC730, который выделяется сверхкомпактными размерами и поддержкой двух интерфейсов – USB-C и USB-A. Длина устро ...

Группа Астра и Technored создадут платформу для управления роботами«Группа Астра» и Technored создадут платформу для управления роботами На рынке софта для промышленной роботизации уже разрабатывают схожие решения «Сбер» и «Яндекс» ...

В России создали систему управления роботами силой мыслиВ России создали систему управления роботами «силой мысли» Российские учёные разработали полностью отечественную систему управления роботами «силой мысли». Она была создана в рамках научной програ ...

В России представили открытую платформу тестирования моделей управления роботамиВ России представили открытую платформу тестирования моделей управления роботами Институт AIRI открыл тестовый доступ к VLA Arena — открытой платформе, которая позволяет пользователям оценивать и... ...

В России создали сервис для управления наземными роботами из любой точки страныВ России создали сервис для управления наземными роботами из любой точки страны Компания «Дронсхаб групп» вывела на российский рынок облачный сервис дистанционного управления, контроля и диспетчеризации... ...

В Японии сделали капсулу для управления роботами силой мысли (2 фото  видео)В Японии сделали капсулу для управления роботами силой мысли (2 фото + видео) Японская компания H2L разработала весьма необычное кресло-интерфейс Capsule Interface, позволяющее управлять роботами дистанционно, используя лишь мы ...