Исследователи заявляют, что ChatGPT может помочь улучшить взаимодействие между людьми и роботами в будущем

Исследователи из Microsoft AI Research презентовали новый метод, который обуславливается тем, что Роботы выполняют действия по простым командам на естественном языке. Например, робот поднимает или перекладывает кубик на другое место по устной команде, услышанной от человека. Для этого использовалась модель ChatGPT, генерирующая текст на основе диалога, сообщил Mark Tech Post 13 апреля 2023 года.

Об исследовании

Авторами исследования, в котором представлен метод ChatGPT для роботов, выступили: Ичжэ Чжан, Сици Сунь, Мишель Галле, Йен-Чунь Чен, Крис Брокетт, Сян Гао, Цзяньфэн Гао и Билл Долан из Microsoft AI Research. Они обнародовали результаты своей работы под названием «From Text to Actions: A Unified Framework for Task-Oriented Dialogue Systems» (От текста к действиям: унифицированная структура для систем диалога, ориентированных на задачи) в апреле 2023 года.

Исследователи обучили модель посредством набора данных, содержащего разговоры между людьми и роботами, а также видеоматериалы с демонстрацией действий роботов. Затем они проверили модель на новых командах и сравнили ее с другими методами. Оказалось, что модель ChatGPT лучше понимает естественный язык и может генерировать более точные и разнообразные действия для роботов.

При исследовании применялись следующие методы:

• Использование модели ChatGPT, которая может генерировать текст в зависимости от контекста разговора.
• Создание набора данных RoboChat, который содержит 10 тыс. разговоров между людьми и роботами, и видео действий роботов, разделив информацию на две части, для обучения модели и ее тестирования.
• Преобразование команд на естественном языке в последовательности действий для роботов с помощью специального словаря и правил. Например, команда «pick up the red cube» (возьми красный кубик) преобразуется в «move_to(red_cube); grasp(red_cube); lift(red_cube)» (подойти, схвати, подними).
• Оценка качества модели проводилась по двум критериям: правильность генерации действий и разнообразие генерации действий.

Таким образом, правильность оценивалась по сравнению с эталонными действиями из набора данных, а разнообразие – по количеству уникальных действий, которые модель может сгенерировать для одной команды.

Результаты исследования

Исследователи сделали следующие выводы:

• Модель ChatGPT продемонстрировала хорошие результаты в генерации действий для роботов по командам на естественном языке, превосходя другие существующие методы.
• Модель ChatGPT адаптируется к разным доменам и сценариям, используя контекст диалога и обратную связь от пользователя.
• ChatGPT генерирует разнообразные действия для одной команды, учитывая разные факторы, такие как положение объектов, цвета, формы и т.д.
• Модель продемонстрировала полезность для разработки более естественных и интерактивных систем диалога для роботов, которые могут выполнять различные задачи по запросу пользователя.