MIT создал систему, обучающую роботов понимать скрытый смысл команд

Инженеры Массачусетского технологического института и Нью-Йоркского университета представили систему FLEX, которая позволяет роботам улавливать не только буквальное значение команд, но и скрытые намерения человека. Разработка, описанная на сайте MIT News, помогает машинам избегать опасностей, о которых пользователь не упоминает напрямую.

Принцип работы FLEX основан на анализе разговорных фраз. Например, если оператор просит робота «не пролить на ноутбук», система, используя языковую модель GPT-4o, обобщает команду и распространяет запрет на другие электронные устройства, такие как телефон. Это избавляет человека от необходимости перечислять каждое потенциальное препятствие.

Процесс обработки команды занимает около пяти секунд и включает три этапа: добавление объекта в список важных признаков, обобщение угрозы с помощью языковой модели и фильтрацию устаревших данных через систему компьютерного зрения. Эффективность FLEX подтверждена в симуляциях с переносом чашки кофе, свечи и шара для боулинга, где робот успешно избегал электроники, легковоспламеняющихся и хрупких предметов.

Исследование возглавила доцент MIT Андреа Бобу. Результаты планируется представить на ежегодной конференции по обучению роботов.