Обнаружение слепых зон ИИ на примере беспилотных автомобилей

Робот, управляющий автомобилем не может определить разницу между машиной скорой помощи и большим белым автомобилем. Все, что он видит, это большая белая машина, поэтому он не останавливается. Это и есть слепое пятно.

Источник изображения: https://news.mit.edu/

Исследователи разработали новую модель, которая определяет слепые зоны искусственного интеллекта. Ведь иногда то, что автономные системы учат на учебных примерах, не эквивалентно тому, что действительно происходит в реальном мире. Другими словами, ИИ иногда не видит важное и делает ошибки.

Исследователи из MIT и Microsoft говорят, что могли бы использовать эту модель для повышения безопасности в системах управляемых искусственным интеллектом. Например, она может помочь выявить ошибки в ИИ беспилотных автомобилей, что важно, ведь от этого зависит безопасность не только пассажиров, но и окружающих.

У систем, управляющих беспилотным автомобилем есть слепые зоны

Автономные транспортные средства имеют системы искусственного интеллекта, которые инженеры обучили при помощи виртуального моделирования. Моделирование подготавливает ИИ практически к любому событию, которое может произойти на дороге, но есть одно «но». У них все еще есть слепые зоны, то есть они делают неожиданные ошибки в реальном мире.

Представим, например, что ИИ беспроводного автомобиля не обучен. У него нет датчиков, которые различают различные сценарии, такие как разница между машиной скорой помощи с мигающими огнями и просто похожим белым автомобилем.

Когда транспортное средство движется по дороге, а машина скорой помощи включает сирену, автомобиль может не знать, что ему нужно замедлиться и съехать на обочину. Он не знает, потому что видит только большую белую машину.

Ручной мониторинг для обнаружения слепых зон (обучение с учителем)

В двух статьях была описана модель, которая находит эти «слепые зоны» обучения, используя человеческий вклад.

Как и в случае традиционных подходов, система искусственного интеллекта проходила подготовку на симуляторе. Затем, при переносе обучения в реальный мир, человек внимательно следил за действиями системы и давал ей обратную связь, когда она допускала ошибку или что-то упускала из виду. Он также направлял и давал обратную связь, когда система только собиралась совершить ошибку.

Впоследствии исследователи совместили данные обучения с обратной связью с данными обучения в симуляторе и использовали методы машинного обучения для создания модели, которая выявляла потенциальные «слепые зоны». Другими словами, они обучили другой ИИ находить плохие шаблоны поведения основной системы, чтобы тот определял, когда системе, скорее всего, понадобилась бы информация о том, как действовать правильно.

Исследователи использовали видеоигры для проверки своего метода. Во время игр они моделировали действия человека, который корректирует ошибки ИИ.

Следующим шагом будет включение данной модели в традиционные методы обучения и тестирования с учетом данных поступающих от человека. В частности, для систем искусственного интеллекта роботов и беспилотных автомобилей.

Помогая ИИ лучше находить ошибки

Ramya Ramakrishnan, аспирантка лаборатории информатики и искусственного интеллекта в Массачусетском технологическом институте, сказала:

«Данный метод помогает автономным системам узнать то, чего они не знают. Очень часто, когда они используются по назначению, мы понимаем, что обучающая симуляция не обучает их реальной обстановке, в которой они могут совершать грубые ошибки и попадать в аварии».

«Идея состоит в том, чтобы использовать людей для безопасного преодоления разрыва между симуляцией и реальным миром, чтобы мы могли уменьшить количество этих ошибок».