Чемпион

Nature, том 620, страницы 982–987 (2023 г.) Процитировать эту статью

889 Альтметрика

Подробности о метриках

Гонки дронов с видом от первого лица (FPV) — это транслируемый по телевидению вид спорта, в котором профессиональные участники пилотируют высокоскоростные самолеты по трехмерной трассе. Каждый пилот видит окружающую среду с точки зрения своего дрона с помощью видео, транслируемого с бортовой камеры. Достичь уровня профессиональных пилотов с помощью автономного дрона сложно, поскольку роботу необходимо летать на пределе своих физических возможностей, оценивая свою скорость и местоположение в контуре исключительно с помощью бортовых датчиков1. Здесь мы представляем Swift, автономную систему, которая может участвовать в гонках на физических транспортных средствах на уровне чемпионов мира среди людей. Система сочетает глубокое обучение с подкреплением (RL) в моделировании с данными, собранными в физическом мире. Свифт соревновался с тремя чемпионами среди людей, включая чемпионов мира двух международных лиг, в реальных гонках друг на друга. Свифт выиграл несколько гонок у каждого из чемпионов-людей и продемонстрировал самое быстрое время в гонках. Эта работа представляет собой важную веху в развитии мобильной робототехники и машинного интеллекта2, которая может вдохновить на внедрение гибридных решений на основе обучения в других физических системах.

Deep RL3 позволил реализовать некоторые недавние достижения в области искусственного интеллекта. Политики, обученные с помощью глубокого RL, превзошли людей в сложных конкурентных играх, включая Atari4,5,6, Go5,7,8,9, шахматы5,9, StarCraft10, Dota 2 (ссылка 11) и Gran Turismo12,13. Эти впечатляющие демонстрации возможностей машинного интеллекта в основном ограничивались средами моделирования и настольных игр, которые поддерживают поиск политики в точной копии условий тестирования. Преодоление этого ограничения и демонстрация производительности чемпионского уровня в физических соревнованиях является давней проблемой в области автономной мобильной робототехники и искусственного интеллекта14,15,16.

Гонки дронов FPV — это транслируемый по телевидению вид спорта, в котором высококвалифицированные пилоты-люди доводят летательные аппараты до предела своих физических возможностей, совершая маневренные маневры на высокой скорости (рис. 1а). Транспортными средствами, используемыми в гонках FPV, являются квадрокоптеры, которые являются одними из самых маневренных машин, когда-либо созданных (рис. 1б). Во время гонки транспортные средства оказывают силу, превосходящую их собственный вес в пять и более раз, достигая скорости более 100 км/ч и ускорения, в несколько раз превышающего гравитацию, даже в ограниченном пространстве. Каждое транспортное средство дистанционно управляется пилотом-человеком, который носит гарнитуру, показывающую видеопоток с бортовой камеры, создавая захватывающий опыт «от первого лица» (рис. 1c).

а, Свифт (синий) соревнуется лицом к лицу с Алексом Вановером, чемпионом мира Drone Racing League 2019 года (красный). Трасса состоит из семи квадратных ворот, которые необходимо проезжать по порядку на каждом круге. Чтобы выиграть гонку, участник должен проехать три круга подряд раньше своего соперника. б. Крупный план Swift, подсвеченного синими светодиодами, и дрона, пилотируемого человеком, подсвеченного красными светодиодами. Автономные дроны, используемые в этой работе, полагаются только на бортовые сенсорные измерения без поддержки со стороны внешней инфраструктуры, такой как системы захвата движения. в. Слева направо: Томас Битматта, Марвин Шеппер и Алекс Вановер мчатся по трассе на своих дронах. Каждый пилот носит гарнитуру, которая показывает видеопоток, передаваемый в реальном времени с камеры на борту его самолета. Гарнитуры обеспечивают захватывающий опыт просмотра от первого лица. в, фото Регины Саблотной.

Попытки создать автономные системы, способные достичь уровня пилотов-людей, начались еще с первых соревнований по автономным гонкам дронов в 2016 году (ссылка 17). За этим последовал ряд инноваций, включая использование глубоких сетей для определения местоположения следующих ворот18,19,20, перенос гоночной политики из симуляции в реальность21,22 и учет неопределенности в восприятии23,24. Соревнования по гонкам автономных дронов AlphaPilot 2019 года продемонстрировали одни из лучших исследований в этой области25. Тем не менее, первым двум командам по-прежнему потребовалось почти вдвое больше времени, чем профессиональному пилоту-человеку, чтобы пройти трассу26,27. Совсем недавно автономные системы начали достигать уровня человеческих возможностей28,29,30. Однако эти работы основаны на почти идеальной оценке состояния, обеспечиваемой внешней системой захвата движения. Это делает сравнение с пилотами-людьми несправедливым, поскольку люди имеют доступ только к бортовым наблюдениям с дрона.