Эрнст Дитер Дикманс — немецкий пионер динамического компьютерного зрения и беспилотных автомобилей . Дикманс был профессором в Университете Бундесвера в Мюнхене (1975–2001), а также приглашенным профессором в Калтехе и Массачусетском технологическом институте, где читал курсы по «динамическому зрению».
Дикманнс родился в 1936 году. Он изучал космонавтику и аэронавтику в Рейнско-Вестфальском техническом университете Ахена (1956–1961) и технику управления в Принстонском университете (1964/65); с 1961 по 1975 год он был связан с Немецким исследовательским институтом аэрокосмической техники (ныне DLR ) в Оберпфаффенхофене , работая в области динамики полета и оптимизации траектории . В 1971/72 году он прошел постдокторскую исследовательскую стажировку в Центре космических полетов имени Маршалла в Хантсвилле ( возвращение орбитального аппарата). С 1975 по 2001 год он работал в Мюнхенском университете в Мюнхене, где он инициировал создание «Института аэромеханики и системной динамики» (IFS), Института «Технических автономных систем» (TAS) и исследовательскую деятельность в области машинного зрения для управления транспортными средствами.
В начале 1980-х годов его команда оснастила фургон Mercedes-Benz камерами и другими датчиками. 5-тонный фургон был перепроектирован так, что стало возможным управлять рулевым колесом , дроссельной заслонкой и тормозами с помощью компьютерных команд, основанных на оценке последовательностей изображений в реальном времени. Было написано программное обеспечение , которое переводило сенсорные данные в соответствующие команды вождения. В целях безопасности первые эксперименты в Баварии проводились на улицах без движения . В 1986 году роботизированный автомобиль «VaMoRs» смог ездить самостоятельно, а к 1987 году он был способен двигаться со скоростью до 96 километров в час (60 миль в час). [1]
Одна из самых больших проблем в высокоскоростном автономном вождении возникает из-за быстро меняющихся визуальных уличных сцен. В то время компьютеры были намного медленнее, чем сегодня (~1% от 1%); поэтому для реагирования в реальном времени требовались сложные стратегии компьютерного зрения . Команда Дикманса решила проблему с помощью инновационного подхода к динамическому зрению . Пространственно-временные модели использовались с самого начала, получившего название «4-D подход», который не требовал хранения предыдущих изображений, но, тем не менее, был способен давать оценки всех трехмерных компонентов положения и скорости. Управление вниманием, включая искусственные саккадические движения платформы, несущей камеры, позволяло системе сосредоточить свое внимание на наиболее важных деталях визуального ввода. Фильтры Калмана были расширены для перспективной визуализации и использовались для достижения надежного автономного вождения даже в присутствии шума и неопределенности . Обратная связь ошибок прогнозирования позволила обойти (плохо обусловленную) инверсию перспективной проекции с помощью подбора параметров наименьшими квадратами.
Когда в 1986/87 годах проект EUREKA «PROgraMme for a European Traffic of Highest Efficiency and Unprecedented Safety» ( PROMETHEUS ) был инициирован европейской автомобильной промышленностью (финансирование составило несколько сотен миллионов евро), изначально запланированное автономное боковое управление с помощью подземных кабелей было отменено и заменено гораздо более гибким подходом машинного зрения, предложенным Дикманнсом и частично вдохновленным его успехами. Участвовало большинство крупных автомобильных компаний; также Дикманнс и его команда в сотрудничестве с Daimler-Benz AG. Значительный прогресс был достигнут в последующие 7 лет. В частности, роботизированные автомобили Дикманнса научились ездить в транспортном потоке в различных условиях. Сопровождающий водитель-человек с «красной кнопкой» следил за тем, чтобы роботизированное транспортное средство не вышло из-под контроля и не стало опасностью для общественности. С 1992 года вождение в общественном транспорте стало стандартным в качестве последнего шага в реальных испытаниях. Несколько десятков транспьютеров , особой разновидности параллельных компьютеров , использовались для решения колоссальных (по меркам 1990-х годов) вычислительных задач.
Две кульминационные точки были достигнуты в 1994/95 годах, когда переделанный Дикманном автономный Mercedes-Benz S-класса провел международные демонстрации. Первой была финальная презентация проекта PROMETHEUS в октябре 1994 года на автостраде 1 недалеко от аэропорта Шарль-де-Голль в Париже. С гостями на борту автомобили-близнецы Daimler-Benz (VITA-2) и UniBwM ( VaMP ) проехали более 1000 километров (620 миль) по трехполосному шоссе в стандартном плотном потоке со скоростью до 130 километров в час (81 миля в час). Были продемонстрированы вождение по свободным полосам, вождение колонны с соблюдением дистанции в зависимости от скорости и смена полос налево и направо с автономным обгоном; последнее требовало интерпретации дорожной обстановки также в заднем полушарии. Для этой цели параллельно использовались две камеры с разными фокусными расстояниями для каждого полушария.
Второй кульминационной точкой стала поездка на 1758 километров (1092 мили) осенью 1995 года из Мюнхена в Баварии в Оденсе в Дании на встречу по проекту и обратно. Как продольное, так и поперечное управление выполнялось автономно с помощью зрения. На шоссе робот достигал скорости, превышающей 175 километров в час (109 миль в час) (на автобане нет общего ограничения скорости ). Публикации исследовательской группы Дикманна [2] указывают на среднее расстояние автономного вождения без сбросов около 9 километров (5,6 миль); самый длинный автономно вожденный участок достигал 158 километров (98 миль). Более половины требуемых сбросов были достигнуты автономно (без вмешательства человека). Это особенно впечатляет, учитывая, что система использовала черно-белые видеокамеры и не моделировала ситуации, такие как дорожные строительные площадки с желтой разметкой полос; Были обработаны смены полосы движения на скорости более 140 километров в час (87 миль в час) и другой трафик с относительной скоростью более 40 километров в час (25 миль в час). В общей сложности было достигнуто 95% автономного вождения (по расстоянию).
В 1994–2004 годах старый 5-тонный фургон «VaMoRs» использовался для разработки возможностей, необходимых для вождения по сетям второстепенных (также не заасфальтированных) дорог и для вождения по пересеченной местности, включая обход негативных препятствий, таких как канавы. Съезд на перекресток неизвестной ширины и угла пересечения потребовал больших усилий, но был достигнут с помощью «ожидаемого, многофокусного, саккадического зрения» (EMS-зрение). Это зрение позвоночного типа использует возможности анимации, основанные на знаниях о классах субъектов (включая само автономное транспортное средство) и их потенциальном поведении в определенных ситуациях. Этот богатый фон используется для управления взглядом и вниманием, а также для передвижения. [3]
Помимо наведения наземных транспортных средств, также были исследованы приложения 4-D подхода к динамическому зрению для беспилотных воздушных судов (обычных самолетов и вертолетов). Автономные визуальные заходы на посадку и посадки были продемонстрированы в аппаратно-программном моделировании с визуальным/инерциальным слиянием данных. Реальные автономные визуальные заходы на посадку до момента непосредственно перед приземлением были выполнены в 1992 году с двухвинтовым самолетом Dornier 128 Университета Брауншвейга в аэропорту.
Еще одним успехом этой технологии машинного зрения стал первый в истории визуально контролируемый эксперимент по захвату свободно парящего объекта в условиях невесомости на борту космического челнока Columbia D2 в 1993 году в рамках эксперимента «Rotex» DLR.