Распознавание дорожных знаков ( TSR ) — это технология, с помощью которой транспортное средство может распознавать дорожные знаки, установленные на дороге, например, «ограничение скорости», «дети» или «поворот вперед». Это часть функций, которые в совокупности называются ADAS . Технология разрабатывается различными поставщиками автомобильной техники для повышения безопасности транспортных средств. Она использует методы обработки изображений для обнаружения дорожных знаков. Методы обнаружения можно в целом разделить на методы, основанные на цвете, форме и обучении.
Венская конвенция о дорожных знаках и сигналах — это договор, подписанный в 1968 году, который смог стандартизировать дорожные знаки в разных странах. Около 52 стран подписали этот договор, включая 31 страну из Европы. Конвенция в целом классифицировала дорожные знаки на семь категорий, обозначенных буквами от A до H. Эта стандартизация стала основным стимулом для содействия разработке систем распознавания дорожных знаков, которые могут использоваться во всем мире.
Распознавание дорожных знаков впервые появилось в виде распознавания знаков ограничения скорости в 2008 году для Vauxhall Insignia 2009 года . [1] Позже в 2009 году они появились на новом BMW 7 серии , а в следующем году на Mercedes-Benz S-класса . В то время эти системы обнаруживали только круглые знаки ограничения скорости, встречающиеся по всей Европе (например, [2] ).
Системы второго поколения также могут определять ограничения на обгон. Она была представлена в 2008 году в Opel Insignia [3] , позже последовали Opel Astra и Saab 9-5 . Эта технология также доступна в Volkswagen Phaeton 2011 года [4] и с 2012 года в Volvo S80 , V70 , XC70, XC60 , S60 , V60 и V40 как технология под названием Road Sign Information . [5] Они не способны распознавать знаки ограничения скорости в городах, которые в большинстве европейских стран связаны с ограничениями скорости, поскольку они слишком похожи на указатели направления.
Ожидается, что такие системы станут обязательными для новых автомобилей, продаваемых в ЕС с мая 2022 года [6] [7] , к которым должен применяться регламент 2021/1958 с 23 июня 2021 года. [8]
Дорожные знаки можно анализировать с помощью фронтальных камер во многих современных автомобилях, транспортных средствах и грузовиках. Одним из основных вариантов использования системы распознавания дорожных знаков является ограничение скорости. Большая часть данных GPS будет предоставлять информацию о скорости, но дополнительные дорожные знаки ограничения скорости также могут использоваться для извлечения информации и отображения ее на приборной панели автомобиля, чтобы предупредить водителя о дорожном знаке. Это передовая функция помощи водителю, доступная в большинстве автомобилей высокого класса, в основном в европейских автомобилях.
Современные системы распознавания дорожных знаков разрабатываются с использованием сверточных нейронных сетей, в основном под влиянием требований автономных транспортных средств и беспилотных автомобилей . В этих сценариях система обнаружения должна распознавать различные дорожные знаки, а не только ограничения скорости. Вот где на помощь приходит Венская конвенция о дорожных знаках и сигналах . Сверточную нейронную сеть можно обучить воспринимать эти предопределенные дорожные знаки и «учиться» с помощью методов глубокого обучения .
Нейронная сеть, в свою очередь, использует обработку изображений и компьютерное зрение для обучения сети с ее потенциальными результатами. Обученная нейронная сеть затем может использоваться в реальном времени для обнаружения новых дорожных знаков в реальном времени. Компании по производству беспилотных автомобилей, включая Waymo и Uber, генерируют и передают на аутсорсинг наборы данных о дорожных знаках вместе с картографическими и навигационными компаниями, такими как Tom Tom . [9] Продвинутые методы компьютерного зрения и нейронных сетей делают эту цель высокоэффективной и достижимой в реальном времени.
Существуют различные алгоритмы распознавания дорожных знаков. Наиболее распространенными являются те, которые основаны на форме вывески. Типичные формы вывесок, такие как шестиугольники, круги и прямоугольники, определяют различные типы знаков, которые можно использовать для классификации. Другие основные алгоритмы распознавания символов включают в себя признаки Хаара , код цепочки Фримена , методы обнаружения AdaBoost и нейронных сетей глубокого обучения . Признаки Хаара можно использовать для создания каскадных классификаторов, которые затем могут помочь обнаружить символы вывески.
Глубокое обучение может быть включено в обнаружение дорожных знаков. Полигональная аппроксимация цифровых кривых с использованием алгоритма Рамера–Дугласа–Пейкера может использоваться для обнаружения формы дорожных знаков, а такие методы, как Support Vector Machines и Byte-MCT с классификатором AdaBoost, использовались в одном из методов обнаружения дорожных знаков. [10]
При идентификации знаков ограничения скорости также необходимо учитывать единицы измерения, используемые в конкретной области. Например, транспортное средство, едущее из Северной Ирландии в Ирландию, должно иметь возможность отличать знаки ограничения скорости в км/ч в Ирландии от знаков ограничения скорости в милях/ч, которые все еще используются в Северной Ирландии, что особенно важно, когда распознавание дорожных знаков связано с интеллектуальными системами помощи при поддержании скорости. Геозонирование и ссылка на онлайн- базы данных навигации могут использоваться в качестве подсказки для алгоритма, чтобы определить, какие единицы измерения, скорее всего, будут использоваться. [11]
Информация, собранная с дорожных знаков камерой, направленной вперед, используется в системах автоматического управления и круиз-контроля Tesla с учетом дорожного движения , чтобы остановить автомобиль при обнаружении знака «Стоп». [12] После недавнего обновления программного обеспечения многие автомобили Tesla загружают данные об ограничении скорости, собранные их камерами, в навигационное программное обеспечение Tesla для использования всеми другими автомобилями.
Некоторые автомобили с такой системой производятся Audi , BMW , Citroën , Ford , Honda , Infiniti , Jaguar , Jeep , Land Rover , Lexus , Mercedes , Nissan , Opel , Peugeot , Porsche , Renault , Toyota , Volkswagen , Tesla и Volvo .
Например: