Инженеры из Университета Цинхуа представили систему Which2comm для беспилотников
Система Which2comm передает компактные семантические боксы вместо плотных массивов данных, снижая нагрузку на сеть при коллективном распознавании 3D-объектов.
Специалисты из Университета Цинхуа и Чжэцзянского университета разработали архитектуру Which2comm, предназначенную для совместного восприятия среды подключенными беспилотными автомобилями. Как сообщает журнал Communications in Transportation Research, алгоритм передает разреженные признаки уровня объектов вместо плотных карт признаков или сырых сенсорных потоков, снижая нагрузку на радиоканал doi.org
Communications in Transportation Researchdoi.orgОткрыть источник ↗.
Разреженные признаки и выбор критических агентов
Коллективное зрение позволяет машинам обмениваться данными для компенсации слепых зон и перекрытий, однако передача объемных матриц упирается в ограничения полосы пропускания. В Which2comm семантическая информация об окружающих препятствиях упаковывается в геометрические границы — так называемые семантические боксы обнаружения (SemDBs). Сформированные из облака точек лидара признаки дополняются временным кодированием и механизмом слияния, что компенсирует рассинхронизацию и задержки передачи пакетов.
В условиях плотного трафика система использует адаптивный фильтр выбора партнеров по связи. Which2comm подключает к обмену информацией только те автомобили, чье окружение критически важно для безопасности движения конкретного узла, сохраняя фиксированные коммуникационные издержки независимо от общего числа машин в радиусе действия.
Тестирование на датасетах V2X
Для проверки архитектуры авторы создали мультимодальный набор данных Multi-V2X, включающий 146 000 лидарных кадров, 549 000 RGB-изображений и более 4,2 миллиона трехмерных аннотаций в сценах с плотностью до 31 подключенного агента при уровне проникновения технологии до 86,21% doi.org
Communications in Transportation Researchdoi.orgОткрыть источник ↗.
В ходе экспериментов на бенчмарке V2XSet система продемонстрировала среднюю точность 0,929 AP@0.5 и 0,833 AP@0.7, затрачивая 0,022 мегабайта переданных данных на итерацию. Работоспособность метода также подтвердили на датасетах Multi-V2X и реальном V2V4Real, зафиксировав устойчивость обнаружения объектов при задержках сигнала.
