Детектор движения работающий в движении

—

от автора

Для корректного построения карты проходимости необходимо исключать из кадров лидара и камеры движущиеся объекты: они оставляют за собой след от движения, который лучевые фильтры карты не всегда могут очистить полностью. Кроме того, в категорию движущихся точек зачастую попадают и выбросы — «летающие пиксели/точки» от камеры либо лидара, регистрирующие, например, пыль или другие пролетающие объекты и насекомых. Разделение точек на динамические и статические существенно упрощает задачу обхода препятствий: отслеживание уже отделёных от фона движущихся объектов вычислительно эффективнее.

Для решения этой задачи был протестирован пакет M-detector. Он встраивается в цепочку обработки между модулем одометрии и построением 2.5D мешкарты. Пакет разделяет облако точек, скорректированное с учётом собственного (эго-)движения платформы, на две категории: статичные точки направляются в мешкарту, динамические — временно передаются в визуализатор движущихся объектов. Такой подход позволяет обойти ограничение одометрии DLIO на частоту обновления ключевых кадров, тоже очищенных от наличия движущихся точек. Это даёт возможность полноценно использовать преимущества лидара с неповторяющимся сканированием: формировать плотную карту окружающего пространства за счёт заполнения пробелов с каждым новым проходом данными от лидара, а также повысить частоту работы лучевого фильтра, устраняющего следы динамических объектов на карте.

Первый тест был проведён в помещении:

На начальном этапе (с дефолтными настройками) пакет не удалось запустить: потребление оперативной памяти превышало доступный объём (16 ГБ DDR4-3200). Для снижения нагрузки была оптимизирована конфигурация воксельной сетки: её размер изменён с 40×40×40 м (по умолчанию) до 40×40×6 м по высоте. Даже после оптимизации пакет потребляет порядка 3 ГБ ОЗУ, что существенно выше типичного потребления остального приложения (около 700 МБ). Кроме того, реализация пакета ориентирована на CPU и характеризуется высокой вычислительной нагрузкой: наблюдалась полная загрузка процессора. При этом поток данных с лидара mid360 сравнительно невелик — порядка 20 000 точек каждые 100 мс. Тем не менее пакет неоднократно приводил к 100%-ной загрузке 20‑ядерного процессора Intel Core i7 12‑го поколения. Это свидетельствует о том, что подобные алгоритмы целесообразно реализовывать с использованием GPU, иначе они становятся узким местом в процессе обработки облака точек.

В ходе тестирования в помещении пакет демонстрировал работоспособность в течение ограниченного времени: успешно детектировал движущиеся точки и корректно игнорировал собственное движение платформы несколько секунд. Однако в определённый момент предположительно из-за скачка одометрии все точки текущего скана были классифицированы как движущиеся, что привело к зависанию M‑detector. При этом модуль DLIO продолжал функционировать, а M‑detector начал накапливать отставание в обработке новых сканов. Из‑за возникновения временной задержки все точки последующих сканов также определялись как движущиеся. Накопление очереди обработки в итоге привело к аварийному завершению приложения.

Тестирование в помещении не позволяет полноценно оценить работу детектора без учёта собственного движения платформы, поэтому следующий этап испытаний был проведён на улице. С учётом предыдущего опыта количество сканов, участвующих в процессе сопоставления, было уменьшено вдвое для снижения нагрузки на CPU. В помещении воксельный фильтр DLIO уменьшает плотность облака точек с исходных 20 000 примерно до 5 000–8 000 точек. В уличных условиях, при увеличении площади покрытия, ожидаемый объём данных существенно возрастает:

Результаты уличного теста оказались менее стабильными. Даже в моменты, когда платформа оставалась неподвижной, алгоритм успешно обнаруживал движущиеся объекты, однако на карте фиксировались аномалии, предположительно возникшие в момент пиковой загрузкой CPU. Была выполнена повторная серия тестов: в режиме движения платформы. В течение непродолжительного времени система функционировала корректно, но затем загрузка CPU вновь достигла 100%, после чего наблюдался сбой, сопровождавшийся смещением точек на карте.

Вывод

Полная загрузка CPU в операционной системе общего назначения (в данном случае Ubuntu 20.04, не относящейся к классу ОС реального времени) приводит к конфликту за вычислительные ресурсы между компонентами многопоточного приложения. В процессе поиска движущихся точек пакет M‑detector потребляет значительную долю процессорного времени, ограничивая возможности модуля DLIO по приёму и обработке данных лидара. Особенно критично это сказывается на работе коррелятора nanoGICP, который требует существенных вычислительных ресурсов для поиска соответствия текущего скана лидара карте местности. Возникающие из‑за этого резкие скачки одометрии провоцируют ошибочную классификацию всех точек текущего скана как движущихся в модуле M‑detector, что дополнительно увеличивает нагрузку на CPU и усугубляет дефицит ресурсов для DLIO. Формируется положительная обратная связь: рост нагрузки → ухудшение качества одометрии → рост числа ошибочно детектируемых движущихся точек → дальнейший рост нагрузки. Результатом становится значительный дрейф одометрии и аварийное завершение работы приложения. Триггером подобного сценария может стать любой существенный скачок одометрии, приводящий к массовой ошибочной классификации точек.

Перспективным решением проблемы является перенос вычислительной нагрузки на GPU. Возможные варианты: замена пакета DLIO на GLIM, поддерживающий CUDA‑ускорение, либо поиск альтернативного решения для детекции движущихся объектов на базе GPU — например, нейросетевых подходов, которые по умолчанию ориентированы на работу с графическими ускорителями.

ссылка на оригинал статьи https://habr.com/ru/articles/1109562/