Использование метода супер разрешения (Super Resolution) при 3d сканировании или можно ли прыгнуть выше головы

Как добиться максимального разрешения при 3d сканировании, какие характеристики оборудования для этого необходимы. Если уйти от рекламных объявлений и сухих цифр в таблицах, как получить действительно достойный результат.

Прежде всего, необходимо уточнить что точность и разрешение (детализация) – две разные характеристики, иногда связанные друг с другом, но в целом — нет. Если использовать простые слова, то точность — это насколько верными оказываются размеры и расстояния в миллиметрах, а детализация – насколько мелкие объекты четко различимы на результатах 3d сканирования. Например, для сканирования микротекста выгравированного на скорлупе куриного яйца нужна именно хорошая детализация, при этом искажение формы самого яйца не так важно, главное чётко видеть микротекст. А для анализа формы яйца нужна геометрическая точность, при этом само наличие микротекста не нужно или даже мешает. Оба показателя (точность и детализация) имеют одну размерность – миллиметры, но отражают разные характеристики. У современного оборудования для трёхмерного сканирования обычно значение точности лучше (число меньше) чем значение детализации, но бывают и исключения. 

В данной статье речь идёт о получении максимальной детализации на доступном оборудовании.

В качестве возможных технологий рассматривались – ручное 3d сканирование и сканирование при помощи структурированного подсвета. Обе технологии почти всегда используют принцип стерео зрения, т.е. вычисление 3d координат через обработку разноракурсных изображений объекта, обычно подсвеченного либо лазерными линиями, либо специальными статическими узорами, либо кодированными последовательностями. Если рассматривать наилучшие показатели, то, обычно, ручные сканеры проигрывают в детализации стационарным сканерам, так как:

• используют большую область сканирования

• вынуждены получать 3d данные с каждого снимка (стереопары), в то время как стационарные сканеры получают данные в результате обработки серии снимков

• используют камеры меньшего разрешения, выбирая взамен высокую частоту кадров

Некоторые ручные сканеры декларируют детализацию на уровне 0.035 мм. На момент написания статьи это отличный показатель. Мы будем достигать ещё лучших результатов, используя недорогой стационарный сканер. Среди стационарных сканеров для достижения максимальной детализации необходимо обратить внимание на следующие характеристики.

• размер области сканирования. Чем меньше размер области сканирования, тем меньшая площадь объекта приходится на один пиксель камеры и соответственно выше детализация

• разрешение камеры. Чем выше разрешение, тем выше детализация

• технология “синий свет”. На объектив камеры накручивается светофильтр, пропускающий только узкую полосу частот соответствующих синему свету. Остальные цвета блокируются светофильтром. Работа с одной частотой света (монохроматический режим) позволяет устранить эффект радуги (хроматические аберрации) в объективе и существенно повысить его способность создавать чёткое сфокусированное изображение

• используется чёрно-белая или цветная матрица в камере. Цветная матрица нужна для получения цветных изображений. Изначально светочувствительный материал не различает цветов, он поглощает фотоны и взамен “создаёт” электроны, которые не несут информации о цвете. Для получения цветного изображения пиксели на самой матрице дополняются микро-светофильтрами (обычно зелёным, красным и синим) в напоминающем шахматы порядке (фильтр Байера), это делается при производстве матрицы, обычно, таким образом, раскрашивается каждый блок из 2×2 пикселей. Соответственно, такая матрица для получения одного цветного значения использует 4 пикселя. Существуют более сложные алгоритмы (“алгоритмы дебайеризации”), использующие большее количество соседних пикселей. Эффект от применения цветных матриц в 3d сканировании следующий – при использовании обычного белого света происходит “замыливание” изображения за счёт усреднения пикселей блоками 2×2, т.е. эффективное разрешение такой матрицы падает примерно в 4 раза. Использование технологии “синий свет” с цветными матрицами не имеет практического смысла, т.к. пиксели матрицы с зелёным и красным светофильтрами не будут видеть ничего. Итого – для получения высокого разрешения 3d сканирования подходит только чёрно белая матрица. Некоторые производители довольно известных сканеров лукавят, указывая полное разрешение цветной камеры как эквивалентное разрешению чёрно-белой

• используется качественный объектив. Для получения чёткого изображения необходимо использовать объектив с разрешением соответствующим размеру пикселю матрицы камеры. Если размеры пикселей слишком малы, объектив не сможет создать на матрице чёткое изображение. Также необходимо учесть, что качественные объективы проявляют свои свойства по максимуму не при всех условиях съёмки. Например, при сильно закрытой диафрагме увеличивается глубина резкости, но снижается чёткость изображения, а значит, снижается и детализация

• проектор может хорошо фокусироваться на область сканирования. При работе с малыми областями сканирования необходимо чтобы проектор, осуществляющий структурированный подсвет мог хорошо фокусироваться, и его область подсвета практически совпадала с областью сканирования

• программное обеспечение содержит достаточное количество настроек. Важны настройки по изменению кол-ва кадров при 3d сканировании, по изменению “ширины полос” подсвета, по изменению яркости подсвета. Эти параметры возможны при использовании метода подсвета “Phase Shifting” состоящего из синусоид, в отличие от сканирования линиями. Также важно сканирование в автоматическом режиме на поворотном столе и возможность выбора большого кол-ва положений на один оборот. Алгоритм построения финальной сетки треугольников из исходных сканов должен уметь “вытягивать” информацию из большого количества сканов. Т.е. при увеличении количества сканов шумы должны уменьшаться, а детализация, по крайней мере, не ухудшаться. Будет ли детализация увеличиваться – задача исследования для этой статьи

• жёсткость конструкции и качество калибровки. На эти характеристики зачастую не обращают должного внимания, хотя они являются основой для измерений при помощи стерео зрения. Трудно ловить микроны, когда камера закреплена через пластиковые детали, алюминиевый профиль имеет недостаточную жёсткость или калибровка реализована “для удобства пользователя” по одному кадру калибровочного поля

Отдельно хочется остановиться на точности калибровки. Для реализации метода Super Resolution не достаточно просто снять большое количество сканов с разных ракурсов. Необходимо привести эти сканы в одну систему координат с максимально возможной точностью. Для того чтобы это было возможно, точность 3d сканирования должна быть очень высокой. В идеале на порядок выше, чем разрешение, которое планируется получить. Т.е. если планируется получить детализацию 0.01 мм (10 микрон), расхождение сканов из-за ошибок калибровки не должна быть выше 0.001-0.002 мм (1-2 микрон). 

Среди доступного мне оборудования наиболее подходящим сканером для исследований оказался VT MINI с камерами 6.3 Mpix, работающий в однокамерном режиме. Этот сканер подходит для сканирования объектов в очень широком диапазоне размеров, от ювелирных изделий до автомобилей и более. Нас будет интересовать следующий режим его работы:

• полное разрешение чёрно-белой камеры 6.3 Mpix

• область сканирования 50 мм. Работа в однокамерном режиме

• режим сканирования Phase Shifting, количество кадров с синусоидами – 60

• ширина периода подсвета – 10 пикселей

• используется технология “синий свет”

• режим сканирования – на поворотном столе

• сканирование при уменьшенной яркости проектора для более чёткой фокусировки объектива камеры

Выбранная область сканирования имеет высоту примерно 50 мм, что для разрешения камеры 3088×2064 даёт размер одного пикселя 50 / 2064 = 0.0242 мм. Т.е. исходное разрешение одного скана, с некоторым округлением, примерно соответствует 25 микронам.

Порядок работ:

• сборка сканера для работы с областью 50 мм

• прогрев камер и калибровка

• сканирование выбранных объектов в автоматическом режиме на поворотном столе, 180 положений на один полный оборот

• обработка полученных групп сканов (по 180 штук):

  • глобальное совмещение сканов по геометрии

  • обрезка лишнего, остаётся только центральная часть размером 30×30 мм

  • повторное совмещение сканов по оставшейся геометрии, для достижения максимальной точности совмещения

  • построение результирующей поверхности с разрешением 0.025 мм и 0.01 мм

  • сравнение полученных результатов между собой и с исходным единичным сканом

 В качестве экспериментальных объектов были выбраны засушенный овод и сверло диаметром 0.5 мм. Сверло пришлось заматировать спреем на основе оксида титана. Овод не матировался.

На Рис 2. показана геометрическая особенность на левом крыле овода. 

1. единичный скан с разрешением 0.025 мм, снятый с наклонного ракурса

2. результат, построенный с разрешением 0.025 мм из 180 сканов, видно значительное уменьшение шумов за счёт усреднения

3. результат, построенный с разрешением 0.01 мм из 180 сканов, видно увеличение разрешения по сравнению с единичным сканом

На рис 3 показано сверло диаметром 0.5 мм, Слева направо:

• единичный скан сверла

• результат обработки 180 сканов, построенный с разрешением 0.025 мм

• результат обработки, построенный с разрешением 0.01 мм. Видно небольшое улучшение детализации, особенно на кончике. Но оно не так заметно из-за слоя матирования и повышения уровня шумов

• изображение сверла с камеры сканера

Выводы

Если действительно требуется выжать из оборудования характеристики лучше заявленных, метод Super Resolution вполне может помочь. Лучше всего эффект увеличения разрешения виден не на техническом объекте «сверло», а на органическом объекте «овод», т.к. он содержит элементы с очень малой шириной и не подвергался матированию.

Если выбрать подходящее для этого оборудование, можно прыгнуть заметно выше головы, но для этого придётся постараться — совершить большое количество прыжков и результаты обработать методами Super Resolution.