ФОТОЩЕЛЕМЕР 3D - это технологическое решение по выполнению мониторинга трещин и деформационных швов в зданиях и сооружениях, основанное на методах фотограмметрии.

Система адаптирована для применения специалистами по обследованию и эксплуатации зданий и сооружений и не требует специальных знаний по фотограмметрии. Оборудование, необходимое для мониторинга, включает 2 блока специальных фотограмметрических деформационных марок, цифровую фотокамеру и специализированное программное обеспечение.

Каждый блок марок представляет собой пластину с рельефной ступенькой размером 60х40 мм. и содержит несколько десятков марок (размеры пластины и число марок может варьироваться). Взаимное положение марок на пластине определяется на этапе калибровки блока марок с точностью в несколько микрон. Каждый блок марок имеет специальный код, позволяющий программе идентифицировать его на снимках и применить результаты калибровки в процессе дальнейших решений. На всё время мониторинга 2 блока марок надежно закрепляются по обе стороны от трещины или деформационного шва и, по определенной программе, фотографируются цифровой камерой с требуемой частотой в порядке выполнения циклов наблюдений.

Для съемки подойдет любая цифровая фотокамера (от телефона до дорогой зеркальной фотокамеры). При съемке с разных расстояний значимым параметром является фокусное расстояние камеры. Поэтому достаточно эффективным является применение фотокамер с переменным фокусным расстоянием.

Дальнейшая обработка снимков выполняется в специальном программном обеспечении на основе теоретически строгих методов фотограмметрии. Обработка включает автоматическую идентификацию и измерение марок на снимках с субпиксельной точностью. В процессе решения фотограмметрических задач выполняется фотограмметрическая калибровка и учет дисторсии каждого снимка. Из дальнейшего решения программа определяет взаимное положение закрепленных по обе стороны трещины двух блоков марок в трехмерной декартовой системе координат. Причем пространственное решение возможно, как на основе одиночных снимков, так и на основе результатов стереофотограмметрической съемки. Динамика развития трещины в трехмерном пространстве определяется по результатам обработки нескольких циклов наблюдений, выполненных в разное время. Система позволяет обеспечивать точность определений координат и деформаций на уровне 0.005 – 0.020 мм. при расстояниях съемки от 0.1 до 40 м.

1. Состав фотограмметрического щелемера

В состав фотощелемера входят:
  • маяк - 2 блока фотограмметрических марок, которые закрепляются по обе стороны деформационного шва или трещины,
  • фотокамера,
  • специальное программное обеспечение.

    2.1. Фотомаяк для мониторинга трещин

    Фотомаяк состоит из 2-х алюминиевых пластин с рельефной ступенькой размером 60х40 мм, каждая из которых содержит несколько десятков марок (рис.1). Размер пластины подобран таким, чтобы ее можно было поместить на один кирпич.


    Рис.1. Рельефный маяк с кодовыми марками


    Кроме обычных марок на каждой пластине нанесены кодовые марки, позволяющие программе автоматически считать номер марки и по нему найти и применить параметры калибровки маяка в процессе фотограмметрической обработки снимков.


    Рис.2. Калибровка блока марок


    Калибровка маяка заключается в определении координат марок стереофотограмметрическим методом в лабораторных условиях с использованием камеры высокого разрешения и поворотного столика (рис. 2). Точность определения координат марок, получаемых в результате уравнивания сети пространственной фототриангуляции, составляет, как правило, 2-3 мкм.
    Таким образом, каждый из двух блоков марок маяка, закрепленных по обе стороны трещины, имеет свою систему координат (Рис.3) и, в результате, задача мониторинга трещины сводится к определению, на основе методов фотограмметрии, элементов взаимного ориентирования координатных систем левой и правой пластины и их изменений во времени.


    Рис.3. Системы координат блоков фотограмметрических марок


    2.2. Фотокамера

    Для съемки могут использоваться обычные цифровые фото или видеокамеры. Важно, чтобы на расстоянии, с которого ведется съемка, камера позволяла получить снимок с достаточно высоким разрешением. При этом не накладывается требований по предварительной калибровке камеры. Каждый снимок маяка, выполненный в ходе мониторинга, калибруется в процессе фотограмметрической обработки. При этом координаты блоков марок маяка используются как опорные данные.

    2.3. Программное обеспечение

    Для того, чтобы фотощелемером могли пользоваться не только фотограмметристы, но и любой другой, например, специалист-эксплуатационник, разработанное нами программное обеспечение PhotoMicrometer берет на себя всю фотограмметрическую обработку, при этом осуществляет её практически полностью в автоматическом режиме.

    3. Как работает фотограмметрический щелемер?

    Выполнять мониторинг трещин с использованием фотограмметрического щелемера можно как по одиночным снимкам, так и используя стереофотограмметрический метод.

    3.1. Работа по одиночным снимкам

    При работе по одиночным снимкам (Рис. 4.) на каждую эпоху наблюдений выполняется один снимок маяка.


    Рис.4. Съемка одиночных снимков


    Используя кодовые марки, программа определяет номера пластин и находит данные по их калибровке. Затем автоматически находятся остальные марки на пластинах и с высокой точностью (0.05 пикселя) определяются их фотограмметрические координаты. Используя эти данные, программа выполняет дальнейшее решение на основе алгоритма обратной фотограмметрической засечки (ОФЗ). Решение выполняется поэтапно. На первом этапе ОФЗ решается с дополнительными (дисторсия, элементы внутреннего ориентирования) параметрами. При этом каждый снимок рассматривается как 2 снимка (левой и правой пластины) выполненные одной камерой. Результаты калибровки маяка используются как опорные данные. Такой подход позволяет уйти от требования предварительной калибровки камеры и обеспечивает пользователю свободу в выполнении съемки, когда его главной задачей становится получить качественный снимок. На втором этапе выполняется учет найденных параметров дисторсии и угловых элементов ориентирования. На третьем этапе решения с высокой точностью определяются линейные элементы взаимного ориентирования «правого» и «левого» снимков по трем координатным осям и, соответственно, положение центров двух блоков марок в пространстве. Изменение параметров взаимного ориентирования в следующую эпоху в сравнении с начальной и будет характеризовать взаимное движение блоков марок маяка.

    Таким образом, даже используя одиночные снимки можно осуществлять 3D мониторинг трещин и деформационных швов на зданиях и сооружениях.

    Существенным недостатком работы по одиночным снимкам является то, что по мере удаления фотокамеры от маяка, из-за ухудшения геометрии обратной пространственной фотограмметрической засечки, точность определений быстро ухудшается. Как показали наши исследования, эффективным является расстояние съемки в диапазоне 0.05 – 0.3 м.

    3.2. Стереофотограмметрический метод
    При стереофотограмметрическом методе съемка производится с двух или большем числе позиций (Рис.5).


    Рис.8. Стереофотограмметрическая съемка марок на трещине


    Обработка результатов стереофотограмметрической съемки маяков выполняется по тому же алгоритму, что и для одиночных снимков с той лишь разницей, что на третьем этапе расчета элементы взаимного ориентирования левой и правой пластины определяются сразу по всем выполненным снимкам из решения единой системы линейных параметрических уравнений. Как показали наши исследования, применение стереофотограмметрического метода позволяет выполнять определения в трехмерном пространстве с точностью порядка 5 – 20 мкм. на расстояниях съемки 0.1 – 40 метров при условии использования фотокамеры, позволяющей делать снимки с требуемым разрешением.

    3.3. Контроль вычислений, оценка точности мониторинга.

    И при обработке одиночных снимков, и при обработке стереофотограмметрической съемки у нас присутствует большое число избыточных измерений. Это позволяет выполнить уравнивание фотограмметрических измерений по методу наименьших квадратов, проконтролировать возможное наличие грубых ошибок и выполнить оценку точности по результатам уравнивания. Таким образом, конечный пользователь может сразу оценить точность и достоверность получаемых результатов и сделать выводы устраивает его результат или необходимо повысить точность определений, например, за счет увеличения числа снимков или изменения геометрической схемы фотограмметрической сети.

    3.4. Автоматизация работы по мониторингу

    Все описанные действия происходят скрыто от конечного пользователя и выполняются полностью автоматически.
    Программное обеспечение выполняет:
    • автоматическое нахождение и идентификацию маяка на снимке
    • автоматическое нахождение и измерение марок на снимках (Рис.9.)
    • решение фотограмметрических засечек, калибровка снимков
    • вычисление взаимного положения систем координат левого и правого блоков марок, оценку точности (Рис.10.)
    • вычисление и визуализацию деформаций по нескольким циклам наблюдений, создание отчета мониторинга (Рис.11.).


    Рис.6. Автоматическое измерение марок


    Рис.7. Расчет взаимного положения блоков марок, оценка точности


    Рис.8. Вычисление и визуализация деформаций по нескольким циклам наблюдений


    4. Тестирование фотощелемера

    Для тестирования технологии мониторинга трещин использовался тест-объект, созданный на основе трех-осевого механического микрометра с ценой деления шкалы 0.01 мм (Рис.9). Съемка выполнялась цифровой фотокамерой Nikon Coolpix P900. Это компактная фотокамера с 16 мегапиксельной КМОП-матрицей размера 1/2.3" и мощным телеобъективом с переменным фокусным расстоянием. Эквивалентное (в пересчете на формат кадра 36х24 мм) фокусное расстояние камеры может изменяться в пределах от 24 мм до 2000 мм. Это позволяет использовать данную камеру для съемки на разных расстояниях, делая ее универсальным съемочным средством.


    Рис.9. Трех-осевой микрометр с установленным на нем марками фотощелемера


    4.1. Тестирование работы Щелемера по одиночным снимкам

    Работа по одиночным снимкам тестировалась следующим образом:
    Съемка выполнялась с расстояния 0.1 метра, эквивалентное фокусное расстояние камеры составляло 24 мм, было выполнено 14 снимков.
    Затем был осуществлен сдвиг микрометром по каждой из трех осей на величину 0.2 мм. После этого снова было выполнено 14 снимков. Графики положения центра координат правого блока марок в системе координат левого блока марок представлены на Рис.10.


    Рис.10. Графики взаимного положения центров двух блоков марок по осям X, Y, Z, определенные по результатам обработки одиночных снимков


    Средние квадратические ошибки (СКО) каждого определения по оси X не превышали 0.029 мм, по оси Y – 0.086 мм, по Z – 0.018 мм. В среднем СКО каждого из положений по 14 определениям составили: по X – 0,009 мм, по Y – 0.026 мм, по Z – 0.010 мм. В итоге определенные смещения по осям составили: по X – 0.205 мм, по Y – 0.232, по Z – 0.210 мм. Как видно полученные результаты хорошо отражают выполненный сдвиг марок с учетом точности микрометра и точности фотограмметрических определений.


    4.2. Тестирование работы стереофотограмметрическим методом на разных расстояниях съемки фотомаяков

    Съемка велась с трех позиций (Рис.5.). Углы засечки между направлениями съемки составляли примерно по 45 градусов между соседними снимками и около 90 градусов – между крайними. Съемка выполнялась последовательно с расстояний: 2м, 10м, 20м, 30м и 40м. С каждой установки камеры выполнялось по 5 снимков. Затем был выполнен сдвиг винтами микрометра по трем осям на величину 0.2 мм и был заново выполнен весь комплекс измерений, но в обратном порядке. Эквивалентное фокусное расстояние камеры на расстоянии съемки в 2 м составляло 500 мм, на остальных расстояниях съемки – 2000 мм. Графики положения центра координат правого блока марок в системе координат левого блока марок представлены на Рис.11.


    Рис. 11. Графики взаимного положения центров двух блоков марок по осям X, Y, Z, определенные по результатам обработки стереофотограмметрической съемки


    Как можно видеть на графиках, с увеличением расстояния съемки увеличивается погрешность: минимальные среднеквадратические ошибки зафиксированы для расстояния съемки в 2 метра, и они составляют в среднем по оси X – 0.003 мм, по оси Y – 0.004 мм и по оси Z – 0.002 мм. Максимальные среднеквадратические ошибки соответствуют результатам съемки с максимального расстояния в 40 метров, и они составляют в среднем: по оси Х – 0.021 мм, по оси Y – 0.025 мм, и по оси Z – 0.017 мм.

    На графиках также хорошо видны сдвиги в 0.2 мм, выполненные по каждой оси при помощи винтов микрометра. Оценки сдвигов по осям, полученные из обработки стереофотограмметрической съемки, выполненной на разных расстояниях представлены в Таблице 1.

    Distance, m

    ∆X, mm

    ∆Y, mm

    ∆Z, mm

    2

    0.199

    0.194

    0.197

    10

    0.192

    0.198

    0.198

    20

    0.202

    0.201

    0.193

    30

    0.194

    0.183

    0.201

    40

    0.213

    0.208

    0.210


    Таблица 1. Оценки сдвига


    Как видно из приведенных результатов, на разных расстояниях мы получаем верную и стабильную оценку произведенного сдвига.


    4.3. Тестирование работы стереофотограмметрическим методом на разных углах съемки марок

    Съемка велась с 16 метров. Эквивалентное фокусное расстояние камеры составляло 2000 мм. Всего было выполнено 15 снимков при разных значениях Эйлеровых углов α, ω, κ, ориентирующих главный луч съемки относительно системы координат левого блока марок. Значение ориентирных углов для каждого снимка представлены в Таблице 2.

    Снимок №

    Углы, градусы.

    07

    α =-1.205; ω =0.030; κ =1.941

    08

    α =-1.870; ω =33.885; κ =2.502

    09

    α =0.111; ω =-33.493; κ =2.337

    10

    α =0.100; ω =-33.600; κ =2.313

    11

    α =-50.818; ω =-23.5278; κ =-23.250

    12

    α =-36.808; ω =-28.522; κ =-17.132

    13

    α =29.973; ω =-15.246; κ =20.324

    14

    α =50.175; ω =-22.333; κ=27.029

    15

    α =44.523; ω =0.654; κ =1.418

    16

    α =-46.379; ω =-0.102; κ =2.070

    17

    α =-37.696; ω =25.241; κ =27.010

    18

    α =-0.313; ω =33.845; κ =1.628

    19

    α =50.455; ω =23.183; κ =-24.004

    20

    α =-2.572; ω =54.785; κ =50.660

    21

    α =-48.428; ω =-25.104; κ =67.062


    Таблица 2. Значения ориентирных углов снимков, полученных в результате их фотограмметрической обработки.


    Для иллюстрации проводимого тестирования представим некоторые из выполненных снимков (Рис.12, Рис.13, Рис.14).


    Рис. 12. Снимок №11


    Рис. 13. Снимок №17


    Рис. 14. Снимок №20


    Каждый проект включал по 3 снимка, сделанных под разными углами α, ω, κ. Взаимное положение марок во время всего исследования оставалось неизменным.

    Результаты обработки приведены в Таблице 3. Имя проекта состоит из номеров трех снимков в соответствии с Таб.2.

    Имя проекта

    ΔХ

    ΔY

    ΔZ

    mx

    my

    mz

    1

    07_08_09

    39.573

    -0.093

    -1.665

    0.003

    0.006

    0.003

    2

    07_11_14

    39.585

    -0.072

    -1.657

    0.003

    0.004

    0.003

    3

    08_12_13

    39.575

    -0.069

    -1.652

    0.004

    0.005

    0.004

    4

    09_11_13

    39.572

    -0.070

    -1.666

    0.003

    0.005

    0.004

    5

    10_12_14

    39.579

    -0.078

    -1.651

    0.005

    0.007

    0.006

    6

    10_17_19

    39.577

    -0.089

    -1.653

    0.004

    0.004

    0.003

    7

    11_16_17

    39.590

    -0.083

    -1.654

    0.005

    0.004

    0.002

    8

    14_15_19

    39.582

    -0.081

    -1.648

    0.006

    0.005

    0.002

    9

    15_16_18

    39.587

    -0.079

    -1.651

    0.003

    0.003

    0.002

    10

    16_07_20

    39.583

    -0.075

    -1.660

    0.002

    0.004

    0.002

    11

    17_18_19

    39.587

    -0.085

    -1.649

    0.003

    0.003

    0.003

    12

    21_09_17

    39.578

    -0.072

    -1.661

    0.005

    0.006

    0.005


    Таблица 3. Оценки взаимного положения марок и их СКО


    Наибольшая разница между значениями по X составляет 0.018 мм, по Y – 0.024 мм, по Z – 0.018 мм. СКО, полученные по результатам уравнивания не превышают 0.006 мм. Таким образом, для комбинаций снимков, сделанных под разными углами мы получаем достаточно стабильную оценку взаимного положения деформационных марок. Однако, для достижения максимальной точности в условиях реального мониторинга тещин рекомендуется вести съемку с приблизительно одинаковых положений камеры.

    5. Выводы

    1. Фотощелемер позволяет выполнять мониторинг трещин и деформационных швов дистанционно на расстояниях от 0.1 до 40 метров.
    2. Отпадает необходимость использования автомобильных вышек и других подъемных устройств для выполнения точных замеров в труднодоступных для съемки местах.
    3. В отличие от большинства устройств, фотощелемер позволяет отслеживать деформации не по одной, а сразу по трем координатным осям.
    4. Обеспечивается высокая точность определения деформаций – до 0.005 мм.
    5. Результаты оценки точности фотограмметрических определений приводятся в отчете, формируемом программой Photomicrometer 3D.
    6. Высокий уровень автоматизации системы минимизирует влияние «человеческого фактора» на результаты наблюдений за трещинами.
    7. Система позволяет отслеживать трещины и деформационные швы шириной до 10 см., а при использовании кронштейнов и более.
    8. При выполнении съемки в разных температурных условиях система позволяет учитывать температурную поправку.
    9. Фотоснимки являются важным фиксационным материалом.
    10. Применение методов фотограмметрии для мониторинга трещин и деформационных швов в здания и сооружения достаточно перспективно.

    Авторы:
    А.Е. Войнаровский 1,2, А.Б. Леонтьева 1, Р. Корж1, С.Г. Тихонов 1, С.В. Тюрин 2.

    1 ООО «Научно-производственное предприятие «Фотограмметрия», Санкт-Петербург - info@photogrammetria.ru
    2 Санкт-Петербургский государственный университет, кафедра Картографии и геоинформатики.

    Литература (другие источники, представляющие мониторинг трещин по фотографиям)

    Barazzetti L., Scaioni M.: Crack measurement: development, testing and applications of an automatic image-based algorithm, ISPRS Journal of Photogrammetry and Remote Sensing 64 (2009) 285–296.

    Hampel, U., Maas, H.G.: Cascaded image analysis for dynamic crack detection in material testing. ISPRS J. Photogramm. Remote Sens. 2009, 64, 345-350.

    Rau J. Y., Hsiao K. W., Jhan J. P., Wang S. H., Fang W. C., Wang J. L.: Bridge crack detection using multi-rotary UAV and object-base image analysis, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLII-2/W6, 2017, https://doi.org/10.5194/isprs-archives-XLII-2-W6-311-2017

    Sarker, M. M., Ali, T. A., Abdelfatah, A., Yehia, S., and Elaksher, A.: A cost-effective method for crack detection and measurement on concrete surface, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W8, 237-241, https://doi.org/10.5194/isprs-archives-XLII-2-W8-237-2017, 2017.

    Valença J., Dias-da-Costa D., Júlio E., Araújo H., Costa H.: Automatic crack monitoring using photogrammetry and image processing, Measurement 46 (2013) 433–441, http://dx.doi.org/10.1016/j.measurement.2012.07.019

    Zheng, P.: Crack Detection and Measurement Utilizing Image-Based Reconstruction, Technical report, 2014, http://hdl.handle.net/10919/48963

    GEOSEC Srl, GEOSEC CRACK TEST Software, http://cracktest.it/index.html, (10 May 2019)

    WELTWAVE CO.,LTD, Dico Smartphone Crack Gauge Software, http://www.weltwave.com/new/main.php, (10 May 2019)