Publication Cover
Canadian Journal of Remote Sensing
Journal canadien de télédétection
Volume 50, 2024 - Issue 1
357
Views
0
CrossRef citations to date
0
Altmetric
Review Article

Synthetic Images for Georeferencing Camera Images in Mobile Mapping Point-clouds

Images synthétiques pour le géoréférencement d’images de caméras dans des nuages de points de cartographie mobile

, &
Article: 2300328 | Received 04 Sep 2023, Accepted 23 Dec 2023, Published online: 16 Jan 2024
 

Abstract

Accurate three-dimensional mapping and digital twinning provides a powerful tool for effective maintenance of civil infrastructure and supports efficient future planning of new developments. Three-dimensional mapping can be efficiently performed with a Mobile Mapping System (MMS) that records geospatial data from platform-mounted sensors. However, it is expensive to continuously update datasets by re-capturing with MMS. This paper outlines a novel method allowing camera-only approaches for updating and change detection. It resolves key issues with inherent resolution differences between MMS laser scanner point-clouds and camera images. An intermediary is used to register two disparate datasets. This novel approach to synthetic camera images (SCIs) bridges the differences between MMS point-clouds and camera images and aid in coarse registration of camera images to an outdoor MMS point-cloud. SCI coarse registration precision is maximized by generating surfaces, interpolating intensity values, and reducing noise with a median filter. Landmark features coarsely register the camera image to the MMS point-cloud. The coarse registration is most precise when the whole scene is captured either from the same location as the SCI or further from the scene. Landmarks precisely detect scenes when changes are less than 20%, and foliage does not exceed 20% of the camera image.

RÉSUMÉ

La cartographie tridimensionnelle précise et le jumelage numérique constituent des outils puissants pour l’entretien efficace des infrastructures civiles et favorisent une planification efficiente de nouveaux développements. La cartographie tridimensionnelle peut être réalisée efficacement à l’aide d’un système de cartographie mobile (SCM) qui enregistre les données géospatiales à partir de capteurs montés sur une plate-forme. Cependant, il est coûteux de mettre à jour en permanence les jeux de données en les enregistrant avec un SCM. Cet article décrit une nouvelle méthode permettant d’utiliser uniquement des caméras pour la mise à jour et la détection des changements. Il résout les principaux problèmes liés aux différences de résolution inhérentes entre les nuages de points des scanners laser SCM et les images des caméras. Un intermédiaire est utilisé pour enregistrer deux jeux de données disparates. Cette nouvelle approche, des images de caméra synthétique (ICS), comble les différences entre les nuages de points SCM et les images de caméra et facilite l’enregistrement grossier des images de caméra sur un nuage de points SCM extérieur. La précision du repérage grossier ICS est maximisée en générant des surfaces, en interpolant les valeurs d’intensité et en réduisant le bruit à l’aide d’un filtre médian. Des fonctions de repère enregistrent grossièrement l’image de la caméra dans le nuage de points SCM. Le repérage grossier est plus précis lorsque l’ensemble de la scène est capturé soit à partir du même emplacement que les ICS, soit plus loin dans la scène. Les points de repère détectent avec précision les scènes lorsque les changements sont inférieurs à 20% et que le feuillage ne dépasse pas 20% de l’image.

This article is part of the following collections:
Technological Advancements in Urban Remote Sensing

Conflict of interest statement

The dataset and partial funding was provided by McElhanney Ltd. They are an industry sponsor who sought to reduce costs for registration and updating of MMS point-clouds.

Additional information

Funding

This work was supported by the Alberta Innovates Graduate Student Scholarship.