Domain-Adaptive Object Detection for Enriching Semantic 3D City Models with Building Storeys from Street-View Images

Abstract

Semantically rich 3D city models play a vital role in a variety of applications, such as urban planning. Enhancing these models with currently unavailable attributes, such as building storey numbers, can unlock new opportunities to address pressing challenges, including sustainable urban development. In this work, we present an end-to-end pipeline for the automatic estimation of the number of storeys to semantically enrich 3D city models. We employ volunteered geographic information street-view imagery from Mapillary, using a COCO-pretrained object detection model to identify windows in façade images as key visual indicators for inferring building storey counts. Our detection pipeline, based on the YOLOv3 architecture, estimates storey numbers using an ensemble of clustering methods including Gaussian Mixtures and DBSCAN and enables the automatic augmentation of CityGML-based 3D city models by filling in missing attributes. This enrichment supports advanced applications, such as assessing building-scale energy demand, evaluating vertical urban growth patterns or population density estimations. We validated the feasibility of our approach with unfiltered Mapillary and applied it to a district in the city of Heidelberg, Germany. The paper also includes a detailed discussion of learning process quality, integration workflows, and visualization of the enriched 3D city model. The developed code is available at: https://github.com/hcu-cml/citydb-buildingstoreys-ai.

Semantisch angereicherte 3D-Stadtmodelle spielen eine wichtige Rolle in zahlreichen Anwendungsbereichen, beispielsweise in der Stadtplanung. Die Erweiterung dieser Modelle um bislang fehlende Attribute, wie etwa die Anzahl der Gebäudegeschosse, eröffnet neue Möglichkeiten zur Bewältigung drängender Herausforderungen, darunter die nachhaltige Stadtentwicklung. In dieser Arbeit präsentieren wir eine End-to-End-Pipeline zur automatischen Schätzung der Geschossanzahl, um 3D-Stadtmodelle semantisch anzureichern. Hierfür nutzen wir freiwillig bereitgestellte geografische Straßenansichten von Mapillary sowie ein auf COCO vortrainiertes Modell zur Objekterkennung, um Fenster in Fassadenbildern als zentrale visuelle Indikatoren zur Ableitung der Geschossanzahl zu identifizieren. Unsere auf der YOLOv3-Architektur basierende Detektionspipeline schätzt die Anzahl der Geschosse mithilfe eines Ensembles aus Clustering-Methoden, darunter Gaussian Mixtures und DBSCAN, und ermöglicht die automatische Erweiterung von auf CityGML basierenden 3D-Stadtmodellen durch das Ergänzen fehlender Attribute. Diese Anreicherung unterstützt weiterführende Anwendungen, etwa die Bewertung des gebäudebezogenen Energiebedarfs, die Analyse vertikaler Stadtwachstumsmuster oder die Abschätzung der Bevölkerungsdichte. Wir validierten die Umsetzbarkeit unseres Ansatzes anhand ungefilterter Daten von Mapillary und wendeten ihn auf einen Stadtbezirk in Heidelberg an. Darüber hinaus enthält die Arbeit eine detaillierte Diskussion der Qualität des Lernprozesses, der Integrationsworkflows sowie der Visualisierung des angereicherten 3D-Stadtmodells. Der entwickelte Quellcode ist verfügbar unter: https://github.com/hcu-cml/citydb-buildingstoreys-ai.