实景三维模型是新型智慧城市与数字孪生建设的数据基础，倾斜摄影测量技术因其高效、灵活、成本低等优势，已成为构建高精度城市三维模型的主要手段。但其生成的模型多为连续的不规则三角网，形成“一张皮”结构，缺乏对单体地物的物理分割与语义区分，难以支撑数字城市中的属性查询、空间分析与精细化管理。如何实现高效率、自动化的倾斜摄影单体化，是当前实景三维应用面临的关键挑战。
近日，学院时空大数据智能处理团队2023级硕士研究生陈军阳在团队谢毅、王雅娣老师指导下，在倾斜摄影测量建筑物单体化方向取得重要创新成果，相关研究成果发表于 International Journal of Applied Earth Observation and Geoinformation（JAG）国际权威期刊。该期刊是 Elsevier 旗下地球观测与地理信息科学领域的顶级期刊，聚焦遥感技术、地理信息系统在地球观测与智慧城市领域的交叉应用，彰显了我院在遥感图像融合与城市三维建模方向的持续创新能力与科研实力。
1. 研究背景：倾斜摄影“一张皮”模型制约应用，亟需自动化单体化方法
传统的倾斜摄影单体化方法主要依赖人工交互，通过手动勾勒建筑轮廓或矢量切割实现模型分割，不仅效率低下，且难以适应大规模城市级应用的需求。近年来，基于深度学习的单体化方法虽展现出一定潜力，但现有研究普遍缺乏可复现的自动化流程，难以形成标准化技术方案。同时，兼具二维图像与三维模型、适配倾斜摄影单体化领域的数据集匮乏，进一步制约了相关方法的研究验证与工程落地。如何突破人工依赖瓶颈、构建端到端的自动化单体化技术体系，成为当前实景三维领域亟待解决的核心问题。
2. 方法创新：提出一种端到端的倾斜摄影建筑自动单体化方法
论文提出“MAFNet + 自动单体化工作流”的完整解决方案，如图1所示，核心贡献是：
图1：基于MAFNet与自动单体化流程的倾斜摄影建筑提取总体框架图。
· 第一步：构建高质量倾斜摄影单体化数据集——针对倾斜摄影单体化领域标注数据集匮乏的问题，团队自主构建了Jinan数据集。该数据集包含 596 幅2048×2048大小的0.05米分辨率的影像，配套完整的 DOM、DSM、TFW坐标文件、掩码标注与对应的倾斜摄影模型，覆盖多种建筑类型与复杂城市场景，填补了相关领域的研究空白，为模型训练与评估提供了基准。
· 第二步：MAFNet实现高精度建筑分割——提出多模态自适应融合网络MAFNet（Multi-modal Adaptive Fusion Network），采用双分支编码器分别提取DOM的纹理光谱特征与DSM的高度几何特征，并通过创新的双模态动态特征融合（DDFF）模块，实现跨模态信息的深度对齐与自适应加权。DDFF模块包含模态内增强、多尺度空洞卷积交互与四向注意力动态融合三个子阶段，以极低的参数量开销显著提升分割精度与鲁棒性，其结构如图2所示。
· 第三步：全流程自动单体化方法，打通 2D 到 3D 端到端技术链路——基于 MAFNet 输出的高精度建筑物分割掩码，构建了一套自动单体化处理流程，通过边缘检测、轮廓提取与简化、地理坐标映射及三维可视化，将二维分割结果与倾斜摄影模型精确关联，生成带属性信息的单体建筑矢量面，支撑智慧城市中的语义查询与空间分析。
图2：DDFF模块结构示意图。
3. 实验结果：分割精度领先，单体化应用高效可用
论文在自建Jinan数据集、ISPRS Vaihingen 与 Potsdam 两个公开数据集上，与12种先进模型开展了系统性的对比实验。结果显示，MAFNet 在Jinan数据集上取得90.75% IoU、95.08% F1 分数，在 Vaihingen、Potsdam 数据集上分别实现92.30% IoU、88.94% IoU，各项核心指标均达到最优，充分验证了模型极强的跨场景泛化能力。同时，模型在跨模态配准误差下仍保持较高的稳定性，为真实复杂采集条件提供了可靠保障。
在单体化应用方面，基于MAFNet分割结果，自动单体化流程将建筑轮廓转换为带地理坐标的GeoJSON文件，并加载至WebGL三维平台进行垂直拉伸，与倾斜摄影模型精确叠加，实现了单体建筑的逻辑分割与语义绑定。如图3所示，支持语义信息检索与空间范围查询，为城市管理、规划决策、灾害评估等场景提供了高效方案，且具备大规模城市级应用的可部署性。
图3：自动单体化方法的应用（a）语义信息检索（b）空间范围查询。
4. 论文信息与基金支持
论文题目：MAFNet: A multi-modal adaptive fusion network-based approach for individual building extraction from oblique photogrammetry。
作者单位：河南大学计算机与信息工程学院、河南省大数据分析与处理重点实验室等。
研究得到河南省研究生教育改革与质量提升项目（YJS2024JD30、YJS2023JD28）、河南省高校科技创新团队支持计划（24IRT-STHN021）、中国高分辨率地球观测系统项目（80-Y50G19-9001-22/23）、国家自然科学基金（62106066）、河南省自然科学基金优秀青年（242300421171）等支持。
