您的位置:首页

详情

全景影像三维量测与建模关键技术研究及应用示范

2017-04-28

随着数字城市、智慧城市以及“工业4.0”的发展,三维建模技术亟需摆脱成本高昂且效率低下的传统三维建模方式,研究新的大规模三维地理信息采集处理应用模式。同时,从互联网电子地图到各级测绘部门数据中心,积累了海量的全景数据,这些数据仅用于浏览,造成了资源的极大浪费。实现全景影像量测技术,既可降低移动数据采集成本,也可以部分替代三维模型实现真三维应用。因此,研究全景影像三维量测与建模技术,建立新型全景+GIS系统架构,对于推动地理信息产业应用,促进国产设备研制与推广,具有十分重要的现实意义。

在国家863计划重点项目、国家自然科学基金、国家公益性专项、国家测绘局科技支撑项目等支持下,首都师范大学联合北京智汇盈科信息工程有限公司、北京云通数链科技发展有限公司针对全景摄影测量的多项技术难题,开展了全景影像三维量测与建模关键技术研究及应用示范。经过三年攻关,在国内率先建立了空地、室内外一体化全景数据采集与处理系统,攻克了全景影像三维量测与建模关键技术,首创了可量测三维全景+GIS体系架构,提高了三维数据采集、更新与展示效率。相关成果在燕山石化、北京市交通委员会和大庆石化等企业及管理部门示范应用,取得良好效果,社会经济效益显著。项目主要完成人有宫辉力、钟若飞、黄健熙、谢东海、雷天兆、何海峰、苗智、王涛、吴琼、黄小川等。

一、攻克的关键技术

1.球面全景视觉三维测量技术

全景视觉三维测量技术是目前摄影测量和计算机视觉领域研究的热点与难点。该项目研发过程中采用尺度、旋转与仿射不变特征提取算子从球面全景图像中提取特征点,基于K-D树结构与K最邻近搜索算法来实现特征点的配准,并采用RANSAC策略来剔除错误匹配。针对球面全景独特的核线几何,对传统的5点法相对定向进行改进,实现全景影像位置与姿态参数的精确解算,并对全景坐标归一化处理进行立体建模。采用非线性最优化方法来实现多幅全景图像的空三整体优化。基于空三整体优化输出的位置与姿态参数,采用最优面片重建、扩展与滤波的方法实现全景图像的密集匹配,并形成密集的三维点云实现全景测量。

2.室内外一体化全景测量技术

在充分利用POS信息的基础上克服遮挡与失锁对全景测量的精度影响,达到高精度的室内外三维重建效果。重点研究内容包括:POS辅助的全景三维重建技术,即在POS数据质量可靠的情况下采用POS数据作为位置与姿态的初值,与全景图像定位定姿系统融合进行整体解算;全景视觉自主定位定姿技术,在室内POS精度降低的情况下,独立使用全景视觉定位定姿态技术实现位置与姿态参数的解算,达到高精度全景测量的要求。

3.全景测量并行化处理技术

全景测量涉及大量的图像数据处理、大规模高维数据检索、非线性最优化等操作。该项目针对全景测量,研究基于OpenMP、TinyThread和TBB框架的CPU多核并行技术,实现多幅全景图像的特征点并行处理与交叉匹配;研究多核并行技术来加速非线性优化,提高全景空三解算的效率;研究基于多线程的密集匹配算法;鉴于显卡携带的GPU运算能力已经大大超过CPU,研究基于GPU的尺度、旋转与仿射变换不变特征提取算法,采用CUDA编程框架来实现特征点提取算法的并行改造与移植;研究多核CPU与GPU协同的全景测量系统框架,在深入理解全景测量整体流程的基础上,分析每个运算模块的运算量与并行化特点,将不同的模块分配到不同的并行处理单元上,实现全景测量系统并行运算的最优化结构。

4.空地一体化全景采集与处理技术

目前国内外全景数据采集的研究主要集中在地面,对空中全景数据采集研究较少。该项目在国内较早提出无人机机载全景系统,采用四旋翼无人机作为平台,以六部GoPro相机进行全方位拍摄,通过后续全景拼接软件对采集到的六张照片进行拼接得到全景图,从而实现了大范围、超宽视场的空中全景三维信息获取。此种技术相比由云台旋转一圈拍摄的全景,不受空中姿态变化的影响,6个相机在同一瞬间曝光,利于拼接;相比倾斜摄影相机,除了多视角之外,还可以全景方式查看,三维可视效果好;另外,空中全景和广泛使用的车载全景都是相同的数据规范与格式,并且带有绝对坐标,可导入到统一的地图数据发布平台进行交互浏览,实现空中地面全景一体化的量测功能,从地面和空中多个角度查看室外管线及周边环境的整体情况。

5.全景影像与空间数据的一体化处理技术

制定适用于移动全景、空间定位数据以及电子地图数据一体化处理的流程与规范,以适应移动全景系统数据处理和发布的需要。主要包括各类数据的结构规范和接口设计以及处理过程中的主要算法(例如GPS点的抽稀和内插、道路交叉口的多方向全景数据调度模型等)、全景影像的金字塔索引算法、全景热点存储数据库设计。研究基于GIS数据库技术构建数字厂区管线信息等现有数据库与实景数据库的关联关系,实现全景数据与现有属性数据库的无缝衔接与调用,最终形成实景影像、对象属性、地理空间信息三者一体的数字工厂的多维数据库。

6.基于全景测量的三维参数化建模技术

项目将全景三维测量与建模技术引入数字厂区的三维参数化建模中,可以在同一个平台上实现全景浏览与三维模型制作同步进行。在三维场景中将全景以球面三维模型的方式同三维场景融合,通过鼠标就可以捕捉到三维球模型上的任意一点,通过全景测量软件确定点测量空间的点坐标,实现空间点的获取,实现基于全景测量的重点区域三维建模,大大提高了建模的效率与准确性。

7.全景与三维实体模型融合的空间遮挡精确判定技术

由于全景只是图片,没有深度的信息,在三维场景中,三维模型的渲染会渲染在底图上,导致模型与全景表达不了深度信息。项目将全景与三维模型的深度渲染结合起来,三维模型不显示在全景之上,将三维模型用于后台做空间深度分析用,相当于将三维模型的深度缓冲技术与全景的表现结合起来,弥补了全景的深度缓冲,这对于在全景上的对象选择非常有用。以往都是通过标绘热点的方式,作为全景的选择对象,通过此精准定位技术后,用户不需要在全景上标绘热点,可直接选择全景中的对象,通过后台三维模型的深度缓冲技术来确定选择的对象。同时,可以根据三维模型的深度缓冲大小与遮挡关系来确定是否在全景上显示或隐藏标识的点状物,从而实现点状符号标会的自动LOD技术。

8.基于全景三维场景跨平台技术

该项目用HTML5+WebGL跨平台、跨浏览器的全景解决方案构建基础浏览平台,在此基础平台上通过三维场景解决部分参数化绘图的模型。对应大规模的三维模型,采用C3D等平台,通过高性能的图形服务器,将3D图形渲染成全景图片并传给客户端,同时将3D画面的所有可查询的图形与属性信息以XML格式的方式传给客户端,通过全景平台将图片与XML属性结合形成交互式的界面,实现3D图形的跨平台渲染。

9.可量测全景时空数据模型的设计与应用

通过实践摸索,采用改变可移动全景采集平台的传感器高度来调整线路空间变化,主要遵循“沿路统一、重点多层、负责多视角”等原则,通过移动采集、定点采集、多角度站式围绕等方式针对数字工厂复杂的目标分布和不同的位置环境进行时空模型的设计,具有非常优秀的机动性,能适应不同类型数字工厂的实际应用。

10.基于全景的数字厂区导航与智能监控技术

传统的二维平面导航技术在设备复杂、跨楼层的厂房区域不具备实用性,目前数字工厂的导航技术大多是三维GIS平台导航技术,此技术由于需要支撑的三维数据量巨大,采集数据与制作数据的工作量也特别大,对导航终端性能要求较高,导致相关应用一直不能在实际生产中推广。该项目通过全景导航技术来解决这个问题,无论室内还是室外,通过全景摄影测量技术获取目标的三维信息,统一到CGCS2000绝对坐标系中。由于调用的是全景,系统调用数据的速度非常快,对硬件的要求也低,在移动终端上的应用更为方便。

在智能工厂的监控管理方面,所有的报警、视频、人员位置、门禁的坐标统一采用CGCS2000经纬度坐标。数字工厂一般采用类似于CAD平面X、Y、Z坐标,设计部门应用很方便,但作为GIS或导航应用是不够的。该项目将CGCS2000坐标用于智能工厂,为智能工厂室内外导航与定位提供了方便。同时,随着室内外一体化测量技术的发展,这种设计也使得系统在未来对数据的适用性更强。

二、主要成果

项目研究开发了大量全景影像三维量测与建模相关软件,共3大类20个产品,其中4项已获得软件著作权。项目研究了全景量测与建模的多项关键技术,其中2项已获国家发明专利(一体化移动测量系统,专利号:ZL201420207927.8;仪器固定装置,专利号:ZL201420175033.5)。项目共发表论文17篇,其中2篇获得2013年和2015年第二、第三届全国激光雷达大会十佳优秀论文奖,有关全景核线匹配的论文获得《遥感学报》2015年度优秀论文奖。

该研究研制了空地、室内外一体化全景测量设备,攻克了全景影像三维量测与建模关键技术,打造了业界领先的全景GIS软件产品并提出新型工厂数字化解决方案,实现了国内基于全景测量的数字工厂“零突破”,起到了引领行业发展的作用。2016年4月项目顺利通过由中国地理信息产业协会组织的科技成果鉴定,专家组一致认为该项目成果创新点突出,应用效果显著。

三、创新点

研究围绕不使用激光传感器条件下的全景影像三维量测与建模,将摄影测量技术与三维建模技术应用于全景图像,开展了室内外/空地多平台全景移动测量设备、球面全景影像视觉三维测量、全景三维可视化与快速建模、跨平台全景+GIS系统等关键技术的研究与攻关,在以下四方面取得重大创新与突破:

1.建立了空地、室内外一体化可量测全景数据采集与处理系统,形成了系列全景采集系统关键设备和部件。可满足不同类型地物的数据采集需求,实现多角度、多尺度、多层次数据采集与综合应用模式。具体包括室内移动全景、全景影像流动站、车载全景、无人机全景等设备,其中基于全景视觉多源信息组合室内移动测量设备为目前国内独有。基于高精度激光建立全景标定场来对360度全景畸变进行校正,标定精度高,较好地降低了全景畸变对量测精度的影响。

2.完成了球面全景三维测量关键算法设计,包括全景相对定向、密集匹配、基于全景的三维建模等关键算法,实现了基于全景密集匹配的三维量测及按需建模。以全景构像原理为基础,创新性地提出基于球面距离的全景共面条件,改进了五点法相对定向;针对球面全景图像畸变较大的特点,提出了基于校正面元进行密集匹配的方法;通过全景流动站实现轨迹恢复,解决了室内测量的无GPS的定位难题。基于全景量测结果,以密集匹配获得的景深为前提,实现了目标的快速建模。以点、线、面作为基本构建单元,实现半自动化复杂目标的组合与模型构建。

3.基于全景量测与建模实现厂区设施参数化建模及数据快速提取、更新,实现了数字厂区中设备热点与绝对坐标相互关联。在统一平台下实现全景影像基于点、线、面要素的参数化按需建模和部件热点添加。部件和全景的关联通过绝对坐标而非像素来实现,解决了“一个部件一次添加”的实际问题。结合二维地图,搭建了全景+GIS一体化数字工厂管理系统,实现了高度测量、面积统计、部件采集、设备热点编辑及链接、热点定位及二维导航等功能,为设备及管线相关分析提供支持。

4.综合运用全景三维量测与建模关键技术,构建了跨平台的全景+GIS数字厂区管理业务平台。结合应用示范,建立了面向数字厂区的全景影像场景与时空数据库,通过数字厂区中设备位置坐标的“热点智能关联”,形成了工艺流程与可直接量测的全景影像的相互关联与查询,构建了跨平台的全景影像三维的数字厂区管网管理业务平台,实现了基于全景影像量测的参数化按需建模的更新机制。

四、社会经济效益

项目研究的空地、室内外一体化全景测量技术,拓展了传统摄影测量的概念,形成了系列全景采集系统关键设备和部件。基于全景影像三维量测与建模的数字厂区系统提供了一种全新的工厂可视化管理平台,实现了数据获取从外业测绘向内业直接提取的重大转变,大大减少了外业工作量,在为用户提供多角度实景浏览体验的同时,极大地减少了工厂数字化三维建模的成本。作为国内较为先进的可视化量测与管理技术,有助于推动测绘地理信息产业发展,促进国产设备研制与推广。

自项目实施以来,相关成果在北京四维图新公司、广州勘察设计研究院、中石化等多个单位进行了推广应用。采用全景移动测量技术进行地下停车场导航地图绘制,推动了室内移动测图技术的发展。建立了基于可量测全景的智能化信息管理系统,深入石化业务系统,形成了一系列基于全景影像的三维量测与建模软件产品,构建了跨区域、跨平台、高性能的地理信息管理和资源共享服务体系。研究成果在燕山石化智能管线管理系统建设中发挥了巨大作用,中标合同额936万元,解决了石化管线厂区设备众多、环境复杂、基础数据陈旧等多种问题,最终成功通过中石化总部验收,并被列为样板工程,将在中石化全国范围进行推广。