ZKX's LAB

佳文赏析 | 高松:地理空间人工智能的近期研究总结与思考

2020-12-16新闻8

本文改编自学术论文《地理空间人工智能的近期研究总结与思考》 即将发表于《武汉大学学报·信息科学版》2020年第12期 “中国空间智能学术年会”专刊

高松1

1 美国威斯康星大学麦迪逊分校地理系

高松,获北京师范大学学士,北京大学硕士,美国加州大学圣塔芭芭拉分校(UCSB)博士学位。目前是美国威斯康辛大学麦迪逊分校地理信息科学专业助理教授、博士生导师,成立地理空间数据科学实验室GeoDS Lab,从事场所地理信息科学理论,地理人工智能,基于时空大数据的社会感知研究,已发表地理信息科学相关学术论文50余篇,包括7篇ESI高被引论文, 学术被引总数3000余次。

主持和参与美国国家自然科学基金委、威斯康星大学校友基金会、微软人工智能与地球科学等多项科研项目。曾获得国家留学基金委优秀留学生奖学金,UCSB杰出研究奖,美国地图学与地理信息科学协会年度优秀博士生,奥地利国家科学院地理信息科学杰出青年学者、国际制图学会优秀青年学者、北京大学“学生五四奖章”、北京师范大学“十佳大学生”等荣誉称号。

目前担任国际学术期刊Annals of GIS副主编,Scientific Reports编委,国际地理信息科学(IJGIS)的客座编辑,美国地理学会AAG地理信息系统与科学分会理事会学术主任,国际华人地理信息科学协会CPGIS理事会成员。

人工智能领域的技术进步给地理空间相关领域研究的智能化发展和融合创新带来了新机遇和新挑战。 地理空间人工智能(GeoAI)是指地理空间科学与人工智能相结合的交叉学科研究方向,通过研究与开发机器的空间智能提升对于地理现象和地球科学过程的动态感知、智能推理和知识发现能力,并寻求解决人类和地球环境系统相互作用中的重大科学和工程问题。

美国威斯康星大学麦迪逊分校地理系 高松助理教授多年来致力于GeoAI的相关研究,他在学术论文 《 地理空间人工智能的近期研究总结与思考》中简要回顾了GeoAI发展的历史渊源,介绍空间显式与隐式的人工智能模型,总结近期研究热点话题和应用方向(包括空间表征学习、时空预测和空间插值、对地资源环境监测、地图学、地理文本语义分析),思考并提出地理空间人工智能未来发展的几个重要挑战和研究方向。

引用本文:

1 地理空间人工智能的发展历史简介

人工智能(AI)领域的技术进步给地理空间相关领域研究的智能化发展和融合创新带来了新机遇和新挑战。虽然早期人工智能概念的提出和理论算法的发展可以追述到20世纪40~50年代,但其近期快速发展的主要动力来自于深度学习模型和开发框架(如Tensorflow、Keras、PyTorch)的快速发展和产业化的日趋成熟,各行业领域大数据的生产爆发,和计算机硬件(如图形处理单元和高性能计算平台)以及终端设备的计算性能不断升级,进而可以支持在很短的时间内训练和部署人工智能模型、支持数据驱动的智能化决策和产业变革。

地理空间人工智能(geospatial artificial intelligence, GeoAI)是指地理空间科学与人工智能相结合的交叉学科研究方向,通过研究与开发机器的空间智能提升对于地理现象和地球科学过程的动态感知、智能推理和知识发现能力,并寻求解决人类和地球环境系统相互作用中的重大科学和工程问题(比如人口迁移预测、复杂条件下的智能交通决策、高精地图制作与自动驾驶、全球变化对农业生产的影响、自然灾害应急救援工程等)。

GeoAI的萌芽与发展与地理学、地图学与地理信息系统、遥感科学与技术、地球系统科学、资源环境与城乡规划、智能交通和计算机科学(尤其是机器学习和知识图谱)等学科间的交叉融合、创新发展紧密结合。

人工智能与地理空间科学研究的交集是有其历史渊源的,一方面,解决自然地理空间和社会人文地理空间产生的很多科学难题需要新方法和新技术(包括人工智能)的支持;另一方面,不断产生的时空数据(比如遥感卫星数据、人口移动位置大数据、车辆运营轨迹数据等)可以支持人工智能模型训练和新算法的研发;地理信息系统(Geographical Information System,GIS)软件也可以为机器学习模型标注数据(如土地利用类型、自然灾害后建筑破损信息)的生成提供便捷支持。

20世纪80年代,地理信息科学家和城市规划学者基于知识专家系统、元胞自动机等当时主流的人工智能技术来探索智能地理信息系统的开发和研究不同城市扩展的模式。20世纪90年代到21世纪初,学者们进一步研究遗传算法、模糊逻辑,本体与语义,混合智能系统在地理空间科学中的应用,比如土壤系统分类和制图,土地资源动态变化监测、自然灾害智能预测与风险评估等。

在2015年之后,与深度学习(如卷积神经网络、生成对抗网络模型、图神经网络)相结合的地理空间科学研究不断涌现。在人工智能技术快速发展的大环境下,作者和同事们连续参与组织了三届的美国计算机协会空间信息分会地理空间人工智能国际研讨会(2017—2019)和美国地理学家协会的地理人工智能和深度学习研讨会(2018—2020),以及第一届中国空间智能学术年会(Spatial-DI 2020),并在《国际地理信息科学》学术期刊联合组织了关于地理空间人工智能与知识发现的专刊,探索该领域的前沿发展技术和创新应用。

推动GeoAI领域发展的几个关键问题包括:

1. 为什么地理空间相关研究需要人工智能?

2. 现在利用人工智能技术是否比传统方法能更好地解决地理空间科学问题?

3. 之前或现在未解决的地理空间科学问题是否可以用人工智能来解决?

4. 除了单向应用人工智能技术,地理空间领域的研究是否能够激发新型的人工智能模型的研发并且输回到AI社区?

地理信息科学家和计算机科学家们在最近的研究和出版物中对这些科学问题作出了很多探索,本文对近期GeoAI相关研究和部分领域的应用进行简要回顾与总结,思考并提出地理空间人工智能未来发展的几个重要挑战和研究方向。

2 空间显式与隐式的人工智能模型

地理空间位置是关联多专题图层(天气、水文、土壤、城市建筑等)、多要素(人、事件、地理对象)、多异构数据(图像、文字、视频等)的纽带,将人工智能技术应用于地理空间研究主要有两类建模方法:空间隐式模型(Spatially Implicit Models)和空间显式模型(Spatially Explicit Models)。

空间隐式模型是指在构建人工智能模型的过程中只把地理空间位置当作多维度特征向量中的普通维度,没有把空间位置特殊对待或没有把空间关系和其他空间约束引入模型。比如把地理坐标带入一个简单的K均值聚类模型只属于空间隐式机器学习模型,但是如果利用Delaunay三角网构建空间约束的聚类模型则属于空间显式模型。

具体来说,如果一个人工智能模型满足以下检验中的一条,则可以称为空间显式模型:

1.不变性检验:空间显式模型的结果在所研究的对象重新定位迁移的情况下不是不变的。这个特性可以用空间异质性和空间回归模型的思路去理解,即如果一个变量的影响是与空间无关的,那么随机变化对象的位置后其空间回归模型结果不变;反之则变。

2.表征检验:空间显式模型在其实现中包含了所研究现象的空间表征形式(可以采用整合地理坐标、空间关系、地名等形式),比如把深度学习模型的数据输入先用地理编码表征。

3.公式化检验:空间显式模型在其概念化和公式化中明确使用了空间概念,例如考虑空间邻域和方向、把空间属性引入深度学习模型的损失函数设计。

4.结果检验:空间显式模型的输入和输出包含的空间结构(或形式)不同。

举个例子,一个包含城市地理位置和人口的数据集,如果是让机器仅基于人口数量进行城市排名,因为地理位置不属于分析对象的一部分,所以不是一个空间显式模型。相反,如果要回答人口密度高的城市是否在空间聚集在一起,则需要明确的空间分析视角。

近期的研究已经表明空间显式的人工智能模型要比不考虑空间的经典机器学习模型(包括深度学习模型)在计算机视觉任务(如图像分类)和基于地理知识图谱的智能归纳推理任务中的表现更加优越。

因此,在开发新的机器学习模型支持地理空间的知识发现和智能化决策时,我们需要思考如何结合地理空间数据的特性和人工智能模型的特点(比如深度学习神经网络的结构)设计出合理的模型。

如果单纯通过融合多源地理空间大数据可以解决的问题,我们是否还需要设计复杂的空间显式深度学习模型?如果简单增加标注训练数据不能显著提升GeoAI模型性能,是否需要考虑增加空间关系的学习,比如空间邻域关系、空间金字塔层叠关系等?一些新的GeoAI模型比如深度合成空间模型(DCSM)、空间生成对抗网络模型(SpaceGAN)和长短期记忆网络-轨迹生成对抗网络模型(LSTM-TrajGAN)都是考虑了地理空间特性的深度学习模型。GeoAI研究需要通过阐明为什么需要空间显式或隐式模型来解决地理空间的难题并且能够集成到当今的地理信息系统工作流中。

3 地理空间人工智能的近期研究总结

空间表征学习

许多机器学习算法的成功通常取决于数据表示和特征工程的质量。因此,空间特征学习或表征学习对研发空间显式人工智能模型和推动GeoAI的创新发展尤为重要。

研究者们利用表征学习技术提取出潜在的地理空间特征提高机器学习模型的预测准确率:

1.Yan等提出的Place2Vec模型采用自然语言处理的思路对于地图兴趣点数据(POI)、建筑环境和周边区域上下文语义进行特征表示学习进而提升关于场所信息检索和智能推荐的能力。

2.Yao等把POI2Vec模型输出作为机器学习特征输入来进行城市土地利用分类。

3.Liu等提出的Road2Vec模型基于大规模的出租车运营轨迹数据,对道路之间的隐性交通相互作用关系进行量化;此模型可以捕捉潜在的空间异质性和非线性交互特性进而提升路段的交通量预测准确率。

4.Crivellari和Beinat提出的Mot2Vec模型对利用大规模人群移动数据进行训练生成活动场所的特征向量表示进而刻画场所/地方的关联特性和相似性。

6.Mai等创新性地提出了多尺度空间位置编码方法Space2Vec,通过表征学习模型来编码地方的绝对位置和空间关系,发现该模型在位置建模和图像分类任务中的表现优于成熟的机器学习方法,比如径向基函数(RBF)、多层前馈神经网络和瓦片嵌入。

时空预测和空间插值

时空间预测的基本思想是根据多维属性变量估计一个目标对象或地理变量在未知地点(时空)的数值。空间插值则是GIS中常见的空间分析功能,利用已知位置的属性数值推测未知点相同属性的数值。传统的空间插值方法包括:反距离加权(IDW)、三角不规则网络(TIN)、和克里金法(Kriging)等。

学者们运用机器学习和深度学习方法来探索时空间预测和空间插值的新方法,并在测绘、社会感知、智能交通等领域广泛应用。

1.Zhu等设计了一种新型的深度学习架构,命名为用于空间插值的条件编码器-解码器生成对抗神经网络(CEDGANs),并应用于数字高程模型(DEM)中的高程空间插值。

2.Li等从稀疏采样的手机位置数据中提取人群活动地点和移动模式并提出新的模糊长短期记忆网络轨迹预测模型(TrjPre-FLSTM)。

3.Bao等基于带有地理标签的社交媒体数据构建了一个基于空间聚类和深层神经网络的BiLSTM-CNN模型来提升用户区域位置的预测精度。

4.Liang等引入时间动态属性改进了经典的商业地理哈夫模型并结合位置大数据对顾客到访商店的时空概率进行智能估算。

5.Xing等提出了一个通用的空间数据驱动的端到端智能预测框架Neighbor-ResNet,基于遥感影像多层特征感知区域景观物理特征来进行人类活动量的估算。

6.Pourebrahim等比较了空间相互作用重力模型和卷积神经网络在出行空间分布预测上的表现。

7.Yao等对比了空间相互作用的多个经典模型和图神经网络模型在空间点对交互流预测上的性能。同时考虑到人类出行活动主要沿着道路交通网络,基于交通网络的相关研究也非常丰富。

8.Murphy等利用卷积神经网络(CNN)对给定出行路线上的GPS轨迹数据的距离误差(或可信度)进行分类,以方便有条件地选择使用原始GPS轨迹数据和地图匹配后的路线作为驾驶路径的最佳估计。

9.Zhang等基于城市中的大量街景图片数据训练深度卷积模型进行沿街的交通流量时空类型预测。

10.Zhang和Cheng提出基于图深度学习的稀疏网络时空点过程预测模型GLDNet,适合分析的数据特点是空间集聚特征明显但时间分布比较随机(比如交通事故、沿街犯罪事件)。

11.对于稠密的时空数据,Ren等提出了利用残差长短期记忆网络来进行城市尺度交通流量预测的模型。

12.Zhao等提出了一种新型的时空图卷积网络T-GCN用于交通预测任务,它采用了图卷积网络GCN学习复杂的路网拓扑结构以捕捉空间依赖性,并利用门控递归单元GRU来学习交通状态的时间动态变化以捕捉时间依赖性。

随着多源地理大数据的出现,融合遥感数据和社会感知数据的研究也不断涌现。

1.北京大学刘瑜教授团队提出了从"人-地-静-动"这四个维度并集成多源地理大数据和机器学习方法感知城市空间分异格局的理论和技术框架。

2.Zhang等利用机器学习方法融合社交媒体用户签到数据和城市街景图像,提出了从场所类型、访问量、人群信息、和周边环境多个维度定量刻画场所的智能分析框架支持挖掘不同特征的场所。

3.Helbich和Yao等结合城市街景与城市居民活动、调查问卷等数据源来进行多维度感知和城市动态建模,发现了环境视觉变量和人们精神状态的影响。

4.Cao等利用残差神经网络(ResNet)、空间金字塔池化方法(SPP-Net)和堆叠双向长短期记忆网络(LSTM-Net)对社会感知数据和遥感数据多维度特征进行学习并用于城市功能区域智能分类,同时比较了三种不同的融合方法:连接、元素相加、和元素最大池化。

6.Law等融合开放街道数据OpenStreetMap和街景图片数据开发了一种卷积神经网络—街面网(Street-Frontage-Net)并用于城市街面质量的智能评估。

对地资源环境监测

近年来,全球范围内对地观测卫星数量增长迅速,基于卫星遥感和航空遥感的观测大数据激增,对于调查和动态监测土地资源、森林覆盖、环境变化,分析城市扩张和土地利用变化趋势等提供了丰富的观测数据源。同时,多数据源、多时相、多波段、多分辨率的遥感图像数据特点也给实际应用分析造成一定的挑战。

研究人员探索了多种利用深度学习模型结合多源遥感数据提取时空间特征的方法,提取高精度、高质量的时空间决策支持信息,以便提升利用对地观测大数据来动态感知和理解地球复杂系统之间相互作用过程的能力,实现李德仁院士提出的“从对地观测卫星到对地观测脑”的愿景。

1.Reichstein等在《自然》杂志发表的论文总结了当前用于地球系统科学任务的最先进机器学习方法,也指出了采用深度学习方法面临的主要挑战,比如模型可解释性、物理一致性、复杂系统不确定性、有限的标注数据、和强大的计算需求;并建议了一种将物理过程模型与数据驱动的机器学习耦合关联的混合建模方法。

2.Scott等克服了基于深度学习分类中的有限标签问题,采用了迁移学习和网络调优技术、数据增强技术与深层卷积网络模型结合,改进后的模型在两个不同的遥感数据集上都显示出较高的土地覆盖分类精度。

3.Huang等提出了一种半转移深层卷积神经网络模型STDCNN,以克服深度学习模型在遥感中应用中存在的一些限制,如有限的多光谱通道、有限的训练样本和大图像的统一分解;该模型从WorldView-2和WorldView-3高空间分辨率多光谱遥感图像中生成了高精度的城市土地利用地图。

4.Peng等设计了基于图斑相似性的卷积神经网络PSNet,并且利用了光谱反照率数值而不是原始图像数值进行模型训练,可以降低在光照不一致造成的数值误差,并应用于两次飓风有关的城市洪水事件,实验表明该模型具有很高的预测准确性和召回率。

5.Yuan等对环境遥感领域的深度学习方法进行了全面总结,并回顾了深层神经网络模型在环境遥感中取得的系列成果,包括预测和估算土地覆盖率、植被参数、农业产量、土地表面温度和湿度、气溶胶和颗粒物含量、降水、积雪覆盖、蒸发量、辐射和海洋颜色参数等;也讨论了多源遥感大数据、时空信息和深度学习模型的多种融合方式,比如基于回归模型的空间-波谱信息融合与多时相信息融合、基于数据驱动和深度残差模型的空间-波谱信息融合和多时相信息融合,进而可以应用到遥感影像云和阴影区域的去除与复原重建。

地图学

地图学是艺术与科学的结合。王家耀院士在“第三届全国地图学理论与方法研讨会”提出了在人工智能时代地图学需要的十点“传承、创新和发展”,着重强调了如何结合地图学的基础理论、科学思维与认知方法,以及大数据时代、人工智能时代的新研究范式和技术路线,推动地图科学的创新发展。近几年,人工智能在地图中的创新应用主要包括以下几个方面:

其次,利用强化深度学习方法可以精确标注当代地理要素在历史扫描地图上的空间位置。

再者,利用生成对抗网络模型可以进行地图样式风格的迁移学习,地形图的阴影自动渲染,并利用合成信息来改进制图风格设计或实现国土安全领域的地图位置电子欺骗。

最后,人工智能与地图设计的整合可能会部分地实现制图综合的自动化工作流,比如建筑物多边形的简化与聚合、道路网的线简化与按联通性合并等步骤。

地理文本语义分析

基于地理文本的数字地名词典和非结构化的地理文本数据在地理信息检索、时空知识组织和位置数据驱动的智能决策方面发挥着重要的作用。大多数地名词典数据库都是由权威机构采集制作,由于数据量大、制作成本高、更新周期较慢。 因而如何从海量自然语言文本和社交媒体大数据中自动采集和提取地理文本信息显得非常重要。

4 思考与展望

以上对地理空间人工智能近期研究的简要回顾并不能涵盖所有相关的话题,但可以看到地理空间科学与人工智能研究是相互促进发展的,并不是一个单向技术输入的知识生产过程。同时,也可以看到GeoAI未来发展面临的几个重要挑战和应对的研究方向:

挑战一:有限的地理空间标注数据

训练地理信息领域的深度学习模型目前还需要大量的标柱数据集支持,如何提升地理空间标注数据集的共享机制是亟待解决的问题和重要研究方向。地理空间数据与其他非空间数据不同,可能会涉及到国土资源与测绘信息安全和保密政策、个人隐私等问题,因而增大了数据共享的难度。

但是,我们仍然可以看到一些脱敏空间数据或得到个体许可的时空数据的安全共享有效促进了多领域的科学研究发展。比如微软亚洲研究院城市计算团队共享的GeoLife个体轨迹标注数据、清华大学地球系统科学系宫鹏教授研究组制作的30米和10米空间分辨率的全球地表覆盖数据集FROM-GLC、美国地质调查局和亚利桑那州立大学李文雯教授团队合作制作的自然特征数据集GeoNat v1.0,纽约州立大学布法罗分校胡英杰教授团队制作的地理文本标注数据集和地名解析工具比较平台EUPEG等。

近年来,也有越来越多的地理信息期刊鼓励数据和代码共享,支持科学实验的可重复性和空间数据共享的五星准则(公共数据存取平台、包含元数据、结构化数据格式、符合地理空间数据标准、封装支持虚拟化的调用环境)。同时,新的联邦机器学习框架的出现也使得用户在享受智能空间信息服务的同时其个体数据隐私能够得到一定程度的保护,这个方向的研究在新5G/6G无线网络通信环境下会蓬勃发展。

挑战二:模型可迁移性和可解释性较弱

大多数用于训练GeoAI模型的地理空间数据来自于特定的地表空间区域(比如某一个城市或某一块农田),由于空间异质性和不确定性的存在,GeoAI模型的可迁移性和范化能力较弱。

此外,很多数据驱动的机器学习模型系统仍然是一个黑盒子,虽然在特定的对地观测和地物分类等方面的能力表现良好,当应用于解决地球系统科学和人文社会科学领域的各类地理空间预测问题时,需要了解机器模型的学习决策过程,融合机理过程模型或人文领域知识,增强GeoAI模型的可解释性、透明度和可信赖程度,这也将是GeoAI的重要研究方向。比如,Cheng等受到可解释人工智能(XAI)提取关键图像成分的应用启发,研究提出利用一种时空层相关性逐层传播方法(ST-LRP)来解释与评估时空单元在特定研究场景的重要性进而支持可解释的GeoAI模型研发。

挑战三:地理空间语义分析和推理能力不足

成熟的人工智能技术已经具有很好的自然语言处理能力并利用知识图谱技术在智能搜索和问答、语言翻译、个性化推荐等智能信息服务领域体现重要价值。但是在地理空间信息领域,很多现有的地理空间信息基础设施还不具备智能化的语义处理能力。比如检索某一个地区的“自然灾害”数据集,应该智能扩展到语义关联的具体灾害种类(森林火灾、地震、洪水等)以及空间关联的区域(比如空间上的邻居、包含或被包含的地理空间单元),从而得到更加丰富的数据集合。

为此,需要构建互联互通的地理知识图谱和具有空间思维能力的智能检索和知识问答系统,这也将是GeoAI的另一个重要研究方向。此外,根据GIS用户提问进行空间分析工具智能推送甚至是整个空间分析工作流的自动化实现也是未来研究的重要方向。

GeoAI的未来发展需要继续得到来自学术界、工业界、和政府相关部门的共同支持,汇聚地球系统科学、地理学、计算机科学等领域的科学家、工程师、企业家和决策者的智慧,共同探讨地理空间科学领域的重大科学挑战和人工智能领域最新技术趋势,注重交叉学科教学体系建设和创新思维人才培养,为地理空间智能的蓬勃发展助力。

转载自: 经纬石旁话遥测

经作者授权转载

文章仅代表作者观点,与本公众号无关,版权归原作者所有

排版:林真真

#行业互联网#AI人工智能

随机阅读

qrcode
访问手机版