分享
Scan me 分享到微信

马灵霞:如何让卫星看懂地球

这些年随着高分专项、空间基础设施、商业航天的发展,我们国家自主的遥感资源得到了非常大的丰富,达到了比较高的水平。

泰伯网  

  主持人:感谢李聪凭借20多年在人工智能技术的沉淀,商汤科技深耕遥感领域,为行业打造先进的落地解决方案。下面有请商汤科技高级产品经理马灵霞,为我们介绍商汤科技智能解译方案,如何让卫星看懂地球。

  马灵霞:

  各位专家大家下午好,下面由我代表商汤科技介绍我们的SenseRemote产品,我会介绍一下商汤科技人工智能遥感解译平台,以及在目前的阶段取得的技术成果。

  首先作为一个遥感行业的从业者,非常荣幸能够见证我们国家遥感事业的飞速发展,尤其这些年随着高分专项、空间基础设施、商业航天的发展,我们国家自主的遥感资源得到了非常大的丰富,达到了比较高的水平。这些都为我们遥感数据在各行各业的应用奠定了非常良好的数据基础。但是我们面临这样海量的遥感数据同时,我们解译识别的自动化水平、智能化水平、处理精度,都需要进一步的提升,才能充分挖掘我们海量遥感数据的价值,满足我们不断增长的遥感应用的需要。

  大家都知道美国一直是航天大国,另外美国在人工智能领域也是非常强,刚刚李聪提到我们在最近的全球比赛上,在300多支参赛团队里拿到了第一的成绩,但实际上这样的比赛不是第一个。去年的时候美国的空间情报局举办过一场遥感影像解译的比赛,他是希望能从众多的参赛者里面寻找一些,能够从卫星影像中自动提取目标的团队,帮他们做后面的工作。美国的研究人员已经用人工智能的技术分析了卫星图片,尤其针对我们国家的导弹发射阵地,也训练了深度学习的模型,能做到非常快速的检测,从原来纯粹靠人工60小时的时间,提升到了仅仅42分钟。从生产效率上提高了85倍。

  商汤科技是一家人工智能技术型的公司,我们除了在人脸、自动驾驶等领域有非常好的技术落地之外,也针对遥感的影像解译的需求,整合了一套我们自己的人工智能遥感解译平台,并且以这样的平台为基础,结合遥感行业内的需求,为广大的客户提供一些服务。

  介绍我们具体的技术案例之前,我先简单介绍一下平台。因为这个平台是我们日常工作的基础。我从一个项目执行的角度,以一个人工智能从业者的视角来解读一下我们的平台,以及我们整个平台的工作流程。

  一般情况下为了完成一项基于深度学习的遥感应用,我们获取到数据之后,数据的标注、模型的训练、模型的优化以及最终的应用,是必不可少的环节。所以我们的平台包括了遥感数据的标注系统,遥感解译协议系统,以及遥感解译应用私有云,这些全部都是跟整个遥感的需求密切相关的。另外,在这个需求之下其实还有超算系统,以及我们的训练框架。超算系统其实就是一个基于云的计算资源和存储资源的支撑以及管理平台,刚刚我们的研究员也介绍了,我们目前已经有了8000块GPU卡,也有十多个集群,最大的集群目前可以支撑800块GPU卡同时的训练。另外是训练框架系统,也就是刚刚研究员提到的Parrots,是我们商汤自主知识产权的训练框架。

  另外是遥感数据的标注系统,拿到遥感数据之后我们要清洗,就是为了对我们拿到的数据做预处理,做样本快速的标注。目前具有全人工标注以及半监督标注的能力,可以非常快速的去构建我们的训练样本库。我们的标注系统目前能支撑的标注任务包括各种目标的监测和识别,以及我们不同时期成像的遥感影像变化监测的标注,还有各种各样的土地利用的分类,或者某一地类的提取。另外我们内部也有非常完善的标注数据和标注任务管理的软件的功能。

  另外一部分是遥感解译学习系统,这当然是面向我们内部的研究人员,我们基于这些系统来完成整个模型的训练,以及一轮一轮模型的优化。该系统内置了我们商汤所有的研究人员在深度学习领域的一些知识积淀,也就是说我们不同任务的网络结构库。尤其是我们在遥感领域的各种优化的网络结构,这些是我们为各行各业客户提供非常快速服务的基础。

  另外最后,这是我们目前对客户开放的,是我们遥感解译的处理。刚刚我讲的部分,我们一般在项目的执行过程中都是关起门来在公司内部完成的。我们交付给客户的是遥感解译的SDK,我们目前也在开发自己的私有云平台。我们整体的工程能力可以把研发取得的一些模型,非常快速的来做应用端的开发,以及面向客户的集成。这里面我特别标红的部分,我们提供到客户那边的都是基于业务数据以及我们的网络结构,经过我们研究员的训练得出的一些遥感解译模型。

  我这边简单说一下平台大概的部署和使用,刚刚提到了我们有一个超算系统,我们的训练框架、遥感数据解译系统,以及遥感解译学习,私有云,都是部署在这个平台上的。对外提供标注人员做样本的标注,还有提供给研究员的解译学习的客户端,还有在整个流程里面不断的网络结构的调整以及优化,还有整个IT的运维管理。对外的业务系统的集成方面,我们可以提供的是一种云调用服务的接口,不管我们的业务系统是Windows平台还是其他的,或者是C++的架构,或者是Java写的软件,我们其实都可以非常快速的提供集成的服务。

  另外,我从整个项目的执行过程中来向大家展示一下我们公司一般如何来完成人工智能解译的项目。首先我们拿到一个项目的时候会获取非常多的业务数据,第一步就是我们会投大量的人工,来做半监督的标注,形成第一批的训练样本库。这个训练样本库会用研究员做模型训练,生成第一个版本的可以供工程使用的模型,这个模型虽然不是那么完美,但是基本上也可以给工程端用。这个模型会非常快速的集成到遥感解译云服务里,供我们客户方的业务数据解译的行业应用系统,基于他们新的的业务数据,来做解译的处理。当然在最初的时候模型不可能在一个版本就做到非常完美的状态,所以我们不可避免的在项目的执行周期中,要去对业务系统里面解译出来的这些数据做质量的监督和评价,然后找到其中的问题数据。然后我们的研究人员会基于这些问题数据来寻找新的解决方案,当然非常多的情况下是需要对这些问题数据的场景来做新一轮的标注,然后在这样的标注上去不断地扩增样本库。然后再根据这种扩增后的样本库,以及针对我们新出现的问题做模型优化。这个模型的优化包括网络结构的调整,以及训练方式的变化。经过这样螺旋式的几轮之后,整个模型在业务应用里面的问题就会比较少。在场景的兼容性,以及工程的适应性方面就会达到比较好的水平。

  白色的两个部分我着重说一下,这是我们客户方的系统。我们整个的流程是跟业务系统非常紧密的绑在一起的。

  刚刚介绍的是我们的人工智能遥感解译平台,我们的研究和工程团队在过去的时间里,基于这样的平台然后以及基于我刚刚介绍的流程,结合不同客户的需求,我们也研发了非常多的应用点。下面我向大家介绍一下目前取得的一些技术成果。

  首先简单说一下我们大概做过什么,我们针对整个遥感数据处理的流程,包括预处理里面的云监测和雪监测,还有做DOM的云监测,包括去云,以及我们在遥感解译信息提取里面的目标监测,比如说像飞机、船,飞机的关键点,还有各种土地的分类,包括某一个特殊地类的提取,比如道路、建筑物、水体、耕地,我们或多或少都做过一些探索。还有就是我们现在也在做的变化监测,这跟之前的变化监测方案稍微有点不一样,我们是直接拿不同时间成像的两个影像,在这个影像上基于深度学习的技术找其中发生变化的区域。首先说一下飞机监测,我们商汤科技也大概用自己的力量建了一个全球十万架飞机的样本集,然后我们建完样本集之后也在高分的卫星,以及Google开源的地图数据上做了非常多的优化。目前在我们的数据集上,我们的召回率已经超过了95%,我们的虚景率控制在了5%以内。目前可以处理的数据类别,既可以处理大家看到的这种彩色的图像,也可以处理我们常规的黑白图像。再处理速度方面,刚刚李聪讲过我们有非常复杂的方案来保证整个模型在工程应用里面的速度,我目前可以做到的是GF-1的数据1.8万×1.8万的图像,单张GPU卡上可以做到一分钟以内,把图像中的飞机以及每架飞机的关键点都提取出来。后面是不同效果的展示,大家看到的是GF-2的0.8米的数据,是我们国内的海口机场,绿色框是提取出来的飞机,红色的五个点是我们在每一架飞机上提取出来的关键点。我们的算法是非常准确的知道哪一个点是飞机的头部,哪里是尾部。可以基于这个结果再来提取进一步的信息,包括这个飞机朝哪个方向停着,长度是什么水平,有这些信息之后可以得到飞机型号方面更进一步的成果出来。

  这是我们在其他的数据源上,比如说GF-1的两米尺度上的数据监测效果。我们还从天地图,扒过不同分辨率的数据做软件的测试,这是当时测试的数据。

  刚刚大家看到的是我们的飞机监测,我们目前支持的输入数据在0.5米到3米之间的影像都能支持,彩色、黑白都可以取得比较好的检测效果。

  另外,目前还在投入更多力量做的,就是更小的目标,我们遥感影像的船。现在也在做非常多的数据标注以及模型优化的工作,我们希望把海上特别小的舰船的目标,提到非常高的水平。

  另外,刚刚介绍了我们现在还在做的就是变化监测,我们基于不同时间拍摄的数据提取其中的变化图斑。以一个数据为例,这是拉斯维加斯的数据,大概的成像时间是2015年。我们也拿到了2016年的整个城市的影像,我们找到了他们的重叠区域之后,来提取其中的变化图斑。红色的大家看起来是点,实际上都是一个轮廓,这个轮廓里面就是发生变化的区域。我找一个局部的地方放大之后就是这个效果,这是2016年的数据,大家可以看一下,整个城市在红色的地方发生了非常明显的变化,有非常多的沙地变成了建筑物。

  现在介绍另外一个应用就是路网提取,我们也做了一些探索,当时提取的道路是基于村村通等级的道路,提取全国各个地方的城乡接合部和农村道路的情况。这个软件现在已经在客户现场运行了一年的时间了,我们的软件现在已经处理过两遍,中国全境的数据。在测试方面我们的召回率和监测率都能达到90%的水平。在整个软件的形态上输入遥感影像之后,可以给出一个,中间图就是道路分割的产品,其实也是一个属于分割的范畴。另外,我们可以在分割的产品基础上继续给出来道路的中心线,以及道路矢量化的产品。这是我们早期的时候给客户提供测试的时候做的事情,我们曾经在自己内部的一台工作站上面,有一张GPU卡,我们处理了20个城市,大概有66万平方公里的数据,我们大概用了14个小时,就把这20个城市的矢量化的路网全部都提取出来了。

  后面是我们在不同的城市,向大家展示一下路网提取的效果。这是北京市郊区的数据。大家可以看到这里有非常多的线条没有提,大家都知道深度学习可以融合非常多的特征,并不是说只要是线我们就会提成道路,我们会参考更多的特征,比如说道路两端有没有连接建筑物,这也是我们的深度学习模型学到的一些特征,因为我们的客户要的只是这样的数据,他并不要一条路两边什么多没有,那就不叫村村通了,哪儿都没有连。

  这是南方的数据监测效果,黄色的线条是我们提出来的道路。我们用同样的方案还做过另外一个尝试,用道路提取的方案去做耕地的提取,尤其是耕地的田埂的提取,我们把准确的地块分出来,这是当时的数据成果,当然这个分辨率比较高,这是0.8米的GF-2号数据,这是我们当时模型的结果,我们提取的田埂的概率图。这样的数据是我们在数据上最终得出的经过,我们整个的矢量。

  另外做了更多的探索,针对遥感影像预处理的识别,对云和雪的识别,这两个识别一直是预处理环节一直没有被解决的问题。我们也是国内第一家尝试用深度学习技术解决这个问题的单位。这个是我们早期基于GF-1的8米的光谱,建了一个非常大的样本集。我们的测试数据非常多,这是吐鲁番北部的2015年的数据,这是我们的云和雪,蓝色部分是雪,红色部分是云。我们的测试数据,我估计我们测过不下一万个,另外我们也做了其他的云和雪的监测,这是天绘卫星的数据。跟刚刚的图一样,蓝色的是雪,红色的是云。同样的数据我们还做了水体的提取,这是GF-1江苏数据的影响,蓝色的是在这个影像上提取的水体。还有洞庭湖的数据。我们其实在特别早期的时候还做过基于特别高的分辨率,比如说WorldWiew,0.5米的,13个地类。这个是同样的处理效果。

  这个图相信大家刚刚已经看到了,这是我们近期做的怎么去提取一个独栋建筑,把轮廓尽量真实的提取出来,这是我们提取的结果。

  下面我来介绍一下我们做了这么多的研发,在整个业务场景的落地方面,其实我们也做了一些工作,我介绍几个案例。

  第一个,早期的时候我们给客户做的云和雪的监测,就跟刚刚讲的螺旋式的过程是一样的,我们大概经历了三个阶段的测试。当然不是每一个阶段的测试都是一轮模型优化,大概是第二和第三阶段的时候,我们都做了两轮的模型优化。最终一次测试的时候,我们针对全球,右下角是我们当时所有的测试数据分布,测了整个全球各地不同的成像时间,时间的跨度应该是从2012年到2017年,大概五年的时间的样本,最终先了大概有一万多张来做测试。我们最终的测试结果是我们的精度已经比人类的质检员的精度还要高。尤其是在特别复杂的环境下,我们的作业员其实也没有办法非常准确地去区分这个图里到底是云还是雪,人工智能的技术可以达到比人的辨识度更高一点。

  另外是我们和合作伙伴一起探索道路、水体、云雪,这种典型要素的信息提取工作。这个技术完全都是在两米分辨率的数据上进行的,我们基于两米的数据提到的水体。黑色的线条是我们做的道路分割效果,红色的是我们提取出来的矢量化的路网,白色的部分是提取出来的水体。当然我们除了在普通的遥感影像上做AI技术的落地之外,我们也曾经尝试过把深度学习技术引入到高光谱的领域。这是气象的数据,气象的光谱非常多,我们当时也是做了一个技术验证,我们基于像气象卫星的高光谱数据做云的监测,我们把大家公认的精度最高的MODIS数据拿出来,作为训练样本做深度学习的模型,然后用到新的数据上来做技术的验证。我们当时验证的结果,我们即便是拿他们的数据做样本,我们的深度学习模型取得的精度还可以更高,尤其对沙漠或者极地这种难分的场景都有改善。另外也把这种技术在我们国家的风云的卫星上做了尝试,基于深度学习的技术可以得到非常大的改善。这是我们的效果,基于高光谱的数据提取云,我们把每一个像素到底属于云还是晴空,做一个判别。

  由于时间的关系,我的分享就到这里。

参与评论

【登录后才能评论哦!点击

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回复{{item.replynum}}
    {{child.username}} 回复 {{child.to_username}}:{{child.content}}

更多精选文章推荐

泰伯APP
感受不一样的阅读体验
立即打开