分享
Scan me 分享到微信

了解世界的未知,空间信息腾云之路

探索未知世界中的数据矿石,云计算是最好的“开山斧”。

  读取1TB的数据,需要多长时间?

  对于一个机械硬盘来说,它的真实读取速度大概是150M/s;固态硬盘的速度比它快一倍,拿一个固态硬盘读1TB的数据大概需要一个小时。

  那么如果想在一秒内读取这些数据怎么办?

  理想情况下可以找来3000块固态硬盘串联到一起读取数据,但真实情况中需要考虑硬盘的不连续性和网络延时,秒级访问通常还有并发需求,综合起来,可能还需要增加几倍的硬盘数量。

  总之,读取1TB数据意味着一块硬盘读一个小时,或是几千块硬盘同时读取。

  而在现实生活中,我国喀什、三亚和密云3个卫星接收站每天接收的总数据量就可以突破1TB,2012年升空的资源三号卫星每天获取的数据量甚至达到了10TB。

  面对这些超级大数据,到底应该用什么样的计算方案来解决?

  超级传感器

  在现实世界中,很大一部分的数据都来源于生活中多种多样的传感器:温度计测量温度,X光机拍摄的骨骼图像,手机记录人的生活轨迹等。这些数据经过分析,可以帮助人类更好地作出决策。

泰伯网
国家航天局+华为云,共同守护地球美好家园

  而在数据收集方面,可能没有什么传感器比卫星更强大了,而这其中最有代表性的非遥感卫星莫属。

  遥感早在第一次世界大战期间就被用于收集地面受损等信息的收集,也奠定了此后它在大规模公共服务领域的独特价值。随着遥感技术的发展,天空中相机拍摄地面的频率越来越频繁,它们能够捕捉的信息也越来越丰富。从最初的光学影像到后来的可以收集到地形信息、光谱信息,甚至是夜间的灯光信息等。

  这些信息可以用来分析森林砍伐、碳循环和冰川衰减等众多公共管理事务和科学问题。

  传感器和相应理论的快速发展注定了遥感数据呈现爆发式增长,而且未来也只会更多,但这也增大了数据管理和从中提取出有效信息的难度。有行业人士认为,也许没有什么能比遥感能产生更多的大数据。

  因此,无论在中国还是美国还是其他任何国家,遥感领域中最让人头疼的问题都是如何管理这些数据。

  美国宇航局(NASA)的一名官员Rama Nemani曾举过这样一个例子:如果有人想利用遥感数据进行全球范围的分析,首先需要从各个信息中心下载这些数据——光是这个过程就得持续几周到几个月。之后的分析过程也只能靠自己编写代码,无法借鉴其他科学家所使用的方法。

  随着技术的发展,科学家们也曾研究出一些数据管理方案,例如以Hadoop为代表的大数据解决方案已经在很多遥感案例中得到了很好的应用。

  自2010年左右年以来迅速崛起的云计算,其独有的超大规模分布式储存能力和并行计算能力,加之支持异构计算、物理计算等场景,很好地解决了遥感行业中的数据管理问题。

  当然,此前已拥有小规模解决方案的遥感行业对新的商业解决方案的接受程度仍然有很大的加强空间,因为在新技术面前很多人会欣然接受从0到1的转变,但从“1到更多”的进步则需要一些决心。

  政府部门成上云“急行军”

  在遥感领域最先拥抱新技术的是政府部门。

  2014年,工信部发布了可信云认证名单,华为等企业在首批名单之列。这是国内权威机构首次开展云计算领域的资质认证,业内有专家认为这一进展将促进政府部门对云服务的采购。

  这在当年引起了各方的高度关注。中国信息通信研究院云计算与大数据研究所所长何宝宏在当年接受采访时就预测,我国政府信息化采购的市场规模超过500亿元人民币,是当时我国公共云服务市场规模的十余倍。除此之外,还有近年来颇具影响力的2017年出台的的三年行动计划和2018年的企业上云指南,这些政策基本覆盖了政府和企业的上云行动。尤其是三年行动计划指出,支持地方主管部门联合云计算企业构建公共服务平台,同时支持制造业重点领域的行业协会开展行业云建设。

  从另一个角度来看,政府积极上云还有经济方面的考量。在经济放缓的压力下,宏观增加政府投资既符合经济调控规律,同时也提升政府部门运行效率并降低运行成本。

  仅是在对地观测领域,进入2018年以来包括国家航天局(科工局)高分办,我国资源、气象、海洋三大卫星应用中心,自然资源部国土卫星遥感应用中心,国家基础地理信息中心,发改委国家地理空间信息中心等等在内的政府部门和事业单位,都在积极应用云计算,以寻求更好的服务。

  美国的政策路线与中国也相类似。奥巴马在2009年上任初期,为了缓解次贷危机对美国经济的冲击,政府一面向市场释放近8000亿美元的复苏资金,一面推进政府提升效率和降低运行成本。这其中就有2010年提出的的“云优先”政策,规定各政府部门在一年半时间内,至少挑出三项业务“上云”,另外减少政府中数据中心数量,将其总量控制在800个以内。亚马逊云正是在这样的政策背景下孕育壮大。

  规模效应开始显现

  如果说最初政府部门应用云计算是为了服务于公共管理,在这一需求得到满足后,这一能力正在朝着更大的范围扩展。

泰伯网
中国国家航天局代表在地球观测组织2019年会议周上发布“高分卫星16m数据共享服务平台”

  其中具有代表性的一个就是今年世界地球观测组织(Group on Earth Observations, GEO)在澳大利亚举行会议周期间,我国国家航天局代表团在会议上推出了“高分卫星16m数据共享服务平台”,向世界各国开放我国高分一号和六号卫星16m数据。

泰伯网
CNSA-GEO平台

  在这个数据开放项目中,全球用户都可以通过在线的平台进行查询和下载两颗卫星的历史存档数据、基于存档数据生成的全球有效覆盖一张图和每日拍摄的16米数据,用来分析全球气候变化、预测农作物长势,甚至是为用户所在国家的灾后救援提供有力支撑。

  这一项目每天产生的数据高达每天1T,每32天就可以完成一次全球覆盖;同时用户也来自世界各国,他们有可能是学者、科学家、政府官员或是金融机构中的数据专家。面对大量用户同时在线上发起的需求,快速、平稳地响应不仅是功能实现,更在某种程度上代表了我国在遥感领域的技术能力。


中国“天眼”,为地球撑起一把“保护伞”

  中国此前也有过类似的共享平台,但用户大多数为行业用户,需求有限的情况下平台不需要太大的运算能力即可正常运行,因此小规模的计算方案就可以解决。然而当面对这样的项目,稳定的云服务就几乎成了唯一的解决方案。在这一项目中,华为云联合中科星图、航天宏图等参与到了平台的建设中,其算力能力为平台的稳定运行提供了重要保障。

  太空是座数据“钻石矿”

  国家航天局以及相关的跟太空遥感沾边的机构和部门,都是数据“大户”。在距离地面350公里乃至宇宙更深处,人类已经陆陆续续发射了成千上万颗卫星,这些卫星有的将镜头对准地球,形成遥感影像;有的把镜头对准云层,帮助人类更好地了解天气;也有的像哈勃这样卫星,将镜头对准神秘的外太空,去探索更大的宇宙。

  这些探索的目的都是收集数据,并且在数据这座矿山中提炼最珍贵的钻石。

泰伯网
气象领域离不开云服务

  例如在气象领域,通过数据的运算,就可以最大程度地精准预测台风路径,及时地提醒当地居民防灾避灾,从而降低自然灾害带来的经济损失,甚至人员伤亡。然而大气看似只是一团气体,对它的观测确实各个维度的,因此产生的数据量也十分巨大,更别提要对大气进行模拟和仿真。因此,实现大气模型的综合数据处理也一直是气象业务领域的挑战。

  挑战面前,云计算同样是“掘钻”利器。云计算可以有效扩展底层IT系统的扩展能力和处理芯片的承载数据能力,为天气的预测预报提供帮助。

  不光是天上的卫星,为了更好地了解这个世界,包括中国在内的20个国家的科学家制定了一个庞大的计划,在地面上建造一个巨型射电望远镜阵列,即平方公里阵列射电望远镜(简称SKA)项目。它们产生的数据并不比卫星少:SKA项目每年存档数据大约有600PB(约合超过60万TB)。

  每一个大型的数据项目背后都有一家成熟的云供应商。SKA项目背后是华为云,同时华为云也参与到了中国国家气象局和中国国家航天局等机构的气象卫星算法的创新大赛中,为气象应用提供技术支持。而在著名的哈勃望远镜背后,也是美国的亚马逊云提供算力支撑。

  上述太空相关强数据领域进一步发展的瓶颈,取决于云计算能力自身的发展水平,因此云计算的算力提升和稳定服务更显得尤为重要。

  人类在计算领域的探索欲望无止境。10月,谷歌宣布实现“量子霸权”轰动全球,正因它突破了现有计算机计算能力的限制。乍听上去,这些最前沿的计算技术跟普通人的生活相距很远。但它们终将随着技术的发展落地到人们的生活之中。

  十年前,李彦宏和马化腾对“云计算”嗤之以鼻,在下一个计算时代即将来临之时,谷歌虽然领先了一步,但在我国华为、阿里、腾讯和百度也已经展开了激烈的竞争。2019年华为推出的昆仑量子计算也一定程度上代表中国公司正在逐渐占领一些制高点。

  科技变化面前,政府在国家竞争和经济环境的影响下做了更为积极的尝试。企业需要考量综合经济性、投入产出比和直观效果等多方面因素。但二者都应该在快速变化中找到属于自己的“新技术优先”政策,毕竟在科技领域,唯一不变的就是变化本身。

泰伯网

参与评论

【登录后才能评论哦!点击

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回复{{item.replynum}}
    {{child.username}} 回复 {{child.to_username}}:{{child.content}}

更多精选文章推荐

泰伯APP
感受不一样的阅读体验
立即打开