【www.zhangdahai.com--可行性研究报告】
黄迎春，方 辉
（1. 安徽省第三测绘院，安徽 合肥 230601）
随着测绘新技术的不断突破，信息技术的发展越来越快，提高测绘生产力的技术应用越来越丰富。《智慧城市时空大数据平台建设技术大纲》明确提出：基于云计算、大数据、人工智能计算等互联网新应用技术建设时空大数据平台，提高测绘生产力，发展测绘新技术[1]。传统测绘技术方法与遥感大数据、地理信息系统、云计算软件等现代化高新技术领域不断融合创新发展，无边界多尺度地理要素数据、空地一体综合测绘、网络信息智能抓取系统等数字测绘的新技术研究成果不断涌现，信息化的测绘成果体系概念正逐步形成。地理信息数据生产对海量地理信息数据快速处理要求越来越高，我院为提高地理信息数据生产的能力，提升生产效率，引进了私有云模式结合GPU云技术构建地理信息数据处理云平台，将生产所需硬件资源池化，如CPU、内存、存储等资源，按需分配给生产人员所需云主机，所分配云主机在获得图形工作站一致的使用功能基础上大幅提升了性能，同时在IT管理上获得传统图形工作站无可比拟的便捷高效。
传统地理信息数据处理生产模式为图形工作站+集中存储作业模式，如图1 所示。工作站分布在各个作业室，数据流转由工作站与集中存储之间上传、下载进行，各作业室完成作业生产后，将成果上传至集中存储。
图1 传统图形工作站+集中存储作业模式
1.1 数据流转效率低
传统生产模式下，数据流转时间较长，数据分发和汇总需要工作站和集中存储之前反复上传、下载。经统计，数据流转时间占整个作业时间40%左右，其中尤为突出的是遥感数据生产过程中，由于网络性能和存储能力造成严重的性能瓶颈，从而导致生产效率低下。尤其当前一些大型的遥感数据工程处理模式，如CIPS、PixelGrid以及GXL，往往需要花费数周时间才能完成数据处理作业，这其中大量时间浪费在数据流转上。
1.2 数据存储缺乏安全高效的容灾机制
传统生产模式下，重要的业务数据都保存在本地服务器或者在集中式存储服务器中，数据的存储节点没有任何灾备的保护，一旦存储服务器系统发生故障，数据将会有丢失风险，造成巨大的损失[2]。
1.3 涉密数据流转风险大
涉密地理信息在空间定位和空间分析业务系统中的应用越来越广泛；
而业务系统的环境要求越来越开放，使得业务系统对涉密地理信息的管理越来越难[3]。传统生产模式下，生产数据分散在各个工作站中，各个图形工作站部署在作业端，涉密信息泄露风险大，需要投入大量的管理成本来进行约束。
1.4 缺乏统一的资源管理平台
IT 设备种类、数量繁多，无法通过运维平台进行统一管理，工作人员需要投入大量时间进行操作系统安装、重置，生产软件的部署等，属低效率的重复劳动。
1.5 硬件设备无法形成统一算力平台
为满足生产业务需求，不定期按需采购图形工作站、服务器、存储、安全等硬件设备，用于设备更新和业务生产，硬件设备种类多、数量大，但无法形成统一的算力平台。
基于GPU 云技术搭建地理信息数据处理云平台，所有硬件资源形成统一的资源池，将计算、存储、网络、GPU资源整合成统一管理、弹性调度、灵活分配的硬件资源池，实现数据、业务、生产、管理的集中统一[4]。将传统模式下依靠局域网络进行数据共享传输、依靠单机作业进行数据处理的生产模式，提升为数据内部流转、数据集群处理的形式，同时设置唯一的数据出入管理中心，保证所有数据存储于平台服务器中，真实数据不流转到作业端，实现数据集中管理，提升安全保密技术水平。GPU 云测绘组织模式如图2所示。
图2 GPU云测绘组织模式
2.1 平台架构
采用GPU云技术是对原有物理服务器架构实现了资源池化，生产所需云主机全部运行建立在平台虚拟机环境上[5]。实现资源间的资源高度整合共享、集中优化管理资源以及可动态的扩展，从而大幅度提高对资源的平均利用率，可有效合理的节省资源管理成本，提高内部资源集中管理工作的整体水平[6]。
2.2 平台模块功
能通过虚拟化技术实现计算资源池化，支持故障在线迁移、智能备份、计算资源在线添加、计算资源弹性分配等功能，满足生产业务以及生产人员对计算资源的需求。
1）存储资源模块。在地理信息云数据处理云平台中，将硬件设备中所有可用的硬盘通过分布式云存储技术来构建成一个分布式存储资源池，用户存储的生产数据和备份数据资料都统一存放存储池中，并通过多副本机制进行数据冗余设计，确保数据安全性。
2）网络资源模块。在地理信息数据处理云平台系统中，为保证整个云平台系统的实时性能，平台后端的支撑网络规划为万兆（10 GB/S）网络，不仅支持虚拟机之间实时高速可靠的通信，同时还支撑完成多副本实时并发读写的工作[7]。
3）云平台管理系统。通过部署地理信息数据处理云平台管理系统，将计算资源进行统一的管理和调度，以云虚拟机服务的方式呈现给用户，并对所有的资源状态进行监控和统计。
4）安全模块。软件定义网络安全，支持分布式路由、分布式交换，拥有虚拟防火墙功能，以及智能负载均衡，满足虚拟机的安全要求。
5）GPU 模块。GPU 云管理系统，提供高性能且可靠的桌面投送，满足桌面传输，将服务器CPU、内存、存储、网络、显卡资源按需分配，并利用传输协议将画面发送至瘦客户机，支持NVIDIA 全系列显卡，并按需分配高低性能显卡给不同虚拟机，满足测绘内业不同负载使用场景。
3.1 性能测试与比对
1）平台兼容性测试。在生产应用过程中，对常用的主要生产软件测试情况见表1。
经生产应用测试，GPU云平台可兼容目前常用生产软件。
表1 平台兼容性测试
2）性能跑分测试。鲁大师电脑综合性能评分是通过模拟电脑计算获得的CPU 速度测评分数和模拟3D 游戏场景获得的游戏性能测评分数综合计算所得。该分数能较全面的表示电脑的综合性能。通过鲁大师电脑综合性能评分能较全面的掌握云平台终端的综合性能，其评测结果见表2 所示，云平台普通终端性能高于大部分现有工作站，低于高配工作站，超级终端性能高于现有所有工作站。
表2 性能跑分测试
3）数据拷贝性能测试与比对。数据拷贝与迁移性能在实际生产过程中十分重要，目前无论是1∶10 000 基础测绘更新、地理国情监测、天地图数据更新还是大比例尺地形图数据生产都需要大范围二维影像或三维数据，在数据生产的准备阶段往往需要从云平台外部拷入，并在云平台内再拷贝给每个作业人员，数据生产完成后，上交资料又需要从云平台拷出，上述环节就需要较长时间，拷贝速度的快慢直接影响到数据生产的时间，因此，为充分了解云平台数据拷贝迁移的能力，进行了摆渡机数据拷贝及云平台内部数据拷贝、传统平台（图站+存储）的数据拷贝等测试，通过测试云平台数据流转性能优异，较传统平台提升明显。其测试结果见表3。
表3 数据拷贝性能测试情况一览表
4）生产软件应用测试。通过云平台及传统单机工作站2种平台对2022年某市高分卫星影像进行数据下载、数据共享等作业流程，利用PixeGrid7.1对数据进行匹配预处理、匹配连接点、正射影像纠正及融合等全自动化流程处理的运行时间进行比对（表4）。
表4 PixeGrid7.1生产测试
经过生产测试，云平台分布式存储，解决了大数据存储对单机工作站的压力；
平台用户间数据传输速度快，减少数据拷贝时间；
云平台可以实现数据的共享，避免了任务分配调整带来的数据重复下载、交换的工作量；
云平台可以配置高性能的超级账户，数据处理速度更快。
3.2 GPU云技术应用总结
1）提升数据流转效率。GPU 云数据流转效率提升明显，数据传输速度更快，相比传统生产模式需要存储在电脑终端，减少了与服务器之间上传、下载的过程。同时，云平台数据通过资料室输入输出也更快，减少生产过程中数据准备时间。
2）提高数据保密级别。与以往的传统生产模式下单机作业在本地硬盘存储数据不同，云平台不在本地存储数据，降低了数据安全风险，提高数据保密级别。同时在分布式存储技术系统中的文件存在多个备份，不会因为单块硬盘的损坏而丢失数据，一定程度上避免因硬件原因而丢失数据。
3）实现统一运维管理。通过云平台实现软硬件的统一管理，传统生产模式下，工作站安装系统或软件时需要单独分别安装，耗费大量时间和人力，使用云平台后可以通过镜像快速批量安装，降低运维管理成本，同时实现软硬件全面监控，快速定位故障点。
4）资源动态弹性分配。云平台资源可以按实际需要进行调配，更好地利用云平台资源的使用效率，资源利用更高效，更灵活；
可以“集中力量办大事”，对于需要集中算力的数据处理工作，可以利用超级终端进行集中运算，生产中可以更好地提升效率；
摒弃了本机概念，利用专有账号登录个人空间，不再受座位限制。
5）海量分布式存储资源。传统生产模式的单机存储方式由于受单块硬盘容量的限制，对大数据量的数据生产难以完全胜任，云平台采用分布式存储技术，打破了单块硬盘的存储限制，一次性可以处理的数据量大大提高，对海量影像数据处理效率得到大幅提升。
6）算力资源横向扩展。云平台架构可不断横向扩展，同时可以接入原有图形工作站提高算力，可在将来的设备添置中不断累积平台算力而不需淘汰原有计算机设备，从而在不断提高系统的运算能力的同时提高设备的利用率。
随着不同行业对空间数据需求的增加和空间探测技术的发展，空间数据产品类型日益丰富、成果精度不断提高、数据量呈爆炸式增长[8]，GPU 云平台地理信息数据生产模式应运而生，与传统生产模式相比，基于GPU云技术的地理信息数据处理云平台具有资源配置灵活、可不断扩展算力、文件存储更安全、文件迁移更快捷等优点。但作为近年发展的新生事物，不可避免地存在需要改进的地方，需要我们在使用时不断加深认识、不断拓宽应用，更好地发挥云平台的优势以服务实际生产。
猜你喜欢 拷贝工作站数据处理 左权浙理大 共建工作站今日农业(2022年16期)2022-11-09认知诊断缺失数据处理方法的比较：零替换、多重插补与极大似然估计法*心理学报(2022年4期)2022-04-12基于低频功率数据处理的负荷分解方法能源工程(2021年6期)2022-01-06无人机测绘数据处理关键技术及运用建材发展导向(2021年12期)2021-07-22戴尔Precision 5750移动工作站电脑报(2020年32期)2020-09-06文化拷贝应该如何“拷”今日中国·中文版(2017年8期)2017-09-03文化拷贝应该如何“拷”今日中国·中文版(2017年8期)2017-08-14基于MATLAB语言的物理实验数据处理探讨电子制作(2017年20期)2017-04-26食管腺癌DNA拷贝变化相关基因的生物信息学分析癌变·畸变·突变(2015年4期)2015-02-27德钧关爱工作站中国火炬(2009年12期)2009-10-17本文来源：http://www.zhangdahai.com/shiyongfanwen/kexingxingyanjiubaogao/2023/0714/624954.html
