海量数据存储应对之道

    【CPS中安网 cps.com.cn】在石油、科学研究、医疗等领域，对于海量且高效的存储系统的需求一直有增无减。一次石油勘探作业或者一次粒子对撞实验可能就会有PB级规模的数据产生，而医疗机构使用的HIS、PACS等系统的数据规模也呈快速膨胀趋势。海量数据的存储需要一个容量巨大的存储系统，然而容量大仅是这一系统的基本特征，实际使用中还要关注以下三方面。

　　首先是极强的扩展能力。因为数据规模是动态增长的，存储系统不但要应对当下的数据规模，未来数据规模呈指数级增长超过现有容量时，还需要能够灵活扩展。所以，海量存储系统应对的除了现时数据本身，还包括对未来数据的增长预期。

　　其次，高效和高性能。在数据存储过程中，除了数据规模本身巨大，还有备份、归档等操作会进一步增加数据量，这就需要存储系统能够判别数据冗余，实现存储空间的高效利用。除此之外，存储数据的最终目的是挖掘数据价值，所以能否在最短的时间将数据进行处理、分析，是衡量海量存储系统优劣的重要标准。

　　最后，存储系统平台要好操作、易管理，能够支持标准API接口。愈是复杂的系统，它的管理、操作愈是不便。这导致企业需要投入大量的人力、物力、财力资源对系统进行运维管理和升级。出于节约企业成本的考虑，海量存储系统能够提供统一、简化的管理就变得非常重要。为了实现存储和计算统一自动化的管理，这类存储系统需要支持标准的API接口。

　　同时满足以上三点要求的难度很大，当下最佳的解决方案是采用分布式集群存储系统。北京同有飞骥科技股份有限公司(以下简称“同有科技”)开发的NCS10000是这类产品的代表。从扩展能力上看，NCS10000可以达到8192个存储节点的扩展，同类产品仅有几百个节点的扩展能力，相较而言NCS10000扩展能力近乎无限。NCS10000不仅能在线扩展至EB级别存储容量，还可同时管理2000亿以上的文件数量，满足多达40000台以上客户端并发访问共享存储系统的需求。

　　在性能方面，NCS10000表现依然出众。在实际测试中，它在100节点(400片SSD+3200片机械硬盘)的规模时，系统带宽可以达到240GB，并可以提供600万的IOPS性能，这比其他同类产品的最大标称性能还要高20%以上。

　　此外，同有科技还在NCS10000的核心算法上进行深入研发，其中包括存储冗余算法、智能的故障探测机制、分布式切片以及负载均衡技术等技术。这些技术使NCS10000在存储性能、高效的空间利用率及高可靠性方面表现突出。同时，为简化NCS10000的管理控制，开发了一套功能齐全且易于操作的控制界面，使系统运行状态、各个节点工作负荷、存储空间占用情况、性能曲线变化等信息一目了然。

　　对于石油及地质勘测数据存储系统、医疗数据分析存储系统、科学大数据分析存储系统、卫星数据处理存储系统，及其它对海量数据高效存储需求较高的企业及组织，同有科技的NCS10000无论从存储能力还是性能、可靠性及操作的简易程度上都是一个绝佳的选择。