非构造化数据无损互通，青云科技让数据存储更平安、运用更高效

zdscavy

原标题：非构造化数据无损互通，青云科技让数据存储更平安、运用更高效  
存储开展的大配景离不开一个话题——“数字中国正在降临”。存储状态改革的面前，是数字场景的变动以及算力的变动。在数据呈现指数级增长的明天，存储的将来趋向是甚么？  
数字场景及算力的变动 推进了存储的改革  
过来三十年，企业从最先期阶段的传统OA运用、数据库，到起初的互联网时期、挪动互联网时期，再到近几年的5G、AI、IoT，乃至元宇宙的泛起，场景不停在变动，新运用更是层见叠出。这些不停发生的新的数据状态，间接致使了针对这些数据的剖析需要也在不停变动。在这个过程当中，存储作为全部数据办理的中心，天然推进了全部存储产业或者存储状态的演进。另外一方面，从算力来看，最后计算才能的承载，大部份是使用物理机，起初使用虚构化、云计算，当初则愈来愈多地转向容器平台、云原生。一台物理机上有几十个虚构机，假如以容器的方式承载计算，一台物理机则能够有上百个或者几百个容器Pod单元。跟着全部计算单元的密度变得愈来愈高，计算的矫捷性也将愈来愈强。  
但在各企业的实际运用场景里，数据的表示方式显然更加繁杂。据笔者理解，中国的自动驾驶汽车，其出货量曾经达到 3000 多万辆，一辆自动驾驶汽车满负荷测试的状况下，天天能够发生的数据量能达到数TB 乃至数十TB。并且，典型的自动驾驶、物联网、AR、5G场景面前所发生的数据类型次要以非构造化数据为主，包罗图片、音频、视频，以及一些日志类的数据。  
这些要素，极大推进了存储的改革。  
活动的数据才是有价值的数据  
跟着海量数据的继续减少，假如只是简略地把这些海量数据存起来，其实不能发扬这些数据的价值，也就是说运动的数据并无多少价值可言。必需让数据活动起来，让数据残缺地或者相对于残缺地阅历生命周期的不同阶段，在不同阶段为数字化业务发生不同的价值，能力充沛挖掘全部数据的价值。  
活动的数据才是有价值的数据！如何让数据更好地活动起来？  
在数据活动的残缺链条里，从最后的数据收集、处置、归档、再利用、烧毁，都会波及到存储与大数据技术、存储与 AI 计算技术的结合，这能让数据更高效地被捕捉、被索引、被剖析和被加工，从而完成数据层面的点石成金。  
以某智能驾驶科技公司为例，其业务次要环抱高精度地图原始数据的收集，其数据方式次要是图片和视频，既需求对这些数据做标注，又要进行长时间的地图数据留存。其中的一个典型运用场景是路基数据，收集量微小，一辆车一天就有1TB的数据存储量，再通过加工及与数据剖析平台、数据存储平台交互，与此同时，地图收集也需求遵循相干监管单位的涉密要求，对数据平安性的要求也极高。这些都对现有的数据存储技术带来了新的应战。  
将来，咱们需求甚么样的存储？  
青云科技自研的存储QingStor U10000，专为反对 IoT、AI、生命迷信等新兴运用开发、古代数据剖析和将来数据而生。青云科技存储产品总监冯相东表现：“这是一款真正完成了数据无损互通的非构造化数据存储软件。”  
将来存储：活动的并完成了各种数据方式无损互通的存储  
QingStor U10000 是青云在近 10 年存储技术积攒根底上的一次片面的产品降级，完成了软件栈全自主设计与自主研发。U10000 承继了原来青云对象存储、文件存储的一切才能，而且在多个维度上完成了产品力的加强和迭代。  
U10000 次要面向海量非构造化数据的场景，次要包罗各种影象数据、音视频数据、数据湖、大数据、物联网等，同时提供对象存储、文件存储、大数据接口，不同协定之间完成数据无损拜候互通。另外，单存储桶反对 100+ 亿个对象，并放弃机能不乱。  
据理解，U10000 次要由接入层、存储办事层、运维平台三大模块构成：  
接入层：提供 SMB、NFS、对象存储 S3、HDFS 大数据接口，而且兼容规范的 POSIX 语义，以文件、对象、大数据三种接口的状态承载多样业务的使用。  
存储办事层：作为中心的存储引擎，提供丰硕的初级功用特性、多维度资源办理功用以及中心机制，好比 EC 纠删码、多正本数据平安。  
一致运维办理平台：提供用户敌对的可视化办理平台，完成对存储集群的多维度配置、操作、预警和监控。  
U10000四大劣势 让存储数据更平安且数据运用更高效  
据冯相东引见：U10000 拥有四大中心劣势，可以让企业存储数据更平安、数据运用更高效。  
一、多协定无损互通，数据拜候和流通更高效：U10000 在技术层面提供了一致的索引架构，而且基于一致的索引架构提供多种档次的才能，提供多协定存储接口。每一个个协定存储或者写入的数据，均可以经过其余协定读取，让数据剖析更高效。  
二、撑持海量数据存储，提供卓着机能：U10000 的元数据和数据存储办事都采取全散布式的架构，能够横向扩展大范围数据存储集群，同时包管机能和容量的线性增长，提供卓着的 I/O 机能。经过灵敏的 EC 配比（即 EC 纠删码），包管全部集群物理磁盘的可用空间率达到 90% 以上。  
三、算力无缝对接，数据点石成金：U10000 具备丰硕的数据处置才能，可以提供一系列完美的API、SDK，能够轻松地对接大数据平台、数据处置的框架和办事，完成数据和算力的高效结合，终究让数据完成点石成金。  
四、多维平安，数据不乱：U10000 经过数据强统一性的处置、多正本战略，包管数据平安。经过多租户拜候隔离、WORM、日志归档等多重拜候平安机制和智能预警机制，晋升用户使用平安性，同时提供可视化便捷的运维平台，便利人员办理。  
恰是基于对非构造化数据的活动性存储需要，上述智能驾驶科技公司选择了与青云协作，经过其提供的 U10000 存储集群及资源算力，知足本身高精度地图从收集、出产、训练全部生命周期的存储和算力的需要。  
能够说，U10000 产品的研发及运用，为行业在解决非构造化数据的存储及活动性数据的运用方面，提供了很好的解决思绪。