8月(yuè)26日,主题为“强基赋能 开启数(shù)据新纪(jì)元”的(de)2020(第五届)大数据产(chǎn)业生态大(dà)会在(zài)北京举行。
这(zhè)场(chǎng)中国大数(shù)据(jù)产业最盛大、最(zuì)具专业性及深度的(de)行业聚会,成为了中国前沿的(de)数(shù)据(jù)黑科技产品名(míng)副其实的大(dà)秀场(chǎng),也(yě)是行业专家、企业(yè)领袖(xiù)、知名投资人汇聚一堂,深入探讨技术(shù)与(yǔ)产(chǎn)业发展的高端平台。
华为(wéi)云亮相大(dà)会,全(quán)面展示了其在大数据领域的创新。会上,组委(wěi)会权(quán)威(wēi)揭晓"2020中国大数据企业50强"榜(bǎng)单,华为(wéi)大数据连续四年位于榜(bǎng)首。这也是业(yè)界对华为在大数据领域持续技(jì)术创新、实践应用(yòng)等方面成绩的再度(dù)肯定。

计算存储分(fèn)离,华为打造(zào)最优(yōu)秀的大数据存储底座
华为海量存储领域副总裁徐强在接(jiē)受中国(guó)软件网采访时表示,5G、云(yún)、AI正加速行业数字(zì)化转型,海量数据(jù)时代已来。海量数据,使能(néng)企(qǐ)业(yè)从数据管理(lǐ)走向数据运营。
目前,海量(liàng)数(shù)据(jù)分析面(miàn)临的三大挑战:一是成本高,存不下,如(rú)资源利用(yòng)率(lǜ)低,存储效率低,运维成本高(gāo);二是效率低,流不动,如数据难共享,分(fèn)析(xī)效率低,业务(wù)上线时间长;三(sān)是(shì)自动(dòng)化差,管(guǎn)不好,如多种类型存储(chǔ)设备并存,缺(quē)少(shǎo)数据(jù)生命周期管理,自动化运(yùn)维能力差(chà)。
徐强(qiáng)认为,从大数据架构演(yǎn)进看计算存储“分离”发(fā)展已成事实,计算(suàn)层(céng)逐渐轻量(liàng)化、容器化,与数据解耦;存储层一方面在引入外部(bù)存储(chǔ),另一方面在尝试(shì)EC方(fāng)案(àn),增强大数据存储底座能力,大数据正基于计算存储分离架构,逐步向数据湖演进。
另外(wài),随着近(jìn)年来大数(shù)据应用的广泛普及,传统的(de)存算一体模式弊端逐步凸显。比如多副本的存储技术带来的高昂的数据存储成本问(wèn)题,过低(dī)的存储(chǔ)密(mì)度(dù)带(dài)来的机房、功(gōng)耗、制冷等(děng)运维成本居高不下问题,计算存储紧(jǐn)耦合形成的数据孤(gū)岛问题(tí)。基于存算分离架(jià)构的(de)大数据方案,已成为客户的新选择。
华为于(yú)今年5月28发布了全新一代海量数据存储OceanStor Pacific系列,致力于打造最优秀的大数据(jù)存储底座,也吹响了华(huá)为打(dǎ)造(zào)海量存储高端(duān)系列的冲(chōng)锋号。
在演讲中,徐强展(zhǎn)示(shì)了基(jī)于华(huá)为海量存储OceanStor Pacific系列的大数(shù)据存(cún)算分(fèn)离方案(àn)的优势:
大幅降低TCO
·计算存储(chǔ)分离,按需(xū)扩(kuò)展,实现精准投资;
·采用EC方案替代Hadoop多副本的存储模式,存储资源利用率提升1.75倍,降(jiàng)低硬件采(cǎi)购成本;
提升分析效(xiào)率
·全分布式的NameNode架(jià)构,单NameSpace提供百亿的(de)文件存储,提(tí)高数据管理效率;
·多协议融(róng)合,一份数据同时支持文件、大数据接口访问,免数据迁移,缩短分析路(lù)径,分析效率提升30%以上;
·一套存(cún)储同时支(zhī)持(chí)多厂家、多版(bǎn)本大数据集(jí)群(qún),共享存储(chǔ)资源,消除(chú)数据孤岛,加速数据(jù)流动。
提升(shēng)可靠性
·多(duō)故障域,每个故障域(yù)均(jun1)允许多节(jiē)点同时故(gù)障,数据可靠性成倍提升;
·亚健(jiàn)康监测,提前识别风险(xiǎn)硬件,自动隔(gé)离,避免多点故(gù)障;
·精(jīng)细化(huà)流量控制,结合快速(sù)数据重构能力,快速恢复(fù)数据(jù)冗余机制。
基于(yú)华为(wéi)OceanStor Pacific系(xì)列的大数(shù)据存算分(fèn)离方案(àn),在运营商、安平、金融、政府、互联网已经有近(jìn)百个案(àn)例。在联通集团通过部署存算分离方案(àn),整(zhěng)体大数(shù)据平台TCO下降30%以上,节省近千万的投资;存算协(xié)同(tóng)带来分析效率提升20%以(yǐ)上,收入增长数(shù)千万;引入存储层的数(shù)据保护技术(shù),可靠性也有30倍以上的提升。