华人澳洲中文论坛

热图推荐

    Hadoop技术的过来与将来:成于大数据,败于云计算

    [复制链接]

    2022-10-19 21:47:54 19 0

    比来几十年间互联网数据量呈几何倍数增长, 跟着企业发生和采集的数据愈来愈多,在认知层面企业关于数据的注重水平就愈来愈重。
    然而呢这样就带来几个问题,
    1)怎么样存储这样少量的数据
    2)怎么样处置存储的数据
    3)怎么晋升处置效力
    4)在数据量继续增长的状况下如何构建一个解决计划
    这几个问题就是大数据技术开展中要去重点解决的几个问题。



    在大数据畛域就提出了两个概念,
    1)散布式文件零碎:用于存储少量的数据
    2)散布式计算框架-MapReduce:它的作用就是高效的处置数据
    这样问题就失掉理解决。
    这是大数据畛域里两个十分首要的概念,这两部份又组成为了一个名词,就叫做HADOOP。
    就是经过散布式文件零碎来存储少量数据,而后用MapReduce框架进行高效的数据剖析和处置。
    这就是HADOOP泛起的一个条件环境。



    在Hadoop技术泛起当前,大数据技术的开展迎来发作。
    而Hadoop也以其共同的劣势迅速占据大数据市场,成为大数据畛域中夺得冠军的处置技术。
    与其余的散布式零碎对比,Hadoop集群的数据首先先进行散布式存储,存储效力对比高效;
    集群上经过HDFS散布式文件零碎,会把存储的数据复制多份,包管了数据的平安性;而且提供了一个简略的易用的散布式计算框架;此外就是Hadoop扩展性十分强,使用便宜的PC机就能搭建出集群环境。



    但跟着硬件和技术的不停迭代开展,Hadoop在当下也遇到了新的难关。
    在现今, 用户对数据办理和剖析有了新的需要, 好比在线疾速剖析、存储和计算别离,或者人工智能和机器学习的AI/ML。在这些方面, Hadoop 只能提供无限的反对,无奈与一些新兴技术等量齐观。
    关于客户来讲,只有繁多技术就可以知足他们的需要,就不需求部署繁杂的 Hadoop 平台。
    从另外一个角度看,云计算在过来十年摆布的时间里开展迅猛,不只击败了IBM、HP等传统软件厂商, 也在一定水平上鲸吞了Hadoop的大数据市场。



    时期的开展老是伴有着新技术的衰亡与旧技术的败落,这样的新旧交替从工业文化泛起开始就存在,始终传承至今。
    谁也无奈准确预言下一个衰亡的技术是甚么,但咱们也并不是无所不知。只有你有耐烦,能细心视察,总能在时期的开展中发现技术更迭的蛛丝马迹。

    发表回复

    您需要登录后才可以回帖 登录 | 立即注册

    返回列表 本版积分规则

    :
    注册会员
    :
    论坛短信
    :
    未填写
    :
    未填写
    :
    未填写

    主题30

    帖子39

    积分184

    图文推荐