Skip to main content
 Web开发网 » 操作系统 » linux系统

读完此文就知道什么是Hadoop了

2021年10月14日6160百度已收录

  什么是Hadoop?

  Hadoop是一个用Java编写,对海量数据进行处理的分布式系统架构,它是一个分布式系统基础架构,就是一个对大量的数据进行分析的工具,和其他组件搭配使用,来完成对大量数据的收集、存储和计算。

  简单理解,Hadoop是一个开源的大数据分析软件,或者说编程模式。它是通过分布式的方式处理大数据的。

读完此文就知道什么是Hadoop了  Hadoop 第1张

  Hadoop框架

  Hadoop的框架最核心的设计就是:HDFS和MapReduce

  HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

  HDFS是一个分布式文件系统,具有低成本、高可靠性性、高吞吐量的特点。专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务。MapReduce是一个变成模型和软件框架,用来处理大量的已经存储在本地的离线数据。

  Hadoop的优点:

  1. 扩展性:Hadoop可以扩展至数千个节点,对数据持续增长,数据量特别巨大的需求很合适。

  2. 低成本:Hadoop对硬件要求不高,从软件上节约成本。

  3. 生态群活跃:其周边开源项目丰富,HBase, Hive,Impala等等基础开源项目众多。

评论列表暂无评论
发表评论
微信