hadoop是什么 hadoop优点介绍详细内容

来源:天奇生活时间:2022-05-11 17:45:58

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,一个能够对大量数据进行分布式处理的软件框架; Hadoop以一种可靠、高效、可伸缩的方式进行数据处理;用户可以在不了解分布式底层细节的情况下,开发分布式程序。

用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

Hadoop主要有以下几个优点:

● 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

● 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

● 高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

● 高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

● 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。

标签: hadoop优点介绍 分布式处理的软件框架 分布式系统基础架构

相关阅读

推荐阅读

股市到底了?美联储加息对A股有何影响?

股市到底了?美联储加息对A股有何影响?

过去一个多季度以来A股市场不断调整,另一方面,美联储加息的靴子落地。5月5日,美联储决定上调基准利率50个基点,并将从6月1日开始缩减资 更多

2022-05-10 08:20:47
多家新三板转投北交所  6家公司去年净利润均超过3000万元

多家新三板转投北交所 6家公司去年净利润均超

随着年报披露结束,新三板公司掀起了北交所IPO的申报热潮,杭摩集团、合肥高科、雷特科技、一致魔芋、中网华信、众诚科技等6家公司集体递交 更多

2022-05-09 08:35:46
市场走弱发行陷“冰点” 新基规模较去年同期1.21万亿元下降逾七成

市场走弱发行陷“冰点” 新基规模较去年同期1.21

由于今年市场走弱,基金新发市场明显遇冷。同花顺数据显示,按基金成立日计,年内成立的新基金共有514只,发行规模(调整后)共计3573 44亿元 更多

2022-05-06 08:33:24
一季度工业经济:工业企业继续保持平稳增长态势 部分行业利润增速加快

一季度工业经济:工业企业继续保持平稳增长态势

随着减税降费、助企纾困政策持续显效发力,工业企业继续保持平稳增长态势。国家统计局4月27日发布的数据显示,一季度全国规模以上工业企业 更多

2022-04-29 08:44:21
人社部详解个人养老金制度 多层次养老保险体系主要有“三支柱”

人社部详解个人养老金制度 多层次养老保险体系主

个人养老金听着新鲜,实施起来是否复杂?《关于推动个人养老金发展的意见》(以下简称《意见》)于日前印发,引起社会各方高度关注。4月25日, 更多

2022-04-26 09:52:40
国资委:一季度中央企业累计实现营收收入9万亿元 实现净利润同比增长13.7%

国资委:一季度中央企业累计实现营收收入9万亿元

4月19日,在国务院新闻办举行的一季度央企经济运行情况新闻发布会上,国务院国有资产监督管理委员会秘书长、新闻发言人彭华岗表示,今年一 更多

2022-04-20 09:51:36
一季度GDP增速4.8%  国民经济实现开局总体平稳成绩

一季度GDP增速4.8% 国民经济实现开局总体平稳成绩

在国内外多重挑战下,今年一季度国民经济实现了开局总体平稳的成绩。4月18日,在国新办举行的新闻发布会上,国家统计局新闻发言人、国民经 更多

2022-04-19 10:22:30
3月PPI环比上涨同比上涨8.3%  全年物价或依然温和

3月PPI环比上涨同比上涨8.3% 全年物价或依然温和

4月11日,国家统计局公布3月CPI(居民消费价格指数)和PPI(工业生产者出厂价格指数)数据。3月,CPI环比持平,同比上涨1 5%;PPI环比上涨,同比 更多

2022-04-12 08:43:13
+ 点击查看更多精彩
股市到底了?美联储加息对A股有何影响?
    过去一个多季度以来A股市场不断调整,另一方面,美联储加息的靴子...
多家新三板转投北交所  6家公司去年净利润均超过3000万元
    随着年报披露结束,新三板公司掀起了北交所IPO的申报热潮,杭摩集...
市场走弱发行陷“冰点” 新基规模较去年同期1.21万亿元下降逾七成
    由于今年市场走弱,基金新发市场明显遇冷。同花顺数据显示,按基...
一季度工业经济:工业企业继续保持平稳增长态势 部分行业利润增速加快
    随着减税降费、助企纾困政策持续显效发力,工业企业继续保持平稳...
人社部详解个人养老金制度 多层次养老保险体系主要有“三支柱”
    个人养老金听着新鲜,实施起来是否复杂?《关于推动个人养老金发展...
国资委:一季度中央企业累计实现营收收入9万亿元 实现净利润同比增长13.7%
    4月19日,在国务院新闻办举行的一季度央企经济运行情况新闻发布会...