hadoop2.9完全分布式集群搭建成功

工作   310阅读

大数据是什么,大数据技术又是什么,最近的不到两年的时间,大数据这个词越来越多的被提到,尽管是在核电站如此传统的企业里面。

随着群厂群堆管理标准逐步推广,信息化系统在接入一个又一个的核电厂用户之后,显得很吃力,就担心不堪重负,哪天系统崩溃了,那样打击就太大了。目前为了预防和提前知晓系统的运行状态,已经是做了非常完善的监控系统去自动化以及智能化监控软件和硬件的运行状态,目的就是要保证系统的全时间段可用。

除此之外,伴随着数据量的增长,系统的性能受到了影响,与时俱进,我们也想借用大数据的技术来改善它,最开始对大数据技术可谓是一无所知,只好从那些走在了前面的兄弟企业学习经验,回来逐步消化的投入运用。

从产品工具上来说,目前的大数据项目中运用到了HANA以及HADOOP,一个是希望借助与内存高速计算来提高性能,一个是通过分布式的并行计划来提高性能。关于HANA和HADOOP的资料,在接触了那么多的实施商之后,讲的非常的高大上。静下来一琢磨呢,这么高大上的东西到底怎么用,还是一无所知。

因为,技术方面的东西全部掌握在实施商的手里,而我们只是项目管理方。现在形势严峻,项目需求单位对技术一无所知已经跟不上时代的节奏了,因为企业的利润考核年年上涨,完全靠无止境的烧钱的时代已经快要过去了。

关于HANA,在前段时间使用hana做开发的时候已经了解过,但没有深入,这一点我还是记得的,如果后面项目运维需要掌握hana的更多技术的时候,仍然需要继续学习。

HADOOP,今天,在使用三台电脑,搭建了一个NAMENODE加两个DATANODE的完全分布式的集群,这也算是自研摸索HADOOP应用的开始,使用的是HADOOP2.9的版本,百度上关于2.9的使用文档还比较少,因此摸索HADOOP的过程必然是一个不断填坑的过程,只用自己真正体验过了,才知道其中的奥妙。

喜欢请常来,打赏请随意。