Hadoop部署
1 原理
https://blog.csdn.net/aohun0743/article/details/101702331
https://cloud.tencent.com/developer/article/1924241?from=article.detail.1336692
本地模式
单机运行,只是用来演示一下官方案例。生产环境不用。
伪分布式模式
也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
完全分布式模式
多台服务器组成分布式环境。生产环境使用。
搭建:
https://blog.csdn.net/a1786742005/article/details/104104983
高可用完全分布式模式
HA高可用是Hadoop2.x才开始引入的机制,是为了解决Hadoop的单点故障问题。主要有两种部署方式,一种是NFS(Network File System)方式,另外一种是QJM(Quorum Journal Manager)方式。用得较多的是QJM方式,稳定性更好。实际操作中,生产环境的Hadoop集群搭建一般都会做HA部署。
2 使用
配置客户端访问集群