在CentOS上实现HDFS高可用性（High Availability, HA）主要涉及配置主备NameNode、使用ZooKeeper进行状态监控和故障切换，以及配置JournalNode来共享编辑日志以实现数据同步。以下是详细的步骤和配置说明：

架构概述Active NameNode：负责处理所有客户端请求。Standby NameNode：作为Active NameNode的备份，保持与Active NameNode的状态同步。ZooKeeper：用于监控NameNode的状态并协调故障切换。JournalNode：存储NameNode的编辑日志（edits log），用于数据同步。配置步骤

安装和配置ZooKeeper

下载并解压ZooKeeper：

wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gztar -xzf apache-zookeeper-3.8.0-bin.tar.gzcd apache-zookeeper-3.8.0

配置ZooKeeper：编辑 conf/zoo.cfg 文件，设置数据目录和客户端连接端口：

dataDir /var/lib/zookeeperclientPort 2181

在每个NameNode节点上创建 myid 文件：

echo 1 > /var/lib/zookeeper/myid

启动ZooKeeper服务：

./bin/zkServer.sh start

配置Hadoop

修改 hdfs-site.xml 文件：

<configuration><property>namedfs.nameservices/namevaluemycluster/value/</property><property>namedfs.ha.namenodes.mycluster/namevaluenn1,nn2/value/</property><property>namedfs.namenode.rpc-address.mycluster.nn1/namevaluenamenode1:8020/value/</property><property>namedfs.namenode.rpc-address.mycluster.nn2/namevaluenamenode2:8020/value/</property><property>namedfs.namenode.http-address.mycluster.nn1/namevaluenamenode1:50070/value/</property><property>namedfs.namenode.http-address.mycluster.nn2/namevaluenamenode2:50070/value/</property><property>namedfs.namenode.shared.edits.dir/namevalueqjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster/value/</property><property>namedfs.client.failover.proxy.provider.mycluster/namevalueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value/</property><property>namedfs.ha.fencing.methods/namevaluesshfence/value/</property><property>namedfs.ha.fencing.ssh.private-key-files/namevalue/root/.ssh/id_rsa/value/</property></configuration>

修改 core-site.xml 文件：

<configuration><property>namefs.defaultFS/namevaluehdfs://mycluster/value/</property></configuration>

格式化和启动NameNode

在Active NameNode上格式化NameNode：

hdfs namenode -format

启动NameNode：

sbin/hadoop-daemon.sh start namenode

将Active NameNode的元数据复制到Standby NameNode：

hdfs namenode -bootstrapStandby

启动Standby NameNode：

sbin/hadoop-daemon.sh start namenode

启动JournalNode

在每个节点上启动JournalNode进程：

sbin/hadoop-daemon.sh start journalnode

验证高可用性

使用浏览器访问 http://namenode1:50070 查看NameNode状态。模拟NameNode故障，观察Standby NameNode是否能够自动切换为Active状态。

通过以上步骤，您可以在CentOS上配置一个高可用的HDFS集群，确保在发生故障时能够快速切换并继续提供服务。