`

Zookeeper集群环境搭建实践

 
阅读更多

Zookeeper集群环境搭建实践

雨水/Dennis Hu 2013-3-11

摘要:Zookeeper是一个很好的集群管理工具,被大量用于分布式计算。如Hadoop以及Storm系统中。这里简单记录下Zookeeper集群环境的搭建过程。本文以Ubuntu 12.04 LTS作为操作系统环境。

准备:这里以三台ubuntu机器为例搭建一个最小的集群环境,三台服务器或者三台虚拟机均可。安装Ubuntu server的过程略,可以去http://releases.ubuntu.com/precise/下载。

第一步:服务器配置

三台Ubuntu server准备好之后,假设它们的IP地址分别为192.168.0.11,192.168.0.12和192.168.0.13. 将它们的host分别命名为zoo1,zoo2和zoo3。

安装Zookeeper需要先装JDK,Ubuntu下安装Oracle JDK的文章请参考http://www.wikihow.com/Install-Oracle-Java-JDK-on-Ubuntu-Linux

第二步:下载Zookeeper.

http://zookeeper.apache.org/releases.html去下载最新版本Zookeeper-3.4.5的安装包zookeeper-3.4.5.tar.gz.

第三步:安装Zookeeper

注:先在第一台服务器server1上分别执行(1)-(3)步。

(1)解压:这里假定以dennis作为用户名进行安装,将zookeeper-3.4.5.tar.gz放入/home/dennis目录下,然后执行”tar zxf zookeeper-3.4.5.tar.gz”解压。

(2)配置:将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg,也放在conf目录下。然后按照如下值修改其中的配置:

tickTime=2000       

dataDir=/var/lib/zookeeper/

initLimit=5

syncLimit=2

clientPort=2181

server.1=zoo1:2888:3888

server.2=zoo2:2888:3888

server.3=zoo3:2888:3888

(3)创建/var/lib/zookeeper快照目录,并创建server id文件。

       $sudo mkdir /var/lib/zookeeper

       $ cd /var/lib/zookeeper

在该目录下创建名为myid的文件,内容为1(这个值随server而改变,后面会提到)。

(4)将server1上已经配置好的/home/dennis/zookeeper-3.4.5/和/var/lib/zookeeper两个目录分别拷贝至server2和server3。然后将其上的/var/lib/zookeeper/myid的内容修改为2和3.

第四步:启动Zookeeper

一次启动三台服务器,进入Zookeeper-3.4.5目录下,执行如下启动命令:

$sudo java-cp zookeeper-3.4.5.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf\org.apache.zookeeper.server.quorum.QuorumPeerMain conf/zoo.cfg

注:启动第一台的时候可能会报错,提示zoo2和zoo3,等全部启动完成之后就不会报错了。

参考资料:

1.      http://zookeeper.apache.org/

2.       ZooKeeper Administrator's Guide

3.       Over本文结束!

分享到:
评论

相关推荐

    zookeeper 伪集群和集群环境搭建

    这个是我自己使用centerOS真实搭建的实践积累,文档包含了zookeeper伪集群和集群的搭建操作方法,还有截图和linux命令。这是实践积累,平常实操点内容并使用文档记录这些点滴,以免以后会忘记。

    集群搭建(zookeeper集群+solr集群)

    集群搭建(zookeeper集群+solr集群)整个步骤本人亲身实践过,如果自身电脑配置高,可以尝试模拟真实服务器进行搭建;

    大数据分布式集群环境搭建.docx

    centos大数据分布式集群搭建,包含hadoop spark hbase hive solr elasticsearch redis zookeeper rocketmq mongodb mariadb storm kafka docker

    分布式专题-分布式协调服务01-初步认识Zookeeper

    zookeeper 安装部署环境部署zookeeper安装&测试zookeeper节点特性zookeeper集群搭建注册中心原理zookeeper客户端命令详解Observer事务请求会话状态zookeeper应用场景后记 前言 分布式协调服务,我们主要讲四个方面 ...

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...

    搭建Hadoop集群所需的tar包.zip

    由于资源大小限制,本资源只包含hadoop+hbase+kafka+zookeeper+apache-flume,本资源用来实践尚硅谷教程的《电信客服》项目是够用的,个人实践有效

    Java思维导图xmind文件+导出图片

    从0开始搭建3个节点额度zookeeper集群 深入分析Zookeeper在disconf配置中心的应用 基于Zookeeper Watcher 核心机制深入源码分析 Zookeeper集群升级、迁移 基于Zookeeper实现分布式服务器动态上下线感知 深入...

    大数据云计算技术系列 Hadoop之Hbase从入门到精通(共243页).pdf

    HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用...

    大型分布式网站架构与实践

     1.3.4 ZooKeeper介绍与环境搭建 40  1.3.5 ZooKeeper API使用简介 43  1.3.6 zkClient的使用 47  1.3.7 路由和负载均衡的实现 50  1.4 HTTP服务网关 54  第2章 分布式系统基础设施 58  本章主要介绍和解决...

    Hadoop实战(陆嘉恒)译

    编程实践6.1 开发MapReduce 程序6.1.1 本地模式6.1.2 伪分布模式6.2 生产集群上的监视和调试6.2.1 计数器6.2.2 跳过坏记录6.2.3 用IsolationRunner重新运行出错的任务6.3 性能调优6.3.1 通过combiner来减少网络流量...

    Hadoop实战中文版

    5.5 小结 5.6 更多资源 第6章 编程实践 6.1 开发MapReduce 程序 6.1.1 本地模式 6.1.2 伪分布模式 6.2 生产集群上的监视和调试 6.2.1 计数器 6.2.2 跳过坏记录 6.2.3 用IsolationRunner重新运行出错的任务...

    tbschedule:tbschedule一个简洁的分布式任务调度引擎

    搭建zookeeper 以win7X64安装单机双集群为例, 1、复制zkEnv.cmd为zkEnv-slave1.cmd,并修改ZOOCFG=%ZOOCFGDIR%\zoo-slave1.cfg 关于zoo.cfg的配置请自行度娘或谷歌 2、复制zkServer.cmd为zkServer-slave1.cmd,修改...

    Hadoop实战中文版.PDF

    23612.4 搭建面向企业查询的分析系统——IBM的ES2项目 23812.4.1 ES2系统结构 24012.4.2 ES2爬虫 24112.4.3 ES2分析 24212.4.4 小结 24912.4.5 参考文献 250附录A HDFS文件命令 251构建hadoop运算坚实...

    Hadoop实战

    1105.5 小结 1115.6 更多资源 112第6章 编程实践 1136.1 开发MapReduce程序 1136.1.1 本地模式 1146.1.2 伪分布模式 1186.2 生产集群上的监视和调试 1236.2.1 计数器 1236.2.2 跳过坏记录 1256.2.3 用...

    最新Java面试题视频网盘,Java面试题84集、java面试专属及面试必问课程

    搭建一个java的开发环境.mp4 │ Java面试题04.java中int占几个字节.mp4 │ Java面试题05.java面向对象的特征.mp4 │ Java面试题06.装箱和拆箱.mp4 │ Java面试题07.==和equals的区别.mp4 │ Java面试题08.String.mp4...

Global site tag (gtag.js) - Google Analytics