大数据存储题目
启动 ZooKeeper
1 | |
- 用途:ZooKeeper 是 Kafka 依赖的分布式协调服务,负责管理 Kafka 集群的元数据、节点状态等信息。在 Kafka 2.8 版本之前,ZooKeeper 是必需组件。
- 参数说明
-daemon:让 ZooKeeper 以守护进程模式在后台运行。/opt/kafka/config/zookeeper.properties:ZooKeeper 的配置文件路径,其中定义了数据存储目录、监听端口(默认 2181)等参数。
启动 Kafka 服务器
1 | |
- 用途:启动 Kafka 服务的核心组件 ——Broker 进程,负责消息的存储、传输和处理。
- 参数说明
-daemon:同样是让 Kafka 以守护进程模式后台运行。/opt/kafka/config/server.properties:Kafka Broker 的配置文件,包含 ZooKeeper 连接地址、日志存储路径、监听端口(默认 9092)等关键参数。
验证进程是否启动
1 | |
- jps 命令:Java 进程状态工具,用于查看当前系统中所有 Java 进程。
- 预期输出
QuorumPeerMain:ZooKeeper 服务进程。Kafka:Kafka Broker 进程。
注意事项
- 启动顺序:必须先启动 ZooKeeper,再启动 Kafka,因为 Kafka 依赖 ZooKeeper 进行集群协调。
- 配置文件:上述命令使用的是 Kafka 默认配置文件,生产环境中通常需要根据实际需求修改配置(如内存分配、网络参数等)。
- 进程管理:使用
-daemon参数启动的进程可以通过ps -ef | grep命令查看,也可以通过kafka-server-stop.sh和zookeeper-server-stop.sh脚本停止。
如果在执行过程中遇到问题,可以查看 /opt/kafka/logs
目录下的日志文件排查错误。
大数据存储题目
http://example.com/2024/11/07/分布式爬虫/