大数据存储题目

启动 ZooKeeper

1
/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties
  • 用途:ZooKeeper 是 Kafka 依赖的分布式协调服务,负责管理 Kafka 集群的元数据、节点状态等信息。在 Kafka 2.8 版本之前,ZooKeeper 是必需组件。
  • 参数说明
    • -daemon:让 ZooKeeper 以守护进程模式在后台运行。
    • /opt/kafka/config/zookeeper.properties:ZooKeeper 的配置文件路径,其中定义了数据存储目录、监听端口(默认 2181)等参数。

启动 Kafka 服务器

1
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
  • 用途:启动 Kafka 服务的核心组件 ——Broker 进程,负责消息的存储、传输和处理。
  • 参数说明
    • -daemon:同样是让 Kafka 以守护进程模式后台运行。
    • /opt/kafka/config/server.properties:Kafka Broker 的配置文件,包含 ZooKeeper 连接地址、日志存储路径、监听端口(默认 9092)等关键参数。

验证进程是否启动

1
jps  # 应看到 QuorumPeerMain (ZooKeeper) 和 Kafka 进程
  • jps 命令:Java 进程状态工具,用于查看当前系统中所有 Java 进程。
  • 预期输出
    • QuorumPeerMain:ZooKeeper 服务进程。
    • Kafka:Kafka Broker 进程。

注意事项

  1. 启动顺序:必须先启动 ZooKeeper,再启动 Kafka,因为 Kafka 依赖 ZooKeeper 进行集群协调。
  2. 配置文件:上述命令使用的是 Kafka 默认配置文件,生产环境中通常需要根据实际需求修改配置(如内存分配、网络参数等)。
  3. 进程管理:使用 -daemon 参数启动的进程可以通过 ps -ef | grep 命令查看,也可以通过 kafka-server-stop.shzookeeper-server-stop.sh 脚本停止。

如果在执行过程中遇到问题,可以查看 /opt/kafka/logs 目录下的日志文件排查错误。


大数据存储题目
http://example.com/2024/11/07/分布式爬虫/
作者
John Doe
发布于
2024年11月7日
许可协议