- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
24-Kafka配置
本章节下载： 24-Kafka配置 (205.14 KB)
目 录
Kafka是一种分布式的、基于消息的消息发布-订阅系统。Kafka采用客户端/服务器通信模型。在Kafka系统中，设备作为客户端，可以将本地生成的日志、告警封装成Kafka消息，发布到Kafka服务器（Broker），以便将设备集成到用户的Kafka系统中，网络管理员可以通过Kafka系统来管理设备。
Kafka系统具有以下特点：
· 高吞吐量：可支持每秒数百万级别的消息的生产和消费。
· 持久性：Kafka提供了一套完整的消息存储机制，支持TB量级消息的高效、安全、稳定持久化存储。
基于以上特点，Kafka在大数据分析和集成业务中得到了广泛的应用。
· Broker：消息接收者和存储者，Kafka通信模型中的服务器，负责存储消息。多个Broker可组建一个Kafka集群。
· Producer：消息生产者（也称发布者），Kafka通信模型中的客户端，负责生产消息并将消息发布到Kafka Broker。
· Consumer：消息消费者（也称订阅者），Kafka通信模型中的客户端，从Kafka Broker读取消息的客户端。多个Consumer可组建一个消费者群组（Consumer Group）。
· Topic：消息主题，用于对消息进行分类管理。设备支持按照软件模块（例如Alarm软件模块）划分主题，同一软件模块生成的日志、告警在封装成Kafka消息时，会添加相同的主题。
· Kafka服务实例：用于管理和配置Kafka服务。在Kafka服务实例视图下，可以绑定Kafka Broker、配置消息的主题和格式。
如图1-1所示，Kafka工作原理如下：
(1) 设备作为Kafka消息生产者，将生成的消息按照指定的格式和主题，发布给Kafka Broker。
设备支持发送的Kafka消息例如：
¡ CPU利用率超阈值告警和恢复消息
¡ 空闲内存低于阈值告警和恢复消息
¡ 接口状态由up变为down告警和恢复消息
¡ 基础License过期告警和恢复消息
¡ 路由表超阈值告警和恢复消息
¡ ARP表超阈值告警和恢复消息
¡ BGP邻居断开告警和恢复消息
(2) Consumer基于主题订阅消息，从Kafka Broker获取消息。
图1-1 Kafka工作原理图
(1) 进入系统视图。
system-view
(2) 创建Kafka服务实例，并进入Kafka服务实例视图。
kafka-service service-name
缺省情况下，不存在Kafka服务实例。
(3) 配置Kafka消息的主题。
topic module topic-name
缺省情况下，未配置Kafka消息的主题。
(4) 配置发送给Kafka Broker的消息格式。
format string
缺省情况下，未配置发送给Kafka Broker的消息格式。
(5) 配置Kafka服务实例绑定的Kafka Broker。
broker [ vpn-instance vpn-instance-name ] { host-name | ipv4-address | ipv6 ipv6-address } port port-number
缺省情况下，Kafka服务实例未绑定Kafka Broker。
将设备集成到用户的Kafka系统中，以便设备发生用户关注的重要事件时，Kafka系统能感知该事件：设备能以Kafka消息的形式告知Consumer，使得网络管理员可以通过Kafka系统来管理设备。
图1-2 Kafka基本功能配置组网图
(1) 配置各设备的IP地址。（配置过程略）
(2) 配置静态路由或动态路由协议，确保各设备之间路由可达。（配置过程略）
(3) 配置Producer
# 创建Kafka服务实例suyan，并进入Kafka服务实例视图。
<Producer> system-view
[Producer] kafka-service suyan
# 配置alarm模块发送消息的主题名为suyan-alarm。
[Producer-kafka-service-suyan] topic alarm suyan-alarm
# 配置发送给Kafka Broker的消息格式为suyan-cloud。
[Producer-kafka-service-suyan] format suyan-cloud
# 配置Kafka服务实例绑定的Kafka Broker的IP地址为1.1.10.1，端口号为5145。
[Producer-kafka-service-suyan] broker 1.1.10.1 port 5145
[Producer-kafka-service-suyan] quit
在Producer的闲置接口上执行shutdown和undo shutdown命令，Consumer上可以收到主题为suyan-alarm的、接口状态变化的消息。
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!
支持
