开源工具入口

CANAL

可以通过Canal 配置使用手册配置完成,将Mysql日志写入数据管道,然后通过新建同步任务将日志数据还原到关系型数据库(MysqlOracle以及PostgreSQL)中。

详细操作可见下载的Canal 配置使用手册。

针对带有Kerberos认证的Kafka集群,canal需要添加以下配置:

{canal安装目录}/bin/startup.sh,添加:JAVA_OPTS="$JAVA_OPTS -Djava.security.auth.login.config={jaas.conf路径}"

·          修改{canal安装目录}/conf/canal.properties

canal.serverMode = kafka

canal.mq.servers = {kafka的节点IP:端口}

canal.mq.kafka.kerberos.enable = true

canal.mq.kafka.kerberos.krb5FilePath = {krb5.conf绝对路径}

canal.mq.kafka.kerberos.jaasFilePath = {jaas.conf绝对路径}

·          修改{canal安装目录}/conf/example/instance.properties

canal.instance.master.address={数据库地址和端口}

canal.instance.filter.regex={抽取的表名,文档中有说明}

canal.mq.topic={主题名}

·          启动推荐使用用户自定义,不需要托管给admin,到{canal安装目录}/bin目录,执行如下命令:

sh startup.sh ../conf/canal.properties

如果运行任务时,提示错缺少log4jjar包,放入一个相应log4j-1.2.17.jar包即可。

 

CANAL ADMIN

可以通过Canal Admin 配置使用手册配置完成,可以管理每个canal server

详细操作可见下载的Canal Admin配置使用手册。

OGG

单击<跳转映射列表页面>按钮,可以跳转至映射列表页面。在该页面中可以查看OGG列表,可以点击<下载用户手册>,安装和使用OGG软件。

针对带有Kerberos认证的Kafka集群,Kafka节点安装的OGG需要添加以下配置:

·          {安装目录}/dirprm/custom_kafka_producer.properties,添加:

security.protocol=SASL_PLAINTEXT

sasl.kerberos.service.name=kafka

sasl.mechanism=GSSAPI

·          {安装目录}/dirprm/kafka.props,添加:

jvm.bootoptions=-Xmx64m -Xms64m -Djava.class.path={安装目录}/ggjava/ggjava.jar -Dlog4j.configuration=log4j.properties -Djava.security.auth.login.config={jaas.conf全路径} -Djava.security.krb5.conf={krb5.conf全路径}