可以通过Canal 配置使用手册配置完成,将Mysql日志写入数据管道,然后通过新建同步任务将日志数据还原到关系型数据库(Mysql、Oracle以及PostgreSQL)中。
详细操作可见下载的Canal 配置使用手册。
针对带有Kerberos认证的Kafka集群,canal需要添加以下配置: 在{canal安装目录}/bin/startup.sh,添加:JAVA_OPTS="$JAVA_OPTS -Djava.security.auth.login.config={jaas.conf路径}"。 · 修改{canal安装目录}/conf/canal.properties: canal.serverMode = kafka canal.mq.servers = {kafka的节点IP:端口} canal.mq.kafka.kerberos.enable = true canal.mq.kafka.kerberos.krb5FilePath = {krb5.conf绝对路径} canal.mq.kafka.kerberos.jaasFilePath = {jaas.conf绝对路径} · 修改{canal安装目录}/conf/example/instance.properties: canal.instance.master.address={数据库地址和端口} canal.instance.filter.regex={抽取的表名,文档中有说明} canal.mq.topic={主题名} · 启动推荐使用用户自定义,不需要托管给admin,到{canal安装目录}/bin目录,执行如下命令: sh startup.sh ../conf/canal.properties 如果运行任务时,提示错缺少log4j的jar包,放入一个相应log4j-1.2.17.jar包即可。 |
可以通过Canal Admin 配置使用手册配置完成,可以管理每个canal server。
详细操作可见下载的Canal Admin配置使用手册。
单击<跳转映射列表页面>按钮,可以跳转至映射列表页面。在该页面中可以查看OGG列表,可以点击<下载用户手册>,安装和使用OGG软件。
针对带有Kerberos认证的Kafka集群,Kafka节点安装的OGG需要添加以下配置: · 在{安装目录}/dirprm/custom_kafka_producer.properties,添加: security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name=kafka sasl.mechanism=GSSAPI · 在{安装目录}/dirprm/kafka.props,添加: jvm.bootoptions=-Xmx64m -Xms64m -Djava.class.path={安装目录}/ggjava/ggjava.jar -Dlog4j.configuration=log4j.properties -Djava.security.auth.login.config={jaas.conf全路径} -Djava.security.krb5.conf={krb5.conf全路径} |