canal客户端-canal.deployer-1.1.7-SNAPSHOT.tar.gz_canaladapter同步到MySQL,更新语句没有记录则insert资源-CSDN下载

共89个文件

jar：69个

xml：11个

sh：3个

需积分: 10 44 浏览量 2023-02-14 17:19:36 上传评论收藏 102.46MB ZIP 举报

《深入理解Canal客户端：canal.deployer-1.1.7-SNAPSHOT.tar.gz剖析》 Canal，由阿里开源的一款高效、稳定的数据库增量日志订阅与消费组件，广泛应用于数据同步、实时数据接入等场景。在本篇文章中，我们将深入探讨Canal客户端——canal.deployer-1.1.7-SNAPSHOT.tar.gz的核心内容，以及其包含的lib、bin、plugin、logs、conf等目录的用途和重要性。 1. **lib目录**：这是Canal部署中的核心库文件夹，包含了运行Canal客户端所需的各种依赖JAR包。这些库涵盖了数据解析、网络通信、配置管理等多个方面，如MySQL的JDBC驱动、protobuf的Java实现、slf4j日志框架等。用户在运行Canal时，这些库文件是必不可少的，确保了Canal能够正常连接数据库，解析binlog，以及与服务器进行通讯。 2. **bin目录**：这个目录包含了Canal客户端的可执行脚本，如启动、停止Canal服务的shell脚本（start.sh、stop.sh）。通过这些脚本，用户可以方便地对Canal服务进行操作，管理Canal实例的生命周期。同时，还有一些其他辅助脚本，用于检查环境、配置等。 3. **plugin目录**：Canal支持插件扩展，此目录存放了各种插件代码，例如数据过滤、转换插件等。这些插件可以增强Canal的功能，例如根据业务需求对数据进行筛选、转换，或者对接不同的消息队列。用户可以根据实际需求选择安装和启用相应的插件。 4. **logs目录**：这是Canal的日志输出位置，包含了Canal运行过程中产生的各种日志文件。这些日志对于排查问题、监控Canal服务状态至关重要。用户可以通过分析这些日志来诊断Canal在运行过程中的异常情况，如数据同步错误、网络通信问题等。 5. **conf目录**：Canal的配置文件集中于此，如canal.properties、instance.properties等。canal.properties是Canal全局配置文件，定义了Canal服务的基本参数，如服务器地址、端口、内存分配等。instance.properties则是每个Canal实例的配置文件，包含了与特定数据库连接相关的配置，如数据库连接信息、binlog解析规则等。正确配置这些文件是成功部署和运行Canal的关键。 canal.deployer-1.1.7-SNAPSHOT.tar.gz提供了完整的Canal客户端部署包，涵盖了运行、扩展、监控和配置的所有要素。了解并熟练掌握这些组成部分，将有助于我们更好地利用Canal实现高效的数据同步和实时数据处理。

资源推荐

资源详情

资源评论

收起资源包目录

Canal客户端1.1.7.zip （89个子文件）

lib

canal.filter-1.1.7-SNAPSHOT.jar 11KB

commons-io-2.4.jar 181KB

canal.sink-1.1.7-SNAPSHOT.jar 17KB

j2objc-annotations-1.1.jar 9KB

mybatis-spring-2.0.4.jar 67KB

canal.common-1.1.7-SNAPSHOT.jar 44KB

fastjson2-2.0.15.jar 1.52MB

httpclient-4.5.1.jar 716KB

spring-jdbc-5.0.5.RELEASE.jar 392KB

spring-expression-5.0.5.RELEASE.jar 271KB

canal.instance.core-1.1.7-SNAPSHOT.jar 7KB

joda-time-2.9.4.jar 615KB

canal.server-1.1.7-SNAPSHOT.jar 65KB

zookeeper-3.4.5.jar 762KB

spring-aop-5.0.5.RELEASE.jar 357KB

aviator-2.2.1.jar 433KB

protobuf-java-3.6.1.jar 1.36MB

spring-jcl-5.0.5.RELEASE.jar 21KB

jctools-core-2.1.2.jar 246KB

spring-beans-5.0.5.RELEASE.jar 645KB

spring-orm-5.0.5.RELEASE.jar 187KB

commons-lang3-3.7.jar 488KB

logback-core-1.1.3.jar 444KB

h2-1.4.196.jar 1.74MB

netty-all-4.1.6.Final.jar 3.37MB

simpleclient_common-0.4.0.jar 6KB

canal.parse.dbsync-1.1.7-SNAPSHOT.jar 113KB

canal.parse-1.1.7-SNAPSHOT.jar 218KB

oro-2.0.8.jar 64KB

zkclient-0.10.jar 73KB

simpleclient_hotspot-0.4.0.jar 17KB

canal.deployer-1.1.7-SNAPSHOT.jar 46KB

jsr305-3.0.2.jar 19KB

commons-lang-2.6.jar 278KB

logback-classic-1.1.3.jar 274KB

commons-compress-1.9.jar 369KB

mybatis-3.5.4.jar 1.65MB

jcl-over-slf4j-1.7.12.jar 16KB

commons-codec-1.9.jar 258KB

canal.meta-1.1.7-SNAPSHOT.jar 28KB

canal.store-1.1.7-SNAPSHOT.jar 24KB

spring-core-5.0.5.RELEASE.jar 1.17MB

slf4j-api-1.7.12.jar 31KB

canal.parse.driver-1.1.7-SNAPSHOT.jar 74KB

connector.core-1.1.7-SNAPSHOT.jar 56KB

mysql-connector-java-5.1.48.jar 983KB

simpleclient_pushgateway-0.4.0.jar 6KB

disruptor-3.4.2.jar 81KB

javax.annotation-api-1.3.2.jar 26KB

canal.protocol-1.1.7-SNAPSHOT.jar 393KB

simpleclient_httpserver-0.4.0.jar 9KB

druid-1.2.15.jar 3.65MB

canal.instance.spring-1.1.7-SNAPSHOT.jar 10KB

commons-logging-1.2.jar 60KB

commons-beanutils-1.8.2.jar 226KB

spring-context-5.0.5.RELEASE.jar 1.04MB

canal.prometheus-1.1.7-SNAPSHOT.jar 43KB

canal.instance.manager-1.1.7-SNAPSHOT.jar 45KB

guava-22.0.jar 2.46MB

httpcore-4.4.3.jar 319KB

error_prone_annotations-2.0.18.jar 12KB

simpleclient-0.4.0.jar 58KB

netty-3.2.2.Final.jar 767KB

animal-sniffer-annotations-1.14.jar 3KB

spring-tx-5.0.5.RELEASE.jar 249KB

bin

startup.sh 4KB

restart.sh 226B

stop.sh 1KB

startup.bat 1KB

plugin

connector.kafka-1.1.7-SNAPSHOT-jar-with-dependencies.jar 24.37MB

connector.rocketmq-1.1.7-SNAPSHOT-jar-with-dependencies.jar 9.42MB

connector.rabbitmq-1.1.7-SNAPSHOT-jar-with-dependencies.jar 625KB

connector.pulsarmq-1.1.7-SNAPSHOT-jar-with-dependencies.jar 50.32MB

logs

conf

metrics

Canal_instances_tmpl.json 31KB

logback.xml 4KB

spring

tsdb

sql-map

sqlmap_history.xml 2KB

sqlmap-config.xml 636B

sqlmap_snapshot.xml 2KB

sql

create_table.sql 2KB

h2-tsdb.xml 3KB

mysql-tsdb.xml 4KB

base-instance.xml 2KB

group-instance.xml 15KB

default-instance.xml 11KB

memory-instance.xml 10KB

file-instance.xml 10KB

canal.properties 7KB

canal_local.properties 319B

example

instance.properties 2KB

CREATE TABLE IF NOT EXISTS `meta_snapshot` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键', `gmt_create` datetime NOT NULL COMMENT '创建时间', `gmt_modified` datetime NOT NULL COMMENT '修改时间', `destination` varchar(128) DEFAULT NULL COMMENT '通道名称', `binlog_file` varchar(64) DEFAULT NULL COMMENT 'binlog文件名', `binlog_offest` bigint(20) DEFAULT NULL COMMENT 'binlog偏移量', `binlog_master_id` varchar(64) DEFAULT NULL COMMENT 'binlog节点id', `binlog_timestamp` bigint(20) DEFAULT NULL COMMENT 'binlog应用的时间戳', `data` longtext DEFAULT NULL COMMENT '表结构数据', `extra` text DEFAULT NULL COMMENT '额外的扩展信息', PRIMARY KEY (`id`), UNIQUE KEY binlog_file_offest(`destination`,`binlog_master_id`,`binlog_file`,`binlog_offest`), KEY `destination` (`destination`), KEY `destination_timestamp` (`destination`,`binlog_timestamp`), KEY `gmt_modified` (`gmt_modified`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='表结构记录表快照表'; CREATE TABLE IF NOT EXISTS `meta_history` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键', `gmt_create` datetime NOT NULL COMMENT '创建时间', `gmt_modified` datetime NOT NULL COMMENT '修改时间', `destination` varchar(128) DEFAULT NULL COMMENT '通道名称', `binlog_file` varchar(64) DEFAULT NULL COMMENT 'binlog文件名', `binlog_offest` bigint(20) DEFAULT NULL COMMENT 'binlog偏移量', `binlog_master_id` varchar(64) DEFAULT NULL COMMENT 'binlog节点id', `binlog_timestamp` bigint(20) DEFAULT NULL COMMENT 'binlog应用的时间戳', `use_schema` varchar(1024) DEFAULT NULL COMMENT '执行sql时对应的schema', `sql_schema` varchar(1024) DEFAULT NULL COMMENT '对应的schema', `sql_table` varchar(1024) DEFAULT NULL COMMENT '对应的table', `sql_text` longtext DEFAULT NULL COMMENT '执行的sql', `sql_type` varchar(256) DEFAULT NULL COMMENT 'sql类型', `extra` text DEFAULT NULL COMMENT '额外的扩展信息', PRIMARY KEY (`id`), UNIQUE KEY binlog_file_offest(`destination`,`binlog_master_id`,`binlog_file`,`binlog_offest`), KEY `destination` (`destination`), KEY `destination_timestamp` (`destination`,`binlog_timestamp`), KEY `gmt_modified` (`gmt_modified`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='表结构变化明细表';

评论收藏

内容反馈