canal问题排查及解决思路

问题一：

ERROR c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - dump address /192.168.1.50:3306 has an error, retrying. caused by

com.alibaba.otter.canal.parse.exception.CanalParseException: can't find start position for example

原因:meta.dat 中保存的位点信息和数据库的位点信息不一致；导致canal抓取不到数据库的动作；

解决方案：删除meta.dat删除，再重启canal，问题解决；

集群操作：进入canal对应的zookeeper集群下，删除节点/otter/canal/destinations/xxxxx/1001/cursor ；重启canal即可恢复；

问题二：

java.lang.OutOfMemoryError: Java heap space

canal消费端挂了太久，在zk对应conf下节点的

/otter/canal/destinations/test_db/1001/cursor 位点信息是很早以前，导致重启canal时，从很早以前的位点开始消费，导致canal服务器内存爆掉

监听数据库变更，只有TransactionBegin/TransactionEnd,没有拿到数据的EventType；

原因可能是canal.instance.filter.black.regex=.*\\..*导致，改canal.instance.filter.black.regex=再重启试试；

问题三：

ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:fdyb_db[com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed.

Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed.

Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: com.google.common.collect.ComputationException: com.alibaba.otter.canal.parse.exception.CanalParseException: fetch failed by table meta:​

​mysql​

​.​

​pds_4490277​

​

Caused by: com.google.common.collect.ComputationException: com.alibaba.otter.canal.parse.exception.CanalParseException: fetch failed by table meta:​

​mysql​

​.​

​pds_4490277​

​

Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: fetch failed by table meta:​

​mysql​

​.​

​pds_4490277​

​

Caused by: java.io.IOException: ErrorPacket [errorNumber=1142, fieldCount=-1, message=SELECT command denied to user 'cy_canal'@'11.217.0.224' for table 'pds_4490277', sqlState=42000, sqlStateMarker=#]

with command: desc ​

​mysql​

​.​

​pds_4490277​

​

分析：mysql系统表权限较高，canal读该表的binlog失败，位点无法移动

解决：将配置项中黑名单加上mysql下的所有表：canal.instance.filter.black.regex = mysql\\..* ，修改后canal集群不需要重启即可恢复；

其它注意点：检查下CanalConnector是否调用subscribe(filter)方法；有的话，filter需要和instance.properties的canal.instance.filter.regex一致，否则subscribe的filter会覆盖instance的配置，如果subscribe的filter是.\\..，那么相当于你消费了所有的更新数据。

问题四：

现象：数据库修改后，canal应用感知不到binlog，数据无法正常消费处理；