Skip to content

tommyMessi/crnn_ctc-centerloss

Repository files navigation

crnn_ctc-centerloss

2020.12.27更新

  1. 使用 最后一层全连接层输入的 feature 作为处理对象,即缩小这一 feature 的类内距离

  2. 实现 feature 和 label 的对齐,主要解决了 预测重复、预测漏字 时的对齐问题(需要tf1.15)

  3. 增加对关键指标的计算和追踪,训练过程更直观,方便 debug (需要tf1.15)

center 之间的距离

字符距离自己center、形近字center的距离

经过训练,字符距离差增大,预测置信度和距离差拥有一定相关性

  1. 增加 feature 的可视化,使用 tensorboard 的 embedding projector,方便debug
# 生成 embedding 图
python -m libs.projector --model=your_model_path --file=your_label_file_path --dir=your_log_dir
# 启动 tensorboard
tensorboard --logdir=your_log_dir

iter=0

iter=100

iter=500

本项目用自己想法实现阿里云栖大会中,阿里团队提到的ctc+centerloss来解决相近字的问题 pdf百度网盘链接: https://pan.baidu.com/s/13370jLcBblmqvwfprHPYXw 提取码: mejj

大概介绍

此项目是个人对pdf的一句话理解,外加尝试的结果。给大家一个解决相近字,或者ctc+centerloss的一个crnn实现方案。另外本项目适用于有debug代码能力的同学哦

环境(Requirements)

pip install -r requirements.txt

预训练模型(Model)

训练(train) 于2020.11.27更新 更简单的版本

测试(test)

  • python test.py

实验效果

  • result
  • 左面图为全量数据 可以看到对于全量也有一点提升
  • 右面图为近似字数据 对于形近字提升有15个点。提升明显并且还有增长空间

效果

  • 1
  • 'A1200622287g4811330009'
  • 2
  • '1 79.00 30.02 30.02'
  • 3
  • '令:怜,伶,邻, 冷,领,龄,铃,岭,玲,拎'
  • 4
  • '逢:缝,蓬,篷,峰,锋,逢,蜂'
  • 5
  • '成一一威,风一一凤,干一一千,土一一士,元一一无,他一一地'
  • 6
  • '素一一索,朱一一宋,都一一郡,汨一一汩,李一一季,直一一真,'

其他

训练数据与预训练模型 关注微信公众账号 hulugeAI 留言:ctc 获取 线下wx交流群入门券

声明

copy right huluge

About

ctcloss + centerloss crnn text recognition

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 3

  •  
  •  
  •  

Languages