SpellGCN: Incorporating Phonological and Visual Similarities intoLanguage Models

最新推荐文章于 2024-09-23 19:21:09 发布
最新推荐文章于 2024-09-23 19:21:09 发布
阅读量500 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文阅读 文章标签： 语言模型 bert spellgcn 中文纠错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltochange/article/details/122234494
该博客探讨了一种创新方法，通过图卷积网络（GCN）改变BERT分类层的权重初始化，以提高模型性能。作者分析了复现结果，并提出疑问：如何更好地整合混淆词信息并确保模型在不同领域数据集上的迁移学习能力。博客内容涉及自然语言处理、深度学习和模型优化技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

模型结构图：

创新点：通过图卷积网络改变了分类层的权值W (原来直接使用bert的embedding层权值初始化)

复现结果以及分析：

那么还有什么方法可以更好的融入易混词（混淆集）的相关信息，并且是可迁移到很多不同领域的数据集上呢（可学习）？

SpellGCN学习
雾里闹的博客
09-07 2998
SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check paper code 这个是2020年蚂蚁金服在ACL上的一篇论文，主要思路是使用GCN将发音和形状相似的字符的嵌入向量进行融合，然后使用bert作为基模型进行字符级别的分类，最后使用softmax进行目标字符预测。 模型整体由两个模块组成，模块一为SpellGCN，模块二为抽取模型（满足输入
2021-07-23-CSC-Survey
DeepIndeed
07-28 1158
中文文本纠错 @(自然语言处理)[纠错] 常见错误类型 在中文中，常见的错误类型大概有如下几类： 由于字音字形相似导致的错字形式：体脂称—>体脂秤 多字错误：iphonee —> iphone 少字错误：爱有天意 --> 假如爱有天意 顺序错误: 表达难以 --> 难以表达 纠错组成模块 纠错一般分两大模块： 错误检测：识别错误发生的位置 错误纠正：对疑似的错误词，根据字音...
SpellGCN:拼写GCN
05-08
拼写GCN 是中文拼写检查的一种方法，它将视觉和形态学知识嵌入到BERT中。 该存储库包含数据，评估和培训脚本。 引文： @inproceedings{DBLP:journals/corr/abs-2004-14166, author = {Xingyi Cheng and Weidi Xu and Kunlong Chen and Shaohua Jiang and Feng Wang and Taifeng Wang and Wei Chu and Yuan Qi}, title={SpellGCN: Incorporating Phonological an
论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese S
夏栀的博客
09-12 1409
论文解读：SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check（2020ACL） 简要信息： 序号 属性 值 1 模型名称 SpellGCN 2 所属领域 自然语言处理 3 研究内容 中文拼写纠错 4 核心内容 语言模型、图神经网络 5 GitHub源码 https://github.com/ACL2020Spel
SpellGCN
Jae_q的博客
09-27 893
layout: post title: GCN subtitle: date: 2020-6-27 author: RJ header-img: catalog: true tags: - project GCN 相关论文 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS ABSTRACT We present a scalable approach for semi-supervis.
SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelli
mohen_777的博客
09-23 532
为此，本文提出通过专门的图卷积网络(SpellGCN)将语音和视觉相似性知识纳入CSC(Chinese Spelling Check)的语言模型。相同的发音和不同的音调；文中，作者提出一个拼写检查的卷积图网络模型，其能够捕捉发音/形状的相似性，并探索字符之间的先验依赖关系。SpellGCN的目标是学习一个map函数，通过Ap与As的卷积操作，将第L层的输入节点embedding HL∈RN×D(这里的D是字符embedding的维度)映射成一个新的表示HL+1。图卷积运算的目的是吸收图中相邻字符的信息。
文本语法纠错不完全调研：学术界 v.s. 工业界最新研究进展
Paper weekly
07-24 3087
©作者|岳天驰单位|腾讯研究方向|自然语言处理背景由于用户在文本输入法，语音输入法使用上的随意性，后续又缺少审核，极易产生语法错误内容。近年来随着自媒体的热潮，人人都是信息的...
滴滴语音交互自然语言理解探索与实践
DiDi_Tech的博客
11-18 6444
桔妹导读：滴滴是一个让出行变得更美好的公司，语音交互作为出行领域最安全，最自然的交互方式在滴滴内部有着广泛的应用前景，目前滴滴语音交互已经应用在智能外呼，司机端，地图，车机系统多个领域中...
必读：ICLR 2020 的50篇推荐阅读论文
AI科技大本营
10-30 1万+
来源 |香侬科技本文整理了ICLR2020的相关论文，此次分享的是从Openreview中选取的部分论文，共50篇，其中大部分为NLP相关。文中涉及的相关论文推荐指数与推荐理由仅为个人观点，利益无关，亦不代表香侬科技立场。希望大家可以从中获得启发。推荐指数4.0论文论文1Reducing Transformer Depth on Demand with Structured Dropoutht...
中文语法纠错论文解读（一）
热门推荐
ltochange的博客
10-28 1万+
NLPTEA-2017CGED比赛第一名 1.Alibaba at IJCNLP-2017 Task 1: Embedding Grammatical Features into LSTMs for Chinese Grammatical Error Diagnosis Task 相关介绍：http://www.sohu.com/a/206342111_473283 NLPTEA-2...
论文理解（一）树形lstm
ltochange的博客
05-13 1万+
Long Short-Term Memory Over Tree Structures 树结构的lstm中的记忆细胞可以通过递归的过程反映多个孩子及后代的历史信息。孩子节点之间是否有交互（图一）？提供一种特定的方法考虑不同等级上的长距离交互。例如语言和图像的解析结构。 用s-lstm的记忆模块代替递归模型中的组合层，应用在通过语义组合来理解一段文本。句子的语义并不是线性的拼接，他是有结构的。与
论文中的一些数学符号表示
ltochange的博客
06-14 8592
（1）向量的点乘，也叫数量积。结果是一个向量在另一个向量方向上投影的长度，是一个标量。 对于向量aaa和bbb，A=[a1,a2,…an]A=\left[a_{1}, a_{2}, \ldots a_{n}\right] \quadA=[a1​,a2​,…an​]，B=[b1,b2,…bn]B=\left[b_{1}, b_{2}, \ldots b_{n}\right] \quadB=[b1​,b2​,…bn​] A⋅B=∑aibi\mathrm{A} \cdot \mathbf{B}=\sum a...
The Penn Discourse TreeBank 2.0
ltochange的博客
06-09 2604
论文The Penn Discourse TreeBank 2.0 主要介绍了第二版PDTB数据集 摘要 对100万词华尔街日报语料库进行标注，标注其基于词汇的语篇关系（Discourse relations）及其对应的两个arguments，主要包含一下三个部分： （1）语篇关系及其arguments （2）语义标注 （3）归因标注 这里说得可能有点抽象，后面会针对每一个做具体的解释。 注意：Penn Discourse TreeBank （PDTB）数据集与Penn Treebank（PTB）数据集，P
The Past Mistake is the Future Wisdom: Error-driven ContrastiveProbability Optimization for Chinese
ltochange的博客
04-14 2561
acl2022 中文纠错最新论文
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
ltochange的博客
01-08 2445
Mask-Predict: Parallel Decoding of Conditional Masked Language Models 来源：EMNLP2019 链接：https://arxiv.org/pdf/1904.09324.pdf 代码：https://github.com/facebookresearch/Mask-Predict 动机 大部分的神经机器翻译模型(se...
Self-Supervised Curriculum Learning for Spelling Error Correction
ltochange的博客
01-19 2371
半监督课程学习用于中文拼写纠错任务 课程学习(CL) 以一种从易到难的顺序促进模型训练，该方法需要对数据难度和训练细则进行仔细设计。 纠错中得数据的难易程度受许多因素的影响，如句子长度、词的稀缺性和错误的多样性等 论文提出将训练损失作为数据难度的度量(即损失越大的数据越难学习)，并基于训练过程中的损失下降程度来评估模型能力(即损失越小的模型性能越好)。 算法流程如下： 算法步骤： 1. 在原有构造的数据上，训练模型1epoch，得到初始纠错模型 2. 利用初始纠错模型以及如下两个公式计
TENER: Adapting Transformer Encoder for Name Entity Recognition
ltochange的博客
08-20 1452
TENER: Adapting Transformer Encoder for Name Entity Recognition 来源：arxiv 链接：https://arxiv.org/pdf/1911.04474.pdf 代码：暂无 动机 Transformer模型以其良好的并行性能力以及出色的效果，被广泛应用于nlp领域的各大任务，例如机器翻译，预训练语言模型等。博客（https://zhuanlan.zhihu.com/p/54743941）也从多个方面，实验论证Tran...
论文阅读-FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell Checker Based
ltochange的博客
03-14 1402
来源：爱奇艺EMNLP2019 Workshop 论文：https://aclanthology.org/D19-5522.pdf 代码：GitHub - iqiyi/FASPell: 2019-SOTA简繁中文拼写检查工具：FASPell Chinese Spell Checker (Chinese Spell Check / 中文拼写检错 / 中文拼写纠错 / 中文拼写检查) 目录 模型结构 1. 基于bert掩码语言模型的微调 2. 基于汉字相似度的解码器 汉字相似度 实验结果..
Felix: Flexible Text Editing Through Tagging and Insertion (2020-03）
ltochange的博客
05-22 659
论文地址：https://arxiv.org/pdf/1911.03829.pdf 除了翻译之外，对大部分的序列到序列任务，其目标句子和源句子高度重合，比如句子复述、文本摘要、语法纠错等等。因此，有时候不必从头开始生成文本，而是基于源句子一步一步修改到目标句子。 论文提出的模型，将文本生成任务转为文本编辑任务，并使用BERT模型进行预测。使用三个单独训练的模块进行处理。 首先是一个tagging模型，使用BERT，对输入x进行标注，得到yt。标注类别有KEEP，DEL，INSERT（INS）。源toke
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
最新发布
03-31
# Decoder layers incorporating lightweight attention modules self.decoder = [ torch.nn.ConvTranspose2d(128, 64, kernel_size=2, stride=2), ... ] self.final_conv = torch.nn.Conv2d(64, num_classes...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺旺棒棒冰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值