【深度学习】网络结构、损失函数、激活函数、训练过程、手写体识别、编辑距离 总结

通过预训练和微调的方式，BERT在多种NLP任务中取得了优异成绩，如阅读理解、命名实体识别和问答系统等。ERNIE是百度推出的一种基于Transformer的自然语言处理模型，其特点是引入领域知识和多任务学习。学习经典模型：了解经典的深度学习模型和算法，如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）等。随着研究的深入和技术的进步，深度学习将在更多领域发挥重要作用，推动人工智能技术的发展和应用。参加线上课程和讲座：报名参加优质的线上课程、讲座和研讨会，与其他学习者和专家互动。

关于深度学习的一些总结 一、DGL 1、Deep Graph Library（DGL）是一个Python软件包，用于在现有DL框架（例如PyTorch，MXNet，Gluon等）之上实现图神经网络模型。DGL将图神经网络的实现简化为声明一组函数。 2、DGL.NN 模块是用户构建GNN图神经网络的基本模块，其中dgl.nn.pytorch.SAGRConv 是GraphSAGE模型中使用的图卷积模块，用这个模块去完成消息传递计算。 3、对于利用DGL构建自定义的GCN，其中核心是消息传递函数，即如何将节点周

编辑距离，又被称为Levenshtein距离，是指两个字符串之间，由其中一个转变成另一个所需的最小编辑操作次数。 比如："sea" 转变为 "eat" 需要2次操作： 1、将 s 删除 2、在末尾添加 t 所以"sea"和"eat"两个字串的编辑距离为2。 这里需要注意的是：所谓的操作只包含 (1) 插入 (2) 删除 (3) 替换 ，并不包括字符的交换操作！   编辑距离的应用： ...

思路见：https://blog.csdn.net/zhonglixianyun/article/details/82150621 if __name__=='__main__': str1='ALGORITHM' str2='ALTRUISTIC' m=len(str1) n=len(str2) d=[[0 for j in range(n+1)] f...

Python基于深度学习的手写数字识别1.代码的功能和运行方法2. 网络设计3.训练方法4.实验结果分析5.结论 1.代码的功能和运行方法 代码可以实现任意数字0-9的识别，只需要将图片载入网络，或者用鼠标绘画，都可以预测其数字。 1.首先下载压缩包所有文件，安装pytorch，pytorch的安装教程可以在pytorch官网找到（https://pytorch.org/）。 2.然后打开编辑器（...

数据集下载在科研、开发等诸多领域都具有举足轻重的地位。通过本文，我们全面了解了丰富多样的数据集资源，涵盖目标检测、图像分类、语义分割、人体姿态估计、医学图像、自动驾驶等多个关键领域。这些数据集为各领域的研究和创新提供了坚实的数据基础，无论是推动学术研究的深入发展，还是助力企业开发出更具竞争力的产品和服务，都发挥着不可或缺的作用。我们还详细介绍了众多实用的数据集下载网站，包括综合类的Kaggle、OpenDataLab，以及专业领域的地理空间数据云、中国科学院资源环境科学与数据中心、中国资源卫星应用中心等。

深度学习课程 DAY 6 - 图像分类问题：手写数字识别案例（四）Chapter 3 图像分类问题3.5 模型优化之损失函数（1）概述（2）分类任务的损失函数1）Softmax函数2）交叉熵3）交叉熵的代码实现 Chapter 3 图像分类问题 3.5 模型优化之损失函数 （1）概述 上一节尝试通过更复杂的模型（经典的全连接神经网络和卷积神经网络），提升手写数字识别模型训练的准确性。本节探讨损失函数的优化对模型训练效果的影响。 损失函数是模型优化的目标，用于在众多的参数取值中，识别最理想的取值。损失函数的计

文章目录一、简介二、原理三、求解分析四、递归求解五、动态规划求解 一、简介 编辑距离在NLP中是一种比较比较实用，且原理简单的一种算法，一般用与拼写纠错，相似度计算等，特别是在搜索领域，可以一定量的帮助用户进行拼写纠错。 二、原理 本文没有屌炸天的数学公式，读起来不需要那么费劲！ 假设你正在百度输入框中想搜索编辑距离，结果手残输成了遍地距离，坐在你身边的女朋友哈哈大笑说你不行，然后她飞快的输入，...

POJ - 3356 AGTC Time Limit:1000MS Memory Limit:65536KB 64bit IO Format:%I64d & %I64u Description Letxandybe two strings over some fini...

分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...

上图证明,权重的导数和误差有某种关系,计算的时候也会用到,也就是说误差可以通过某种函数表达权重导数,导数的反导就是这个函数 所以神经网络的loss函数非常重要, 直接影响神经网络的结构和物理意义,虽然我们无法理解这个网络物理意义 arc_face直接证明了loss和神经网络的关系, ...

该文发布的主要原因是深度学习期末开卷考试，因此整理了NN，CNN，RNN，GAN各个网络模型原理和相关知识。 并对如何设计一个神经网络提出相关讨论，以及对神经网络中损失函数，优化算法等也举例，分享大家，一起进步

搞自然语言处理的应该不会对这个概念感到陌生，编辑距离就是用来计算从原串（s）转换到目标串(t)所需要的最少的插入，删除和替换的数目，在NLP中应用比较广泛，如一些评测方法中就用到了（wer,mWer等），同时也常用来计算你对原文本所作的改动数。 编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫Levenshtein Distance。 Levenshtein distanc