(零基础语音识别task5)模型改进与优化2

最新推荐文章于 2025-06-05 06:45:00 发布
最新推荐文章于 2025-06-05 06:45:00 发布
阅读量169 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57200091/article/details/116036523
本文探讨了如何基于task0的baseline优化模型，主要关注增加训练数量、扩大特征值范围和多次训练取均值等方法。作者通过print函数发现fn代表训练数据，并考虑使用GAN增加训练样本。在数据转换过程中，transpose操作可能改变序列结构，但其具体作用尚待深入理解。由于时间限制，博主计划后续继续研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这一篇承接上文，实际操作模型改进。
以task0的baseline为核心进行改进。
大概有几个方向是主要改进方向。

增加训练数量
扩大特征值范围
增加比较次数取均值（多次训练模型）

打算从改进模型训练方式进行调优，但是要先了解代码的意义(python基础不好QAQ）下图是baseline的计算数据特征函数的构造阶段

在这里插入图片描述
原先我并不知道fn的意义，用print之后
在这里插入图片描述
fn 代表的是训练集里的每一个数据。如果想用GAN来添加训练集从这里入手。

在这里插入图片描述
在后文的数据转换中（如上图）,用transpose改变了temp 的序列？暂时不清楚意义。

这几天比较忙，暂时先到这里。

Fridayssss
关注
动手训练粤语语音识别模型
08-09 894
在最后一步，我们定义了与训练相关的所有参数。在这里，我们将训练步数设置为100。这足够多的步数，可以与预训练的Whisper模型相比看到很大的词错误率（WER）改进。更多参数说明，参阅：https://huggingface.co/docs/transformers/main_classes/trainer#transformers.Seq2SeqTrainingArgumentsoutput_dir="./whisper-tiny-zh-HK", # 模型上传到HF Hub的名称。
语音识别模型 SenseVoice 模型架构解析
zhangjiaofa的专栏
03-10 473
16kHz采样率的WAV音频，单样本建议≤50秒（支持长音频但需分段处理）。，包含多层Transformer与记忆增强自注意力机制。：80维对数梅尔滤波器组特征，通过帧堆叠和下采样（6倍压缩）处理时序数据。情感识别准确率在测试集上达到87.2%，超过专用SER模型3.5个百分点。该脚本会将音频路径与标注文本转换为模型可读的序列化格式。（逆文本规范化标记）为可训练参数。：需包含语音内容文本、情感标签（如。: 启用语音活动检测优化长音频处理。: 启用标点预测模块。: 解决显存不足问题。
如何利用 Whisper 模型进行多语言语音识别的优化和定制？
借雨醉东风的博客
09-14 1631
利用Whisper模型进行多语言语音识别的优化和定制，可以从以下几个方面入手：
(零基础语音识别task5)模型改进与优化
weixin_57200091的博客
04-21 347
aaa
基于ASRT中文语音识别系统的优化
初级菜鸟
06-19 3370
该项目是基于CNN+CTC网络实现，中文标注是拼音，解码使用HMM，项目地址：https://github.com/nl8590687/ASRT_SpeechRecognition 该项目很不错，但是本人用原版项目代码进行训练测试无法达到较好的效果，然后对其做了一些改动，时间有限最终拼音ER在11%左右，词错误率WER 在33%左右，数据集使用aishell，thchs30，ST-CMDS 原版项目解释可以参考github上的说明，比较详细，下面说下优化部分： 模型架构使用VGG（微调结构适配频谱图）
语音识别任务中除了模型以外的可以提升性能的技巧
m_xiang的博客
04-24 3293
对于端对端模型来说，通过数据增强和Dropout的方法可以提高模型的性能。在语音识别中也是如此，之前，我公众号没有写过关于语音识别任务的数据增强的技巧，最近做了大规模的语音识别实践发现，数据增强对于小数据集而言简直就是雪中送炭，当然，如果你拥有大体量的数万小时的语音数据库，而且又能囊括全国各地不同口音风格，那么数据增强理论上也能起到锦上添花的作用。今天基于Salesforce Research的这...
语音识别中声学模型得分计算优化方法
weixin_34129696的博客
06-18 430
摘要 语音是人们沟通交流最直接、最自然的交互方式。自计算机问世以来，人们就一直希望可以通过语音实现人和计算机之间的交互，而语音识别技术，目标就是通过把人类的语音中的词汇内容转换为相应的文本，架起了人机交互的桥梁。对于一个语音识别系统，速度和精度是两个核心指标，直接决定着系统是否可用。其中，识别速度的提升意味着可以降低成本，同时提供更多的语音服务，一直是语音...
微调Whisper语音识别模型和加速推理
热门推荐
夜雨飘零
04-23 1万+
OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调，目前开源了好几个模型，具体可以在openai查看，下面列出了常用的几个模型。另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。
Whisper：OpenAI通用语音识别模型全面解析与实践指南
gs80140的专栏
06-05 1792
随着多语言处理和语音识别技术的飞速发展，OpenAI 发布的 Whisper 模型为开发者带来了一个开源、高性能、用途广泛的语音识别解决方案。本文将详细介绍 Whisper 的模型架构、使用方式、性能对比及其 Python 实践示例，帮助你快速上手并集成至自己的项目中。
零基础入门语音识别-食物声音识别Task5
weixin_57171836的博客
04-22 231
零基础入门语音识别-食物声音识别 食物声音识别之模型改进与优化 Task5 自主尝试模型的改进与优化 本次新人赛是Datawhale与天池联合发起的零基础入门系列赛事第八场 —— 零零基础入门语音识别-食物声音识别挑战赛。 baseline由开源学习组织Datawhale提供 https://github.com/datawhalechina/team-learning ...
AI大模型语音识别转文字
mnwl12_0的博客
12-29 3878
本项目作用在于将常见的会议录音文件、各种语种音频文件进行转录成相应的文字，也可从特定视频中提取对应音频进行转录程文字保存在本地。最原始的从所给网址下载对应视频和音频进行处理。下载ffmpeg(​。
零基础语音识别task_5模型的改进与优化
m0_57173763的博客
04-21 442
这次学习我们首先学习了过拟合与欠拟合，过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现较差。欠拟合指的是模型在训练和预测时表现都不好的情况。 可以看出，图（a）是欠拟合的情况，拟合的黄线没有很好地捕捉到数据的特征，不能够很好地拟合数据。图（c）则是过拟合的情况，模型过于复杂，把噪声数据的特征也学习到模型中，导致模型泛化能力下降，在后期应用过程中很容易输出错误的预测结果。 ...
零基础入门语音识别-食物语音识别Task06
wensaaaa的博客
04-23 200
本次新人赛是Datawhale与天池联合发起的零基础入门系列赛事第八场 —— 零基础入门语音识别-食物声音识别挑战赛。 baseline及用图由开源学习组织Datawhale提供 https://github.com/datawhalechina/team-learning 语音识别基础与发展 语音识别的基础 语音识别全称为“自动语音识别”，Automatic Speech Recognition (ASR), 一般是指将语音序列转换成文本序列。语音识别最终是统计优化问题，给定输入序列O={O1,…,On}
应用CNN卷积神经网络构建的auto encoder自编码器，经过训练实现了对带有噪点的MNIST手写字体图片进行去噪的处理
最新发布
08-15
资源下载链接为： https://pan.quark.cn/s/864eaed220e0 应用CNN卷积神经网络构建的auto encoder自编码器，经过训练实现了对带有噪点的MNIST手写字体图片进行去噪的处理（最新、最全版本！打开链接下载即可用！）
IP-guard应用程序预定义库
08-15
IP-guard应用程序预定义库
CH341A编程器软件1.3支持25Q256等32M芯片
08-15
CH341A编程器是一款广泛应用的通用编程设备，尤其在电子工程和嵌入式系统开发领域中，它被用来烧录各种类型的微控制器、存储器和其他IC芯片。这款编程器的最新版本为1.3，它的一个显著特点是增加了对25Q256等32M芯片的支持。 25Q256是一种串行EEPROM（电可擦可编程只读存储器）芯片，通常用于存储程序代码、配置数据或其他非易失性信息。32M在这里指的是存储容量，即该芯片可以存储32兆位（Mbit）的数据，换算成字节数就是4MB。这种大容量的存储器在许多嵌入式系统中都有应用，例如汽车电子、工业控制、消费电子设备等。 CH341A编程器的1.3版更新，意味着它可以与更多的芯片型号兼容，特别是针对32M容量的芯片进行了优化，提高了编程效率和稳定性。26系列芯片通常指的是Microchip公司的25系列SPI（串行外围接口）EEPROM产品线，这些芯片广泛应用于各种需要小体积、低功耗和非易失性存储的应用场景。 全功能版的CH341A编程器不仅支持25Q256，还支持其他大容量芯片，这意味着它具有广泛的兼容性，能够满足不同项目的需求。这包括但不限于微控制器、EPROM、EEPROM、闪存、逻辑门电路等多种类型芯片的编程。 使用CH341A编程器进行编程操作时，首先需要将设备通过USB连接到计算机，然后安装相应的驱动程序和编程软件。在本例中，压缩包中的"CH341A_1.30"很可能是编程软件的安装程序。安装后，用户可以通过软件界面选择需要编程的芯片类型，加载待烧录的固件或数据，然后执行编程操作。编程过程中需要注意的是，确保正确设置芯片的电压、时钟频率等参数，以防止损坏芯片。 CH341A编程器1.3版是面向电子爱好者和专业工程师的一款实用工具，其强大的兼容性和易用性使其在众多编程器中脱颖而出。对于需要处理25Q256等32M芯片的项目，或者26系列芯片的编程工作，CH341A编程器是理想的选择。通过持续的软件更新和升级，它保持了与现代电子技术同步，确保用户能方便地对各种芯片进行编程和调试。
修改多多巴枪SN软件，小白慎用
08-15
修改多多巴枪SN软件，小白慎用，米商巴枪的改机包
Python变量与数据类型详解
08-15
Python变量与数据类型详解
基于SpringBoot技术的校园招聘系统的设计与实现.doc
08-15
基于SpringBoot技术的校园招聘系统的设计与实现
语音识别tensorflow模型
07-27
语音识别的TensorFlow模型可以使用百度在PaddlePaddle上实现的Deepspeech2模型进行转换。这个模型在功能上非常强大。在TensorFlow中，可以使用一些功能来实现语音识别模型。具体的实现步骤可以参考以下目录中的文章...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值