纤度-CSDN博客

原创 hugging face实战演练——命名体识别

本节内容主要对模型进行命名体识别任务的微调。

2024-12-05 00:41:08 605

原创 hugging face基础入门——Trainer

本节内容主要是对trainer函数的调用。

2024-11-28 03:30:39 1272

原创 hugging face基础入门——evaluate库的使用

本节内容主要是evaluate库的一些操作并修改之前编写的部分评估代码。

2024-11-25 02:03:48 769 1

原创 hugging face基础入门——Dataset（2）加载本地数据集

本节内容主要是加载本地规整及不规整数据集内容及一些基础操作。存取代码较为简单，主要用到save_to_dist和load_from_dist两个函数，实现硬盘上快速存取。

2024-11-23 02:55:50 1847

原创 hugging face基础入门——Dataset（1）加载数据集

本节内容主要是加载官方数据集内容及一些基础操作，后续将会更新加载本地数据流程。

2024-11-22 04:00:07 1045

那么对这个小模型所做的 sequence classification的全量微调到这就结束了，后续将更新一些其他微调内容及hangingface上组件应用。然后导入下所需模型，这里我用的是IDEA-CCNL/Erlangshen-Roberta-110M-Sentiment。这里定义下我的数据集，用的是ChnSentiCorp_htl_all.csv，划分比例为0.9/0.1。接下来，定义模型的训练和推理函数进行训练，以及模型的保存。本系列下内容为跟随b站课程总结。这里我们写个测试函数。

2024-11-20 22:18:48 1008