- 博客(168)
- 收藏
- 关注
RSS订阅原创 00初窥网络模型量化-梦开始的地方
摘要： 本文介绍了网络模型量化技术，旨在通过降低数值精度（如FP32→INT8）优化深度学习模型在边缘设备的部署。量化可减少存储、加速推理并降低功耗，适用于移动、嵌入式及边缘计算场景。核心方法包括后量化（PTQ）和量化感知训练（QAT），前者直接量化预训练模型，后者通过模拟量化误差提升精度。文章还探讨了量化原理、技术细节（如对称/非对称量化）及实现步骤，并提供了PyTorch代码示例。量化是模型工业落地的关键，能实现"低资源高产出"的部署目标。
2025-07-29 15:53:06
906
原创 为什么在模型训练的过程中有时候引入教师模型用于蒸馏？
知识蒸馏是一种通过大模型（教师模型）指导小模型（学生模型）训练的模型压缩技术。教师模型提供预测概率（soft label），学生模型结合真实标签和教师输出进行训练，利用KL散度损失和交叉熵损失优化性能。相比直接训练，蒸馏能传递更丰富的知识结构（如类间关系），使小模型获得接近大模型的效果，同时保持轻量化优势，适用于边缘设备部署等场景。核心流程是教师模型传授知识，学生模型吸收知识，最终实现高性能轻量化目标。
2025-05-31 20:48:01
414
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人