自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 GEMM(General Matrix Multiply)算子优化(CPU版,内含可运行代码)

GEMM(General Matrix Multiply)算子优化(CPU版,内含运行代码)

2025-07-11 22:18:03 868

原创 解决ptyorch安装时出现:version ‘GLIBC_2.27‘ not found问题

之前我的系统是Ubuntun22.04,这个属于比较新的服务器了,但是我最近这个新的服务器是CentOS7,版本挺低的,所以我使用anaconda安装python环境时候遇到了一些问题。这次我去看了一下知乎大神的一些回答,发现pip安装时对依赖的检查没有那么严格,我猜测可能是这个原因,也不知道后续会不会出现一些问题,不过目前我跑模型还没有。最后,如果你是自己的虚拟机下或者linux系统中可以选择升级,但是我这个是在服务器下面,大家公用,所以升级不太现实。最后我试着使用pip安装,结果发现成功了。

2025-06-25 15:07:55 563 1

原创 基于两张Nvidia 4090 的 Megatron-DeepSpeed 训练并行MoE 模型(附问题排查实录)

本文记录了使用 NVIDIA Megatron-DeepSpeed 框架训练 GPT Mixture-of-Experts (MoE) 模型的完整过程,包括环境配置、运行脚本以及在实践中遇到的典型错误

2025-05-26 19:50:24 1010

原创 Occult:一个优化并行MOE 通信的算法-系统协同设计

一篇发表于2025年ICML会议上的MOE通信问题的论文解读!

2025-05-22 17:54:35 721

原创 双RTX 4090上加载 Mixtral-8x7B 的完整实录 (附避坑指南)

双RTX 4090上加载 Mixtral-8x7B 的完整实录

2025-05-21 21:35:16 1189

原创 MoE(mixture of experts) 是什么?一篇入门级混合专家模型指南(包含MOE代码的详解)

MOE的初步介绍和代码解读哦!

2025-05-20 21:49:15 1205 1

原创 Bert预训练阶段的图解和代码解读

通过debug来see see主流Bert模型是如何实现的!

2025-05-19 21:08:42 1033

原创 手把手带你走出新手村:Ubuntu 22.04 + Transformer 搭建攻略

​一个从环境部署到项目跑通的一个全栈式流程(transformer)

2025-05-19 14:35:57 1278

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除