[返回网际谈兵首页]·[所有跟帖]·[ 回复本帖 ] ·[热门原创] ·[繁體閱讀]·[版主管理]
国产GPU能快速部署DeepSeek了
送交者: 牛员外[♂☆★★★★湖边健走★★★★☆♂] 于 2025-02-05 7:08 已读 1091 次 2 赞  

牛员外的个人频道

DeepSeek V3、R1系列开源AI大模型开始被各家科技巨头支持、部署DeepSeek,国产硬件也在加速支持。国产全功能GPU摩尔线程快速实现了对DeepSeek蒸馏模型推理服务的高效部署,可让更多开发者基于摩尔线程全功能GPU,进行AI应用创新。

此外,用户也可以基于摩尔线程MTT S80、MTT S4000显卡,进行DeepSeek-R1蒸馏模型的推理部署。其实早在1月28日,就已经有B站UP主在摩尔线程MTT S80上手动完成实践。

通过DeepSeek提供的蒸馏模型,能够将大规模模型的能力迁移至更小、更高效的版本,在国产GPU上实现高性能推理。摩尔线程基于自研全功能GPU,通过开源与自研双引擎方案,快速实现了对DeepSeek蒸馏模型的推理服务部署。

基于Ollama开源框架,摩尔线程完成
DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署,并在多种中文任务中展现了优异的性能,验证摩尔线程自研全功能GPU的通用性与CUDA兼容性。通过摩尔线程自主研发的高性能推理引擎,结合软硬件协同优化技术,通过定制化的算子加速和内存管理,显著提升了模型的计算效率和资源利用率。

这一引擎不仅支持DeepSeek蒸馏模型的高效运行,还为未来更多大规模模型的部署提供了技术保障。
摩尔线程即将开放自主设计的夸娥(KUAE)GPU智算集群,全面支持DeepSeek
V3、R1模型,以及新一代蒸馏模型的分布式部署。夸娥集群集成先进推理技术与分布式计算框架,将确保大规模模型的高效稳定运行,助力开发者快速实现业务落地。

喜欢牛员外朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ 牛员外的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回网际谈兵首页]
帖子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟帖:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


    用户名:密码:[--注册ID--]

    标 题:

    粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


         图片上传  Youtube代码器  预览辅助

    打开微信,扫一扫[Scan QR Code]
    进入内容页点击屏幕右上分享按钮

    楼主本栏目热帖推荐:

    >>>>查看更多楼主社区动态...






    [ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]