快科技2月5日音尘,当天,华为晓示,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro闲静上线昇腾社区,复古一键获得DeepSeek系列模子,复古昇腾硬件平台上开箱即用。
据了解,DeepSeek-V3首个版块于2024年上线并同步开源,为自研MoE模子,671B 参数,激活37B,在14.8T token上进行了预磨练。
据DeepSeek先容,DeepSeek-V3多项评测收获超过了Qwen2.5-72B和Llama-3.1-405B 等其他开源模子,并在性能上和寰宇顶尖的闭源模子GPT-4o以及Claude-3.5-Sonnet不分昆仲。
以下以Deepseek-V3为例,演示在昇腾社区若何高效获得模子及使用

一、硬件条件
部署DeepSeek-V3模子需配置4台Atlas 800I A2(8*64G)就业器资源
二、模子调用本质
1、权重调遣
GPU:

NPU:

2、加载镜像
在昇腾社区/竖立资源下载适配DeepSeek-V3的镜像包:
mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
完成之后,请使用docker images敕令证据查找具体镜像称号与标签。

3、容器运行
提供的MindIE镜像预置了DeepSeek-V3模子推理剧本,从您信任的开头自行获得权重后,舍弃在从上述下载的模子代码的主目次下,修改模子文献夹属组为1001,奉行权限为750,运行容器。


4、就业化测试
配置就业化环境变量,expandable_segments-使能内存池膨胀段功能,即捏造内存特质。

修改就业化参数

拉起就业化
出现“Daemon start success!”,则以为就业得手运行。

【本文适度】如需转载请务必注明出处:快科技
包袱剪辑:拾柒
著述实质举报 ]article_adlist--> 声明:新浪网独家稿件,未经授权不容转载。 -->