DeepSeek V3、R1系列开源AI年夜模子开端被各家科技巨子支撑、安排DeepSeek，国产硬件也在减速支撑。国产全功效GPU摩尔线程疾速实现了对DeepSeek蒸馏模子推理效劳的高效安排，可让更多开辟者基于摩尔线程全功效GPU，停止AI利用翻新。别的，用户也能够基于摩尔线程MTT S80、MTT S4000显卡，停止DeepSeek-R1蒸馏模子的推理安排。实在早在1月28日，就曾经有B站UP主在摩尔线程MTT S80上手动实现实际。经由过程DeepSeek供给的蒸馏模子，可能将年夜范围模子的才能迁徙至更小、更高效的版本，在国产GPU上实现高机能推理。摩尔线程基于自研全功效GPU，经由过程开源与自研双引擎计划，疾速实现了对DeepSeek蒸馏模子的推理效劳安排。基于Ollama开源框架，摩尔线程实现DeepSeek-R1-Distill-Qwen-7B蒸馏模子的安排，并在多种中文义务中展示了优良的机能，验证摩尔线程自研全功效GPU的通用性与CUDA兼容性。经由过程摩尔线程自立研发的高机能推理引擎，联合软硬件协同优化技巧，经由过程定制化的算子减速跟内存治理，明显晋升了模子的盘算效力跟资本应用率。这一引擎不只支撑DeepSeek蒸馏模子的高效运转，还为将来更多年夜范围模子的安排供给了技巧保证。 摩尔线程行将开放自立计划的夸娥（KUAE）GPU智算集群，片面支撑DeepSeek V3、R1模子，以及新一代蒸馏模子的散布式安排。夸娥集聚集成进步推理技巧与散布式盘算框架，将确保年夜范围模子的高效稳固运转，助力开辟者疾速实现营业落地。