建议 支持 DeepSeek-R1

[wangyongpenga]

Feature request / 功能建议

建议 支持 DeepSeek-R1

Motivation / 动机

DeepSeek-R1 蒸馏小模型

Your contribution / 您的贡献

DeepSeek-R1 https://github.com/deepseek-ai/DeepSeek-R1

[refeiner]

确实需要

[qinxuye]

Deepseek v3 和 r1 对资源的要求非常高。

我们会先支持 distill 模型。

[github-actions]

This issue is stale because it has been open for 7 days with no activity.

[menkeyi001]

坐地等,有这些资源的公司也挺多

[shabooboo86]

@qinxuye 建议优先支持DeepSeek-R1-GGUF。资源使用量下降不少。

[gahoo]

@qinxuye 建议优先支持DeepSeek-R1-GGUF。资源使用量下降不少。

https://unsloth.ai/blog/deepseekr1-dynamic

This article explains how they shrink the size, which looks promising. I think it's worth trying.

[gs80140]

坐等啊, 需要多少资源, 列出来, 方便准备呀.

[MOON1234567890A]

我自己下载了gguf,但是不支持gpu推理吗，只有cpu在跑

[Icedcocon]

Deepseek R1 使用vllm部署时需要至少2个节点，vllm原生提供了分布式部署的能力，但是目前看xinference的架构应该没有考虑到对vllm夸节点TP和PP的支持。估计短时间内很难支持vllm全量部署DeepSeek R1 了。