💡 [REQUEST] - 建议 1.8B 就不要花时间搞了,毕竟参数少,能力优化不上去。重点优化一下 7B 和 14B。72B成本太高了。谢谢 #865
Replies: 6 comments
-
手机厂商都准备把 7B 装入手机了。1.8B就不用花时间搞了,毕竟参数少,能力优化不上去。目前大量用户是 7B 和 14B。尤其是14B Int4 量化 vLLM的支持。谢谢! 72B成本太高了。 |
Beta Was this translation helpful? Give feedback.
-
但我甚至还觉得1.8B有点大,想要0.5B的。。。 |
Beta Was this translation helpful? Give feedback.
-
等GPU白菜价的时候再高72B还可以的 |
Beta Was this translation helpful? Give feedback.
-
要验证 scaling law 吧,顺便支持一下移动端。 |
Beta Was this translation helpful? Give feedback.
-
感谢大家对Qwen开源模型的支持,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。
目前LLaMA-Factory、llama.cpp、AutoGPTQ、AutoAWQ、FastChat、vLLM等主流生态框架已经提供了对Qwen的支持,微调、量化、部署环节提供了较为多样的选择,这离不开社区伙伴的贡献。Qwen多个尺寸、多个模态开源为技术探索、应用落地提供了丰富的实验基础设施,我们期待随着生态图谱日趋完整、更多新颖成果将涌现。大家有趣的想法,我们也非常欢迎分享讨论! |
Beta Was this translation helpful? Give feedback.
-
请问哪里可以申请QWEN1.5 0.5B和1.8B的LICENSE? |
Beta Was this translation helpful? Give feedback.
-
起始日期 | Start Date
No response
实现PR | Implementation PR
No response
相关Issues | Reference Issues
No response
摘要 | Summary
建议 1.8B 就不要花时间搞了,毕竟参数少,能力优化不上去。重点优化一下 7B 和 14B。72B成本太高了。谢谢
基本示例 | Basic Example
无
缺陷 | Drawbacks
无
未解决问题 | Unresolved questions
No response
Beta Was this translation helpful? Give feedback.
All reactions