self-llm

[KMnO4-zx]

你是否已经阅读并同意《Datawhale开源项目指南》？

• 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

  本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。

  本项目的主要内容包括：

1. 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；
2. 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；
3. 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；
4. 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

  项目的主要内容就是教程，让更多的学生和未来的从业者了解和熟悉开源大模型的食用方法！任何人都可以提出issue或是提交PR，共同构建维护这个项目。

  想要深度参与的同学可以联系我们，我们会将你加入到项目的维护者中。

立项理由

  什么是大模型？

大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。

  百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·蒲语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。

  然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。

  本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。

  我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。

项目受众

  本项目适合以下学习者：

• 想要使用或体验 LLM，但无条件获得或使用相关 API；
• 希望长期、低成本、大量应用 LLM；
• 对开源 LLM 感兴趣，想要亲自上手开源 LLM；
• NLP 在学，希望进一步学习 LLM；
• 希望结合开源 LLM，打造领域特色的私域 LLM；
• 以及最广大、最普通的学生群体。

项目亮点

datawhale现有的大模型教程，大多是基于openai或者langchain的教程，并没有关于开源大模型如何使用的教程。在担任过暑期夏令营助教和最近10月11月的几次大模型相关的组队学习助教，我深感大家对于开源大模型的使用并没有我们想象的水平那么高，更多的问题还是关于如何部署，如何跑起来，怎么才能用开源大模型的api等这些技术力比较低的问题上。所以我和雨衡认为有必要做一个关于开源大模型食用指南的教程，补齐datawhale大模型版图的最后一块拼图。

在我们的项目中，每一个教程都是完全独立的，每一个教程都可以单独拿出来发到知乎，CSDN，奇想星球或是公众号。所以在编写教程过程中，应该适当考虑摒弃先做完，再内测、再发布的传统流程，可以边做边内测边发布。比如12月份的趋动云组队学习，就可以略微修改教程使之适应趋动云平台。

项目规划

   本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：

已支持模型

• InternLM

  • InternLM-Chat-7B Transformers 部署调用
  • InternLM-Chat-7B FastApi 部署调用
  • InternLM-Chat-7B WebDemo @不要葱姜蒜
  • Lagent+InternLM-Chat-7B-V1.1 WebDemo @不要葱姜蒜
  • 浦语灵笔图文理解&创作 WebDemo @不要葱姜蒜
  • InternLM-Chat-7B 接入 LangChain 框架 @ Logan Zou
  • InternLM-Chat-7B Lora 微调
  • InternLM-Chat-7B ptuning 微调
  • InternLM-Chat-7B 全量微调

• ChatGLM

  • ChatGLM3-6B Transformers 部署调用
  • ChatGLM3-6B FastApi 部署调用
  • ChatGLM3-6B chat WebDemo @不要葱姜蒜
  • ChatGLM3-6B Code Interpreter WebDemo @不要葱姜蒜
  • ChatGLM3-6B 接入 LangChain 框架 @ Logan Zou
  • ChatGLM3-6B Lora 微调 @ Logan Zou
  • ChatGLM3-6B ptuning 微调
  • ChatGLM3-6B 全量微调

• Qwen

  • Qwen-7B-chat Transformers 部署调用
  • Qwen-7B-chat FastApi 部署调用
  • Qwen-7B-chat WebDemo
  • Qwen-7B-chat Lora 微调
  • Qwen-7B-chat ptuning 微调
  • Qwen-7B-chat 全量微调

• Yi

  • Yi-7B-base WebDemo (Yi 暂时没有chat模型)

• llama2

  • llama2-7B-chinese-chat WebDemo
  • llama2-7B-chinese-chat Lora 微调 @ Logan Zou
  • llama2-7B-chinese-chat 全量微调 @ Logan Zou

• 欢迎大家积极提出issue和PR

LangChain

• LangChain 基于开源大模型构建问答链 @ Logan Zou
• LangChain 使用开源大模型构建 embedding @ Logan Zou
• 基于本地大模型构建应用 @ Logan Zou
• 欢迎大家提出issue和PR

通用环境配置

• pip、conda 换源 @不要葱姜蒜

• AutoDL 开放端口 @不要葱姜蒜

• 模型下载

  • hugging face @不要葱姜蒜
  • hugging face 镜像下载 @不要葱姜蒜
  • modelscope @不要葱姜蒜
  • git-lfs @不要葱姜蒜
  • Openxlab

项目负责人

项目负责人：宋志学 @KMnO4-zx 邹雨衡 @logan-zou

备注：发起立项申请后DOPMC成员将会在7天内给出审核意见，若7天内无反对意见则默认立项通过~

• 我已知悉上述备注

[ZhikangNiu]

感觉工程量有点大，但是还是很支持该项目

[KMnO4-zx]

感觉工程量有点大，但是还是很支持该项目

嗯，是的，但要迎难而上。我们已经在推进项目了，项目地址暂时在我的个人仓库：https://github.com/KMnO4-zx/self_llm.git

[ZhikangNiu]

感觉工程量有点大，但是还是很支持该项目

嗯，是的，但要迎难而上。我们已经在推进项目了，项目地址暂时在我的个人仓库：https://github.com/KMnO4-zx/self_llm.git

感觉可以先把GLM3的那些todo全做完以后开始学习

[KMnO4-zx]

感觉工程量有点大，但是还是很支持该项目

嗯，是的，但要迎难而上。我们已经在推进项目了，项目地址暂时在我的个人仓库：https://github.com/KMnO4-zx/self_llm.git

感觉可以先把GLM3的那些todo全做完以后开始学习

嗯嗯 对的 是这样打算的

[ZhikangNiu]

感觉工程量有点大，但是还是很支持该项目

嗯，是的，但要迎难而上。我们已经在推进项目了，项目地址暂时在我的个人仓库：https://github.com/KMnO4-zx/self_llm.git

感觉可以先把GLM3的那些todo全做完以后开始学习

嗯嗯 对的 是这样打算的

ok，同意

[GYHHAHA]

同意

[zhanhao93]

同意

[mba1398]

同意

[Sm1les]

7天内无反对意见则默认立项通过~

[ZhikangNiu]

同意毕业

[itcharge]

同意毕业

[ruyiluo]

同意

[hu-minghao]

同意

[GYHHAHA]

同意

[qiwang067]

同意

[mba1398]

同意毕业

[hu-minghao]

同意毕业

[skywateryang]

同意

[finlay-liu]

不了解，不发表意见

[andongBlue]

同意毕业

[zhanhao93]

同意毕业

[Sm1les]

同意毕业