Paper&Article

基于丰富的创新性科研成果，“悟道”项目产出了一系列高质量论文，项目进展收到各方关注，本仓库提供所有已发表论文和项目相关报道的链接。

Paper

• 《All NLP Tasks Are Generation Tasks: A General Pretraining Framework》

  链接：https://arxiv.org/abs/2103.10360

• 《CogView: Mastering Text-to-Image Generation via Transformers》

  链接：https://arxiv.org/abs/2105.13290

• 《Controllable Generation from Pre-trained Language Models via Inverse Prompting》

  链接：https://arxiv.org/abs/2103.10685

• 《CPM: A Large-scale Generative Chinese Pre-trained Language Model》

  链接：https://arxiv.org/abs/2012.00413

• 《CPM-2: Large-scale Cost-effective Pre-trained Language Models》

  链接：https://arxiv.org/pdf/2106.10715.pdf

• 《FastMoE: A Fast Mixture-of-Expert Training System》

  链接：https://arxiv.org/abs/2103.13262

• 《GPT Understands, Too》

  链接：https://arxiv.org/abs/2103.10385

• 《WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training》

  链接：https://arxiv.org/abs/2103.06561

Article

• 新华社《智源研究院发布超大规模智能模型“悟道1.0”》

  链接：https://xhpfmapi.zhongguowangshi.com/vh512/share/9845658?channel=weixin

• 中国日报网《智源研究院发布超大规模智能模型“悟道1.0”》

  链接：https://caijing.chinadaily.com.cn/a/202103/22/WS6058268da3101e7ce9745189.html

• 科技日报《人工智能从“大炼模型”到“炼大模型”》

  链接：https://s.cyol.com/articles/2021-04/13/content_DWd8GGf3.html

• 机器之心《专访唐杰 | 我国首个超大智能模型「悟道」发布，迎接基于模型的AI云时代》

  链接：https://mp.weixin.qq.com/s/lsKVS_-aJSFf3shVx_ku7Q

• 机器之心《谁说GPT只擅长生成？清华、智源等研究力证：GPT语言理解能力不输BERT》

  链接：https://mp.weixin.qq.com/s/W_vyIfQ93cmqU2mOhMr6lQ

• CSDN《超大规模NLP模型升级，来智源大会见证世界记录的刷新》

  链接：https://mp.weixin.qq.com/s/_XnXELYXa1NadP7CIkfgNA

• PaperWeekly《免费报名！图灵奖得主、200+AI顶尖学术领袖邀你参与2021北京智源大会》

  链接：https://mp.weixin.qq.com/s/Y4JBxrJLpRHx2RluDIf8Mw

• AINLP《智源“悟道 2.0”超大模型来了》

  链接：https://mp.weixin.qq.com/s/Se1Uu9LifpHv-tPMKDtM2w

• AI科技评论《唐杰：悟道的雄心，何止是万亿参数模型》

  链接：https://mp.weixin.qq.com/s/O8I6WFN7OwPg_TcQKWz0_w

• 智源社区《模型越大，真的越香吗？千亿参数之后是万亿，万亿之后呢？》

  链接：https://mp.weixin.qq.com/s/znstWyARPki7yPbKCYQfgg