欢迎来到本开源项目Chatterbox-Llama-zh
LLama-zh-base模型是基于目前llama系列的模型架构，从头重新预训练的LLama模型。 由于llama原模型本身并未在中文语料上单独训练，词表中也并未包括太多的中文字符。 本项目重新构建了Llama的分词工具与词表。并重新初始化了对应的模型，在中文领域上的持续预训练。
Chatterbox-Llama-zh系列
| 模型名称 | 模型大小 | 链接 |
|---|---|---|
| Chatterbox-Llama-zh-base | 0.8B | https://huggingface.co/TurboPascal/Chatterbox-LLaMA-zh-base |
| Chatterbox-Llama-zh-2b6 | 2B6 | Coming soon |
Notes:
- 本模型没有使用原LLaMA的权重，因此无需顾虑LLama权重协议的问题。
预训练阶段使用开源数据与本项目爬取的部分数据。共使用约33G中文预训练数据
- 新浪新闻数据（SinaNews），220万条新闻文档数据
- 人民日报数据（People's Daily Datasets），148万条人民日报数据（1949-2006）
- 维基百科(wiki2019zh)，100万个结构良好的中文词条
- 新闻语料(news2016zh)，250万篇新闻，含关键词、描述
- 社区问答json版(webtext2019zh)，410万个高质量社区问答
- THUCNews数据(THUCNews) ，74万篇新闻文档（2.19 GB）
- 评论数据-语料 （comments2019zh_corpus），240万条评论数据
- 社区互动-语料 （webText2019zh_corpus），310W条社区互动数据
- 科学文献数据（CSL）, 约40W篇中文核心期刊文献摘要
- Belle数据集
- 由于原版llama对中文编码的支持不够友好，于是我重头训练了中文+英文的llama的tokenizer。重头训练tokenizers的代码和相关内容参见此处，使用从MC4中中文语料和英文语料里采样的数据。
- 数据集采用上述数据，参考本项目data部分的代码和train部分的代码。
- 训练配置：4*V100，训练时长约70-80小时。
待完成