-
Notifications
You must be signed in to change notification settings - Fork 550
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
这。。。这不是我的梦中情库嘛 求大佬建个微信群~ #9
Comments
有个小疑问就是,我的设备是4个2080ti 22G,图灵架构,不支持flash-attention2. |
没有影响的哦,无flash-attn自动用普通attn计算 |
照qwen2-0.5B的效果肯定差得多哈哈,只能简单验证一下,不过现在比0.5B的模型还小的确实很少。建群可能无心打理,暂时无打算。 推荐几个相近的、很有启发的、非常优秀的项目,可对照着了解一下。
感谢关注!!! |
你好,建议建一个群,打开你自身的影响力 |
微信群二维码过期了,可以麻烦在发一个吗感谢 |
微信群二维码过期了,求大佬再更新一个。谢谢大佬 |
微信群二维码过期了 可以麻烦在发一个吗感谢 |
二维码过期了,可以求一个新二维码吗,谢谢 |
微信群二维码过期了,可以麻烦在发一个吗感谢! |
可以再发一个吗 |
作者大大,你太牛了。上班看到的,忍不住要动手。
我有一个数据集在qwen2-0.5B上SFT效果很好,心里一直想要往下再scale,看看在超级小的模型上的表现如何。
这。。。这不就来了吗
求大佬建个微信群~
The text was updated successfully, but these errors were encountered: