中英双语大模型 ChatGLM2-6B 开发团队 —— 智谱 AI & 清华 KEG 昨晚宣布，即日起 ChatGLM-6B 和 ChatGLM2-6B 权重对学术研究完全开放，并且在完成企业登记获得授权后，允许免费商业使用。
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
- 更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
- 更长的上下文：基于 FlashAttention 技术，项目团队将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。
- 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
示例对比
相比于初代模型，ChatGLM2-6B 多个维度的能力都取得了提升，以下是一些对比示例。
数理逻辑
知识推理
长文档理解
下载地址
本站大部分资源收集于网络以及网友投稿，本不保证资源的完整性以及安全性，请下载后自行测试。
本站资源仅供下载者学习技术，版权归资源原作者所有，请在下载后24小时之内自觉删除。
本站资源仅供下载者学习IT编程开发技术，请遵守国家法律法规，严禁用于非法用途。
若作商业用途，请购买正版，由于未及时购买正版发生的侵权行为，与本站无关。
如您是版权方，本站源码有侵犯到您的权益，请邮件联系331752841@qq.com 删除,我们将及时处理！
本站资源仅供下载者学习技术，版权归资源原作者所有，请在下载后24小时之内自觉删除。
本站资源仅供下载者学习IT编程开发技术，请遵守国家法律法规，严禁用于非法用途。
若作商业用途，请购买正版，由于未及时购买正版发生的侵权行为，与本站无关。
如您是版权方，本站源码有侵犯到您的权益，请邮件联系331752841@qq.com 删除,我们将及时处理！
