腾讯发布开源 MoE 大语言模型 Hunyuan-large:总参数 398B 为业内最大
2024 年 11 月 5 日

腾讯推出了名为 Hunyuan-Large 的开源 MoE 大语言模型,该模型参数量达 389B,训练 token 数量为 7T,最大上下文长度为 256K,词表大小为 12.8w,技术创新方面通过高质量合成数据增强模型训练。Hunyuan-Large 在多学科综合评测集上表现优异,全面领先于一流开源模型。同时,腾讯还推出了自研的长文评测集「企鹅卷轴」,填补行业在真实长文评测集上的空白。

专业版功能专业版功能
登录
体验专业版特色功能,拓展更丰富、更全面的相关内容。

行业标签

二维码

更多体验

前往小程序

二维码

24 小时

资讯推送

进群体验

logo
科技新闻,每天 3 分钟