王小川，今天推出了70亿参数量的中英文预训练大模型——baichuan-7B。
百川智能方面称，为了验证模型的各项能力，baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三个最具影响力的中文评估基准进行了综合评估，并且均获得了优异成绩。
它已经成为同等参数规模下中文表现最优秀的原生预训练模型，以显著优势全面超过了ChatGLM-6B等其他大模型，并且在MMLU英文权威评测榜单上，大幅领先LLaMA-7B。
中文评测
目前baichuan-7B大模型已在Hugging Face、Github以及Model Scope平台发布。
据介绍，baichuan-7B 代码采用 Apache-2.0 协议，模型权重采用了免费商用协议，只需进行简单登记即可免费商用。北京大学和清华大学已率先使用 baichuan-7B 模型推进相关研究工作，并计划在未来与百川智能深入合作，共同推动 baichuan-7B 模型的应用和发展。
整体模型基于标准的Transformer结构，百川智能采用了和LLaMA一样的模型设计。
rotary-embedding 是现阶段被大多模型采用的位置编码方案，具有更好的外延效果。虽然训练过程中最大长度为4096，但是实际测试中模型可以很好的扩展到5000个tokens上。
百川智能的工作人员还让7B参加了高考，Gaokao是一个以中国高考题作为评测大语言模型能力的数据集，用以评估模型的语言能力和逻辑推理能力。
测试结果如下，也是超越了大部分同类大模型：
高考
王小川表示：“本次开源模型的发布是百川智能成立 2 个月后的第一个里程碑，对百川智能而言是一个良好的开局。baichuan-7B 模型，不仅能为中国的 AGI 事业添砖加瓦，也为世界大模型开源社区贡献了新的力量。”
两个月前，今年4月搜狗公司创始人王小川正式官宣入场大模型创业，和前搜狗COO茹立云联合创立人工智能公司——百川智能。
这是一家研发并提供通用人工智能服务的中国公司，旨在打造中国版的OpenAI基础大模型及颠覆性上层应用。
资金支持也已到位，公司早前已获得5000万美元启动资金，不过来源并非机构，而是来自王小川与其业内好友的个人支持。
团队拥有包括前搜狗、百度、华为、微软、字节、腾讯等知名科技公司以及其他创业公司核心成员在内的数十位顶尖AI人才。
百川智能以前搜狗团队为基础，融合来自知名科技公司的核心团队；公司也得到清华相关院系及多位院士和教授的支持，建立合作突破通用人工智能基础科学问题，并吸引清华优秀学子。
如果您有什么想说的，欢迎屏幕前你们在评论区留言讨论！我们将为点赞、评论、关注的同学们送上红包?不限量哟~
本文来自投稿，不代表长河网立场,转载请注明出处： http://www.changhe99.com/a/aN6NVPX76z.html
