猎户星空百亿参数大模型发布-新华网
新华网 > > 正文
2024 01/22 11:09:22
来源:新华网

猎户星空百亿参数大模型发布

字体:

  1月21日,在猎户星空大模型发布会上,猎豹移动董事长傅盛以《AI大潮下企业如何创新?从技术狂欢到企业落地-私有化大模型是王道》做主题分享,正式发布猎户星空大模型,并带来七大场景应用微调模型与大模型应用交钥匙解决方案。

  猎户星空大模型(Orion-14B)是由猎户星空研发的预训练多语言大语言模型,以其140亿参数规模展现出了性能。Orion-14B模型在一个庞大且多样化的数据集上进行训练,数据集规模达到了2.5万亿token。这一规模不仅覆盖了常见语言,还涵盖了专业术语和特定领域知识,确保模型能够理解和生成多种语境下的文本。

  作为百亿参数大模型,Orion-14B的基座能力在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上,均为同级别模型SOTA,表现优异;最长可支持320K token超长文本,在三十万文字中任意位置随机隐藏关键信息,对模型进行提问,结果全部正确;通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),可在千元级显卡可以流畅运行。

  此外,为了更好地满足企业的应用需求,猎户星空独家推出了微调全家桶。在专业应用场景层面,Orion-14B也表现出了显著的可塑性和广泛的应用潜力,可以与千亿级模型媲美。

  针对不同的应用需求,进一步扩展了猎户星空大模型(Orion-14B)的功能和实用性,着重打磨的两个方向,检索增强生成(RAG)和Agent。

  所有基于大模型搭建好的应用,想要获取实时数据,都需要建立在检索增强生成(RAG)技术之上,RAG能力微调模型(Orion-14B-RAG)使企业能够快速整合自身知识库,构建定制化的应用。猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调,使之成为最适合开发RAG应用的底座模型。

  除了RAG,大模型应用可能拓宽的另一条重要路径,便是Agent。插件能力微调模型(Orion-14B-Plugin)的关键在于增强模型根据用户问题调用最适配工具的能力,并将插件的结果与模型的处理相结合,以解决更复杂的问题。通过针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参、ReAct 等能力进行专项微调,使之成为适合构建Agent应用的底座模型。

  大模型浪潮中,做好应用依然是创业者最好的机会。为此,猎户星空推出大模型深度应用“聚言”,面向企业客户提供大模型咨询与服务一站式解决方案。基于“聚言”打造出的“数字老板”,可以帮助企业负责人全面掌握经营细节、不留遗漏,包括人力资产、云资产、数字资产等。

  在实践中猎户星空发现,企业需要的不是大模型,而是能够结合业务流并解决自身痛点的大模型应用。“聚言”就以猎户星空大模型为基座,结合场景应用微调套件,通过全链条的AI大模型咨询定制,为客户提供AI辅助决策交钥匙解决方案。

  “做出自己的千亿大模型,就一定能取得商业上的成功吗?如果技术没有和产品、应用形成闭环,再多技术投入都不能形成壁垒。”傅盛表示。现在大模型之路主流的模式,是投入资金预训练千亿级模型、微调,然后寻找应用场景。而猎户星空AI大模型创新以Think Different思维逻辑,在已知应用场景后,再微调,然后寻找合适的模型。

【纠错】 【责任编辑:周靖杰】