联系我们
以下文章来源于新智元 ，作者新智元
新智元报道
编辑：编辑部
【新智元导读】就在刚刚，OpenAI的***大秘密，被傅盛在130万人面前揭穿！百亿参数，竟能在企业级应用中媲美千亿级大模型；一张3060，就能帮老板打到「**」！
当全世界都在为GPT Store上线而兴奋时，谁又看到了OpenAI的「阳谋」？
当你把合同、财务、业务数据等公司机密都传给ChatGPT时，或许并未意识到：每一次使用ChatGPT，都是在帮OpenAI提升模型「智商」。
正如GPT Store的发布，让众多初创公司一夜暴毙。而他们始终也没有搞明白，为什么自己300万美元的公司，***后变成了一张500美元的OpenAI API代金券。
去参加开发者大会的每个人都会得到一张OpenAI给的API代金券
现在，Altman不说的秘密，终于被揭开了——
企业应用，百亿参数就够了
很长一段时间，千亿参数大模型都被认为是商业化应用的***佳方案。
但直接基于API使用，会有数据泄露给例如OpenAI这些模型供应商的风险。那***好的办法就是私有化部署。然而面对如此规模的模型，光**费就要数千万。
对此，老板们纷纷表示，我就是想解决个客服问题而已，就没有便宜的方案吗？
就在今天，性价比更高的方案来了——猎户星空正式官宣了一款千亿级效果的百亿大模型。
测试显示，在百亿参数+应用打磨的加持下，模型对于专业场景问题的回答已经超越了GPT-4。而且，只要千元显卡即可运行！
140亿参数的模型，达到了千亿级的效果
话不多说，先上跑分。
可以看到，Orion-14B在众多20B规模的模型中，遥遥***。
不仅在MMLU、C-Eval、CMMLU、GAOKAO、BBH等主流测试集上拿下SOTA。
而且，在OpenCompass综合测评的中文数据集上，总分位列700亿参数以下基座模型***。
此外，Orion-14B还具备极强的多语言能力——在日语、韩语开源模型评测中也拿下了全球***，堪称是「出海之光」
日文为JNLI等8项评测集平均得分；韩文为COPA等4项评测集平均得分；中文英文为OpenCompass对应语言评测集平均得分
在目前业内公认***权威的大模型长文本准确度测试方法「大海捞针」中，Orion-14B直接拿下了200K token全绿的成绩。
甚至，***高还可以支持320K的超长上下文，相当于一次性看完小半本《三体》（45万汉字）。
顺带一提，此前有报道指出，有不少大模型为了在榜单中「刷新SOTA」，竟然直接拿基准测试里面的「真题」和「答案」来训练。
对此，猎户星空表示，自己大模型的成绩***真实，完全没有刷过题。
模型开源一手实测：幻觉消失了
目前，Orion-14B已经全面开源，并且可以直接在线上体验。
GitHub：https://github.com/OrionStarAI/Orion
Hugging Face：https://huggingface.co/OrionStarAI
ModeScope：https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary
技术报告：https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf
比如，告诉它插入表格数据的基本信息，然后输出SQL语句。
Orion-14B按要求用SQL编程语言完成了任务。
你还可以上传文档给到Orion-14B，然后模型可以基于文档内容给出回应。
这样，企业私有领域的数据，就可以在下游应用中把模型作用发挥到***。
举个栗子，上传一些关于交通法的文档片段，当用户询问哪些情况不能超车，Orion-14B就会根据已有的内容准确回答，不会瞎猜出现幻觉。
Orion-14B还可以根据输入一段话内容，将其变成QA对。
比如室内装饰构造虚拟仿真教学软件的产品的5点价值，以及应用领域和适用对象。
一大段内容输入后，模型就能将其拆分、理解，得到不同的QA对话。
此外，当你输入一封邮件的内容，Orion-14B模型还可以抽取数据，发件人、邮箱、联系方式，都可以清晰地分列出来。
微调「全家桶」媲美千亿模型，入门级显卡可跑
可以看到，在AI大潮下，只有在私有化数据加持下的大模型，才能给企业持久的竞争力。
而为企业应用而生的猎户星空大模型，凭借着「全家桶」级的微调能力，可以在专业场景里实现媲美千亿级模型的效果。
具体来说，猎户星空大模型涵盖了七大应用微调方向：
通用对话微调、插件微调、RAG微调、长Token微调、知识抽取微调、问答对生成微调、日韩文微调。
其中，基础对话能力微调模型（Orion-14B-Chat）专注于提升对话能力，尤其在理解历史消息和角色扮演方面显示出更高的准确性。
这一版本能够捕捉对话上下文中的细微变化，并根据不同角色和场景做出相应的反应，从而提供更加自然、连贯的对话体验。
除此之外，猎户星空还在两个大模型应用的主流方向上深入打磨——检索增强生成（RAG）和Agent。
两大重点：RAG和Agent
尽管当前大模型的能力令人印象深刻，但并非无懈可击。它们或因训练数据时效，token长度等限制，可能会输出误导性信息，进而产生「幻觉」。
有时，LLM也会因缺乏专业领域知识，在处理特定领域的问题时，力不能及。尤其是对于企业内部的信息，让LLM自由发挥就更加容易出错。
但有了私有知识的加持，它的回答就**多了。
RAG的诞生，就是为了补足这一块短板。
来源：https://arxiv.org/pdf/2312.10997.pdf
目前流行的大模型应用开发框架Llama-Index、LangChain等，都包含了RAG的部分。但是框架数量虽然多，在实际部署时却一言难尽，工程搭建繁琐，效果不理想，企业可能搞了半年都上不了线。
相比之下， 猎户星空的RAG能力微调模型（Orion-14B-RAG），则通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调，使其成为了***适合开发RAG应用的微调模型。
基于此，企业便能够快速整合自身知识库，构建定制化应用。
除了RAG，拓宽大模型应用的另一条重要路径，便是Agent。
OpenAI应用人工智能研究主管Lilian Weng去年的一篇博客，曾掀起Agent讨论热潮。基于大模型构建的Agent，拥有强大的语言理解和处理能力，可以自动化完成各种任务。
除了耳熟能详的AutoGPT、BabyAGI等，还有OpenAI官宣的「定制GPTs」，都属于Agent的范围。
举个栗子，HuggingGPT利用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，来完成多模态复杂任务。
一夜爆火的
更有网友用
而猎户星空的插件能力微调模型（Orion-14B-Plugin），则通过增强模型根据用户问题调用***适配工具的能力，并将插件的结果与模型的处理相结合，来解决更复杂的问题。
具体来说，研究团队针对意图识别、函数调用、缺槽反问、单轮抽参、多轮抽参等能力进行专项微调，使其成为了***适合构建Agent应用的微调模型。
由此，也让猎户星空大模型在Agent应用所需的五种能力上，几乎追平了GPT-4——
意图识别成功率90.3%；首轮抽参成功率***；多轮抽参成功率90.19%；缺槽反问成功率91.07%；插件调用成功率91.37%。
相比之下，一般的百亿参数大模型表现不超过70%。
千元即可商用：RTX 3060都能跑
此外，为满足小企业需求，猎户星空大模型还推出了几乎无损的INT4量化版本（损失<1%）。
通过AWQ Q4量化技术，研究团队不仅让模型大小直降了70%，而且还使推理速度也提升了30%。
换句话说就是，只需一张消费级显卡，如NVIDIA RTX 3060，就能实现每秒***高31 tokens（约50个汉字）的输出。
而在私有化部署方面，也可以轻松地将服务器和企业数据控制在内网之中，甚至还提供全套开源免费可商用资源和社区技术支持。
**推出企业使用AI的三个段位
在大会上，傅盛抛出这样一个观点：企业使用AI，有三个段位。
青铜段位，是用AI做文案、做图。黄金段位，是数字员工。但AIGC其实***重要的，还是**段位。
在此段位，全过程都由AI参与。**段位的企业，应该选择用私有大模型+强应用套件，来实现数字员工和辅助决策。
不过，虽然现在大模型百花齐放，但猎户星空却在实践中发现，企业需要的不是「大模型」，而是能够结合业务流并解决自身痛点的大模型应用。
曾经，傅盛和朱啸虎的这场辩论，引发了全网关注。
当时傅盛表示，做好应用，依然是创业者***好的机会。
现在，猎户星空来交卷了！
会上，傅盛重磅发布了AI辅助决策交钥匙解决方案「聚言」，可以为企业提供全链条的定制化AI大模型咨询和解决方案服务。
可以预见，在以上所有这些能力的共同加持下，一个崭新的时代即将来临——每个企业都会有私有化大模型。
「数字老板」是个啥？
值得一提的是，相比于别人做的「数字员工」，猎户星空竟然选择了做「数字老板」！
不过，这其中的原因很简单，猎户星空在自己应用AI时，发现了不少业内秘密——
大模型在企业中无法即插即用，而只靠员工自主探索，也很难实现企业AI应用上的增效，必须针对整个流程，进行AI重构。
而有了「数字老板」之后，老就们就可以全面掌握经营细节。人力资产、云资产、数字资产，全天候细节无遗漏。
人力助手：一口气看完2000份周报，发掘潜力员工
前一阵曝出英伟达的员工每人都要向CEO老黄提交周报，老黄是怎么看完的呢？当然是用AI。
猎户星空的这位「数字老板」，就能做到这点。
比如，只需问一句，人力助手就能把公司收到的近2000份周报汇总起来，并提炼出主要的业务进展和潜在的风险。
之后，还可以继续询问某项具体风险的应对方案。而AI便会完全依据周报的内容，给出回答。
此外，AI还可以根据周报分析团队的实际效率，并给出优化建议。
更厉害的是，当AI完全掌握了公司的私有数据时，还能帮你预测出员工的潜力！
比如，海外销售业务***有可能成为***的三个人是谁。
AI就会根据海外销售业务的特点，创建出一个得分系统，然后根据数据分析给出结果，并同时附上非常直观的图表。
如此一来，不仅能像英伟达的黄老板一样，每天处理数百封邮件，跟进数十个项目，还能减少决策失误，提**率。
云资产助手：成本直降30%，立省85万刀
对于另一项开销大头「云」来说，技术人员通常都希望服务器越多越好，而老板们虽然搞不懂，但依然需要为越来越贵的云成本买单。
为此，猎户星空推出了云资产助手——一个利用不同领域云治理***经验训练的专业领域大模型。
具体来说，AI会通过深挖云数据的底层逻辑，对客户的云上资源和成本账单数据进行多维度分析，从而进一步剖析运营成本痛点。
然后，再基于此自动生成切实可行的解决方案，并附上高质量的成本优化报告。
而且，当老板对某个图表或概念产生疑问时，只需和AI多聊两句，就可以获得答案。
聚言创意助手：N个***，直接为你出谋划策
如今，老板的智囊团成本越来越高，内部有共同的认知盲区，而外部的智囊团，又成本太高、周期太长。
这样的后果就是，每次讨论决策的时间越来越长。
为此，猎户星空推出了一个由多个Agent组成的「智囊团」——聚言创意助手，可以让各个领域的***直接为你出谋策划。
比如，去年爆火的旅游城市景德镇、淄博，再到哈尔滨，你能想象到，AI参与这次谋划会如何？
只需要在聚言创意助手中，勾选你想要给出旅游战略规划的角色，输入话题，它们便会从不同角度提供方案。
***为你出谋划策，这个过程仅需要20-30分钟。
有了聚言创意助手，未来各种营销策略、市场报告等等，无需费力找***，就能获得更高质**、全面省钱的方案。
所有的创新，都由Think Different引发
做出自己的千亿大模型，就一定能取得商业上的成功吗？如果技术没有和产品、应用形成闭环，再多技术投入都不能形成壁垒。
现在主流的模式，是砸钱预训练千亿级模型，微调，然后寻找应用场景。而猎户星空却独辟蹊径，在已知应用场景后，再微调，然后寻找合适的模型。
七年磨一剑
大模型下半场开年之局，猎户星空大模型登场着实给了所有人亿点点震撼。
作为一家All in AI的创业公司，如今在大模型时代大放异彩，背后离不开团队在这一领域持续7年的深耕。
2016年，猎户星空成立初始便投入了巨资、博士团阵容，打造AI全链条技术。
值得一提的是，这家公司拥有来自
与此同时，团队在技术栈上，对从DNN、Attention、Bert到LLM、ASR/TTS/NLP的演进也非常熟悉。
猎户星空的机器人还登上冬奥会，出海全球获得了认可，拥有全球20亿用户应用打磨经验。
而在7年AI磨刀的过程中，有了扎实的数据积累，包含百亿级真实用户query数据，数十亿级token数据。
重磅预告：MoE已经在训了
目前，猎户星空已经在已有模型的基础上，调试和训练MoE架构的***混合模型了。
据称，在这「N个臭皮匠」的加持下，智能水平可以全方位媲美千亿参数模型。
2024年，大模型应用怎么走？
傅盛预测，到2024年，千亿大模型中过半都会凋零，而百亿大模型会百花盛开。
超越OpenAI的机会，将来自大模型应用公司。
让我们拭目以待。