3月16日,百度正式发布文心大模型4.5和文心大模型X1。目前,两款模型已在文心一言官网上线,并免费向用户开放。
百度正式发布文心大模型 4.5 和文心大模型 X1。目前,这两款模型已在文心一言官网上线,免费向用户开放。据介绍,文心大模型 4.5 是百度首个原生多模态大模型,其多模态理解、文本和逻辑推理能力显著提升,其 API 调用价格为 GPT4.5 的 1%。该模型可进行图形推理、图表分析,也可以理解梗图、漫画、歌曲、电影等多模态内容。
文心大模型4.5:开创原生多模态时代
文心大模型4.5作为百度的首个原生多模态模型,其独特的响应能力和逻辑推理能力可谓大幅提升。具体而言,该模型具备强大的图形推理与图表分析能力,能够理解多种表达形式,包括饱含情感的梗图、可解读的漫画、以及富有故事性的歌曲和电影等,展现出其“高情商”的一面。
这样的多模态理解能力,不仅让文心4.5在功能上更加全面,同时也为各种应用场景提供了更丰富的支持。无论是用于智能客服、内容生成、还是数据分析,文心大模型4.5都展现了其强大的潜力,使得人工智能的应用场景更加广泛。
文心大模型4.5关键技术:
- FlashMask动态注意力掩码:加速大模型灵活注意力掩码计算,有效提升长序列建模能力和训练效率,优化长文处理能力和多轮交互表现;
- 多模态异构专家扩展技术:根据模态特点构建模态异构专家,结合自适应模态感知损失函数,解决不同模态梯度不均衡问题,提升多模态融合能力;
- 时空维度表征压缩技术:在时空维度对图片和视频的语义表征进行高效压缩,大幅提升多模态数据训练效率,增强了从长视频中吸取世界知识的能力;
- 基于知识点的大规模数据构建技术:基于知识分级采样、数据压缩与融合、稀缺知识点定向合成技术,构建高知识密度预训练数据,提升模型学习效率,大幅降低模型幻觉;
- 基于自反馈的Post-training技术:融合多种评价方式的自反馈迭代式后训练技术,全面提升强化学习稳定性和鲁棒性,大幅提升预训练模型对齐人类意图能力。
文心大模型X1:颠覆性的深度思考能力
除了文心大模型4.5,百度还推出了文心大模型X1。这款深度思考模型具备“长思维链”的优点,表现出色的中文知识问答能力、文学创作的灵活性以及逻辑推理的深度层次,进一步增强了用户体验。
另一方面,文心大模型X1的多模态能力亦不可忽视,可以理解并生成图片,使其在创新和创作领域中脱颖而出。在此基础上,该模型还能够调用各种工具生成代码和图表,丰富内容形式,为开发者提供了更多的创造空间。
文心大模型X1关键技术:
- 递进式强化学习训练方法:创新性地应用递进式强化学习方法,在创作、搜索、工具调用、推理等场景全面提升模型的综合应用能力;
- 基于思维链和行动链的端到端训练:针对深度搜索、工具调用等场景,根据结果反馈进行端到端的模型训练,显著提升训练效果;
- 多元统一的奖励系统:建立了统一的奖励系统,融合多种类型的奖励机制,为模型训练提供更加鲁棒的反馈。
核心技术的革新与应用
文心大模型X1运用了递进式强化学习及基于思维链和行动链的端到端训练,形成了一个多元统一的奖励系统。这些关键技术的应用使得模型在训练过程中极具效率,几乎没有浪费每一份数据的价值。同时,通过百度飞桨与文心的联合优化,文心X1在压缩、推理和服务部署的全链路上实现了极致调优,大幅降低了推理成本,推动AI技术向更高的层次发展。
免费试用,提高用户体验
本次发布的两款大模型的上线引发了广泛的关注。用户现在可以在文心一言官网上注册并免费体验这两款新模型。
对于企业及开发者而言,更是可以在百度智能云千帆大模型平台上调用这两款新模型。文心大模型4.5的输入价格仅为0.004元/千tokens,输出则为0.016元/千tokens,约为绕过GPT4.5价格的1%;而新推出的文心大模型X1则更具价格优势,输入价格为0.002元/千tokens,输出为0.008元/千tokens。