推理性能提升50倍，大模型应用场景加速扩展

来源：C114 通信网 2023-05-24 12:28:37

百度智能云文心大模型技术交流会自3月27日以来，陆续在全国各地面向客户和伙伴开展，5月23日第四场落地深圳。随着大模型技术的深入发展，催生了AI研发和应用的新范式、新性能和新场景。在文心千帆大模型平台支撑下，通过四层架构端到端优化，文心一言在高频场景中的推理性能较上月进一步提升5倍。这意味着从内测至今，文心一言在高频场景下的推理性能已提升50倍。

【资料图】

技术加码，大模型性能成倍提升

百度智能云副总裁朱勇表示，大模型技术的发展，给AI研发和应用的范式带来了深远影响，主要体现在：

>>模型训练：AI应用中的模型训练从以往单任务的定制化建模变成了跨任务、跨模态、跨语言的统一建模；

>>交互方式：人机交互方式发生了颠覆性转变，由过去人去适应机器，变成机器来适应人；>>研发模式：很多应用问题从之前的针对性编程解决变成数据驱动方式解决；

>>调度能力：大模型分解和处理复杂问题的能力以及调起和执行外部插件的能力组合，进一步拓宽了大模型的应用空间。

这些范式的变革，意味着产品开发效率更高、应用效果更好、用户体验更优，也意味着产品创新的速度会大幅提升。

百度智能云副总裁朱勇

面对大模型时代的变革以及客户与伙伴研发应用的需求，基于云智一体3.0中的核心技术与产品组件，百度智能云打造出全球首个一站式企业级大模型平台——文心千帆大模型平台。它可以为企业提供包括文心一言在内的大模型服务，同时也支持第三方大模型，提供开发AI应用的各种工具链及整套环境。

而搭载云智一体新一代计算基础设施——百度AI大底座的能力，文心千帆大模型平台具备业界领先的性能指标，其中千卡并行加速比超过90%，训练场景资源利用率可达70%以上，模型开发迭代效率提升100%以上。早在2021年，百度智能云就已经在规划全新的高性能GPU集群建设，并于2022年4月落地了可以容纳万卡以上规模的IB网络架构设计，提供单集群EFLOPS级别的算力。该集群支持了文心一言的快速面世，并支撑其在两个月的时间里在高频场景下的推理性能提升50倍。

搜索增强，内容生成场景更加精准

百度智能云致力于为企业提供一个使用、研发或应用大模型的最好环境，成为客户拥抱AI的最佳途径，让企业和开发者以最简单的方式用上大模型、用好大模型。

针对实际业务场景中，借助大模型生成内容信息来源权威性和准确性难以判定的核心痛点，文心千帆大模型平台通过“搜索增强”插件，使模型的能力得到进一步拓展，将通用知识和企业知识、行业知识有机结合，助力企业一键生成符合业务需求的优质内容。

现场，故事大脑创始人、清华大学授课嘉宾戚泽明向大家展示了协同文心千帆大模型平台测试中的“故事大脑demo”，并从故事检索、加工与生成以及最终成为应用等方面介绍了搜索增强插件的效果。

接入搜索增强插件的文心千帆大模型平台，在企业搜索场景下，可以结合企业内部知识有效理解员工业务需求，更好地进行知识生成、查询、摘要分析，帮助员工更快速更便捷获取关键信息；在文本创作场景下，可以将单天创作时间缩短到小时级甚至分钟级，进而实现降本增效。

升级再造，加速应用全面智能化

百度智能云不仅较早完成了大模型平台服务的技术和产品布局，也推动了大模型产业的大规模实践。基于文心大模型，百度智能云全面升级六大智能产品系列，包括：政务、金融、智能创作、智能客服、数字人直播平台、企业知识管理等，未来将在安全评估完成后上线。以智能客服为例，基于大模型升级后，知识生产效率提升9倍，多轮对话构建成本下降65%，可让终端用户获得更聪明、更拟人的客服体验。

在百度内部，大模型已经在搜索、短视频、地图、小度等各个实际场景中内测，准确率、召回率、满意度等关键产品指标都有大幅提升。百度网盘企业版也将基于文心大模型升级三大企业应用：

>>在“智能文件管理”方面，将面向企业办公常用的合同票据、设计素材等57个场景定制分类标签，实现企业文件的快速管理与查找；

>>在“智能知识理解”方面，结合文心一言的“企业知识官”服务正在内测中，未来可通过对话式交互，对企业文件进行总结、提炼、翻译、格式转化；

>>除文档、文本相关应用外，“智能多模态加工”可实现商业级的图像处理，对人像、物品进行一键AI抠图、修图、换背景。

面向有技术开发能力的企业，通过智能化服务和网盘基础的存储和传输能力，百度网盘还可为摄影、教育、电商等多赛道提供灵活调用、贴近场景行业解决方案。

自文心一言启动内测后，我们已收到超15万客户与伙伴的接入申请，目前参与内测的生态伙伴超过300家，包括工业、金融、政务、互联网、运营商、教育等行业的头部伙伴。文心千帆大模型平台也已深入到办公提效、知识管理、智能客服、智能营销等超过400个具体场景中进行研发测试，并取得许多非常有价值的测试效果。金蝶软件有限公司苍穹平台解决方案事业部总经理徐昊表示，在中国这个大环境下，有中国自己的产品跟中国企业结合，去为中国的用户服务，这个大模型（文心大模型）我们认为是可以打造出一流的智能管理系统的。

人工智能作为新一轮产业和技术革命重要驱动力量，未来发展前景广阔。百度智能云愿携手客户与伙伴共享大模型时代的技术红利，挺进产业智能化的“深水区”，推动国内AI生态健康、有序的发展。

标签：

上一篇 : 无状态为什么没人要无状态退役

下一篇 : 最后一页

推理性能提升50倍，大模型应用场景加速扩展

全域绽放畅游龙华！龙华发布五大系列主题活动