北京灵奥科技基于亚马逊云科技打造大模型中间件 助力企业加速应用生成式AI

北京——2024年6月27日 北京灵奥科技基于亚马逊云科技的、和容器等云办事，打造大模子中间件，将根底模子上风和企业营业数据无缝连系，买通企业AI使用落地的最初一公里。灵奥科技现已办事环球跨越30,000家用户，普遍遮盖电商、金融、法令、房地产、教导和动力等行业。

大模子中间件是基于根底模子与AI使用之间的中间层根底软件，首要解决根底模子使用过程当中数据集成、使用集成、知识库(向量数据库)与根底模子融会等题目。作为一家倏地生长的始创企业，灵奥科技自成立之初就加入了亚马逊云科技分工火伴网络，推出了大模子中间件平台Vanus，供应语料的及时收集、数据荡涤、过滤和嵌入。同时，作为下层使用造访根底模子与知识库的进口，供应根底模子与知识库的融会、使用安排和施行。

Vanus大模子中间件平台基于亚马逊云科技而构建，使用亚马逊云科技在计较、网络、存储、数据库和天生式AI等方面办事，完成了多个方面的优点。应用托管容器办事Amazon Elastic Kubernetes Service(Amazon EKS)的弹性扩大才能，Vanus可根据营业流量腻滑伸缩，助力企业轻松应答流量洪峰，均匀本钱下降30%，性价比进步20%;在进步可用性和可靠性方面，应用亚马逊云科技全托管文档数据库办事Amazon DocumentDB多可用区、多正本的特点，Vanus可轻松完成数据跨区存储，完成无感灾害复原，可用性达到99.99%;在下降延时方面，Vanus借助工具存储办事Amazon Simple Storage Service(Amazon S3)及数据库的高并发数据查问才能，连系亚马逊云科技环球网络节点加快才能，收缩根底模子上下文加载时候，将AI Agent答复体系延时下降40%;另外，Vanus借助全托管的天生式AI办事Amazon Bedrock供应的Claude系列模子，晋升AI Agent的言语懂得和逻辑推理才能，打造加倍智能的办事体验。

今朝，Vanus大模子中间件已在电商、金融、法令、房地产、教导等多个行业的营业场景中失掉普遍使用。

某软件办事企业各部门积淀了少量外部数据，但面对跨部门常识同享服从低和客服培训异常耗时的挑衅。同时，客服职员基于传统搜刮体式格局猎取信息，致使呼应时候较长，用户赞扬率回升。Vanus基于亚马逊云科技的存储和数据库等云办事，赞助企业从文档、数据库、SaaS软件等多个数据源中及时抽取数据，构建对立的企业知识库;同时，借助Amazon Bedrock等办事，为企业客服职员构建AI 机器人，基于全域营业数据及时推理，倏地供应答复倡议，极大地降低了客服呼应时候。当初，题目答复时候已从分钟级降至秒级，客服团队的人效进步70%，大幅降低了客服投入的本钱。

南美洲某衣饰类电商网站的产物高达7,000多种，天天面对少量对于产物、退换货和物流的客户征询，不但需求不少客服职员，也带来了较高的治理本钱。尤其在客服团队非事情时候，客户询问未能失掉实时回应，不但致使客户满意度降低，更错失了许多商机。Vanus基于Amazon Bedrock等云办事为该企业构建了适宜电商使用场景的客服机器人VanChat，可以或许供应7*24小时的立即题目答复办事，赞助该企业节减少量人力资本，进步客户满意度。另外，VanChat还供应用户用意辨认和产物保举等功能，加速用户的购置决议，推进网站贩卖事迹的增进。VanChat为该企业带来显著的经济效益，仅上线首月投资回报率就高达611%，同时还供应客户洞察，赞助企业更好地懂得用户需要并优化营销计谋。

北京灵奥科技CEO厉启鹏暗示：“在天生式AI赋能方面，亚马逊云科技不仅为咱们构建了底层根底办法，还供应了浩繁简略易用且性能壮大的云办事和专家资本，加快了灵奥科技天生式AI产物的倏地落地。预测将来，咱们将连续深化与亚马逊云科技在和根底模子畛域的分工，进一步加强处置数据的才能，赞助客户充沛开释的贸易后劲。”