北京灵奥科技基于亚马逊云科技打造大模型中间件 助力企业加速应用生成式AI
时间:2024-06-27 21:37:11
北京——2024年6月27日 北京灵奥科技基于亚马逊云科技的、和容器等云办事,打造大模子中间件,将根底模子上风和企业营业数据无缝连系,买通企业AI使用落地的最初一公里。灵奥科技现已办事环球跨越30,000家用户,普遍遮盖电商、金融、法令、房地产、教导和动力等行业。
大模子中间件是基于根底模子与AI使用之间的中间层根底软件,首要解决根底模子使用过程当中数据集成、使用集成、知识库(向量数据库)与根底模子融会等题目。作为一家倏地生长的始创企业,灵奥科技自成立之初就加入了亚马逊云科技分工火伴网络,推出了大模子中间件平台Vanus,供应语料的及时收集、数据荡涤、过滤和嵌入。同时,作为下层使用造访根底模子与知识库的进口,供应根底模子与知识库的融会、使用安排和施行。
Vanus大模子中间件平台基于亚马逊云科技而构建,使用亚马逊云科技在计较、网络、存储、数据库和天生式AI等方面办事,完成了多个方面的优点。应用托管容器办事Amazon Elastic Kubernetes Service(Amazon EKS)的弹性扩大才能,Vanus可根据营业流量腻滑伸缩,助力企业轻松应答流量洪峰,均匀本钱下降30%,性价比进步20%;在进步可用性和可靠性方面,应用亚马逊云科技全托管文档数据库办事Amazon DocumentDB多可用区、多正本的特点,Vanus可轻松完成数据跨区存储,完成无感灾害复原,可用性达到99.99%;在下降延时方面,Vanus借助工具存储办事Amazon Simple Storage Service(Amazon S3)及数据库的高并发数据查问才能,连系亚马逊云科技环球网络节点加快才能,收缩根底模子上下文加载时候,将AI Agent答复体系延时下降40%;另外,Vanus借助全托管的天生式AI办事Amazon Bedrock供应的Claude系列模子,晋升AI Agent的言语懂得和逻辑推理才能,打造加倍智能的办事体验。
今朝,Vanus大模子中间件已在电商、金融、法令、房地产、教导等多个行业的营业场景中失掉普遍使用。
某软件办事企业各部门积淀了少量外部数据,但面对跨部门常识同享服从低和客服培训异常耗时的挑衅。同时,客服职员基于传统搜刮体式格局猎取信息,致使呼应时候较长,用户赞扬率回升。Vanus基于亚马逊云科技的存储和数据库等云办事,赞助企业从文档、数据库、SaaS软件等多个数据源中及时抽取数据,构建对立的企业知识库;同时,借助Amazon Bedrock等办事,为企业客服职员构建AI 机器人,基于全域营业数据及时推理,倏地供应答复倡议,极大地降低了客服呼应时候。当初,题目答复时候已从分钟级降至秒级,客服团队的人效进步70%,大幅降低了客服投入的本钱。
南美洲某衣饰类电商网站的产物高达7,000多种,天天面对少量对于产物、退换货和物流的客户征询,不但需求不少客服职员,也带来了较高的治理本钱。尤其在客服团队非事情时候,客户询问未能失掉实时回应,不但致使客户满意度降低,更错失了许多商机。Vanus基于Amazon Bedrock等云办事为该企业构建了适宜电商使用场景的客服机器人VanChat,可以或许供应7*24小时的立即题目答复办事,赞助该企业节减少量人力资本,进步客户满意度。另外,VanChat还供应用户用意辨认和产物保举等功能,加速用户的购置决议,推进网站贩卖事迹的增进。VanChat为该企业带来显著的经济效益,仅上线首月投资回报率就高达611%,同时还供应客户洞察,赞助企业更好地懂得用户需要并优化营销计谋。
北京灵奥科技CEO厉启鹏暗示:“在天生式AI赋能方面,亚马逊云科技不仅为咱们构建了底层根底办法,还供应了浩繁简略易用且性能壮大的云办事和专家资本,加快了灵奥科技天生式AI产物的倏地落地。预测将来,咱们将连续深化与亚马逊云科技在和根底模子畛域的分工,进一步加强处置数据的才能,赞助客户充沛开释的贸易后劲。”