锐单电子商城 , 一站式电子元器件采购平台!
  • 电话:400-990-0325

星策社区发起人谭中意:用开源方式推进企业智能化转型

时间:2023-01-06 00:30:00 03lf集成电路

问渠那得如此清楚,为有源的活水而来。开源是将源代码的来源注入到网络创新中,让每个人都能吸收,从而掀起新的浪潮和变化。它的核心是收集每个人的智慧来改进软件,从而达到双赢的效果。这和创业过程中的众筹是一样的。更准确地说,开源的价值在于打破资源垄断,提高软件质量,丰富开源文化本身的内涵。

2022 年 7 月 21 由中国开源软件推广联盟主办,赛迪传媒、软件与集成电路杂志联合主办,CSDN 星策社区发起人、中国开源软件推广联盟副秘书长谭中意在第十七届开源中国开源世界峰会论坛独家直播上发表主题演讲。

每个企业都有不同的行业和竞争对手。没有办法复制自己的情况,包括团队组成、历史经验、技术能力等。然而,在企业智能转型的过程中,有许多共同点,如一些方法、策略、一般技术等,可以通过开源合作,分享企业智能转型的经验,共同做得更好。谭中意这么说。

此外,他还专注于介绍Open MLDB项目,“主要特性第一是解决机器学习线上线下一致性的问题,第二是具备毫秒级高效的时序数据库查询的功能,第三是高可用”。

以下是谭中意演讲的实录:

大家好!首先,我们热烈祝贺第十七届开源中国开源世界峰会论坛成功举办。本次峰会论坛的主题是开源创新 数字化转型 智能重构,我分享的话题是通过开源促进企业的智能转型。我是谭中意,星策开源社区的发起人,中国开源促进联盟副秘书长,开放原子开源基金会TOC副主席。

今天,我首先介绍开源是一种开放的合作,然后简要介绍星策社区,包括社区成员、项目和活动。最后,欢迎您加入。

利用开源共同合作

什么是开源?著名的开源活动家Ibrahim医生认为开源是一种开放的合作。他在给星策社区的贺词中说,开源赢了,因为合作被证明是促进创新的更好模式。Ibrahim博士是LF AI & Data基金会执行董事也是星策开源社区的导师之一。

首先,我们认为企业很难进行智能转型。这不再是一个要做的问题,而是一件必须做好的事情。但怎么做?要做成什么样?使用新工具和平台简单吗?比如建数据中台,建AI报表可以称为数字智能转型吗?或者用一个APP?都不是这样。企业智能化转型涉及到企业战略、组织、产品、技术等方面的全面变化,挑战巨大,经验不能复制

每个企业都有不同的行业和不同的竞争对手。没有办法复制自己的情况,包括团队组成、历史经验、技术能力等。但在企业智能化转型过程中,有许多共同点,如一些方法、策略、一般技术等。当我们看到这种情况时,我们可以通过开源合作,分享我们在企业智能转型中的经验,一起做得更好。因此,星策社区应运而生。

星策开源社区

星策开源社区是一个以企事业单位、高校、科研单位、非营利组织为基础,以企业智能化转型为重点的非营利性开源社区。社区成员共享共建企业智能方法论、优秀案例及支撑企业智能转型的开源技术;同时社区提供经验丰富的转型导师,不定期举行面向行业的智能化转型活动和聚焦企业智能化转型领域的技术活动等等。

目前,星策开源社区共有九个单位,即中国开源软件推广联盟、中国信通院、LF AI&DATA基金会、腾讯、微众银行、中兴、蒙牛集团、中国工商银行、第四范式。

目前,星策社区有三位经验丰富的导师。第一个是Ibrahim博士,他是LF AI&DATA基金会执行董事AI领域有相当多的经验。二是第四范式联合创始人兼首席架构师胡世伟先生。胡先生在企业数字化转型、数字化战略顶层设计和大型机器人领域有着丰富的经验。他主持了世界知名银行、国际连餐饮集团等企业的数字化转型。APEC数字经济委员会委员。最后一个是我自己。我在百度和腾讯有多年的平台化和开源治理经验。

Open MLDB

下面简单介绍一下社区开源项目。目前有三个社区开源项目。

第一个是Open MLDB,为机器学习应用提供丰富高效的数据,开源积极学习数据库。

第二个是DSS,微众银行自主研发,使用方便BI应用开发工具。

第三个项目是Adlik,运行机器学习模型是由ZTE开发的工具,可以使模型在各种部署环境中有效运行。

目前,这三个开源项目是星策社区的主要开源项目。我们相信,随着星策社区的运营,新项目可以不断加入。

由于时间关系,我将简要介绍其中一个项目——Open MLDB。它是机器学习设计和优化的开源特征平台Apache V2.开源许可证最早是基于第四范式的内部产品。该内部产品已成功落地数百名客户,每天在线运营。2021年6月正式开源。主要特性一是解决机器学习线上线下一致性的问题,二是具有毫秒高效的时序数据库查询功能,三是高可用性更多的特征,就不一一列举了。

让我们来看看在线和离线的一致性。这是一个传统的机器学习过程。首先,我们的数据科学家会在笔记本上工作Python、Spark SQL从海量数据中提取,然后转换特征,最后构建能够实现产品目标的模型。

获得目标后,交给线下大规模集群进行培训模型。模型培训出来后,工程团队开始在线部署。在部署过程中,不仅要在线部署训练模型,还要连接训练中使用的特征。此时,它经常使用传统模型DataBase,然后使用高效的语言开发,如C ,提取特征以提供实时特征。当用户要求时,可以结合模型和数据提供准确的在线预测服务,从而实现AI模型的功能,例如,控、推荐、绿色场景。

目前的特征提取是数据科学家Python、Spark SQL同样的逻辑,工程团队应该使用C 语言实现要求逻辑完全一致,否则容易出现数据不一致的问题。这个过程我们称为计算逻辑的一致校验。这个过程非常耗时。一些科学家估计,培训一个模型可能只需要三天时间,但在线模型花了半年时间才完成,并花了大量时间在线和离线一致性验证过程中。

Open MLDB如何解决?它以一种非常巧妙的方式解决了这个问题。首先,离线数据,当我们做训练时,通过Spark和SQL培训,同时,这两个句子支持同时在线,可以使用内置引擎在线部署,使开发在线,可以做三个步骤:工程师首先离线SQL脚本开发,完成模型训练;训练后使用相同的模型SQL一键部署实现在线;实际业务和使用特征所需的服务可调用到接口,实际访问实时请求数据流。对于工程师来说,不需要线上线下一次性验证,因为我们提供统一简单的服务SQL脚本,让它完成工作,我们我们通过批处理SQL实时发动机SQL发动机自动完成线上线下一致性。

使用统一的简单接口SQL,这就是非常优雅地解决线上线下一致性的问题Open MLDB最重要的特性,开发最重要的特点AI应用变得简单,耗时很少。

星策开源社区也在举办一系列的活动,比如我们举办了国内首届DataOps MLOps Meetup,也组织了国内首届DevDps MLDps Meetup,还在继续Feature Store Meetup,目前已经举办了三次,我们也举办了企业智能转型Meetup。

在未来几天,我们将继续丰富企业智能转型的案例,举办企业转型交流活动,计划在年底举行社区年度峰会,并继续跟进技术MLOps技术赛道和BI AI开源技术可能会出版一本书MLOps的书籍。

星策社区的口号是一起开始,一起闪耀

希望更多的朋友能加入这个社区,为中国企业的智能转型合作。

谢谢大家。

点击2022(第十七届)开源中国开源世界峰会论坛-CSDN直播,查看更多精彩的演讲!

锐单商城拥有海量元器件数据手册IC替代型号,打造电子元器件IC百科大全!

相关文章