今晚8:00 | 杜克大学计算进化智能中心（CEI Lab）—— 联邦学习专题！

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

杜克大学 CEI Lab

杜克计算进化智能中心（CEI Lab）隶属于杜克大学电子计算机工程系，在陈怡然教授和李海教授的共同指导下，对处理认知任务的新计算平台进行了前沿研究。小组的主要研究方向是加速、安全和联邦学习纳米电子元件、新的和仿生计算系统架构、新的存储设备、嵌入式和边缘计算系统，以及大型神经网络。

4月13日、14日、15日晚8:00，特邀陈怡然教授和杜克大学CEI Lab七位学者将为您带来精彩的分享！

扫描二维码预约直播

（或点击阅读全文预约）

本期特邀嘉宾

陈教授：

现任杜克大学电子与计算机工程系教授，美国国家科学基金委（NSF）下一代移动网络和边缘计算人工智能研究所（Athena）国家科学基金委员会主任（NSF）新型和可持续计算（ASIC）校企合作研究中心（IUCRC）杜克大学计算进化智能研究中心主任、联合主任。他的团队致力于研究新的内存和存储系统、机器学习和神经形态计算以及移动计算系统。陈怡然博士出版了近500篇学术论文，并获得了96项专利。他曾担任过数十本国际学术期刊的编辑，并在60多个国际学术会议的技术和组织委员会工作。IEEE电路与系统杂志主编。在MICRO, KDD, DATE, SEC在著名的国际学术会议和研讨会上，他获得了8项最佳论文奖、1项最佳海报奖和14项最佳论文提名。由于对学术社区的贡献，陈怡然博士也获得了许多奖项，如IEEE计算机协会Edward J. McCluskey技术成就奖，ACM 自动化组织的设计（SIGDA) 服务奖等。他同时是ACM与IEEE会士（Fellow），并担任ACM设计自动化组织（SIGDA) 主席。

4月13日 20:00-21:30

联邦学习专题

李昂：

目前，他在杜克大学电子与计算机工程系学习，教授陈怡然和李海。他的主要研究方向是设计高效可靠的边缘智能系统和应用程序，包括联邦学习、端边云协作智能计算系统、数据安全和隐私保护。他将加入马里兰大学电子与计算机工程系担任助理教授。

分享内容：

个性化联邦学习联合优化通信和计算效率

报告简介：

联邦学习是一种新兴的分布式机器学习模式，旨在帮助许多客户（如移动设备或整个组织）在保持数据分散的同时，在保证大数据交换信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，共同培训模型。但联邦学习的发展和应用面临着通信成本、数据异质性、计算费用等诸多实际挑战。本报告主要分享2021年最新收录 ACM SenSys研究工作FedMask: Joint Computation and Communication-Efficient Personalized Federated Learning via Heterogeneous Masking”。这项工作提出了一个新的联邦学习框架FedMask，它可以大大降低通信成本，提高模型训练和推断效率，解决联邦学习训练过程中的数据异质性问题。

孙经纬：

本科毕业于武汉大学电子工程系，目前在杜克大学电子与计算机工程系攻读博士学位，师从陈怡然和李海老师。他的主要研究方向为提升联邦学习系统的效率，隐私性与鲁棒性。

分享内容：

联邦学习基于特征的隐私保护算法

报告简介：

用户数据隐私是近年来联邦学习的关键驱动力之一。然而，研究表明，即使用户数据没有直接访问，用户数据的隐私泄露在联邦学习中仍然非常严重。本报告将从数据特征泄露的角度探讨用户数据在联邦学习中泄露的关键原因。基于此，我们提出了一种鲁棒性可证用户数据隐私保护算法，用于特征泄露。该算法旨在在保护用户数据隐私的基础上，最大限度地保证模型性能，找出数据特征中数据隐私最大的重量，并在本地培训过程中抹去。

4月14日 20:00-21:30

深度学习高效鲁棒

杨幻睿：

本科毕业于清华大学电子工程系，目前就读于杜克大学电子与计算机工程系，师从李海、陈怡然。杨将于5月获得博士学位，并将加入加州大学伯克利分校从事博士后研究。杨的主要研究方向是提高深度学习模型的运行效率和鲁棒性。

分享内容：

面向低精度量化的神经网络训练算法

报告简介：

对神经网络进行低精度量化，尤其是混合精度量化，是提升神经网络部署效率的重要方法之一。然而，如何使神经网络适应低精度表示，如何选择最合适的量化精度，仍然存在许多未解决的问题。本报告将从两个方面探讨低精度神经网络的训练方法。我们提出了最佳的量化精度BSQ比特稀疏量化算法使模型在训练过程中自发获得适当的混合精度。为了使模型更适应量化的性能影响，我们进一步提出了用权值鲁棒描述模型泛化能力和低精度性能的理论模型，并根据该模型提出HERO训练算法可以提高模型的权重鲁棒性，然后获得高泛化能力和低精度量化鲁棒的模型。这两种方法提供了获得更高效、性能更好的神经网络模型的可能性。

张屯厚:

本科毕业于复旦大学微电子系。目前，他是杜克大学电子与计算机工程系的二年级博士生。他的主要研究方向是基于拓扑感知的神经网络架构搜索自动机器学习。

分享内容：

搜索基于拓扑感知的高效神经网络架构

报告简介：

神经网络架构搜索是机器学习自动化的重要组成部分。基于现有网络模块搜索现有的神经网络架构搜索工作，极大地限制了可探索的网络架构，限制了网络的潜在性能。此外，由于现有的搜索方法没有使用神经网络结构和模块中的拓扑信息，搜索过程非常耗时，无法准确找到良好高效的结构。为了解决这些问题，充分利用神经网络架构中的拓扑信息，我们提出了一套基于拓扑感知的神经架构搜索方法，探索新的神经网络模块，并将其概括为无环图。我们首先提出了AutoShrink该算法用于逐步减少对无环图的巨大搜索空间，使我们能够在短时间内搜索高效的神经网络模块。其次，我们提出NASGEM该算法利用拓扑信息为结构相似的神经网络模块提供相似的图形编码和表达，为搜索算法提供更好的先验知识和更准确的神经网络架构性能评估。在主流的计算机视觉任务中，我们提出的方法大大降低了搜索时间和费用，同时获得了高精度、高效的神经网络架构。

张静阳：

本科毕业于清华大学电子工程系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海和陈怡然老师。他的主要研究方向为提升深度学习模型的安全性和可靠性，具体包括对抗攻击/防御，开集识别/OOD检测。

分享内容：

细粒度OOD检测/开集识别初探

报告简介：

OOD检测/开集识别是深度学习系统可靠性的重要问题。以前的工作大多关注粗粒度场景，而忽略了细粒度场景。未知样本可能与已知样本具有很高的视觉/语义相似性。很难检测到这些未知的细粒度样本。在这项工作中，我们首先建立了四个针对细粒度的大OOD检测环境，发现现有方法对细粒度未知样本检测效果不佳。基于初步实验和分析，我们发现检测的困难在于现有方法不能很好地限制细粒度未知样本的输出。然后我们提出了MixOE解决这个问题。MixOE细粒度在四个测试环境中显著提高OOD检测精度。我们希望这项工作能帮助未来更好地探索细粒度OOD检测这个挑战性的问题。

4月15日 20:00-21:00

软硬件协同优化专题

李石宇：

本科毕业于清华大学自动化系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海和陈怡然老师。他的主要研究方向为计算机体系结构以及深度学习系统的软硬件协同设计。

分享内容：

稀稀卷积神经网络通过软硬件协同设计加速

报告简介：

通过剪枝去除冗余权值是压缩神经网络的常用方法。但由于剪枝产生的稀疏模式相对随机，硬件难以有效利用，以往方法实现的压缩比与硬件实际时间的推理加速差距较大。由于对剪枝过程的限制，结构化剪枝方法只能实现相对有限的压缩比。为了解决这个问题，我们在这项工作中设计了一种友好的硬件压缩方法。通过分解原始权重矩阵，我们将原始卷积分解为个步骤，对输入特征的线性组合以及使用基卷积核的卷积操作。基于这一结构，我们相应设计了稀疏神经网络加速器来高效地跳过冗余操作，实现提升推理性能和能耗比的目的。

谢知遥：

本科毕业于香港城市大学，博士毕业于杜克大学，师从陈怡然和李海教授。研究方向包括机器学习与芯片设计自动化，尤其是智能化的芯片设计方法。谢知遥将加入香港科技大学任助理教授。他曾在多家半导体公司实习，包括Cadence，Synopsys，NVIDIA，Arm。

分享内容：

可用于大规模商业化处理器的全自动化功耗模拟架构

报告简介：

而随着摩尔定律日益失效，获得每一代CPU性能提升变得越来越困难。为了获得更好的性能，CPU内的功耗与电流需求不断增加，CPU的功耗成为一个日益严重的问题。相比之下 CPU的输电技术进展依然缓慢。这导致最终CPU获得的电压低于设计电压。为了解决这些问题，本报告将介绍APOLLO框架，它使用一套统一的机器学习模型同时对设计和运行阶段的CPU功耗进行极低开销的快速实时计算。它自动选取极少量与功耗最相关的CPU信号作为输入，然后建立快速的模型，用于对每个周期的功耗进行预测或监测。这种功耗计算能力可能会极大改变CPU的设计和使用方式，同时开启新的应用领域。同时这个方法的整个流程是完全自动化的，不依赖任何工程师的经验。所以理论上它可以用于任何芯片设计。它在商业化的CPU设计Neoverse N1和Cortex-A77上得到了充分验证。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

AI TIME微信小助手

主       办：AI TIME 

合作媒体：AI 数据派、学术头条

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云、络绎科学

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了550多位海内外讲者，举办了逾300场活动，超120万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！