今晚8:00 | 杜克大学计算进化智能中心（CEI Lab）—— 高效鲁棒深度学习专题！...

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

杜克大学 CEI Lab

杜克计算进化智能中心（CEI Lab）隶属于杜克大学电子计算机工程系，在陈怡然教授和李海教授的共同指导下，对处理认知任务的新计算平台进行了前沿研究。小组的主要研究方向是加速、安全和联邦学习纳米电子元件、新的和仿生计算系统架构、新的存储设备、嵌入式和边缘计算系统，以及大型神经网络。

4月13日、14日、15日晚8:00，特邀陈怡然教授和杜克大学CEI Lab七位学者将为您带来精彩的分享！

扫描二维码预约直播

（或点击阅读全文预约）

4月14日 20:00-21:30

深度学习高效鲁棒

杨幻睿：

本科毕业于清华大学电子工程系，目前就读于杜克大学电子与计算机工程系，师从李海、陈怡然。杨将于5月获得博士学位，并将加入加州大学伯克利分校从事博士后研究。杨的主要研究方向是提高深度学习模型的运行效率和鲁棒性。

分享内容：

面向低精度量化的神经网络训练算法

报告简介：

低精度量化神经网络，特别是混合精度量化，是提高神经网络部署效率的重要途径之一。然而，如何使神经网络适应低精度表示，如何选择最合适的量化精度，仍然存在许多未解决的问题。本报告将从两个方面探讨低精度神经网络的训练方法。我们提出了最佳的量化精度BSQ比特稀疏量化算法使模型在训练过程中自发获得适当的混合精度。为了使模型更适应量化的性能影响，我们进一步提出了用权值鲁棒描述模型泛化能力和低精度性能的理论模型，并根据该模型提出HERO训练算法可以提高模型的权重鲁棒性，然后获得高泛化能力和低精度量化鲁棒的模型。这两种方法提供了获得更高效、性能更好的神经网络模型的可能性。

张屯厚:

本科毕业于复旦大学微电子系。目前，他是杜克大学电子与计算机工程系的二年级博士生。他的主要研究方向是基于拓扑感知的神经网络架构搜索自动机器学习。

分享内容：

搜索基于拓扑感知的高效神经网络架构

报告简介：

神经网络架构搜索是机器学习自动化的重要组成部分。基于现有网络模块搜索现有的神经网络架构搜索工作，极大地限制了可探索的网络架构，限制了网络的潜在性能。此外，由于现有的搜索方法没有使用神经网络结构和模块中的拓扑信息，搜索过程非常耗时，无法准确找到良好高效的结构。为了解决这些问题，充分利用神经网络架构中的拓扑信息，我们提出了一套基于拓扑感知的神经架构搜索方法，探索新的神经网络模块，并将其概括为无环图。我们首先提出了AutoShrink该算法用于逐步减少对无环图的巨大搜索空间，使我们能够在短时间内搜索高效的神经网络模块。其次，我们提出NASGEM该算法利用拓扑信息为结构相似的神经网络模块提供相似的图形编码和表达，为搜索算法提供更好的先验知识和更准确的神经网络架构性能评估。在主流的计算机视觉任务中，我们提出的方法大大降低了搜索时间和费用，同时获得了高精度、高效的神经网络架构。

张静阳：

本科毕业于清华大学电子工程系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海、陈怡然。他的主要研究方向是提高深度学习模型的安全性和可靠性，包括攻击/防御、开集识别/OOD检测。

分享内容：

细粒度OOD检测/开集识别初探

报告简介：

OOD检测/开集识别是深度学习系统可靠性的重要问题。以前的工作大多关注粗粒度场景，而忽略了细粒度场景。未知样本可能与已知样本具有很高的视觉/语义相似性。很难检测到这些未知的细粒度样本。在这项工作中，我们首先建立了四个针对细粒度的大OOD检测环境，发现现有方法对细粒度未知样本检测效果不佳。基于初步实验和分析，我们发现检测的困难在于现有方法不能很好地限制细粒度未知样本的输出。然后我们提出了MixOE解决这个问题。MixOE细粒度在四个测试环境中显著提高OOD检测精度。我们希望这项工作能帮助未来更好地探索细粒度OOD检测这一有挑战性的问题。

4月15日 20:00-21:00

软硬件协同优化专题

李石宇：

本科毕业于清华大学自动化系。目前，他是杜克大学电子与计算机工程系的三年级博士生。他的主要研究方向是计算机系统结构和深度学习系统的软硬件协同设计。

分享内容：

稀稀卷积神经网络通过软硬件协同设计加速

报告简介：

通过剪枝去除冗余权值是压缩神经网络的常用方法。但由于剪枝产生的稀疏模式相对随机，硬件难以有效利用，以往方法实现的压缩比与硬件实际时间的推理加速差距较大。由于对剪枝过程的限制，结构化剪枝方法只能实现相对有限的压缩比。为了解决这个问题，我们在这项工作中设计了一种友好的硬件压缩方法。通过分解原始权重矩阵，将原始卷积分解为输入特征的线性组合和基卷积核的卷积操作两个步骤。基于此结构，我们设计了稀疏神经网络加速器，以有效地跳过冗余操作，提高推理性能和能耗比。

谢知遥：

本科毕业于香港城市大学，博士毕业于杜克大学，怡然和李海教授。研究方向包括机器学习和芯片设计自动化，特别是智能芯片设计方法。谢志远将加入香港科技大学担任助理教授。他曾在包括在内的许多半导体公司实习Cadence，Synopsys，NVIDIA，Arm。

分享内容：

全自动功耗模拟架构可用于大型商业化处理器

报告简介：

随着摩尔定律的失败，每一代人都会得到它CPU提高性能越来越困难。为了获得更好的性能，CPU内部功耗和电流需求不断增加，CPU功耗日益严重。相比之下 CPU输电技术进展缓慢。这导致最终CPU电压低于设计电压。本报告将介绍解决这些问题APOLLO框架采用统一的机器学习模型设计和运行阶段CPU快速实时计算极低开销的功耗。它自动选择与功耗最相关的极少量。CPU信号作为输入，然后建立快速模型来预测或监测每个周期的功耗。这种功耗计算能力可能会发生很大的变化CPU同时开启新的应用领域。同时，该方法的整个过程完全自动化，不依赖任何工程师的经验。所以理论上可以用于任何芯片设计。它是商业化的CPU设计Neoverse N1和Cortex-A77已得到充分验证。

直播结束后，可以在群里提问。AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-四、将您拉入四AI TIME PhD 交流群-4”！

AI TIME微信小助手

主 办：AI TIME

合作媒体：AI 数据派，学术头条

合作伙伴：智谱·AI、中国工程院知领直播，学校在线，蔻享学术AMiner、 Ever链动、科研云、络绎科学

推荐以往精彩文章

记得关注我们！每天都有新知识！

关于AI TIME

AI TIME起源于2019年，旨在弘扬科学思维精神，邀请各界人士探索人工智能理论、算法和场景应用的本质问题，加强思想碰撞，连接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME邀请了550多名国内外讲师，举办了300多场活动，120多万人观看。

我知道你

在看

哦

~

点击 阅读原文预约直播！