羡林大讲堂第95期:陈俊龙谈动态结构的神经网络
5月18日,由学生工作处主办、数学科学学院承办的乐动平台,乐动平台(中国)第95期“羡林大讲堂”以线上直播、线下集中观看的方式,于西校区11#B207、A201开展。华南理工大学计算机科学与工程学院院长陈俊龙受邀做客本期羡林大讲堂,作题为《动态结构的神经网络:构建叠层宽度神经网络成深度模型》的报告。本次报告会由数学科学学院副院长赵军圣主持,学院部分教师、研究生和数据科学与大数据专业2019级学生听取了报告。
报告强调,深层的神经网络结构能够使网络具有强大的学习能力,然而大多数深度网络的训练方式也是基于反向传播的梯度下降法或随机梯度下降法,往往存在着训练消耗时间长、容易陷入局部最优解等问题。宽度学习系统 (Broad Learning Systems, BLS) 是一种浅层的具有增量学习能力的神经网络,具有快速、高效的优点,然而其浅层结构也限制了网络的特征表达能力。一种具有动态结构的神经网络“由构建叠层宽度神经网络成的深度模型”可以解决上述问题。该模型保留了宽度学习系统高效、快速的优点,同时通过残差连接将多个宽度学习系统模块叠加起来,增加网络的深度,提高网络的学习能力。叠层宽度神经网络(Stacked BLS)的“动态”体现在宽度和深度两个方面。宽度方向的增量学习体现在宽度学习系统模块内部的神经元:在每一个宽度学习系统模块内部,当新增加特征节点、增强节点或输入数据时,只需要学习新增加部分的权重即可;深度方向的增量学习体现在宽度学习系统模块之间:在宽度学习系统模块之,当叠加新的宽度学习系统模块时,下层模块的参数可以固定不变,只需要计算新叠加的宽度学习系统模块的网络参数即可。这两种增量学习的方式使得模型的计算量较少,网络复杂性较低,使用过程中可以很方便的增加网络的宽度和深度,并实现快速、高效的训练,能够针对不同任务进行适应性的调整,提高模型的泛化能力。叠层宽度神经网络在多个数据集上展现了优越性,在多个图像数据库的测试,均优于现有的很多图像分类方法,同时相较于深度神经网络方法,动态结构的神经网络大幅减少了网络计算时所需要的参数数量。
报告结束后,同学们纷纷表示受益匪浅,要以陈教授为榜样,刻苦钻研,为国家大数据发展贡献自己的力量。
陈俊龙(C. L. Philip Chen),华南理工大学计算机科学与工程学院院长、讲座教授、清华大学海外杰出访问教授、中国自动化学会副理事长、科睿维安全球高被引科学家(工程及计算机双学科)、美国工学技术教育认证会评审委员及我国计算机科学与技术的教育指导委员会成员。曾任IEEE Transactions on Cybernetics (2020-2021)、IEEE Trans. on Systems、Man, and Cybernetics: Systems (2014-2019)顶级期刊主编、IEEE SMC 学会国际总主席(2012-2013),现任《中国科学》、《自动化学报》,IEEE Trans. on Fuzzy Systems, 和 IEEE Trans. on AI 的副编。曾获2次IEEE Transactions on Neural Networks and Learning Systems年度期刊最佳年度论文奖,在2018 年获IEEE系统科学控制论最高学术维纳奖 (Norbert Wiener Award),获2021 IEEE Joseph Wohl 终身成就奖,及获2021吴文俊人工智能杰出贡献奖。科研方向为智能系统与控制、计算智能等;科研支持包括科技部重点研发项目(首席)、国家基金委重点项目在人工智能方向的科研、以及多项广东省、广州市、澳门科技基金委的资助;科研成果包括3次澳门自然科学奖、广东省科学技术一等奖等。曾任澳门大学讲座教授及科技学院院长、澳门大学工程学科及计算机工程获国际《华盛顿协议》、《首尔协议认证》,是他对澳门工程教育的至高贡献。
(审核 赵军圣)
聊大要闻
-
乐动平台,乐动平台(中国)在全国高校数字艺术设计大赛中再创佳绩2024-09-06
-
乐动平台,乐动平台(中国)学子荣获第五届全国大学生动物科学专业技能大赛团体二等奖2024-09-06
-
教育部网站报道我校辅导员队伍建设工作2024-09-05
-
乐动平台,乐动平台(中国)召开博士学位授权申报工作部署会2024-09-05
-
多措并举 教育前置 计算机学院打造新生入学专业教育四重奏2024-09-05
-
乐动平台,乐动平台(中国)第25届研究生支教团工作总结座谈会召开2024-09-05
-
乐动平台,乐动平台(中国)向密联邦科斯雷州高级中学捐赠尼山书屋2024-09-05
-
学校召开2025年预算编报工作部署会2024-09-05
-
乐动平台,乐动平台(中国)第六批援疆实习支教师范生出征2024-09-05
-
冯振豹课题组本年度再次在《应用物理快报》上发表论文2024-09-04