2018年6月22日下午,中山大学AI科技俱乐部举办了2018年春季学期最后一次讲座。本次讲座是由商汤科技研究员邵文琪师兄带来的《Deeply Understand Deep Learning I: Normalization is Regularization》,非常感谢邵文琪师兄精彩的讲座。
讲座伊始,主持人对主讲人进行了简要介绍:邵文琪师兄是香港中文大学电子工程学系一年级在读博士(EE PhD),指导老师为王晓刚教授和罗平教授。主要研究方向为深度神经网络优化方法和深度学习理论,包括神经网络归一化方法及其理论分析。2017年本科毕业于电子科技大学数学科学系(GPA:3.92/4.0,rank 1/40)。本科期间获国家奖学金并多次在大学生数学竞赛、数学建模竞赛中获重要奖项,其中全国大学生数学建模竞赛的后续研究成果受邀在2016年中国工业与应用数学学会(CSIAM)报告。2017年6月至今在商汤研究院实习。
接着,主讲人正式为大家带来讲座内容!
主讲人开始讲座
讲座开始,师兄首先介绍了入门知识:学出一个超平面或者学出一个概率分布,不论如何,共同的目标是有一个好的泛化能力,才能更好地拟合训练集和测试集。并提到了深度学习的输出y一般是一个复合函数,ReLu的激活函数以及权等内容。
随后,师兄讲了过拟合问题。对于学出的模型可以很好地拟合训练集,但是对于测试集行不通的问题,通常解决的方法就是Regularrization 正则化。
接着,师兄讲了优化问题。遇到曲面是一个高度非凸的,有很多的局部极小值,很难判断,或者有鞍点的干扰,梯度等于零,满足条件但是不是最小值,以及参数空间是高度非同构,参数之间的相关性很大等问题时,我们应该如何处理。
邵文琪师兄在进行公式推导演示
接下来就是本次讲座的重点了,师兄开始正式讲解归一化。师兄首先提到分析归一化所用到的工具:广义线性模型GLM Generalized Linear Model和FIM Fisher Information Matrix费舍尔信息矩阵。它们可以研究参数空间的形状,刻画参数空间的几何特征。接着师兄讲了常见的归一化方法,以及在参数空间做归一化再参数化的方法。
最后,师兄给大家讲了Analysis Using FIM中的两个问题:研究归一化的方法时如何提升模型训练的过程,以及归一化之后的FIM和没引入的FIM有什么不同。
较小的初始化,学习速度是很快的,归一化能够达到一个又快又稳的收敛过程。
如果一开始的初始化很大,那么学习率很小,很难改变权重的方向。更新的过程中,向量的范数是不断增大的,会不断降低有效的学习率。
讲座结束,全体人员合影留念!至此,本次讲座圆满结束,再次感谢邵文琪师兄给大家带来的精彩的讲解,感谢到场的老师和同学,希望大家能够继续关注中山大学AI技术俱乐部的后续活动~~
大家期末加油~下学期见!