2021年12月28日下午15：00我院特邀南京审计大学吕绍高教授做线上学术报告，报告由学院统计系主任杨凯老师主持，学院部分老师、全体研究生参加了本次线上学术报告会。

报告题目：Quantized SGD in federated learning: communication, optimization and generalization

主讲人简介：现为南京审计大学统计与数据科学学院教授，兼校外博士生导师。2011年毕业于中国科大-香港城市大学联合培养项目，获得理学博士学位。主要研究方向是统计机器学习，当前主要研究兴趣包括联邦学习、再生核方法以及深度学习与图神经网络。迄今为止在SCI检索的国际杂志上发表论文20多篇，包括国际统计或人工智能类期刊 《Annals of Statistics》、《Journal of Machine Learning Research》、“NeurIPS”与《Journal of Econometrics》。主持过国家自然科学基金项目2项。长期担任人工智能顶级会议“NeurIPS”、“ICML”、“AAAI”以及“AIStat”程序委员或审稿人

报告会中，吕绍高老师分别从理论背景，带有量化的分布式SGD的原理以及模拟实验等几个方面讲述了对广泛使用的带有量化的分布式SGD的一些关键因素之间的相互作用，包括量化水平、优化误差和泛化性能，为师生们做了一场精彩的学术报告。理论结果表明，对于凸目标，在通信效率、优化误差和泛化性能之间存在着一些权衡，对于非凸目标，其量化水平对概括能力有更大的影响。在非凸的情况下，得出的泛化界限也表明，即使SGD的步长非常小，也可能需要早期停止来保证一定的泛化精度。最后，吕绍高老师介绍了使用逻辑模型和神经网络进行了几个数值实验，以支持理论结论。

通过吕绍高老师一小时的耐心报告，老师及同学对相关知识有了一定的了解，拓展了老师同学们的学术及专业视野，同时老师及同学对此产生了浓厚的兴趣，与吕绍高老师进行了交流，分别从算法的一些原理问题，具体参数选取方式以及惩罚项的设定等一些细节问题与吕绍高老师进行讨论，老师同学们学习到了很多新的知识。同时，吕绍高老师也对我们未来的学习研究方向给出了一定的指导，并对我院相关方向的发展发表了自己的见地，与会师生都有非同一般的感悟。

数学与统计学院

2021年12月28日