报告题目 (Title)：泛化表示学习：从单任务到多任务

报告人 (Speaker)： 景丽萍 教授（北京交通大学）

报告时间 (Time)：2023年11月22日(周三) 20:30

报告地点 (Place)：腾讯会议 724364448

邀请人(Inviter)：彭亚新 教授

主办部门：理学院数学系

报告摘要：从复杂、冗余、动态的高维数据中抽取其本质信息，形成简单、泛化、稳定的低维表示是深度学习的关键目标之一。传统学习理论所依据的数据独立同分布假设往往无法满足开放场景的真实需求。服务于深度学习的信息瓶颈理论在指导学习方法设计时往往面临无法有效平衡信息压缩量和学习的泛化性。近年的PAC-Bayes信息瓶颈缓解了这个问题，但需要计算昂贵的二阶曲率，这阻碍了其大规模的应用推广。为此，科研团队提出了可识别信息瓶颈，利用密度比率匹配优化的可识别性，在无需二阶信息的前提下提升表示的泛化能力。与此同时，针对复杂的多任务非独立同分布设置下，模型面临着适应当前任务和平衡过去任务的两难困境。我们从理论上证明了深度网络训练时归一化操作对该问题的影响，利用不确定性估计，提出了自适应平衡批归一化策略，提升对新任务表示的泛化性，确保模型具备持续学习能力。