近日,威尼斯84881高瓴人工智能学院师生共有一篇论文被IEEE TIT录用,IEEE Transactions on Information Theory(IEEE TIT)期刊是中国计算机学会(CCF)推荐的A类期刊,是国际公认的理论计算机科学与信息论领域的顶级期刊,享有卓越的学术声誉。这是人大高瓴人工智能学院师生首次在该期刊发表论文。
论文介绍
论文题目:Optimal Rates for Agnostic Distributed Learning
作者:李健,刘勇,王伟平
通讯作者:刘勇
论文概述:现有的分布式核岭回归(DKRR)的最优泛化理论通常需要一个严苛的假设,即目标函数属于假设空间中。然而,在实际的复杂任务中,目标函数往往在假设空间之外(学习任务是不可知的)。针对该问题,本文移除了“目标函数属于假设空间”的强假设,通过细化DKRR的泛化理论分析证明DKRR在不可知情况下仍能达到最优泛化误差收敛率。具体而言,本文首先推导出对经验和期望协方差算子之间差异更为精细的估计,从而放松对目标函数的约束;然后利用额外的无标签示例减少标签无关的误差项,进一步将最优误差界扩展到更多不可知学习的情况。本文不仅推导了DKRR在期望意义下的最优泛化误差界,还证明了高概率意义下的最优泛化误差界。最后,通过理论对比、对比实验,证明了本文理论具有更好的统计适用性和计算效率。