近日，必威betway西汉姆郑思明博士与合作者以“Error Analysis for Deep ReLU Feedforward Density-Ratio Estimation with Bregman Divergence”为题在机器学习顶级期刊期刊Journal of Machine Learning Research发表论文，提出基于深度神经网络与Bregman散度的估计方法，用于对两个数据集分布的密度函数之比进行有效非参数建模，该方法在理论上被证明是统计最优并且可有效克服维数灾难问题，数值分析也显示该方法显著提升了估计表现。
密度比估计是统计学习中的基础问题，广泛应用于协变量偏移适应、生成模型和互信息估计等领域。传统方法在再生核空间中直接估计密度比，而现有针对深度网络的相关工作假设真实密度比本身为神经网络，在实践中往往不现实。本文在Bregman散度框架下，以深度ReLU前馈神经网络为估计工具，建立了不假设模型为神经网络设定的非渐近误差界。借助新颖的局部化技术同时处理来自两个样本的交互经验过程，并利用神经网络逼近结果，精细平衡两类误差以选取最优网络结构。证明了所提估计在有限支撑下达到极小极大最优收敛率；当数据分布支撑于近似低维黎曼流形时可缓解维数灾难；并从理论上证明了前人工作中的Telescoping密度比估计在一定条件下严格优于单比值估计器。模拟实验验证了上述理论结果的有效性。
本文在理论层面首次在不假设模型为神经网络设定的条件下，为基于深度ReLU神经网络的Bregman散度密度比估计建立了完整的非渐近误差界，且误差界中对维度的依赖仅为多项式量级，显著优于已有结果中普遍存在的指数级维度依赖。其次，本文发展了一种新颖的局部化技术同时处理两个独立样本所产生的交互经验过程，具有独立的方法论价值。在应用层面，本文将理论结果延伸至三个重要方向：构造了渐近正态的KL散度估计量，为高维场景下的统计推断提供了可操作工具；从理论上阐明了Telescoping密度比估计优于单比值方法的充分条件；证明了当数据近似集中于低维黎曼流形时，估计收敛率仅依赖内在维度而非环境维度，从理论上解释了深度网络在高维数据上的实际有效性。上述结果还可直接应用于加权保形预测、双重强化学习等前沿领域，具有较强的跨领域学术辐射价值。
该论文由郑思明博士担任第一作者，林媛媛、黄坚为通讯作者，申国豪为合作者。
会议室预约
资料下载