元学习的持续学习再探：通过方差减少隐式增强在线Hessian近似
输入“/”快速插入内容
元学习的持续学习再探：通过方差减少隐式增强在线Hessian近似
元学习的持续学习再探：通过方差减少隐式增强在线Hessian近似
飞书用户28612024年8月3日修改
META CONTINUAL LEARNING REVISITED- IMPLICITLY ENHANCING ONLINE HESSIAN APPROXIMATION VIA VARIANCE REDUCTION.pdf
论文总结: 《META CONTINUAL LEARNING REVISITED: IMPLICITLY ENHANCING ONLINE HESSIAN APPROXIMATION VIA VARIANCE REDUCTION》
摘要
基于正则化的方法是目前连续学习（CL）中常用的选择。最近的理论研究表明，这些方法都依赖于模型权重的Hessian矩阵近似。然而，由于训练期间Hessian估计固定不变，这些方法在知识转移和遗忘之间存在次优权衡。本文重新审视了Meta-Continual Learning（Meta-CL），并首次将其与正则化方法结合起来。具体而言，Meta-CL通过双层优化获得的超梯度隐式近似Hessian，但由于随机内存缓冲区采样引起的高方差问题，其效果受到限制。我们提出了方差减少的Meta-CL（VR-MCL），通过理论分析和综合实验验证了VR-MCL在及时和准确Hessian近似方面的优越性。
引言
背景
•
问题陈述：大多数正则化方法依赖于模型权重的Hessian矩阵近似，但在训练期间固定不变的Hessian估计导致了知识转移和遗忘之间的次优权衡。
•
目标：通过将Meta-CL方法与正则化方法相结合，提出一种能够更好适应和近似Hessian的方法。
研究动机
•
Hessian近似的重要性：Hessian矩阵的准确估计对于保持模型在连续学习中的表现至关重要。
•
当前挑战：固定的Hessian估计在训练过程中逐渐失去准确性，导致模型性能下降。
主要贡献
•
新的视角：将Meta-CL方法描述为一种Hessian矩阵近似技术，并将其与正则化方法联系起来。
•
方差减少的Meta-CL（VR-MCL）：提出了一种基于动量的方差减少技术，显著提高了Meta-CL的Hessian近似精度。
•
理论证明：证明了VR-MCL中的方差减少技术等效于对隐式估计的Hessian施加正则化，进一步解释了其在连续学习中的优越性能。
•
实验验证：在三个数据集和多个设置下，VR-MCL始终优于其他最新方法。
正则化方法的统一框架
分析
•
正则化方法的迭代更新框架：推导了正则化方法在连续学习中的统一迭代更新框架，并展示了Hessian近似准确性对这些方法性能的影响。
◦
公式推导：对于常见的正则化方法，如EWC（Elastic Weight Consolidation）和SI（Synaptic Intelligence），推导其更新规则，显示这些规则依赖于Hessian矩阵的准确估计。
◦
正则化项：正则化方法通过在损失函数中添加额外项，惩罚与先前学习任务不一致的参数更新。
•
Hessian的作用：Hessian矩阵在优化过程中起着关键作用，影响了模型更新方向。
◦
二阶信息：Hessian矩阵提供了模型损失函数的二阶信息，帮助更准确地评估参数更新对损失的影响。
重新审视Meta-CL
Meta-CL的优化过程
•
双层优化问题：Meta-CL通过记忆缓冲区中的样本隐式利用二阶信息来优化模型参数。
◦
外层优化：在每个新任务到来时，使用记忆缓冲区中的样本计算损失，更新模型参数。
◦
内层优化：在外层优化过程中，通过内层优化步骤估计超梯度，以调整模型的正则化项。
•
超梯度计算：利用超梯度隐式近似Hessian，但由于随机采样引起的高方差，可能导致性能下降。
◦
随机采样问题：由于内存缓冲区中的样本是随机采样的，这可能导致超梯度估计的高方差，从而影响Hessian近似的准确性。
Hessian近似视角下的Meta-CL
•
隐式Hessian近似：Meta-CL的方法等效于在训练过程中隐式计算Hessian，从而获得最新的二阶信息。
◦
隐式计算：不显式地计算Hessian矩阵，而是通过优化过程中的超梯度计算来近似获得。
•
高方差问题：随机内存缓冲区采样可能引入错误信息，导致Hessian估计方差较大。
◦
方差问题：方差大的超梯度可能导致不稳定的参数更新，从而影响模型的整体性能。
方差减少的Meta-CL（VR-MCL）
方法
•
动量技术：提出了一种基于动量的方差减少技术，通过保留前一步的参数来减少超梯度的方差。
◦
动量项：在超梯度更新过程中引入动量项，平滑超梯度估计，减少其波动。
◦
更新规则：通过动量项修正超梯度，减少其方差，提高Hessian估计的准确性。
•
更新规则：通过动量项修正超梯度，减少其方差，提高Hessian估计的准确性。
◦
公式：新的超梯度更新公式如下：