L2约束与L2正则项优化问题的关系

Posted by Breezedeus on July 11, 2015

所谓的L2约束问题,就是带L2约束的优化问题,见下式:

而带L2正则项的优化问题则为:

下面说明

带L2约束的优化问题可以近似转化为L2正则项的优化问题。

上面的L2约束优化问题等价于:

而与它等价的对偶问题为:

其中$\lambda^{*}$为这个优化问题的最优解,显然$\lambda^*$是依赖于$R$的。所以上面的对偶问题变为:

如果我们不求解最优的$\lambda^*$,而是直接指定某个值$\lambda_0$,那对偶问题的求解就等价于带L2正则项的最小化优化问题了:

更详细的资料可见参考文献1

上面的推导不仅适用于$L_2$约束,它其实适用于所有的$L_p$约束($p\geq 1$),因为上面的推导过程只用到了$L_p$是凸函数的条件。

References

  1. 杉山将,《图解机器学习》第4.2节,2015。