机器学习ML入门。
线性回归
ScikitLearn | |||||
LR | Ridge | Lasso | ElasticNet | ||
L2:解决共线性问题 (Colinearity Problem) L1:特征选择 | (AI的解释) W=XtX XtY (Xw=Y >> XtXw= XtY) 当 COND(Xtx) ~ infinit, 导致inv(XtX)无解 举例: 12 23 46 XtX=[14,28] [28,56] eigVal=det([14-lamb, 28] 28, 56-lamb)=(14-lamb)(56-lamb) - 28*28 lamb1 = 70 lamb2 = 0 cond(XtX)= 70/0 = infinit | (AI的解释) W=(XtX + lambda E)^-1 XtY 加入L2/L1 后,限制w的大小(方差减少,而可能偏差会加大) >> cond(XtX) 变小,改善数值稳定性 >> coef系数变小,复合直觉。 举例: 12 23 46 alpha 10 01 XtX=[14,28] + alpha [28,56] eigVal=det([15-lamb, 28] 28, 5 |