Ridge，Lasso，ElasticNet的目标函数分别是什么？

你说反了，LASSO是$L_1$范数，Ridge才是$L_2$范数，ElasticNet是同时用了$L_1,L_2$范数。

对于linear regression: $Y= X\beta$，（默认$Y$和$X$都是中心化的）。

LASSO的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-x_i\beta \right)^2+\lambda\|\beta\|_1 $$

其中$x_i\beta$是预测值，$y_i$是真值，$\lambda\|\beta\|_1$是LASSO的惩罚项。

Ridge的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-x_i\beta x\right)^2+\lambda\|\beta\|^2_2 $$

其中$\lambda\|\beta\|_2^2$是Ridge的惩罚项。

Elastic Net的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-\beta x_i\right)^2+\lambda_1\|\beta\|_1+\lambda_2\|\beta\|^2_2 $$

其中$\lambda_1\|\beta\|_1+\lambda_2\|\beta\|_2^2$是ElasticNet的惩罚项。

对于logistic regression: $\text{logit}(p)= X\beta$，（截距被包含在$\beta$中）。

LASSO的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda\|\beta\|_1 $$

其中$y$是真实值，$p$是预测的概率，$\lambda\|\beta\|_1$是LASSO的惩罚项。

Ridge的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda\|\beta\|^2_2 $$

其中$y$是真实值，$p$是预测的概率$\lambda\|\beta\|_2^2$是Ridge的惩罚项。

Elastic Net的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda_1\|\beta\|_1+\lambda_2\|\beta\|^2_2 $$

其中$y$是真实值，$p$是预测的概率，$\lambda_1\|\beta\|_1+\lambda_2\|\beta\|_2^2$是ElasticNet的惩罚项。