ML

Adjusted R-square

Posted by keming on December 2, 2017

一点统计学的小知识

所以什么是R-square

\[R^{2} = 1-\frac{RSS}{TSS}\]

  • ESS:回归平方和(可解释平方和)
  • RSS:残差平方和
  • TSS:总平方和 \[TSS=ESS+RSS\]

代表什么含义

  • ESS:模型可线性解释的部分占TSS的比例
  • RSS:模型不可线性解释的部分占TSS的比例
  • TSS:可以理解为方差,代表真实数据的波动 这种理解基本上是玄学。

数学公式

\[\sum_{i=1}^{n}(y_{i}-\bar{y})^{2}=\sum_{i=1}^{n}(\tilde{y_{i}}-\bar{y})^{2}+\sum_{i=1}^{n}(y_{i}-\tilde{y_{i}})^{2}\]

为什么用adjusted

  • 对特征维数的惩罚,毕竟有奥勒姆剃刀原理。