自分用のメモなのでシンプルで分かりずらいかもしれません
1.特徴量と目標値について(FeatureとTarget)
例:)住宅価格の予測モデル
家の特徴=特徴量:面積,部屋の数,立地
↓モデルによって予測する。
家の価格=目標値
2.データポイントと特徴量
例:)医療データのデータセット
データポイント→一人の患者
特徴量:)年齢、血圧、症状の重症度、性別、コルステロール値
一つのデータセットに対して特徴量は複数存在する
3.k-最近傍法の点数と分析難易度
最近傍点が少ない→訓練データに近くなる
=>データが複雑で分類が困難
最近傍点が多い→なめらかで単純
=>データが単純であるから分類が簡単
4.R²スコアの仕組み
r^2=1 =>予測が100%的中している
r^2=0=>予測が平均的であることを示している
つまり、R^2スコアとはその事象の平均的な確率よりもどれだけ値のいい結果を返せるかのパラメーターであるといえる(?)
例)さいころの出る目を予測する場合
さいころの出る確率は一般的には1/6である。つまりr^2=1であるということはさいころの次に出る目を完全に予測できているということでありr^2=0であるということはモデルの予測精度が1/6であるということを述べている。
Here is a Σ: \( R^2-\sum \). 後で書きます
5.重回帰分析とは
複数の量的説明変数から一つの目標変数を予測する手法
6.リッジ回帰とは
最小二乗法に正則項を加えて過学習を抑えるようにしたものがリッジ回帰
「一般的に過学習を起こすとそれぞれの標準偏回帰係数の絶対値が大きくなる。」とされている。偏回帰係数とは、重回帰分析によって求められた関数のそれぞれの傾きの項のこと。
過学習が起きる=標準回帰係数(傾き)が大きい
傾きの大きさを抑えるための制限が加わっている。
$$ \hat{w} = (X^T X + \lambda I)^{-1} X^T y $$
Q.傾きが大きくなったら過学習している。正則項を足し合わせることで傾きが抑えられることをもう少し定量的に説明しろや
