7.3. ハイパーパラメータの検証¶

外から与えるパラメータのこと。例えば、さっきのDropout率とか。

7.3.1. 検証データ¶

学習データと、その学習が正しいのかというテストデータの他に、ハイパーパラメーターが正しいのかを確かめるために「検証データ」を用意する。

検証データもランダムに選ばれる。

7.3.2. ハイパーパラメータの最適化¶

ハイパーパラメータがとる範囲をざっくり決めるうまくいかないこともありうるが、だいたい決める (範囲が大きいのはダメ。しんどい)
初期値をランダムにkメル
いっさいに学習して、検証データで評価する

選んだらどんどん値を絞っていく。

ハイパーパラメータは収束するまではやらない (時間がかかってしまうので)