CNNの精度向上テクニックと軽量化

いい質問だね。CNNの精度を上げるための6つの重要テクニックがあるよ。さらに、高精度なモデルをスマホなどで使えるように軽量化する技術も大事なポイントだ。

学習前の重みはランダムな値で初期化するんだけど、その「ランダムの範囲」がとても重要なんだ。大きすぎると勾配爆発、小さすぎると勾配消失が起きてしまう。

代表的なのがドロップアウトだよ。学習中にランダムにノードを無効化することで、特定のノードに依存しすぎるのを防ぐ手法なんだ。

L2正則化（Weight Decay）も代表的な過学習対策だよ。重みの二乗和をペナルティとして損失関数に加える手法で、大きな重みを抑制して過学習を防ぐんだ。

学習しすぎると訓練データに特化しすぎて過学習になる。Early Stoppingは、検証データの損失が上がり始めたら学習を止める手法だよ。「これ以上やっても悪化するだけ」というタイミングを見極めるんだ。

各層の入力をミニバッチ単位で正規化（平均0・分散1に揃える）する処理だよ。料理で「味付けの基準を揃える」イメージで、各工程で極端にならないように毎回リセットするんだ。

既存の画像に変換を加えてバリエーションを増やす（水増し）手法があるよ。AIから見れば「違う画像」に見えるので、実質的にデータが増えたのと同じ効果になるんだ。

転移学習がまさにそれだよ。別のタスクで学習済みのモデルの知識を、自分のタスクに流用する手法なんだ。英語ができる人がフランス語を学ぶとき、言語の基礎知識を活かせるのと同じイメージ。

そのままだと重すぎて無理だね。例えばResNet-152はパラメータが6000万個もある。そこでモデルを小さく・軽くする技術が必要になるんだ。