ニューラルネットワークの基礎

人間の脳の神経細胞（ニューロン）の仕組みを模倣した計算モデルだよ。入力層・中間層（隠れ層）・出力層の3つの層で構成されていて、データを受け取り、特徴を抽出して、結果を出力するんだ。

中間層を多数重ねた（深い）ニューラルネットワークのことだよ。従来の機械学習と比べると、特徴量を人間が設計する必要がないのが最大の違いなんだ。

1958年にフランク・ローゼンブラットが考案した、最も単純なニューラルネットワークだよ。入力に重みをかけて足し合わせ、しきい値を超えたら1、超えなかったら0を出力する「Yes/Noを判定する装置」なんだ。

単純パーセプトロンの限界を突破するために、中間層（隠れ層）を追加したのが多層パーセプトロンだよ。中間層が入ることで非線形な境界を作れるようになり、XOR問題も解けるんだ。

ある層のすべてのノードが、次の層のすべてのノードとつながっている層のことだよ。入力が3つ、次の層が4つなら接続は3x4＝12本。フレームワーク（Kerasなど）ではDenseという名前で出てくるんだ。

全結合層の計算は「入力x重み＋バイアス」だけど、これはただの線形変換。線形変換をどれだけ重ねても線形のまま。つまり層を何層重ねても1層と同じになってしまう。活性化関数で非線形な変換をかませることで、深くする意味が生まれるんだ。

多クラス分類の出力層で使うよ。出力層の生の数値を各クラスの確率（合計1）に変換するんだ。例えば犬60%、猫22%、鳥13%のように。一番高いクラスが予測結果になる。

2つの技術がセットで使われるんだ。誤差逆伝播法は「犯人探し」（どの重みが間違いの原因か調べる）、勾配降下法は「修正」（調べた結果をもとに重みを直す）という役割分担だよ。

誤差逆伝播法は、微分の連鎖律（チェインルール）を使って、各重みの「損失への影響度（勾配）」を効率的に計算している。ラメルハート、ヒントン、ウィリアムズが1986年に提案して、ニューラルネットワーク研究が再び活性化したんだ。

損失関数を「山」と考え、勾配（傾き）が急な方向に少しずつ下って谷底（損失最小）を目指す手法だよ。

全データではなくランダムに選んだ一部（ミニバッチ）を使って勾配を計算するからだよ。毎回使うデータが違うので更新の方向にブレ（ノイズ）が生じるが、このブレが局所最適解や鞍点を抜け出す力になるんだ。

そうとは限らない。谷底は1つとは限らなくて、浅い谷にハマるとそこが最良だと思い込んでしまうんだ。

学習の繰り返しに関する3つの用語を整理しよう。データが1000個でバッチサイズが100個なら、1エポック＝10イテレーション。30エポック繰り返すなら合計300イテレーションだよ。

損失関数は予測と正解のズレを数値化する関数だよ。この値を小さくするように重みを調整するのが学習の本質。タスクの種類（回帰・二値分類・多クラス分類）によって使うべき損失関数が決まっているんだ。間違った損失関数を使うとうまく学習できないから、対応関係をしっかり覚えておこう。