トップ>用語集

用語集

G検定 全分野の用語・人物まとめ
このページについて

G検定シラバスの各分野から、主要な用語・人物・システムをまとめた一覧ページです。カテゴリをクリックすると該当セクションにジャンプします。

人物と出来事
重要人物
人物功績・関連事項補足
ジョン・マッカーシーダートマス会議を提唱、「AI」という用語を生み出した。フレーム問題を提唱（1969年、ヘイズと共同）AIの父と呼ばれる。LISP言語の開発者
マービン・ミンスキーダートマス会議参加者、AI研究の先駆者。パーセプトロンの限界を証明（1969年、パパートと共同）フレーム理論を提唱。XOR問題が解けないことを示しAI冬の時代の一因に
シーモア・パパートパーセプトロンの限界を証明（1969年、ミンスキーと共同）著書『Perceptrons』
フランク・ローゼンブラットパーセプトロンを考案（1958年）形式ニューロンに学習機能を追加
ウォーレン・マカロック形式ニューロン（ニューロンの数学モデル）を提案（1943年）ピッツと共同。ニューラルネットワークの原点
ウォルター・ピッツ形式ニューロン（ニューロンの数学モデル）を提案（1943年）マカロックと共同
クロード・シャノンダートマス会議参加者、情報理論の父
アレン・ニューウェルダートマス会議参加者。ロジックセオリスト（世界初のAIプログラム）を開発ハーバート・サイモンと共同研究
ハーバート・サイモンダートマス会議参加者。ロジックセオリスト（世界初のAIプログラム）を開発アレン・ニューウェルと共同研究。ノーベル経済学賞受賞者
ジョセフ・ワイゼンバウム対話プログラムELIZAを開発（1966年）MIT。ELIZA効果の発見につながった
アーサー・サミュエル「機械学習」という用語を初めて使用（1959年）チェッカーの自己対戦プログラムを開発
ダグラス・レナートCycプロジェクトを提唱（1984年〜）人間の常識知識をDB化する試み
ティム・バーナーズ＝リーWWW発明者、Semantic Webを提唱Linked Open Dataの推進者
アラン・チューリングチューリングテストを提唱（1950年）「機械は考えられるか」を問うた
ジョン・サール「中国語の部屋」を提唱チューリングテストへの反論
パトリック・ヘイズフレーム問題を提唱（1969年、マッカーシーと共同）AI研究者。知識表現の専門家
ダニエル・デネット「ロボットと爆弾」の思考実験（1984年）哲学者。フレーム問題をわかりやすく説明
レイ・カーツワイル2045年シンギュラリティ到来を予測未来学者。Google技術ディレクター
ヴァーナー・ヴィンジ「技術的特異点」概念を提唱（1993年）SF作家・数学者
ゴードン・ムーアムーアの法則を提唱（1965年）インテル共同創業者
テリー・ウィノグラードSHRDLUを開発（1968-1970年）MIT。自然言語理解の先駆者
ロルフ・ファイファー身体性（Embodiment）を提唱スイスのAI・ロボット研究者。知能は脳だけでなく身体と環境の相互作用から生まれると主張
デイビッド・ウォルパートノーフリーランチ定理を提唱（1997年、マクレディと共同）すべての問題に万能なアルゴリズムは存在しないという定理
デイビッド・ラメルハート誤差逆伝播法（Backpropagation）を提案（1986年、ヒントン、ウィリアムズと共同）ニューラルネットワークの学習を実用化
ジェフリー・ヒントン誤差逆伝播法を提案（1986年）、ディープラーニングの父ボルツマンマシン、ドロップアウトなど多数の貢献
ロナルド・ウィリアムズ誤差逆伝播法を提案（1986年、ラメルハート、ヒントンと共同）ニューラルネットワーク研究者
デイヴィッド・ヒューベル猫の視覚野の研究でノーベル生理学・医学賞（1981年、ウィーゼルと共同）単純型細胞・複雑型細胞を発見。CNNの生物学的基盤
トルステン・ウィーゼル猫の視覚野の研究でノーベル生理学・医学賞（1981年、ヒューベルと共同）視覚情報処理の階層構造を解明。ネオコグニトロン→CNNの着想源
福島邦彦ネオコグニトロンを発明（1980年）ヒューベル＆ウィーゼルの知見を基にCNNの原型を設計
重要な出来事・会議
名称年代内容・意義
ダートマス会議1956年「人工知能（AI）」という言葉が初めて使われたAI研究の出発点
代表的なシステム・プロジェクト
名称年代分野特徴
SHRDLU1968-1970年自然言語積み木の世界で自然言語を理解。トイ・プロブレムの例
STRIPS1971年プランニングロボットShakeyの行動計画。AIプランニングの基礎
DENDRAL1965年化学最初のエキスパートシステム。分子構造推定
MYCIN1970年代医療（感染症）確信度（CF）を導入。約600のif-thenルール
PIP1970年代医療（腎臓病）フレーム理論を使用
CASNET1970年代医療（眼科）因果関係ネットワークを使用。緑内障診断
Cycプロジェクト1984年〜常識知識人間の常識をDB化。知識獲得のボトルネックの象徴
Watson2011年質問応答IBMが開発。Jeopardy!で優勝。ラベルなし文章を理解
DBpedia2007年〜知識DBWikipediaをLinked Open Data化
Wikidata2012年〜知識DBWikimedia財団のLODプロジェクト
目次に戻る
人工知能とは
用語説明補足・関連
人工知能の4つのレベルAIをレベル1〜4に分類。制御プログラム→古典的AI→機械学習→ディープラーニングレベルが上がるほど人間の手作業が減り自動化が進む
ルールベースAI人間が定義したルール（if-then）に基づいて判断するAIエキスパートシステムが代表例。判断根拠が明確
機械学習データからパターンを自動で学習するAIルール作成不要だが判断根拠が不明瞭（ブラックボックス）
特徴量データの中から予測に役立つ情報を取り出したものLv3では人間が設計、Lv4（DL）ではAIが自動で学習
表現学習データの特徴表現をモデルが自動で獲得する学習ディープラーニングの核心的能力。Lv3→Lv4の違い
構造化データ行・列の形式で整理されたデータ表計算、DB、CSV。従来の機械学習で扱いやすい
非構造化データ形式が決まっていないデータ画像、音声、動画、テキスト。DLが得意
半構造化データ一部構造を持つデータJSON、XML、HTML
ELIZA（イライザ）1966年ワイゼンバウム開発の初期対話プログラムパターンマッチで応答。理解はしていない
ELIZA効果AIの応答に人間が実際以上の知性を読み取ってしまう心理傾向AIの能力を過大評価する人間側の問題
チューリングテスト機械が人間と区別がつかないか判定するテスト1950年提唱。テキスト会話で判断
中国語の部屋チューリングテストへの反論（サール）ルール通りに返答しても「理解」とは言えない
シンボルグラウンディング問題記号と現実世界の意味を結びつける問題「りんご」という文字を知っていても、実物と結びついているか？
マルチモーダルAI複数種類のデータ（画像・テキスト等）を同時に扱うAIシンボルグラウンディング問題の解決に貢献する可能性
フレーム問題行動時に「変化しないもの」をどう扱うかの問題1969年マッカーシー＆ヘイズ提唱。無関係なことを無視できない
身体性（Embodiment）知能は脳だけでなく身体と環境の相互作用から生まれるという考えロルフ・ファイファー提唱。シンボルグラウンディング問題の解決に関連
ロボットと爆弾フレーム問題を説明するデネットの思考実験R1:副作用を考えない、R2:全部考えて停止、R3:関係/無関係の判断で停止
強いAI人間と同等の知能・意識を持つAI本当に「理解」し「思考」する。まだ実現していない
弱いAI特定タスクを処理するだけのAI理解はしていない。現在のAIはすべてこちら
AGI汎用人工知能（Artificial General Intelligence）強いAIと同義。あらゆるタスクに対応
ASI人工超知能（Artificial Super Intelligence）人間を超える知能。シンギュラリティと関連
シンギュラリティAIが人間を超え、爆発的に進化する転換点2045年到来説（カーツワイル）。技術的特異点
2045年問題シンギュラリティ到来が予測される年雇用・社会・倫理への影響が懸念される
収穫加速の法則技術進歩は指数関数的に加速するという法則カーツワイル提唱。2045年予測の根拠
ムーアの法則半導体チップの性能は約1.5年で2倍になるという経験則1965年ゴードン・ムーア提唱
目次に戻る
機械学習
用語説明補足・関連
教師あり学習正解ラベル付きデータで学習する手法分類・回帰
教師なし学習正解ラベルなしでパターンを発見する手法クラスタリング・次元削減
半教師あり学習少量のラベル付き＋大量のラベルなしデータで学習ラベル付けコスト削減
強化学習試行錯誤で報酬を最大化する行動を学習ゲームAI・ロボット
正規化データを0〜1の範囲にスケーリング(値-最小)/(最大-最小)。外れ値に弱い
標準化データを平均0・標準偏差1に変換(値-平均)/標準偏差。外れ値に比較的強い
白色化（Whitening）平均0・分散1に加え、特徴量間の相関も除去する前処理共分散行列が単位行列になる。標準化の上位版
分散データのばらつきの大きさ（2乗平均）各データと平均の差を2乗→その平均
標準偏差分散の平方根。元の単位でのばらつき大きいほどバラバラ、小さいほど平均付近に集中
カテゴリカルデータカテゴリ（種類・分類）で表されるデータ名義尺度（順序なし）と順序尺度（順序あり）
ラベルエンコーディングカテゴリに数値を割り当てる変換赤→0、青→1。順序がないデータには不向き
One-Hotエンコーディングカテゴリごとに0/1の列を作る変換赤→[1,0,0]、青→[0,1,0]。順序なしカテゴリに安全
リストワイズ法欠損値がある行をまるごと削除シンプルだがデータが減る
統計量で補完欠損値を平均・中央値・最頻値で埋めるデータ数は減らないが、ばらつきが小さくなる
回帰補完他の特徴量から回帰モデルで欠損値を予測して埋める精度は高いが手間がかかる
ノーフリーランチ定理すべての問題に万能なアルゴリズムは存在しないウォルパート＆マクレディ（1997年）。問題に応じて手法を選ぶ必要がある
バイアス（偏り）モデルが単純すぎてパターンを捉えきれないズレ高い→未学習（Underfitting）
バリアンス（ばらつき）モデルが複雑すぎてノイズまで学習するブレ高い→過学習（Overfitting）
バイアス・バリアンスのトレードオフバイアスとバリアンスは両方同時に下げられないモデルの複雑さのバランスが重要
過学習（Overfitting）学習データに適合しすぎて未知データで精度が落ちる対策：正則化、データ増加、モデル簡素化
未学習（Underfitting）モデルが単純すぎて学習データにも合わない対策：モデルを複雑に、特徴量を増やす
二重降下現象（Double Descent）モデルの複雑さを上げ続けるとテスト誤差が下降→上昇→再下降する現象補間閾値を超えると汎化性能が回復。超大規模モデルが有効な理由
単回帰分析1つの説明変数から目的変数を予測（y=ax+b）直線を1本引くイメージ
重回帰分析複数の説明変数から目的変数を予測y=a₁x₁+a₂x₂+...+b
偏回帰係数重回帰の各説明変数の重み（a₁,a₂...）他の変数の影響を除いた、その変数単独の影響度
最小二乗法予測と実際の差の2乗合計を最小化する方法回帰分析のパラメータ決定に使用
相関係数2変数の関係の強さと方向を-1〜+1で表す±1に近い→相関が強い。0に近い→相関が弱い
多重共線性説明変数同士の相関が高すぎてモデルが不安定になる重回帰分析での注意点
損失関数（誤差関数）予測と実際のズレを数値化する関数学習の目標＝この値を最小化すること
正則化（Regularization）損失関数にペナルティ項を追加して過学習を防ぐ重みを大きくしすぎないよう制約をかける
ペナルティ項重みの大きさへの罰則損失関数に追加する項
L1正則化（Lasso）重みの絶対値の合計をペナルティとする不要な重みを0にする→特徴量選択
L2正則化（Ridge）重みの2乗の合計をペナルティとする重みを全体的に小さくする
エラスティックネットL1とL2を組み合わせた正則化特徴量選択＋重み縮小の両方が可能
ロジスティック回帰シグモイド関数で確率（0〜1）を出力する分類手法名前は「回帰」だが分類に使う。注意
シグモイド関数どんな値も0〜1に変換する関数ロジスティック回帰で使用
ソフトマックス回帰ロジスティック回帰を多クラスに拡張したもの多項ロジスティック回帰とも呼ぶ
サポートベクターマシン（SVM）マージン最大化で分類する教師あり学習手法決定境界に最も近い点＝サポートベクター
マージン最大化決定境界からサポートベクターまでの距離を最大にする汎化性能が高くなる
サポートベクター決定境界に最も近いデータ点この点が境界を「支えている」→名前の由来
ハードマージン誤分類を一切許さないSVMきれいに分離できるデータのみ対応可能
ソフトマージンある程度の誤分類を許容するSVM現実のノイズがあるデータに対応。スラック変数を使用
スラック変数（ξ）ソフトマージンSVMで誤分類の許容度を表す変数ξ=0なら正しく分類、ξ>0なら誤分類を許容
カーネルトリックデータを高次元空間に写像して線形分離可能にする手法直接変換せずカーネル関数で効率計算
RBF（ガウス）カーネル最もよく使われるカーネル関数複雑な非線形の境界に対応可能
SVRSVMを回帰に応用したもの（Support Vector Regression）マージン内にデータを収めるように回帰
決定木（Decision Tree）条件分岐を繰り返してデータを分類・予測する手法解釈しやすい（ホワイトボックスモデル）
情報利得（Information Gain）分岐で不純度がどれだけ下がったかの指標ID3、C4.5で使用
ジニ不純度（Gini Impurity）クラスの混ざり具合を表す指標（0＝純粋）CARTで使用
CART2分岐の決定木アルゴリズム。ジニ不純度を使用分類にも回帰にも使える
剪定（プルーニング）決定木の不要な枝を切り落として過学習を防ぐ事前剪定と事後剪定がある
ランダムフォレスト複数の決定木を並列に作り多数決で予測（バギング）決定木の不安定さを補う
勾配ブースティング決定木を直列に作り前の木の間違いを修正（ブースティング）XGBoost、LightGBMなど
アンサンブル学習複数のモデルを組み合わせて精度を上げる手法バギング・ブースティング・スタッキングが代表的
バギング（Bagging）データをランダム抽出して並列にモデルを作り多数決バリアンス↓。ランダムフォレストが代表例
ブースティング（Boosting）前のモデルの間違いを次が修正する直列学習バイアス↓。過学習しやすい
ブートストラップサンプリング元データからランダムに重複ありで抽出する方法バギングで使用
AdaBoost間違えたデータの重みを増やすブースティング手法元祖ブースティング
XGBoost勾配ブースティングを高速化＋正則化を追加Kaggle等で高い実績
LightGBMXGBoostをさらに高速化した手法大規模データ向け
スタッキング（Stacking）異なる種類のモデルの予測をメタ学習器が最適に組み合わせる2段階手法Level 0（基本学習器）→ Level 1（メタ学習器）
k近傍法（k-NN）近いk個のデータの多数決で分類する手法怠惰学習。学習不要、予測時に計算
怠惰学習（Lazy Learning）学習フェーズがなく予測時にはじめて計算する学習方式k-NNが代表例
次元の呪い特徴量が多すぎると距離の差が小さくなり精度が下がる現象k-NNなど距離ベースの手法で問題になる
ナイーブベイズベイズの定理＋特徴量の独立仮定で分類する手法テキスト分類（スパム判定等）に強い
ベイズの定理結果から原因を推測する確率の公式事前確率×尤度→事後確率
事前確率データを見る前に知っているクラスの割合例：全メールのうちスパムの割合
尤度そのクラスでこのデータが出る確率例：スパムに「当選」が含まれる確率
事後確率データを見た後のクラスの確率（求めたいもの）ベイズの定理で計算する
ニューラルネットワーク脳の神経細胞を模倣した学習モデル入力層・中間層・出力層で構成
パーセプトロン最も単純なニューラルネットワーク（単層）線形分離可能な問題のみ解ける
多層パーセプトロン（MLP）中間層を追加したパーセプトロンXOR問題を解決
活性化関数ニューロンの出力に非線形性を加える関数ReLU、シグモイド、ソフトマックス等
ReLU0以下→0、0以上→そのまま。最もよく使われる活性化関数勾配消失問題を緩和
順伝播（Forward Propagation）入力→出力の方向にデータを流して予測を出す処理ニューラルネットワークの推論
誤差逆伝播法（Backpropagation）出力→入力の方向に誤差を伝えて重みを更新する手法ラメルハート、ヒントン、ウィリアムズ（1986年）
勾配降下法損失関数の勾配に沿って重みを少しずつ更新する最適化手法バッチ勾配降下法とSGDに大別される
学習率（Learning Rate）1回の更新で重みをどれだけ動かすかの幅大きすぎ→発散、小さすぎ→遅い
勾配消失問題層が深いと勾配が小さくなり学習が進まなくなる問題シグモイドで起きやすい→ReLUで緩和
ドロップアウト学習時にランダムにノードを無効化して過学習を防ぐ手法ニューラルネットワークの正則化手法
クラスター分析似たデータをグループ（クラスタ）にまとめる教師なし学習手法階層的と非階層的の2種類
階層的クラスタリングデータを段階的にまとめて樹形図を作る手法クラスタ数を事前に決めなくてよい
デンドログラム（樹形図）階層的クラスタリングの結果を表す木構造の図切る位置でクラスタ数が決まる
ウォード法統合時の分散増加が最小になるように統合する手法階層的クラスタリングで最もよく使われる
エルボー法K-Meansでクラスタ数を決めるための指標グラフの「肘」の位置が最適なK
MDS（多次元尺度構成法）データ間の距離関係を保ったまま低次元に配置する次元削減手法距離行列からでも使える。類似度データの可視化に有効
ホールドアウト法データを学習用とテスト用に1回分割して評価する手法シンプルだが分割の仕方で結果が変わる
交差検証法（Cross Validation）データをK個に分割しK回評価を繰り返す手法評価の信頼性が高い。K分割交差検証
Leave-One-Out（LOO）K＝データ数にした交差検証（1つずつテスト）最も偏りが少ないが計算コスト大
混同行列（Confusion Matrix）分類結果をTP/FP/TN/FNで整理した2×2の表評価指標の計算の基盤
正解率（Accuracy）全体のうち正しく判定した割合(TP+TN)/全体。不均衡データでは不十分
適合率（Precision）陽性と予測したうち本当に陽性の割合TP/(TP+FP)。誤検出を減らしたいとき重視
再現率（Recall）実際の陽性のうち正しく見つけた割合TP/(TP+FN)。見逃しを減らしたいとき重視
F値（F1 Score）適合率と再現率の調和平均2×適合率×再現率/(適合率+再現率)
ハイパーパラメータ人間が学習前に設定するパラメータ学習率、層の数、kの値など
グリッドサーチハイパーパラメータの候補を全組み合わせ試す手法確実だが計算コスト大
ランダムサーチハイパーパラメータをランダムに試す手法グリッドより効率的なことが多い
バリデーションデータ（検証データ）ハイパーパラメータ調整に使うデータ学習データでもテストデータでもない第3の分割
ROC曲線閾値を変化させたときの偽陽性率（横軸）と真陽性率（縦軸）の関係を描いた曲線左上に近いほど高性能。ランダム分類器は対角線（y=x）
AUC（Area Under the Curve）ROC曲線の下側の面積。0.5〜1.0で分類性能を評価する指標1.0＝完璧、0.5＝ランダム。不均衡データでも安定した評価が可能
コンテンツベースフィルタリングアイテムの特徴量を分析して類似アイテムを推薦する手法他ユーザーのデータ不要。多様性が低い
協調フィルタリングユーザーの行動パターン（評価・購入）をもとに推薦する手法ユーザーベースとアイテムベースがある。コールドスタート問題に弱い
コールドスタート問題新規ユーザーやアイテムにデータがなく推薦できない問題協調フィルタリングで特に深刻
ハイブリッドモデル（推薦）コンテンツベースと協調フィルタリングを組み合わせた推薦手法互いの弱点を補完
目次に戻る
ディープラーニング
NN基礎・活性化関数
用語説明補足・関連
ニューラルネットワーク脳の神経細胞を模倣した計算モデル
ディープラーニングニューラルネットワークを多層化したもの深層学習とも呼ぶ
形式ニューロンマカロック＆ピッツが提案したニューロンの最初の数学モデル（1943年）学習機能なし。論理演算（AND・OR・NOT）を表現可能
パーセプトロンローゼンブラットが考案した最も単純なニューラルネットワーク（1958年）形式ニューロンに学習機能を追加。単層では線形分離のみ
XOR問題単純パーセプトロンでは解けない非線形問題ミンスキー＆パパートが証明→AI冬の時代の一因
多層パーセプトロン（MLP）中間層を追加して非線形問題を解けるようにしたモデル誤差逆伝播法で学習
全結合層（Dense層）すべてのノードが次の層のすべてと接続する層ニューラルネットワークの基本の層
活性化関数ノードの出力に非線形性を加える関数これがないと層を深くする意味がない
ReLU0以下→0、0以上→そのまま中間層で最もよく使われる。勾配消失を緩和
シグモイド出力を0〜1に変換する関数二値分類の出力層で使用
tanh出力を-1〜1に変換する関数ReLU以前の中間層の主流
ソフトマックス各クラスの確率を出力（合計1）多クラス分類の出力層で使用
学習の仕組み・最適化
用語説明補足・関連
順伝播（Forward Propagation）入力→出力の方向にデータを流して予測を出す処理推論時もこの流れ
信用割当問題（Credit Assignment Problem）多層ネットワークでどの重みが誤差にどれだけ貢献したかを特定する問題誤差逆伝播法がこの問題を連鎖律で解決
誤差逆伝播法（Backpropagation）出力→入力の方向に誤差を伝えて各重みの勾配を計算する手法信用割当問題を連鎖律で解決。1986年ラメルハートら
勾配降下法（Gradient Descent）勾配に沿って重みを更新する最適化手法誤差逆伝播法とセットで使う
学習率（Learning Rate）1回の更新で重みをどれだけ動かすかの幅大きすぎ→発散、小さすぎ→遅い
バッチ勾配降下法全データを使って1回更新する手法安定だが遅い
SGD（確率的勾配降下法）全データを一気に使わず、ミニバッチに分けて少しずつ更新する手法ミニバッチ学習と呼ぶ。現在の主流
大域最適解（Global Optimum）全体で損失が最も小さい点本当にたどり着きたいゴール
局所最適解（Local Optimum）周囲では最小だが全体では最良でない点勾配降下法がハマりやすい
鞍点（サドルポイント）ある方向では谷底、別の方向では山頂の点高次元では局所最適解より多い
モメンタム過去の更新の勢いを引き継ぐ最適化手法局所最適解・鞍点を抜け出しやすくなる
イテレーションミニバッチ1回分の重み更新全データ数÷バッチサイズ＝1エポックのイテレーション数
エポック（Epoch）全データを1周学習すること増やしすぎると過学習
バッチサイズ1回の更新に使うデータの個数大きい→安定だが遅い、小さい→速いがブレる
勾配消失問題層が深いと勾配が小さくなり学習が進まなくなる問題シグモイドが原因→ReLUで解決
勾配爆発層が深いと勾配が大きくなりすぎてモデルが壊れる問題対策：勾配クリッピング
バッチ正規化各層の入力を正規化して学習を安定させる手法勾配消失の対策にもなる
Xavierの初期値シグモイド・tanh向けの重み初期化手法入出力のノード数に基づく
Heの初期値ReLU向けの重み初期化手法ReLUの特性を考慮
勾配クリッピング勾配が一定値を超えたら切り詰める手法勾配爆発の対策
Dying ReLU問題ReLUで入力が0以下のノードが二度と復活しない問題Leaky ReLU等で対策
Leaky ReLU0以下でも小さな勾配（0.01等）を持たせたReLUDying ReLU問題を緩和
PReLU0以下の傾きも学習で決めるReLULeaky ReLUの発展形
ELU0以下を滑らかな曲線にしたReLU出力の平均が0に近づく
バッチ学習全データをまとめて学習してからモデルを使う学習方式バッチ勾配降下法に対応
オンライン学習データが来るたびに1個ずつ学習し続ける学習方式SGDでバッチサイズ=1の特殊ケース
ミニバッチ学習データをミニバッチに分けて少しずつ学習する方式SGDの標準的なやり方。現在の主流
プラトー（Plateau）損失関数の平坦な領域。勾配≅0で学習が停滞する局所最適解ではなく、先にもっと良い解がある
Adamモメンタム＋学習率の自動調整を組み合わせた最適化手法現在最もよく使われるオプティマイザの一つ
AdaGradパラメータごとに学習率を自動調整する手法学習が進むと学習率が小さくなりすぎる弱点あり
RMSPropAdaGradの弱点を改善。過去の勾配を徐々に忘れるAdaGradの学習率低下問題を解決
AMSGradAdamの収束性問題を修正。過去の勾配2乗の最大値を保持学習率が不適切に上昇するのを防ぐ
AdaBound初期はAdamのように動作し、後半はSGDに近づくよう学習率を制限Adamの速さとSGDの汎化性能を両立
平均二乗誤差（MSE）予測値と正解値の差の2乗の平均。回帰タスクの損失関数外れ値に敏感。大きなズレほど強くペナルティ
交差エントロピー誤差正解クラスの予測確率の対数の負の合計。多クラス分類の損失関数ソフトマックスとセットで使用
バイナリ交差エントロピー2クラス分類専用の交差エントロピー損失関数シグモイドとセットで使用
Early Stopping検証データの損失が改善しなくなったら学習を打ち切る正則化手法過学習を防ぐシンプルで効果的な方法
オートエンコーダ・事前学習
用語説明補足・関連
オートエンコーダ入力を圧縮→復元するNNで特徴を学習。教師なし学習次元削減、異常検知、ノイズ除去
デノイジングオートエンコーダノイズ入りデータから元データを復元するよう学習より頑健な特徴を学習できる
VAE（変分オートエンコーダ）潜在表現に確率分布を使い、新しいデータを生成できる生成モデルの一種
積層オートエンコーダオートエンコーダを1層ずつ積み上げて事前学習する手法ヒントン（2006年）がDL復活のきっかけに
ボルツマンマシンヒントンらが提案した確率的生成モデル。全ノードが相互接続計算量が膨大で実用的でなかった
制限付きボルツマンマシン（RBM）同層内の接続をなくしたボルツマンマシン。可視層と隠れ層の2層構造計算が現実的に。事前学習の基本ユニット
深層信念ネットワーク（DBN）RBMを複数層積み重ねたディープモデルヒントン（2006年）。DL復活のきっかけ
事前学習（Pre-training）教師なしで1層ずつ重みの良い初期値を学習する段階積層オートエンコーダやRBMで行う
ファインチューニング（Fine-tuning）事前学習した重みを初期値として、教師ありで全体を微調整する段階転移学習でも使われる考え方
ムーアの法則半導体チップのトランジスタ数が約2年で2倍になるという経験則ゴードン・ムーア（1965年）。DL発展の「計算能力の向上」に直結
バーニーおじさんのルール学習データ数はパラメータ数の約10倍必要という経験則過学習を防ぐためのデータ量の目安
CNN・画像認識
用語説明補足・関連
CNN（畳み込みニューラルネットワーク）画像認識に特化したNN。フィルタで部分的な特徴を抽出畳み込み層→プーリング層→全結合層
畳み込み層フィルタ（カーネル）をスライドさせて特徴を検出する層重み共有でパラメータを大幅削減
フィルタ（カーネル）特徴を検出する小さな重みの窓（3×3、5×5など）値は学習で自動的に決まる
特徴マップ畳み込み層でフィルタを適用した結果の出力フィルタの数だけ特徴マップができる
ストライドフィルタをずらす幅大きいほど出力サイズが小さくなる
パディング入力画像の周囲を0で埋めて出力サイズを調整する手法端の情報の損失を防ぐ
プーリング層特徴マップを縮小して情報を圧縮する層学習パラメータなし。位置ズレに強くなる
Maxプーリング小さな領域の最大値だけを残す手法最もよく使われるプーリング
局所結合構造（Local Connectivity）各ニューロンが入力全体でなく局所受容野だけに接続する構造CNNの基本設計。視覚野の仕組みに着想。パラメータ削減
重み共有（Weight Sharing）同じフィルタを画像全体で使い回す仕組みCNN最大の特徴。パラメータ大幅削減
フラット化（Flatten）2次元の特徴マップを1次元に並べ替える処理畳み込み・プーリング層と全結合層の橋渡し。パラメータなし
ILSVRCImageNetを使った画像認識コンペティション（2010〜2017年）DLブームの火付け役
AlexNet2012年ILSVRCで圧勝したCNNモデルCNN+GPU+ReLU+ドロップアウト。第3次AIブームのきっかけ
GoogLeNet2014年ILSVRC優勝。Inceptionモジュール層を深く＆効率的に
VGGNet2014年。3×3フィルタをシンプルに積み重ねた深いCNN構造がシンプルで理解しやすい
ResNet2015年ILSVRC優勝。残差接続で152層を実現人間のエラー率を超えた
ImageNet約1,400万枚・2万カテゴリ超の大規模画像データセットWordNetの階層構造に基づく。ILSVRCで使用
WordNet英単語の意味の関係を階層構造で体系化したデータベースImageNetの分類の土台
MNIST手書き数字（0〜9）の画像データセット。7万枚、28×28白黒DLの「Hello World」的存在
Fashion-MNIST衣類10カテゴリの画像データセット。7万枚、28×28白黒MNISTの代替。形式同一でやや難しい
CIFAR-10実世界の物体10カテゴリのカラー画像。6万枚、32×32CIFAR-100（100カテゴリ版）もある
ドロップアウト学習時にランダムにノードを無効化して過学習を防ぐ手法推論時は全ノードを使う。AlexNetで採用
データ拡張（Data Augmentation）既存データに変換を加えて水増しする手法反転・回転・拡大・色変えなど。データ不足対策
転移学習（Transfer Learning）学習済みモデルの知識を新しいタスクに流用する手法少ないデータでも高精度。前半の層を固定し後半を再学習
蒸留（Knowledge Distillation）大きなモデルの知識を小さなモデルに移す軽量化手法教師モデル→生徒モデル
プルーニング（枝刈り）重要度の低い重みやノードを削除する軽量化手法不要な枝を切り落とすイメージ
量子化（Quantization）重みの精度を下げて軽量・高速化する手法32bit→8bitなど
ネオコグニトロンCNNの原型。視覚野の仕組みを模倣した階層モデル福島邦彦（1980年）。S細胞→畳み込み層、C細胞→プーリング層
LeNetCNNを実用化した最初のモデル。手書き数字認識ヤン・ルカン（1998年）。Conv→Pool→FC の基本形を確立
SENet（Squeeze-and-Excitation Network）チャネルごとの重要度を学習し、重要な特徴を強調・不要な特徴を抑制するCNNILSVRC 2017優勝（最後のILSVRC）。SEブロックは既存CNN（ResNet等）に後付け可能。エラー率2.25%
EfficientNet深さ・幅・解像度を同時にバランスよく拡大する手法Google（2019年）。少パラメータで高精度。ベースはNASで探索
NAS（Neural Architecture Search）ネットワーク構造をAIが自動で探索する手法Google Brain（2017年）。強化学習等で最適構造を発見
NASNetNASで発見されたCNNアーキテクチャセル構造を探索→積み重ねて拡張。人間設計を超える精度
MNASNetモバイル向けに精度と推論速度を同時に最適化するNAS手法Google（2019年）。実機で速度を測定しながら探索
残差接続（スキップ接続）入力をショートカットして数層先に直接足し合わせる仕組みResNetの核心技術。勾配消失を防ぎ超深層を可能に
Inceptionモジュール複数サイズのフィルタを同時に適用して結合する仕組みGoogLeNetの核心技術。効率的に深くできる
top-5エラー率モデルの上位5つの予測候補に正解が含まれない割合ILSVRCの主要評価指標。1,000クラスから5つに絞る
ヒューベルとウィーゼルの視覚野研究猫の視覚野に単純型細胞（エッジ検出）と複雑型細胞（位置不変性）を発見1981年ノーベル賞。ネオコグニトロン→CNNの生物学的基盤
RNN・系列モデル
用語説明補足・関連
RNN（再帰型ニューラルネットワーク）順序のあるデータを扱えるNN。前の情報を隠れ状態として引き継ぐテキスト・音声・時系列データ向き
隠れ状態（Hidden State）RNNが前のステップから引き継ぐ「文脈の記憶メモ」過去の入力情報を要約して保持
LSTM（長短期記憶）3つのゲート機構で長期記憶を制御するRNNの改良版忘却ゲート・入力ゲート・出力ゲート。勾配消失を解決
GRU（ゲート付き回帰ユニット）LSTMを簡略化したモデル。ゲートを2つに削減リセットゲート・更新ゲート。LSTMと同等精度で計算が軽い
重み衝突問題RNNで同じ重みを全時刻で共有するため、最適な重みの値が矛盾する問題入力重み衝突と出力重み衝突の2種類。LSTMのゲートで解決
入力重み衝突問題記憶に入れたい場面と無視したい場面で、入力の重みが矛盾する問題LSTMの入力ゲートが解決
出力重み衝突問題記憶を出力したい場面と留めたい場面で、出力の重みが矛盾する問題LSTMの出力ゲートが解決
BPTT（Backpropagation Through Time）RNNを時間方向に展開して誤差逆伝播を行う学習アルゴリズム系列が長いと勾配消失・勾配爆発が発生。Truncated BPTTで対処
BiRNN（双方向RNN）順方向と逆方向の2つのRNNを並列に走らせ、前後の文脈を両方考慮するモデルBiLSTMとしてELMo等で広く使用
物体検出・セグメンテーション
用語説明補足・関連
一般物体認識画像中の物体が「何のカテゴリか」を識別するタスク特定物体認識（個体の照合）と区別。クラス内変動・遮蔽等で困難
特定物体認識特定の個体（東京タワー等）を識別するタスク照合・マッチングが中心。一般物体認識とセットで出題
物体検出（Object Detection）画像中の物体の位置（矩形）とカテゴリを同時に特定するタスク2段階型（R-CNN系）と1段階型（YOLO/SSD）
R-CNN領域候補を個別にCNNで分類する物体検出手法（2014年）Selective Searchで候補領域を生成
Fast R-CNN画像全体を1回だけCNNに通す改良版R-CNN（2015年）RoI Poolingを導入し高速化
Faster R-CNN領域提案もNNで行う物体検出手法（2015年）RPN（Region Proposal Network）を導入
YOLO画像を格子に分割し検出と分類を一括で行う1段階型手法高速でリアルタイム処理向き
SSD複数スケールで同時に物体検出を行う1段階型手法YOLOと並ぶリアルタイム検出手法
FPN（Feature Pyramid Network）トップダウン経路と横方向接続で全スケールに意味情報を伝達するマルチスケール特徴抽出手法2017年。Faster R-CNNやMask R-CNNのバックボーンに使用。小さい物体の検出精度を大幅に向上
セマンティックセグメンテーション画素ごとにクラスを分類するタスク個体の区別はしない。FCN、U-Net、DeepLabが代表手法
インスタンスセグメンテーション画素ごとのクラス分類＋個体の区別を行うタスクMask R-CNNが代表手法
FCN全結合層を畳み込み層に置換しセグメンテーションを実現したモデルセマンティックセグメンテーションの基礎
U-Netエンコーダ・デコーダ＋スキップ接続のセグメンテーションモデル医療画像で広く使用。少データでも高精度
Mask R-CNNFaster R-CNNにマスク分岐を追加したインスタンスセグメンテーション手法個体ごとに画素レベルで分離
同定（物体検出）画像中の物体がどこにあるか、物体か背景かを判断する処理出力はバウンディングボックス。分類と合わせて物体検出を構成
関心領域（RoI）「ここに物体がありそう」という途中段階の候補領域R-CNNでは約2000個生成。最終出力のバウンディングボックスとは区別
バウンディングボックス物体を囲む矩形の枠。物体検出の最終出力(x, y, 幅, 高さ)の4値で表現
Selective Search色・模様が似た領域を統合して物体候補を生成する古典的手法R-CNN・Fast R-CNNで使用。NN以外の手法
RoI Pooling特徴マップから関心領域に対応する部分を切り出す処理Fast R-CNNで導入。CNN1回実行を可能にした
RPN（Region Proposal Network）アンカーボックスを基準にNNで関心領域を生成するネットワークFaster R-CNNで導入。Selective Searchを置き換え
SegNetMax Poolingの位置インデックスを記憶して境界をシャープに復元するセグメンテーション手法エンコーダ・デコーダ構造
YOLACTマスク部品の合成でリアルタイムに近いインスタンスセグメンテーションを実現する1段階型手法Mask R-CNNより高速だが精度はやや劣る
姿勢推定（Pose Estimation）画像から人の関節位置（キーポイント）を検出し、体の骨格構造を推定するタスクトップダウン方式（人物検出→姿勢推定）とボトムアップ方式（全キーポイント検出→グループ化）がある
OpenPoseボトムアップ方式で複数人のリアルタイム姿勢推定を実現するモデルCMU（2017年）。PAF（Part Affinity Fields）で関節間のつながりを推定し、キーポイントを人物ごとにグループ化
IoU（Intersection over Union）予測領域と正解領域の重なり具合を0〜1で測る物体検出の評価指標通常IoU≧0.5を正解と判定。IoU=1で完全一致
mAP（mean Average Precision）全クラスの平均適合率の平均。物体検出の総合的な精度指標精度（Precision）と再現率（Recall）の曲線下面積の平均
NMS（Non-Maximum Suppression）重複する検出枠の中から最も信頼度が高いものだけを残す後処理物体検出で必須の処理。二重検出を防止
自然言語処理
用語説明補足・関連
形態素解析文を意味のある最小単位（形態素）に分割し品詞を判定する処理日本語NLPの第一歩。MeCab、JUMAN、Janomeが代表ツール
MeCab最も広く使われる日本語形態素解析エンジン京都大学・NTT開発。高速・高精度
JUMAN意味情報も付与できる日本語形態素解析ツール京都大学開発。研究用途に強い
JanomePythonのみで動作し導入が簡単な日本語形態素解析ツール辞書内蔵（IPAdic）。個人開発OSS
N-gramテキストを連続するN個の単位で機械的に切り出す手法辞書不要・未知語に強い。ユニグラム(1)、バイグラム(2)、トライグラム(3)
構文解析形態素間の係り受け関係を解析し構文木を作成する処理形態素解析の次のステップ
意味解析単語や文の意味を解釈する処理。多義語の解消が代表的な課題構文解析の次のステップ
文脈解析前後の文脈を考慮し指示語や省略を解決する処理最も高度な解析レベル。照応解析など
データクレンジングテキストからHTMLタグ・記号・ノイズを除去してきれいにする前処理表記ゆれの統一も含む
ストップワード頻出するが意味の判別に役立たない語（「は」「の」「the」等）除去することで分析精度を向上させる
BoW（Bag of Words）文書に各単語が何回出現したかを数えてベクトル化する手法語順を無視。シンプルだが頻出語の影響が大きい
TF-IDFTF（出現頻度）×IDF（逆文書頻度）で単語の重要度を算出する手法その文書に特徴的な語を重み付け。BoWの改良版
局所表現1つの要素だけで単語を表す方法。各単語が独立で意味の関連が表現できないワンホットベクトルが代表例
ワンホットベクトル該当単語の位置だけ1、他はすべて0のベクトルで表現する方法局所表現。語彙数が多いと高次元・スパースになる。単語間の意味の類似度が計算できない
分散表現単語を低次元の密なベクトルで表し、意味の類似をベクトルの近さで捉える方法分布仮説に基づく。Word2Vecが代表手法
分布仮説「同じ文脈に出現する単語は似た意味を持つ」という仮説分散表現の理論的基盤。ハリス（1954年）
単語埋め込み（Word Embedding）単語を固定長の密な実数ベクトルに変換する技術の総称Word2Vec、GloVe、FastTextなど
埋め込み層（Embedding Layer）NNの最初の層でワンホットベクトルを密な分散表現に変換する層実質は単語ID→行ベクトルのルックアップ。重みは学習で獲得
Word2VecGoogleが開発した推論ベースの単語分散表現モデル（2013年）CBOWとスキップグラムの2手法。高速で大規模コーパスに対応
コーパス自然言語処理の学習に使う大規模なテキストデータの集まりWikipedia、新聞記事などが使われる
CBOW（Continuous Bag of Words）周辺語から中心語を予測するWord2Vecの手法学習が速い。大規模コーパス向き
スキップグラム（Skip-gram）中心語から周辺語を予測するWord2Vecの手法低頻度語にも強い。CBOWより精度が高い傾向
カウントベース手法コーパス全体の共起統計を使って分散表現を得る手法共起行列→SVDで次元削減。GloVeが代表例
推論ベース手法NNで単語の予測タスクを学習して分散表現を得る手法Word2Vecが代表例。大規模データに効率的
共起行列各単語ペアが同じウィンドウ内に共起した回数を記録した行列カウントベース手法の出発点
SVD（特異値分解）行列を3つの行列の積に分解する数学的手法共起行列の次元削減に使用。重要な情報を保持して低次元化
トピックモデル文書の集まりから潜在的なトピック（話題）を自動発見する教師なし学習手法文書のクラスタリングに使用。LSA→pLSA→LDAの順に発展
LSA（潜在的意味解析）単語×文書の行列をSVDで次元削減し、潜在的な意味構造を発見する手法LSI（Latent Semantic Indexing）とも呼ぶ。確率モデルではない
pLSA（確率的潜在意味解析）LSAを確率モデルに拡張し、文書をトピックの確率的な混合として表現する手法Hofmann（1999年）。新しい文書に対応しにくい弱点あり
LDA（潜在的ディリクレ配分法）ディリクレ分布を事前分布として追加した、最もよく使われるトピックモデルBlei et al.（2003年）。生成モデル。新しい文書にも対応可能
ディリクレ分布確率の分布を生成する確率分布。LDAの事前分布として使用パラメータαが小さい→1トピックに偏る、大きい→均等に混合
OOV（Out-of-Vocabulary）学習時の語彙に含まれない未知語を処理できない問題Word2Vecの弱点。FastTextが解決
FastTextサブワード（文字n-gram）を活用してOOV問題を解決した分散表現モデルFacebook/Meta（2016年）。未知語・活用形に対応可能
Doc2VecWord2Vecを拡張し、文書全体を固定長ベクトルに変換するモデルLe & Mikolov（2014年）。文書分類・類似文書検索に使用
GloVe共起行列の統計情報を活用して単語の分散表現を学習するモデルStanford（2014年）。カウントベース＋推論ベースの長所を融合
Transformer・大規模言語モデル
用語説明補足・関連
Seq2Seq（Sequence to Sequence）入力系列を文脈ベクトルに圧縮し、出力系列を生成するモデルEncoder-Decoderモデルとも呼ぶ。機械翻訳・要約・対話に活用
エンコーダー・デコーダー入力を圧縮するエンコーダーと出力を生成するデコーダーからなるモデル構造Seq2Seqの別名。入出力の長さが異なるタスクに対応
GNMTSeq2SeqにAttention機構と深い層を追加し、Google翻訳を大幅に改善したモデルGoogle（2016年）。Attentionで長文の情報損失を解決。Transformerの前身的位置づけ
Attention機構出力生成時に入力系列のどの部分に注目すべきかを動的に学習する仕組みGNMTで導入。Transformerの基盤。長文でも情報を失いにくい
ELMo双方向LSTMで文脈に応じた動的な単語ベクトルを生成するモデルPeters et al.（2018年）。事前学習＋ファインチューニングの先駆け
TransformerRNN/CNNを排除し、Attention機構のみで構築されたEncoder-DecoderモデルVaswani et al.（2017年）。「Attention Is All You Need」。BERT・GPTの基盤
Self-Attention（自己注意）同じ系列内の各要素が他のすべての要素との関連度を計算する仕組みQ・K・Vがすべて同じ系列から生成。文内の単語間の関係を把握
ソースターゲットアテンションQueryがデコーダー、Key・Valueがエンコーダーから来る異なる系列間のAttention交差注意（Cross-Attention）とも呼ぶ。翻訳時の入出力の対応関係を学習
Masked Self-Attention未来の位置をマスクして過去の情報のみ参照するSelf-Attentionデコーダーで使用。右上三角を-∞にしてSoftmax後に0にする
マルチヘッドアテンション複数のAttentionヘッドを並列に実行し、異なる観点の注目パターンを統合する仕組み元論文では8ヘッド。主語-述語、修飾、照応など多様な関係を同時に学習
位置エンコーディングTransformerに語順情報を与えるため、各位置に固有のベクトルを加算する仕組み元論文ではsin/cosの周期関数を使用。学習型（BERTなど）もある
Query・Key・ValueAttention計算の3要素。Queryが検索ワード、Keyが索引、Valueが本文に対応QとKの内積→Softmax→Vの加重平均で出力を計算
基盤モデル（Foundation Model）大量のデータで事前学習され、様々なタスクに転用できる大規模モデルの総称スタンフォード大学（2021年）が命名。BERT、GPTなど
スケーリング則（Scaling Laws）パラメータ数・データ量・計算量を増やすとべき乗則で性能が向上する法則Kaplan et al.（2020年）。GPT-3以降の大規模化の根拠
BERTTransformerのエンコーダーを使い、双方向の文脈理解を実現した事前学習モデルGoogle（2018年）。MLMとNSPで事前学習。文の「理解」が得意
MLM（Masked Language Model）入力の一部を[MASK]で隠し、元の単語を予測するBERTの事前学習タスク入力の約15%をマスク。前後両方向の文脈を使用（双方向）
NSP（Next Sentence Prediction）2つの文が連続した文かどうかを予測するBERTの事前学習タスク文間の関係性を学習。質問応答や推論に役立つ
ALBERTBERTのパラメータ効率を改善した軽量版モデル埋め込み分解＋層間パラメータ共有。NSPの代わりにSOPを使用
DistilBERTBERTを知識蒸留で小型化したモデル。97%の性能を60%のサイズで実現層数を12→6に削減。推論速度60%高速化
MT-DNNBERTベースで複数NLPタスクを同時にファインチューニングするマルチタスク学習モデルMicrosoft（2019年）。タスク間の知識共有で汎化性能向上
GPTTransformerのデコーダーを使い、次の単語を予測する自己回帰型の大規模言語モデルOpenAI（2018年〜）。文の「生成」が得意。GPT-1→2→3→4と進化
ChatGPTGPTに人間のフィードバックによる強化学習（RLHF）を適用し、対話に最適化したモデルOpenAI（2022年）。2ヶ月で1億ユーザー突破
RLHF人間のフィードバック（評価ランキング）を使ってモデルを強化学習で微調整する手法ChatGPTで採用。有用で安全な回答を生成するために使用
GLUE9つの言語理解タスクからなるNLP評価ベンチマーク2018年。BERTが人間のスコアを超えたため、より難しいSuperGLUEが作られた
SuperGLUEGLUEの後継となる、より難しいNLP評価ベンチマーク2019年。8つの高度な言語理解タスク。常識推論・因果推論など
マルチタスク学習複数のタスクを同時に学習し、タスク間で共有される知識を活用する学習手法MT-DNN、T5が代表例。汎化性能の向上に寄与
識別AI（Discriminative AI）データを入力して分類・判定を行うAI画像分類、スパム判定、感情分析など。新しいコンテンツは生成しない
生成AI（Generative AI）学習パターンに基づき新しいコンテンツ（テキスト・画像・コード等）を創造するAIChatGPT、Stable Diffusion、GitHub Copilotなどが代表例
プロンプト生成AIに与える指示文・入力文プロンプトの質が出力の品質を大きく左右する
プロンプトエンジニアリング生成AIから望ましい出力を引き出すためにプロンプトを設計・最適化する技術モデルのパラメータを変更せず、指示の仕方だけで出力品質を向上
Zero-shot例を示さず指示のみでタスクを実行させるプロンプト手法最もシンプル。追加データ不要
Few-shot数個の例をプロンプトに含めてパターンを示すプロンプト手法GPT-3で注目。Zero-shotより精度が高い傾向
Chain of Thought（CoT）「段階的に考えて」と指示し、推論過程を明示させるプロンプトテクニック推論・算数・論理問題で精度が大幅向上
In-context Learningファインチューニングなしにプロンプト内の例だけでタスクを実行する能力GPT-3で実証。Zero-shot / Few-shotの上位概念
ChatGPT PlusGPT-4を搭載したChatGPTの有料版。マルチモーダル・プラグイン対応テキストだけでなく画像入力にも対応
PaLM 2Googleが開発した大規模言語モデル。多言語対応と推論能力に優れる2023年発表。Bardに搭載された
BardGoogleのAIチャットサービス。PaLM 2搭載2023年公開。2024年にGeminiに名称変更
GeminiBardの後継となるGoogleのAIサービス。同名の新モデルも搭載テキスト・画像・音声・動画のマルチモーダルにネイティブ対応
LLaMA / LLaMA 2Metaが公開したオープンソースの大規模言語モデルLLaMA 2は商用利用可能。AIの民主化に貢献
報酬モデル（Reward Model）人間のランキングデータから学習した、回答の良し悪しを自動採点するモデルRLHFのStep 2で学習。人間の好みを代行する
ポリシー（Policy / RLHF）RLHFにおける「どのプロンプトに対してどう回答するか」の戦略PPOで最適化。報酬モデルのスコアを報酬として更新
PPO（Proximal Policy Optimization）方策の更新幅をクリッピングで制限し安定した学習を実現する強化学習手法OpenAI（2017年）。ChatGPTのRLHFでも使用
RAG（Retrieval-Augmented Generation）外部知識ベースから関連情報を検索し、LLMの生成に組み込む手法ハルシネーション対策の代表手法。最新情報や専門知識を補完
ハルシネーション（Hallucination）LLMが事実に基づかない情報をもっともらしく生成してしまう現象対策：RAG、ファクトチェック、RLHF。生成AIの主要課題
創発的能力（Emergent Abilities）モデル規模が一定の閾値を超えると突然現れる能力CoT推論・算術計算などが大規模モデルで初めて発現。スケーリング則と関連
生成モデル（GAN・拡散モデル）
用語説明補足・関連
潜在空間（Latent Space）データの本質的な特徴を低次元で表現した空間VAE・GANが潜在空間上で画像を生成。補間で中間画像も生成可能
GAN（敵対的生成ネットワーク）GeneratorとDiscriminatorが競い合うことで高品質な画像を生成するモデルGoodfellow（2014年）。2つのNNの敵対的学習
Generator（生成器）ランダムノイズから偽データを生成するGANの構成要素Discriminatorを騙せるようなリアルなデータの生成を目指す
Discriminator（識別器）入力が本物か偽物かを判別するGANの構成要素Generatorの出力を見破れるように学習
DCGANGANにCNN構造を導入し、安定した画像生成を実現したモデルRadford et al.（2015年）。GAN学習安定化の基礎
Pix2Pixペアの画像データを使って画像から画像への変換を学習するGAN条件付きGAN。線画→カラー、昼→夜など。対応するペアデータが必要
CycleGANペアデータなしで2つのドメイン間の画像変換を学習するGANサイクル一貫性損失を導入。馬↔シマウマ、写真↔絵画など
StackGANテキストの説明文から画像を2段階で生成するGANStage-I（低解像度64×64）→ Stage-II（高解像度256×256）。Text-to-Imageの先駆け
StyleGANスタイル情報を段階的に注入し、高解像度で制御可能な画像生成を実現するGANNVIDIA（2018年）。AdaINでスタイルを制御
StyleGAN2StyleGANのアーティファクトを改善し、より高品質な画像生成を実現NVIDIA（2019年）。重み復調で水滴状アーティファクトを解消
Image-to-Image型ある画像を入力として別の画像を出力する画像変換タスクの総称Pix2Pix、CycleGAN、スタイル変換など
拡散モデル（Diffusion Model）ノイズを徐々に加える過程の逆を学習し、ノイズから高品質な画像を生成するモデル2020年〜。GANより学習が安定。Stable Diffusion、DALL·Eで採用
VQ-VAE潜在表現を離散コードブックで量子化するVAEの改良版DeepMind（2017年）。離散表現により高品質な生成が可能
CLIPテキストと画像を同じベクトル空間に埋め込み、対応関係を学習するモデルOpenAI（2021年）。コサイン類似度で一致度を計算。Zero-shot画像分類が可能
コサイン類似度2つのベクトルの方向の近さを-1〜1で測る指標CLIPでテキストと画像の一致度を計算。1に近いほど類似
DALL·E 2CLIPの埋め込み空間と拡散モデルを組み合わせたテキストから画像を生成するモデルOpenAI（2022年）。テキスト→CLIPテキスト埋め込み→画像埋め込み→拡散モデル→画像
GLIDEテキスト誘導拡散モデルによる画像生成手法OpenAI（2021年）。分類器なしガイダンスで高品質なテキスト条件付き生成
誘導拡散（Guided Diffusion）拡散モデルの生成過程にテキストやクラスラベル等の条件を組み込む手法分類器ガイダンスと分類器なしガイダンスの2種類
Stable Diffusion潜在空間で拡散過程を行い高速・高品質に画像を生成するモデルStability AI（2022年）。オープンソースで公開。Latent Diffusion Modelベース
潜在拡散モデル（Latent Diffusion Model）画素空間ではなく圧縮された潜在空間で拡散過程を行い、計算コストを大幅に削減したモデルVAEで圧縮→潜在空間で拡散→VAEで復元。Stable Diffusionの基盤
音声処理
用語説明補足・関連
音声認識（STT）音声波形をテキストに変換する技術Speech-to-Text。特徴抽出→音響モデル→言語モデルのパイプライン
音声合成（TTS）テキストから音声波形を生成する技術Text-to-Speech。波形接続型→パラメトリック型→ニューラル型と進化
A-D変換アナログ信号をデジタルデータに変換する処理パルス符号変調（PCM）方式で標本化→量子化→符号化の3ステップ
パルス符号変調（PCM）A-D変換の標準的な方式。標本化→量子化→符号化でデジタル化音声CDは44,100Hz・16bit
標本化（サンプリング）アナログ信号を一定間隔で読み取る処理。A-D変換の第1ステップサンプリングレート（Hz）で間隔を指定
量子化（A-D変換）読み取った値を最も近い離散値に丸める処理。A-D変換の第2ステップビット深度が高いほど精密
符号化（A-D変換）量子化した値を2進数（ビット列）に変換する処理。A-D変換の第3ステップデジタルデータとして保存・伝送可能になる
高速フーリエ変換（FFT）時間領域の信号を周波数領域に変換する数学的手法音声のスペクトル分析の基礎
音声スペクトル音声信号に含まれる各周波数成分の強度を表した図FFTで算出。横軸=周波数、縦軸=強度
スペクトル包絡スペクトルの滑らかな輪郭線。声の音色（フォルマント）の情報を持つMFCCの算出に使用
MFCC（メル周波数ケプストラム係数）人間の聴覚特性（メル尺度）を反映した音声特徴量音声認識の標準的な入力特徴量。通常13次元程度
音素言語における音の最小単位日本語は約25種類、英語は約45種類
音響モデル音声の特徴量から音素列を推定するモデルHMM、DNN-HMMなどが使用される
隠れマルコフモデル（HMM）観測できない隠れ状態を観測データから推定する確率モデル状態遷移確率と出力確率を学習。音声認識の音響モデルとして長年使用
混合正規分布モデル（GMM）複数の正規分布を重み付きで混合して複雑な確率分布を近似するモデルGMM-HMMで音声認識の出力確率計算に使用
DNN-HMMHMMの出力確率計算をDNNに置き換えたハイブリッドモデルGMM-HMMから大幅に精度向上
波形接続型TTS録音音声の断片を選んで接続する音声合成方式自然だが接続点で不自然になりやすい
パラメトリックTTS音声パラメータをモデルで生成して合成する方式パラメータの平均化により揺らぎが失われ機械的な音声になりやすい
WaveNetDeepMindが開発したニューラルTTSモデル。音声波形を直接生成2016年。Dilated Causal Convolutionが核心技術。人間に近い品質を達成
Dilated Causal Convolution間隔を指数的に広げた因果畳み込み。少ない層数で広い受容野を確保WaveNetの核心技術。Causal=未来を使わない、Dilated=間隔を広げる
CTC（Connectionist Temporal Classification）入出力のアライメントなしに系列ラベリングを学習する手法音声認識で使用。ブランク記号と動的計画法で対応
強化学習
用語説明補足・関連
強化学習報酬を最大化する行動を試行錯誤で学ぶ手法。正解データ不要エージェントが環境と相互作用。教師あり・なしとは別の枠組み
エージェント強化学習で行動する主体（学習するAI）環境から状態と報酬を受け取り、行動を選択する
方策（Policy）どの状態でどの行動を取るかの戦略強化学習の目標はより良い方策を獲得すること
Q学習各「状態×行動」の組に価値（Q値）をつけて最善の行動を選ぶ手法代表的な強化学習アルゴリズム
DQN（深層Q学習）Q学習にディープラーニングを組み合わせた手法DeepMind（2013年）。Atariゲームで人間超え
探索と利用のジレンマ新しい行動を試す（探索）vs 既知の最善を取る（利用）のバランス問題ε-greedy法で対処
AlphaGo深層強化学習で囲碁の世界チャンピオンに勝利したAIDeepMind（2016年）。SLポリシー・RLポリシー・ロールアウトポリシー・バリューNWの4つのNW + MCTSで構成
SLポリシーネットワークプロ棋士の棋譜から次の手を予測する方策ネットワーク教師あり学習（SL）で訓練。13層CNN。MCTSの選択フェーズで有望な手を絞る
RLポリシーネットワークSLポリシーを初期値として自己対局で強化した方策ネットワーク強化学習（RL）で訓練。バリューネットワークの学習データ生成に使用
ロールアウトポリシーMCTSのシミュレーションで高速に終局まで打つための軽量な方策線形モデルベースでSLポリシーの約1000倍高速。精度は低いが速度重視
バリューネットワーク盤面の勝率（0〜1）を直接予測するネットワークRLポリシーの自己対局データで学習。ロールアウト結果と混合して局面を評価
マルコフ性次の状態が現在の状態と行動のみで決まるという性質過去の履歴に依存しない。マルコフ決定過程の前提
マルコフ決定過程（MDP）強化学習を (S, A, P, R, γ) で定式化する数理的枠組みマルコフ性を前提。累積報酬を最大化する方策を求める
Q値 Q(s, a)状態sで行動aを取った場合の将来の累積報酬の期待値Q値が高い行動ほど長期的に有利
経験再生（Experience Replay）過去の経験を蓄積し、ランダムにサンプリングして学習する手法DQNの重要な工夫。データの時間的相関を打破し学習を安定化
ターゲットネットワークQ値の目標値を計算する別のネットワーク。一定周期で重みをコピーDQNの重要な工夫。学習目標の変動を抑制し安定化
Double DQN行動選択とQ値評価を別ネットワークで行い、Q値の過大評価を防ぐDQN改良版DQNの弱点を改善
Dueling NetworkQ値を状態価値V(s)とアドバンテージA(s,a)に分離して学習するDQN改良版行動に依存しない状態の良さを効率的に学習
Noisy Networkネットワークの重みにノイズを加えて効率的な探索を行うDQN改良版ε-greedyよりも効率的な探索が可能
Rainbow6つのDQN改良手法をすべて統合した最強のDQN系手法DeepMind（2017年）。各改良の相乗効果で最高性能
価値ベース手法（RL）Q値（行動価値関数）を学習し、Q値最大の行動を選択する強化学習手法価値反復法。Q学習、DQNが代表例
方策ベース手法（RL）方策（行動の確率分布）を直接学習して最適化する強化学習手法方策勾配法。連続行動空間に対応。REINFORCEが代表例
方策勾配法累積報酬が増える方向に方策のパラメータを勾配上昇法で更新する手法方策ベース手法の基本。連続行動空間に対応
価値反復法Q値を繰り返し更新して最適値に収束させ、最適方策を導出する手法価値ベース手法の基本。離散行動空間向き
モデルフリー（RL）環境のモデルを使わず、試行錯誤のみで方策を学習する手法DQN、A3C、PPOなどが該当
モデルベース（RL）環境のモデル（遷移確率・報酬関数）を学習・利用して先読み・計画を行う手法AlphaGo（MCTS併用）が代表例。サンプル効率が良い
Actor-CriticActor（方策）とCritic（価値関数）を同時に学習する手法価値ベースと方策ベースの両方の利点を併せ持つ
A3CActor-Criticを複数ワーカーで非同期並列学習する手法Asynchronous Advantage Actor-Critic。経験再生バッファが不要
AlphaGo Zero完全自己対局のみで学習し、AlphaGoを超越した囲碁AIDeepMind（2017年）。人間の棋譜を一切使わない。ResNet+MCTS
完全自己対局人間のデータを一切使わず、AI同士の対戦のみで学習する手法AlphaGo Zeroの核心。わずか3日でAlphaGoを超越
モンテカルロ木探索（MCTS）ランダムシミュレーションで有望な手を探索する手法選択→展開→シミュレーション→逆伝播。AlphaGoの核心技術
MiniMax法自分は最大化・相手は最小化と仮定してゲーム木を探索するアルゴリズム2人対戦型ゲームの古典的手法。αβ枝刈りで効率化
AlphaStarStarCraft IIでプロゲーマーレベルに到達した深層強化学習AIDeepMind（2019年）。不完全情報・リアルタイム戦略ゲーム
Sim2Realシミュレーションで学習した方策を現実環境に転移する手法ロボティクスで重要。パフォーマンスギャップが課題
パフォーマンスギャップシミュレーションと現実環境の物理特性の違いによる性能低下Sim2Realの主要課題。ドメインランダマイゼーションで低減
ドメインランダマイゼーションシミュレーションの物理パラメータをランダムに変動させて頑健性を高める手法摩擦・重力・照明等を変動。パフォーマンスギャップ対策
マルチエージェント強化学習複数エージェントが同じ環境で同時に学習・行動する強化学習協調・競争・混合。AlphaStarのリーグ学習も一種
OpenAI Gym強化学習研究用の統一インターフェースを提供するツールキットOpenAI開発。CartPole、Atari等の標準ベンチマーク環境を含む
一気通貫学習（End-to-End）入力から出力まで中間設計なしに1つのNNで直接学習する手法DQNは画像→行動をEnd-to-Endで学習
状態表現学習生データから意思決定に有用な特徴表現をNNが自動学習することDQNではCNNが画像から重要特徴を自動抽出。End-to-End学習の核心
World Models（世界モデル）環境の内部モデルを学習し「想像」で試行錯誤するアプローチV（VAEで圧縮）+ M（RNNで予測）+ C（行動選択）。モデルベース強化学習
マルチモーダル・XAI
用語説明補足・関連
モダリティデータの種類・形式（テキスト、画像、音声、動画、センサー等）マルチモーダル＝複数モダリティを扱う
マルチモーダルAI複数のモダリティを統合して処理するAIGPT-4V、Geminiなど。人間の知覚統合に近いアプローチ
ニューラル画像脚注付け画像を入力し内容を説明するテキスト（キャプション）を自動生成するタスクCNNで画像特徴抽出→RNN/Transformerで文を生成。Show and Tell等
ブラックボックス問題DNNの内部が複雑すぎて「なぜその判断か」を人間が理解できない問題医療・金融・自動運転で特に重要。XAIで対応
XAI（説明可能AI）モデルの判断根拠を人間に説明する技術の総称Explainable AI。LIME、SHAP、Grad-CAMが代表手法
LIME近傍データで局所的に線形モデルで近似し、各特徴量の寄与度を算出するXAI手法モデル非依存。Local Interpretable Model-agnostic Explanations
SHAP協力ゲーム理論のシャプレイ値で各特徴量の貢献度を公平に算出するXAI手法モデル非依存。数学的に厳密な一貫性・公平性を保証
Grad-CAMCNNの勾配情報を使い、判断に寄与した画像領域をヒートマップで可視化するXAI手法CNN専用（モデル依存）。赤=高寄与、青=低寄与
協力ゲーム理論プレイヤーが協力して得た報酬を公平に分配するための数学理論SHAPの理論基盤。シャプレイ値で各特徴量の貢献度を算出
ヒートマップ（XAI）画像のどの領域が判断に寄与したかを色の濃淡で可視化する手法Grad-CAMの出力形式。赤=高寄与、青=低寄与
目次に戻る
社会実装
用語説明補足・関連
Society 5.0AI・IoTでサイバー空間とフィジカル空間を高度に融合させた「超スマート社会」日本政府が第5期科学技術基本計画（2016年）で提唱
BPR（業務プロセス改革）業務プロセスを根本から再設計することBusiness Process Re-engineering。AI導入前に業務自体を見直す
UI（ユーザーインターフェース）画面のデザインや操作方法AIの判断結果をわかりやすく表示する設計が重要
UX（ユーザーエクスペリエンス）ユーザーが感じる体験全体の質AIが賢くても使いにくければ価値がない
AI・データの利用に関する契約ガイドライン経済産業省が策定したAI開発の契約指針2018年策定、2022年改訂。探索的段階型の開発を推奨
探索的段階型AIプロジェクトを複数フェーズに分け段階的に進める開発方式各段階でGo/No-Go判断。契約ガイドラインが推奨
PoC（概念実証）本格開発前に小規模で技術的実現性を検証する段階Proof of Concept。精度・データ品質・ビジネス価値を確認
追加学習運用開始後にAIモデルを新しいデータで更新することデータドリフト・コンセプトドリフトへの対策
ウォーターフォール型要件定義→設計→実装→テストを一方通行で進める開発手法仕様が明確なシステム向き。AI開発にはやや不向き
アジャイル開発短い周期（スプリント）で繰り返し開発する手法変更に柔軟。AI開発と相性が良い
NDA（秘密保持契約）プロジェクトで知りえた情報を外部に漏らさない契約Non-Disclosure Agreement。最初に締結する
準委任契約作業の遂行が目的の契約。成果物の完成義務はないPoC・アセスメント・追加学習の段階で使用
請負契約成果物を完成させて納品する義務がある契約仕様確定後の本格開発で使用
SaaS完成したソフトウェアをクラウド経由で提供するサービスSoftware as a Service。例：Gmail、ChatGPT
PaaS開発環境・ミドルウェアをクラウド経由で提供するサービスPlatform as a Service。例：AWS SageMaker
IaaSサーバー・ストレージ・ネットワークをクラウド経由で提供するサービスInfrastructure as a Service。例：AWS EC2
オンプレミス自社内にサーバーを設置して運用する形態データを外部に出さないためセキュリティに強い
Cloud AI API学習済みAIをAPI経由で呼び出せるクラウドサービス例：Google Cloud Vision API、Amazon Rekognition
エッジAIデータが発生する現場（端末側）でAI処理を行う方法低遅延・プライバシー保護。自動運転・スマホ・工場で活用
エッジコンピューティングデータ発生源の近くで計算処理を行うコンピューティング方式クラウドへの通信不要。IoT・リアルタイム処理に必須
DX（デジタルトランスフォーメーション）デジタル技術によってビジネスや社会の仕組みを根本から変革すること単なるIT化ではなくビジネスモデル自体を変える
オープンイノベーション社外の知識・技術を積極的に取り入れてイノベーションを起こす考え方ヘンリー・チェスブロウ提唱（2003年）。対義語：クローズドイノベーション
ビッグデータ従来のDBでは扱えない大量・高速・多種多様なデータ3V：Volume（量）・Velocity（速度）・Variety（多様性）
IoT（Internet of Things）モノがインターネットに繋がりデータを送受信する仕組みセンサー・家電・車等。データ収集→AI分析→フィードバック
RPA（Robotic Process Automation）パソコン上の定型作業をソフトウェアロボットが自動化する技術AIが「判断」、RPAは「手順の繰り返し」
MLOpsMLモデルの開発・デプロイ・監視・再学習を自動化・効率化する仕組みDevOpsのAI版。精度劣化の検知→再学習のパイプライン
DevOps開発（Dev）と運用（Ops）を一体化してソフトウェアを素早くリリース・改善し続ける文化・手法CI/CD（継続的インテグレーション/デリバリー）
CRISP-DMデータ分析プロジェクトの標準的な6フェーズ循環プロセスビジネス理解→データ理解→データ準備→モデリング→評価→展開
ブロックチェーンデータをブロック単位でハッシュチェーンにより連鎖させる分散型台帳技術自律分散・改ざん耐性・透明性。完全性と可用性に優れる
可用性（Availability）必要な時にいつでもシステムやデータを使えること情報セキュリティの3要素（CIA）の一つ
完全性（Integrity）データが改ざん・破壊されていないこと情報セキュリティの3要素（CIA）の一つ
BaaS（Blockchain as a Service）ブロックチェーンの基盤をクラウドサービスとして提供するものAWS、Azure、IBM Cloud等が提供
Dockerアプリケーションと実行環境をコンテナにパッケージ化する技術環境の再現性を確保。MLOpsで活用
ライブラリ（Library）よく使う機能をまとめて再利用できるようにしたプログラムの部品集NumPy、Pandas、scikit-learn等
クローリングWebページのリンクを自動でたどって巡回するデータ収集手法Googleの検索エンジンもクローラーで動作
スクレイピングWebページから必要な情報を抽出する手法利用規約・著作権法に注意が必要
スクリプト言語コードを1行ずつ解釈しながら実行する言語Python、R、JavaScript。試行錯誤に向く
コンパイル言語コード全体を事前に機械語に変換してから実行する言語C、C++、Java。実行速度が速い
NumPyPythonの数値計算ライブラリ。多次元配列を高速に処理ほぼ全てのAIライブラリが依存する基盤
PandasPythonのデータ分析ライブラリ。DataFrame（表形式）を扱うCSV読み書き、欠損値処理、集計が簡単
MatplotlibPythonのグラフ描画ライブラリ折れ線・棒・散布図・ヒストグラム等を作成
scikit-learnPythonの機械学習ライブラリ。分類・回帰・クラスタリング等を網羅APIが統一的で使いやすい。DLには非対応
TensorFlowGoogleが開発したDLフレームワーク大規模本番運用に強い。TensorFlow Liteでエッジ対応
KerasTensorFlowの高レベルAPI。簡潔にDLモデルを記述できるTensorFlow 2.xに統合済み
PyTorchMeta（Facebook）が開発したDLフレームワーク動的計算グラフ（Define-by-Run）。研究分野でシェア1位
ChainerPreferred Networks（日本）が開発したDLフレームワーク世界初のDefine-by-Run方式。2019年に開発終了
Jupyter Notebookコード・実行結果・説明文をセル単位で扱える対話的開発環境データ分析・AI開発の標準環境
AnacondaPython＋主要ライブラリをまとめてインストール・環境管理するツールconda環境で依存関係を管理
Google ColaboratoryGoogleが提供するブラウザ上のJupyter環境GPUが無料で使える。セットアップ不要
バージョン管理（Git）コードの変更履歴を記録・共有する仕組みGitHub/GitLabが代表的なホスティングサービス
データの網羅性学習データが現実世界の多様な状況をまんべんなくカバーしていること偏ると汎化できない。量・質とともに重要
GIGO（Garbage In, Garbage Out）ゴミデータを入れればゴミみたいな結果しか出ないという原則データの質の重要性を表す言葉
オープンデータ誰でも自由に使える形で公開されたデータ機械判読可能・二次利用可能・無償が条件
機械判読コンピュータが自動的にデータを読み取り処理できることCSV、JSON、API等が適する。PDFスキャンは不適
二次利用公開されたデータを別の目的で再利用することオープンデータの条件の一つ
データバイアス学習データに含まれる偏りがAIの判断に偏りをもたらす問題サンプリングバイアス、ラベルバイアス等
サンプリングバイアスデータの収集方法の偏りにより母集団を正しく反映しないこと例：ネット調査で高齢者の意見が欠落
層別抽出法（層化サンプリング）母集団を属性で層に分け、各層の比率に応じてサンプルを抽出する方法サンプリングバイアスの防止に有効
アップサンプリング不均衡データで少数クラスのデータを増やしてバランスを調整する手法SMOTEが代表手法。データをコピー・合成して水増し
ダウンサンプリング不均衡データで多数クラスのデータを減らしてバランスを調整する手法シンプルだが情報損失のリスクあり
アノテーション学習データに正解ラベルを付ける作業教師あり学習に必須。コストが高く品質管理が重要
アルゴリズムバイアスアルゴリズムの設計や学習データに起因するAIの判断の偏り顔認識AIが特定の人種で精度が低い等
センシティブ属性人種・性別・年齢・宗教・障害など差別につながる可能性がある属性データの取り扱いに特別な配慮が必要
外れ値他のデータから極端に離れた値原因調査が先。正当なデータの場合は残す
異常値入力ミスや機器故障などで発生した不正な値除去または正しい値に修正する
対数変換偏った分布を正規分布に近づけ、外れ値の影響を緩和する前処理年収や不動産価格など裾の長い分布に適用
目次に戻る
数理・統計
用語説明補足・関連
微分関数の変化の割合（接線の傾き）を求める操作xn → nxn−1。勾配降下法で損失関数の最小化に使用
連鎖律（チェインルール）合成関数の微分法則 f'(g(x))·g'(x)誤差逆伝播法（バックプロパゲーション）の基礎
偏微分多変数関数で1つの変数だけ微分し他を定数扱いする操作記号 ∂。各重みについて勾配を求めるのに使用
確率ある事象が起きる可能性の度合い（0〜1の値）加法定理・乗法定理・余事象が基本
条件付き確率ある事象Bが起きた条件のもとで事象Aが起きる確率 P(A|B)P(A|B) = P(A∩B) / P(B)
ベイズの定理事後確率 = 尤度×事前確率/周辺尤度 で原因の確率を更新する公式P(A|B) = P(B|A)P(A)/P(B)。迷惑メールフィルタ等に応用
事前確率データを見る前の仮説の確率ベイズの定理の P(A)。先入観・事前知識に基づく
事後確率データを観測した後に更新された仮説の確率ベイズの定理の P(A|B)。事前確率をデータで更新
尤度仮説Aが正しいときにデータBが観測される確率 P(B|A)データと仮説の整合性を表す
線形代数ベクトルや行列を扱う数学の分野データやパラメータの表現・計算に不可欠
内積対応する要素同士をかけて合計する演算a·b = Σaᵢbᵢ。類似度の計算にも使われる
行列の積左の行ベクトルと右の列ベクトルの内積で各成分を求めるAB ≠ BA（交換法則は成り立たない）
期待値確率で重み付けした平均値 E[X] = Σxᵢ×P(xᵢ)長い目で見たときの平均的な値
正規分布平均μを中心に左右対称の釣鐘型の連続確率分布μ±1σ≈68%、μ±2σ≈95%、μ±3σ≈99.7%
二項分布成功/失敗の試行をn回繰り返したときの成功回数の確率分布P(X=k) = ₙCₖ pk(1−p)n−k
平均値データの合計÷個数外れ値の影響を受けやすい
中央値（メジアン）データを昇順に並べたときの真ん中の値外れ値に強い。年収等の代表値に適する
最頻値（モード）最も頻繁に出現する値カテゴリデータにも使える代表値
分散偏差の2乗の平均。データのばらつきを表す指標σ² = Σ(xᵢ−x̄)²/n
標準偏差分散の平方根。元のデータと同じ単位でばらつきを表すσ = √分散
ニューロンモデル入力の重み付き和＋バイアスを活性化関数に通す計算モデルu = Σwᵢxᵢ + b → y = f(u)
活性化関数ニューロンの総入力を非線形に変換する関数シグモイド、ReLU、tanh、ソフトマックス等
シグモイド関数σ(u) = 1/(1+e−u) で出力を0〜1に変換する関数二値分類の出力層で使用。u=0で0.5を出力
ReLUf(u) = max(0, u)。負は0、正はそのまま出力する関数中間層の標準。計算が速く勾配消失が起きにくい
ソフトマックス関数出力を確率（合計1）に変換する関数 yₖ = euₖ/Σeuᵢ多クラス分類の出力層で使用
畳み込み演算フィルタをスライドさせて要素積の合計を求める操作出力サイズ = (入力−フィルタ+2P)/S+1
混同行列予測結果と正解の組み合わせをTP/FP/FN/TNの4マスに整理した表分類モデルの性能評価の基本
適合率（Precision）陽性と予測したもののうち本当に陽性だった割合 TP/(TP+FP)偽陽性を減らしたいとき重視（迷惑メール判定等）
再現率（Recall）実際の陽性のうち正しく陽性と予測できた割合 TP/(TP+FN)見逃しを減らしたいとき重視（がん検診等）
F値（F1スコア）適合率と再現率の調和平均 2×P×R/(P+R)どちらか片方だけ高くてもF値は上がらない
正規化（Min-Max）x' = (x−min)/(max−min) でデータを[0,1]に変換特徴量のスケールを揃える前処理
標準化（Z-score）z = (x−μ)/σ でデータを平均0・標準偏差1に変換正規分布を仮定できるデータに適する
回帰方程式（単回帰）ŷ = ax + b でデータの傾向を直線で表す式最小二乗法で残差の2乗和を最小化して a, b を決定
ユークリッド距離2点間の直線距離 √{Σ(xᵢ−yᵢ)²}最も一般的な距離。ピタゴラスの定理の拡張
マンハッタン距離各座標の差の絶対値の合計 Σ|xᵢ−yᵢ|碁盤の目のように縦横のみ移動する距離
コサイン類似度ベクトルの方向の近さ cos θ = (a·b)/(|a|×|b|)−1〜1。1に近いほど方向が類似。文書類似度等に使用
相互情報量2つの確率変数の相互依存性を測る指標I(X;Y) = ΣΣP(x,y)log₂{P(x,y)/(P(x)P(y))}。独立なら0
時系列データ時間順に並んだデータ。トレンド・季節性・不規則変動に分解できる並び替え厳禁。過去の値が未来に影響する
定常性平均・分散が時間によって変わらない性質多くの時系列モデルの前提。非定常なら差分で対応
自己共分散同じ時系列内でラグk離れた値同士の共分散標準化すると自己相関係数（-1〜+1）
ランダムウォークy(t)=y(t-1)+ノイズ。予測不可能な非定常過程差分をとるとホワイトノイズになる
ARモデル過去の自分自身の値で未来を予測する自己回帰モデルAR(p)：過去p個の値を使用
MAモデル過去のノイズ（誤差）で未来を予測する移動平均モデルMA(q)：過去q個のノイズを使用。株の移動平均線とは別物
ARIMAモデル差分で定常化＋AR＋MAの組み合わせ。非定常データに対応ARIMA(p,d,q)：p=AR次数、d=差分回数、q=MA次数
目次に戻る
法律・契約
用語説明補足・関連
Privacy by Designシステムの設計段階からプライバシー保護を組み込む考え方「後付け」ではなく「最初から」設計に反映
セキュリティ・バイ・デザインシステムの設計段階からセキュリティ対策を組み込む考え方脆弱性を「後から塞ぐ」のではなく「最初から作らない」
バリューセンシティブデザイン人間の価値観（公平性・自律性・信頼等）を設計段階から反映する考え方技術だけでなく多様な価値観を設計に組み込む
ELSI新技術がもたらす倫理的（E）・法的（L）・社会的（S）課題Ethical, Legal and Social Issues。社会実装に必須の視点
個人情報生存する個人に関する情報で、特定の個人を識別できるもの氏名、生年月日、顔写真、メールアドレス（氏名含む）等
個人識別符号それ単体で特定の個人を識別できる符号DNA、顔認証データ、指紋、マイナンバー、パスポート番号
個人データ個人情報データベース等を構成する個人情報個人情報 ⊃ 個人データ ⊃ 保有個人データ
保有個人データ事業者が開示・訂正・削除等の権限を持つ個人データ本人から開示・削除の請求を受けうるデータ
要配慮個人情報不当な差別・偏見が生じないよう特に配慮が必要な個人情報人種・信条・病歴・犯罪歴等。取得に本人同意が必要。オプトアウト不可
個人情報保護法個人情報の適切な取り扱いルールを定めた法律3年ごとに見直し。2022年改正で仮名加工情報新設等
個人情報保護委員会個人情報保護法の運用・監視を担う独立行政機関内閣府の外局。事業者への指導・勧告・命令を行う
匿名加工情報特定の個人を復元できないように加工した情報本人同意なしで第三者提供可。公表義務あり
仮名加工情報他の情報と照合しない限り個人を特定できないように加工した情報2022年新設。自社内分析・研究目的。第三者提供は原則不可
オプトアウト制度本人が拒否しなければ個人データの第三者提供を可能とする仕組み要配慮個人情報は対象外。個人情報保護委員会への届出が必要
オプトイン事前に本人の明示的な同意を得てからデータを利用・提供する方式GDPRはオプトイン原則。オプトアウトより厳格
改正個人情報保護法（2022年施行）仮名加工情報新設、権利拡充、利用目的変更緩和、漏えい報告義務化等の改正罰金最大1億円。外国事業者にも適用
カメラ画像利活用ガイドブックカメラ画像をビジネスで利活用する際のルールを整理したガイドライン経産省・総務省策定。設置の通知・公表、顔認証データの厳格管理
GDPR（EU一般データ保護規則）EU域内の個人データを扱う全組織に適用される世界最厳格のデータ保護法2018年施行。制裁金は全世界年間売上の最大4%
データポータビリティ権自分のデータを機械判読可能な形式で受け取り別サービスに移行する権利GDPRで明文化。日本法には明確な規定なし
忘れられる権利（消去権）個人データの削除を求める権利GDPRで明文化。日本法は利用停止・消去の請求権
知的財産権人間の知的創造活動から生まれた成果物や営業上の標識に対して与えられる権利の総称知的創造物（特許権・著作権等）と営業上の標識（商標権等）に大別
特許権発明（自然法則を利用した技術的思想の創作のうち高度なもの）を保護する権利出願日から20年。審査を経て登録。先願主義
発明自然法則を利用した技術的思想の創作のうち高度なもの特許法第2条で定義。自然法則を利用しないもの（数学的手法のみ等）は対象外
特許発明特許を受けている発明のこと特許発明の実施には権利者の許諾が必要
産業上利用可能性発明が産業（工業・農業・鉱業等）で実際に利用できること特許の3要件の1つ。学術的な発見のみでは不可
新規性出願前に公知でない（世の中に知られていない）こと特許の3要件の1つ。論文発表や販売で喪失しうる
進歩性既存技術から容易に思いつけないレベルの技術的進歩があること特許の3要件の1つ。当業者が容易に発明できないこと
新規性喪失の例外一定条件下で公知となっても新規性が失われない特例学会発表等の後1年以内に出願すれば救済される制度
通常実施権特許発明を実施できる権利（非独占的ライセンス）複数者に同時に許諾可能。登録なしでも効力あり
専用実施権特定の範囲で独占的に特許発明を実施できる権利設定登録が必要。権利者自身も実施できなくなる場合がある
先願主義同じ発明は最も先に出願した者に特許を与える原則日本・EU等が採用。発明日ではなく出願日が基準
職務発明従業者が職務上行った発明企業は予め社内規程で特許を受ける権利を取得可。相当の利益を従業者に支払う義務
著作権著作物を創作した時点で自動的に発生する権利無方式主義。著作者人格権と著作財産権からなる。死後70年まで存続
著作物思想又は感情を創作的に表現したもので、文芸・学術・美術・音楽の範囲に属するもの4条件：①思想・感情 ②創作性 ③表現 ④文芸等の範囲。データ・事実・アイデアは対象外
著作者人格権著作者の人格的利益を保護する権利（公表権・氏名表示権・同一性保持権）譲渡・相続不可。著作者の一身に専属
著作財産権著作物の利用を許諾・禁止できる財産的権利の総称複製権、翻案権、公衆送信権等。譲渡・相続が可能
複製権著作物を有形的に再製する権利著作財産権の基本。コピー・印刷・録音・録画等が該当
翻案権既存の著作物に基づいて新たな著作物を創作する権利小説の映画化、楽曲のアレンジ等。二次的著作物の創作に関わる
共同著作物2人以上が共同で創作し、各人の寄与を分離できない著作物利用には全員の合意が必要。正当な理由なく合意を拒否できない
職務著作（法人著作）法人の発意に基づき従業者が職務上作成し法人名義で公表される著作物著作者は法人。契約等に別段の定めがない場合に適用
著作権法第30条の4情報解析等の非享受目的での著作物利用を権利者の許諾なく認める規定AI学習データとしての利用はこの規定により原則適法
AI生成物と著作権AIが自律的に生成したコンテンツには著作権が発生しない（人間の創作的関与がないため）人間がAIを「道具」として創作的に利用した場合は著作物となりうる
ハルシネーション生成AIが事実と異なる情報をもっともらしく出力する現象既存著作物に類似した内容を生成すると著作権侵害リスクあり
不正競争防止法事業者間の公正な競争を確保し、不正な競争行為を規制する法律営業秘密・限定提供データの保護、AIモデルやデータセットの保護にも関連
不正競争不正競争防止法で禁止される行為の総称営業秘密の侵害、限定提供データの不正取得、周知表示の混同惹起等
営業秘密秘密として管理されている事業上有用な非公知の情報3要件：①秘密管理性 ②有用性 ③非公知性。登録不要で保護
限定提供データ業として特定の者に提供する情報として電磁的方法により管理されている技術上・営業上の情報2018年改正で新設。3要件：①限定提供性 ②電磁的管理性 ③相当蓄積性
電磁的方法電子的・磁気的その他人の知覚で認識できない方法限定提供データの管理方法。ID/パスワード・API認証等
目次に戻る
AI倫理
用語説明補足・関連
ブラックボックス問題ディープラーニング等の判断過程が人間には理解できない問題医療・融資・自動運転等で「なぜその判断か」が説明できないリスク
XAI（説明可能なAI）AIの判断根拠を人間が理解できる形で提示する技術・手法代表手法：LIME、SHAP、Grad-CAM、Attentionの可視化
公平性（Fairness）AIが特定の属性（性別・人種等）に基づいて不公平な判断をしないことアルゴリズムバイアスの排除。公平性の定義自体が複数存在
説明責任（Accountability）AIの判断結果について責任を負えること開発者・利用者・提供者のそれぞれに説明責任が求められる
透明性（Transparency）AIシステムの動作やデータの使われ方が明らかであることモデルの透明性とプロセスの透明性の両面がある
FATFairness（公平性）・Accountability（説明責任）・Transparency（透明性）の頭文字AI倫理の3本柱。人間中心のAI社会原則の第6原則
人間中心のAI社会原則2019年に統合イノベーション戦略推進会議が策定したAI社会の基本原則3つの基本理念と7つの原則。人間の尊厳・多様性・持続可能性を重視
プロファイリング個人のデータを収集・分析し行動・嗜好・能力等を予測・推定することGDPRで権利が明記。差別やプライバシー侵害のリスク
データ倫理データの収集・利用・共有における倫理的な考え方法律は最低限のルール、倫理はそれを超えた「あるべき姿」
データ汚染（Data Poisoning）学習データに意図的に不正なデータを混入させモデルの判断を歪める攻撃学習段階を狙った攻撃。モデルの信頼性を根本から損なう
敵対的攻撃（Adversarial Attack）人間にはわからない微小なノイズを加えてAIの判断を誤らせる攻撃推論段階を狙った攻撃。自動運転等での安全上のリスク
敵対的サンプル敵対的攻撃に用いられる、微小なノイズが加えられた入力データパンダ→テナガザルと誤認識させる例が有名
DeepfakeGANを使って生成された偽の画像・動画・音声有益な用途（映画制作・教育等）もあるが、悪用リスクが高い
敵対的生成ネットワーク（GAN）GeneratorとDiscriminatorが互いに競い合って学習する生成モデルDeepfakeの基盤技術。画像生成・データ拡張等に利用
フェイクコンテンツAIで生成された虚偽の画像・動画・テキスト等の総称フェイクニュース・なりすまし・詐欺等に悪用されるリスク
EAD（Ethically Aligned Design）IEEEが策定した「倫理的に整合したデザイン」のガイドライン人間の幸福（Well-being）を重視した設計指針
信頼性を備えたAIのための倫理ガイドラインEU（AI HLEG）が策定した信頼できるAIの7要件を示すガイドライン欧州委員会のハイレベル専門家グループが策定
Partnership on AIGoogle・Facebook・Amazon・IBM・Microsoft等が共同設立したAI倫理の研究・推進組織2016年設立。企業・学術・市民社会が参加
パーソナライズユーザーの閲覧・検索履歴等のデータをAIが分析し個人の好みに合わせた情報を表示する仕組みECサイトのレコメンド、SNSのタイムライン最適化等
フィルターバブルAIアルゴリズムが好みの情報だけをフィルタリングし、偏った情報しか見えなくなる現象イーライ・パリサーが2011年に提唱。アルゴリズムが原因
エコーチェンバー同じ意見の人とばかり交流し、意見が反響・強化されて偏りが増す現象人間の行動が原因。フィルターバブルとは原因が異なる
独占禁止法公正で自由な競争を守るための法律私的独占・不当な取引制限（カルテル）・不公正な取引方法を禁止
デジタルプラットフォーム多数のユーザーと事業者を結びつける巨大IT企業のオンラインサービス基盤Google、Amazon、Apple、Meta等。膨大なデータを収集・活用
データ寡占少数の巨大企業がデータを大量に蓄積し市場での支配力を強めている状態データのネットワーク効果で後発企業が追いつけなくなる問題
透明化法特定デジタルプラットフォームの透明性及び公正性の向上に関する法律（2021年施行）巨大PF事業者に取引条件の開示・苦情処理体制の整備等を義務付け
デジタルカルテルAIやアルゴリズムを利用して競合企業間の価格設定等を暗黙的に調整する行為4類型：監視・パラレル・シグナリング・自己学習アルゴリズム
監視アルゴリズム競合他社の価格を自動監視しカルテル合意の維持をチェックするアルゴリズム人間の合意あり→違法。デジタルカルテル4類型の1つ
パラレルアルゴリズム複数企業が同じ価格設定アルゴリズムを使い結果的に価格が横並びになる状態意図がなければ違法と断定しにくい。デジタルカルテル4類型の1つ
シグナリングアルゴリズム価格変更等のシグナルをアルゴリズムで発信し競合に暗黙の協調を促す手法暗黙のコミュニケーション→グレーゾーン。デジタルカルテル4類型の1つ
自己学習アルゴリズムAIが市場データを学習し人間の指示なく自律的に競争制限的な価格設定を行うもの人間の合意がないため現行独禁法で規制が最も困難。デジタルカルテル4類型の1つ
LAWS（自律型致死兵器システム）人間の判断を介さずにAIが自律的に攻撃対象の選定・攻撃を行う兵器Lethal Autonomous Weapons Systems。国連CCW/GGEで議論中
AIの平和利用宣言AIを軍事目的ではなく平和目的で利用すべきという声明研究者・企業・NGOなどが様々な宣言・書簡を発表
目次に戻る