サポートページ

このサイトは「ディープラーニングを支える技術」「ディープラーニングを支える技術2」に関する情報、訂正情報などを掲載します。誤りやコメントがありましたら サポートメール宛に送っていただけたら幸いです。

書誌情報 #

ディープラーニングを支える技術 書影

  • タイトル：ディープラーニングを支える技術 - 「正解」を導くメカニズム [技術基礎]
  • シリーズ： Tech x Books plus
  • 著者：岡野原　大輔
  • 出版社：技術評論社
  • ページ数：304ページ
  • 出版社ページ
    • 本書サンプルなども見ることができます。
  • Amazon / 楽天ブックス / honto / ヨドバシ.com

ディープラーニングを支える技術 書影2

お知らせ #

  • 2022/5/15 ディープラーニングを支える技術の第3刷増刷、ディープラーニングを支える技術2の第2刷増刷が決定しました。
  • 2022/4/21 ディープラーニングを支える技術2 紙版開始しました。
  • 2022/4/18 ディープラーニングを支える技術2 電子版販売開始しました。
  • 2022/1/12 ディープラーニングを支える技術 第2刷増刷が決定しました。
  • 2022/1/8 ディープラーニングを支える技術 紙版販売開始しました。
  • 2021/12/2 ディープラーニングを支える技術 電子版販売開始しました

ディープラーニングを支える技術 目次 #

  • 第1章 ディープラーニングと人工知能
    • 1.1 ディープラーニング、知能、人工知能とは何か
    • 1.2 人工知能の歴史
    • 1.3 なぜディープラーニングは急速に発展したか
    • 1.4 ディープラーニングと計算コスト
    • 1.5 ディープラーニングは今後どう使われるのか
    • 1.6 本章のまとめ
  • 第2章　[入門]機械学習
    • 2.1 機械学習の背景
    • 2.2 モデル、パラメータ、データ
    • 2.3 汎化能力 - 未知のデータに対応できるか
    • 2.4 問題設定 - 教師あり学習、教師なし学習、強化学習
    • 2.5 問題設定の分類学
    • 2.6 機械学習の基本 - 機械学習のさまざまな概念を知る
    • 2.7 確率モデルとしての機械学習
    • 2.8 本章のまとめ
  • 第3章 ディープラニングの技術基礎
    • 3.1 表現学習 - 「表現」の重要性と難題
    • 3.2 ディープラーニングの基礎知識
    • 3.3 ニューラルネットワークはどのようなモデルなのか
    • 3.4 ニューラルネットワークの学習
    • 3.5 誤差逆伝搬法
    • 3.6 ニューラルネットワークの代表的な構成要素
    • 3.7 本章のまとめ
  • 第4章 ディープラーニングの発展
    • 4.1 ReLUのような活性化関数
    • 4.2 正規化層
    • 4.3 スキップ接続
    • 4.4 注意機構
    • 4.5 本章のまとめ
  • 第5章 ディープラーニングを活用するアプリケーション
    • 5.1 画像認識
    • 5.2 音声認識
    • 5.3 自然言語処理
    • 5.4 本章のまとめ
  • Appendix 機械学習＆ディープラーニングのための数学
    • 線形代数
    • 微分
    • 確率

ディープラーニングを支える技術2 目次 #

  • 第0章 ディープラーニングとは何か - 表現学習とタスク学習、本書解説の流れ
    • 0.1 ［速習］ディープラーニング
    • 0.2 ニューラルネットワークの「学習」における大きな謎
    • 0.3 これから学ぶ生成モデル
    • 0.4 これから学ぶ強化学習
    • 0.5 ディープラーニングと人工知能の課題とこれから
  • 第1章 ディープラーニングの最適化 - なぜ学習できるのか
    • 1.1 最適化による学習
    • 1.2 ［概要］学習の効率化
    • 1.3 モーメンタム法
    • 1.4 学習率の自動調整
    • 1.5 ハイパーパラメータの最適化
    • 1.6 本章のまとめ
  • 第2章 ディープラーニングの汎化 - なぜ未知のデータをうまく予測できるのか
    • 2.1 従来の汎化理論との矛盾
    • 2.2 ニューラルネットワークと陰的正則化
    • 2.3 明示的な正則化
    • 2.4 本章のまとめ
  • 第3章 深層生成モデル - 生成を通じて複雑な世界を理解する
    • 3.1 生成モデル＆深層生成モデルとは何か
    • 3.2 VAE - ニューラルネットワークを使った潜在変数モデル
    • 3.3 GAN - 敵対的生成モデル
    • 3.4 自己回帰モデル
    • 3.5 正規化フロー
    • 3.6 拡散モデル
    • 3.7 本章のまとめ
  • 第4章 深層強化学習 - ディープラーニングと強化学習の融合
    • 4.1 強化学習の基本
    • 4.2 強化学習はどのような特徴を持つのか
    • 4.3 最適な方策を直接求める - モンテカルロ推定
    • 4.4 方策と価値
    • 4.5 ベルマン方程式 - 隣り合う時刻間の価値の関係を表す
    • 4.6 MC学習、オンライン版MC学習 - オンラインでの方策の価値推定❶
    • 4.7 TD学習 - オンラインでの方策の価値推定❷
    • 4.8 予測から制御へ - 問題のどこが変わるのか
    • 4.9 方策オン型学習 - 基本の考え方とSARSA
    • 4.10 方策オフ型学習 - 人の振り見て我が振り直せ
    • 4.11 関数近似 - 価値をパラメトリックモデルで近似する
    • 4.12 方策勾配法 - 方策の勾配を使って最適方策を学習する
    • 4.13 DQN - ディープラーニングと強化学習の融合
    • 4.14 AlphaGo - コンピュータ囲碁での強化学習の適用例
    • 4.15 モデルベース強化学習
    • 4.16 本章のまとめ
  • 第5章 これからのディープラーニングと人工知能 - どのように発展していくか
    • 5.1 学習手法の発展 - 自己教師あり学習
    • 5.2 人工知能と計算性能の関係
    • 5.3 問題固有の知識をどう組み込むか
    • 5.4 ディープラーニングの今後の課題
    • 5.5 本章のまとめ

ディープラーニングを支える技術 誤植 #

（紙版中のページ番号です。版によって修正済みの場合があります。）

  • P.2 図の中: GTP-3 -> GPT-3
  • P.40 1行目: broatcast -> broadcast
  • P.88 9行目の括弧の中: カルバックダイバージェンス -> カルバックライブラーダイバージェンス
  • P.88 11行目 注a は削除
  • P.89 7行目: 最尤推定と一致 -> 最尤推定が一致
  • P.95 角度αの余弦 -> 角度θの余弦
  • P.101 上から10行目: 対策をしてした -> 対策を行っていた
  • P.101 下から11行目: 上から10行目: 集めてきた正解付きデータを訓練データ、開発データ、テストデータに分割します -> 集めてきた正解付きデータを訓練データと、評価データに分け、さらに評価データを開発データとテストデータに分割します
  • P.101 下から3行目: 検証データ -> 評価データ
  • P.103 arg mim -> arg min
  • P.105 8行目 正規分布の定義でexp内で分母 \sigma^2 -> 2 \sigma^2
  • P.105 9行目 分母 \sigma^2 -> 2 \sigma^2
  • P.138 下から2行目, 3行目 f’{act}(h) -> f’{act}(W^Tx+b)
  • p.145 frobenius norm -> Frobenius norm
  • P.146 数式: x[i: i+3, j: i+3) これは誤植ではなく[a, b)がa, a+1, .., b-1という意味ですが、説明がありませんでした
  • P.149 7行目: cross correlatio -> cross correlation
  • P.153 更新方法部分 h_{i+1}, h_i -> h_i, h_{i-1} （図中と添字が揃っていない）
  • P.155 下から13行目: a≦-1のとき …. -> a < -1のとき (a=-1は無限大に発散せず振動する)
  • P.158 1行目: 入力列x_1 -> x_1, .., x_n
  • P.158 6行目: h_t -> h_{t-1}
  • p.162 2012年頃になったからでした -> 2012年頃になってからでした
  • p.183 出力い近い層 -> 出力に近い層
  • P.188 下から4行目: weight standarization -> weight standardization
  • P.193 Shuttered -> Shattered
  • P.195 式の3行目: Σ j=i ->Σ j=i-1
  • p.202 forgettting -> forgetting
  • p.204 resister -> register
  • P.205 6行目 ∂L/∂W=e^Th -> ∂L/∂W=eh^T
  • P.205 図4.19 \alpha he^T -> \alpha eh^T
  • P.209 図4.22 v_i = W^vK_i -> v_i = W^vh_i 　　　　　矢印も同様
  • P.216 注29: …(2012) -> 注29…(2020)
  • P.223 図5.A: GTP-2, GTP-3 -> GPT-2, GPT-3
  • P.227: ResNet/スキップ接続/バッチ正規化(2017) -> ResNet/スキップ接続/バッチ正規化(2015)
  • P.227 12行目: SENet/グローバル注意機構(2013) -> SENet/グローバル注意機構(2017)
  • P.235 図5.7（2ヵ所）, 本文下から10行目: exitation -> excitation
  • P.236 本文下から9行目, 13行目: exitation -> excitation
  • P.236 図5.7（2ヵ所）: 畳み込み層 -> 総結合層
  • P.245: CenterNet: CenterNet: -> CenterNet:
  • P.253: RNN-tranceducer -> RNN-transducer

ディープラーニングを支える技術 2 誤植 #

（紙版中のページ番号です。版によって修正済みの場合があります。）

  • P.x 図: l(y,y)= … -> l(y,y*)= …
  • P.xxvii 下から4行め: 酬 -> 報酬
  • P.4 汎化を防ぐためには重要 -> 過学習を防ぐためには重要
  • P.27 図1.9内: 勢いをも -> 勢いを持
1次モーメントと2次モーメントの変数を修正しています :
・初版:
                   1次モーメント   2次モーメント
     モーメンタム      v
     RMSProp                          m
     Adam以降         m               v

・第2刷以降:
　　　　　　　     　1次モーメント   2次モーメント
     モーメンタム      m
     RMSProp                          v
     Adam以降         m                v

P.27-28のモーメンタムのv->m、P.34-36のRMSPropのm->vに変更
  • P.27 下から1行め: モーメンタムv -> モーメンタムm
  • P.28 上から1行め: モーメンタムv -> モーメンタムm
  • P.28 2つの式中(6ヵ所): v -> m
  • P.30 15行目: Q^TΣ^{-1}Q -> QΣ^{-1}Q^T、（第1刷の場合）　QΣ^{-1}Q -> QΣ^{-1}Q^T（第2刷の場合）下の図参照
  • P.30 16行目 QΣ^-1QQΣQ^T -> QΣ^{-1}Q^TQΣQ^T（第1刷では問題なし、第2刷の場合）下の図参照

P.30 15-16行目は正しくは以下の通り errata

  • P.31 6行目: (1-\alpha \lambda_i)^tu_i^{(0)} -> (1-\alpha \lambda_i)^{(t+1)} u_i^{(0)}
  • P.31 10行目: Qu^{(k)} = \sum_{i=1}^n u_i^{(0)}(1-\alpha \lambda_i)^k q_i -> Qu^{(t)} = \sum_{i=1}^n u_i^{(0)}(1-\alpha \lambda_i)^t q_i
  • P.31 11行目: 直行 -> 直交
  • P.34 本文下から2行めと5行め: m^{(t+1)} -> v^{(t+1)}
  • P.34 本文下から4行め: \sqrt{m^{(t+1)}} -> \sqrt{v^{(t+1)}}
  • P.34 下方式中(3ヵ所): m -> v
  • P.35 図1.11内(7ヵ所): m -> v
  • P.35 下から2行め: \sqrt{m} -> \sqrt{v}
  • P.35 上から1行め: \frac{\hat{g}}{\sqrt{m^{(t+1)} + \epsilon}} -> \frac{\hat{g}}{\sqrt{v^{(t+1)} + \epsilon}}
  • P.36 式中(2ヵ所): m -> v
  • P.36 本文上から5行め: 2次モーメントm -> 2次モーメントv
  • P.37 3行目: \beta^{(t+1)} -> \beta^{t+1} (添字ではなく、指数のため)
  • P.38 中央3行目: \theta_{t+1}^{(l)} = \theta_t^{(l)} - \alpha v_{t+1}^{(l)} -> \theta_{(t+1)}^{(l)} = \theta_t^{(l)} - \alpha m_{t+1}^{(l)}
  • P.39 2行目: β_2 v^{(t)} -> β_2 s^{(t)}
  • P.39 3行目: \beta^{(t+1)} -> \beta^{t+1} (添字ではなく、指数のため)
  • P.99 ページ中央 dx -> dz
  • P.104 見出し: 和に分解される -> 差に分解される
  • P.104 下から9行目: データをxを -> データxを
  • P.104 下から1行目: 右片 -> 右辺
  • P.105 8行目: 和 -> 差
  • P.105 10行目: l(\theta)_{ELBO} = … + KL(…) -> … - KL…
  • P.108 12行目: 符号化の学習は難しくありません -> 復号化の学習は難しくありません
  • P.111 2行目: \thetaをを含む q(z|x; \theta) -> \phiを含む q(z|x; \phi)
  • P.116 下から4行目: 単調現象関数 -> 単調減少関数
  • P.121 図3.13内: 最大推定 -> 最尤推定
  • P.150 2行目: 割引率が大きい -> 割引率が0に近い
  • P.150 3行目: 割引率が大きい -> 割引率が0に近い
  • P.160 下から14行目: 図4.3 -> 図4.2
  • P.166 下から4行目見出し: ユーザーは酬関数 -> ユーザーは報酬関数
  • P.174 3行目: そのような方策は唯一である -> そのような方策は（等価な行動の自由度を除き）唯一である
Calendar January 10, 2024