逆伝搬の計算表

計算表を使って、順伝搬で行った操作を逆に偏微分していく → 各操作が誤差Eに対してどのような影響を与えるのかを計算する → 最終的にネットワークの重み w,b が誤差Eに対してどのような影響を与えているのかを計算して、w,b を調整する。その操作を逆伝搬という

逆伝搬_NN.png

逆伝搬の漸化式

出力層の δ(L) の計算

回帰(連続値)の場合

\(E(w) = \frac{1}{2} \sum_{k=1}^n (y_k - d_k) ^2 \\ y = g(u^L) = u^L \\ \therefore \delta^L = \frac{\partial E}{\partial y} \frac{\partial y}{\partial u^L} = \frac{1}{2} 2 (y-d) \frac{\partial (y-d)}{\partial y} \frac{\partial g(u)}{\partial u} = y-d \)

二値分類(確率)の場合

\(E(w)= - \sum_{k=1}^n d_k log( y_k ) = - \sum_{k=1}^n (d_k log( y_k ) - (1 - d_k) log( 1 - y_k ))\\ y = g(u^L) = \frac{1}{1+e^{-u}} \)

(二値分類は、ソフトマックスの特別な場合。表が出るか裏が出るか→ベルヌーイ分布)

 

ここで、

\(\delta^L = \frac{\partial E}{\partial y} \frac{\partial y}{\partial u^L} \)

を分けて計算する

\(\frac{\partial E}{\partial y} = \frac{\partial (- d log( y ) - (1 - d) log( 1 - y ))}{\partial y} \\ = - \frac{d}{y} - \frac{1-d}{1-y} \frac{\partial (1-y)}{\partial y} \\ = - \frac{d}{y} + \frac{1-d}{1-y} \\ = \frac{y(1-d) - (1-y)d}{y(1-y)} = \frac{y-d}{y(1-y)} \)

シグモイド関数の微分はシグモイド関数で表せる

\(\frac{\partial y}{\partial u} = \frac{\partial ((1+e^{-u})^{-1})}{\partial u} = -(1+e^{-u})^{-2} \frac{\partial (1+e^{-u})}{\partial u} = -(1+e^{-u})^{-2} -e^{-u} \\ = \frac{e^{-u}}{(1+e^{-u})^{2}} = \frac{1}{(1+e^{-u})} \frac{e^{-u}}{(1+e^{-u})} = \frac{1}{(1+e^{-u})} ( 1 - \frac{1}{(1+e^{-u})}) = y(1-y) \)

\(\delta^L = \frac{\partial E}{\partial y} \frac{\partial y}{\partial u^L} = \frac{y-d}{y(1-y)} y(1-y) = y-d \)

ソフトマックス関数(他クラス分類の場合)

\(E(w)= - \sum_{k=1}^n d_k log( y_k ) \\ y = g(u_i)=\frac{e^{u_i}}{\sum_{k=1}^n e^{u_k}} \)

ここで、δi を計算するときに k=i のときと k≠i のときで分けて考える (→ つまり偏微分の対象かそうでないかで分けて考える)

\(\delta^L_i = \frac{\partial E}{\partial y} \frac{\partial y}{\partial u^L_i} = - \sum_{k=1}^n \frac{d_k}{ y_k } \frac{\partial y_k}{\partial u^L_i} = - \frac{d_i}{y_i} \frac{\partial y_i}{\partial u^L_i} - \sum_{k≠i}^n \frac{d_k}{ y_k } \frac{\partial y_k}{\partial u^L_i} \)


Python


添付ファイル: file逆伝搬_NN.png 1681件 [詳細] file逆伝搬.png 949件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS   sitemap
Last-modified: 2018-11-01 (木) 23:05:26 (2227d)
Short-URL: http://at-sushi.com/pukiwiki/index.php?cmd=s&k=a4bb7ee170
ISBN10
ISBN13
9784061426061