先ほどまでのところで、双対アファイン座標系をみつけることができた。ここからは、みつけたアファイン座標系に対応する双対ポテンシャルを見つける。
実は、1. ででてきた$\psi$が$\theta$-座標系のポテンシャル関数である。
実際, 合成関数の微分と, $\theta^i$の定義, $\eta_i$の定義から
\[ \partial_i \psi = \frac{\exp{\theta^i}}{1 + \sum_{j=1}^{n-1}\exp{\theta^j}}= p(n)\exp{\theta^i} = p(i) = \eta_i\]
$p(i)=\eta_i$に注意すると,
\begin{align}
\phi(\eta)
&= \theta^i \eta_i – \psi(\theta) \\[4pt]
&= \sum_{i=1}^{n-1} \left( \log \frac{p(i)}{p(n)} \right) p(i) + \log p(n) \\[4pt]
&= \sum_{i=1}^{n-1} p(i)\log p(i)
+ \left(1 – \sum_{i=1}^{n-1} p(i)\right)\log p(n) \\[4pt]
&= \sum_{i=1}^{n-1} \eta_i \log \eta_i
+ \left(1 – \sum_{i=1}^{n-1} \eta_i\right)
\log\left(1 – \sum_{i=1}^{n-1} \eta_i\right) \\
& = \sum_{\omega =1}^n p(\omega)\log p(\omega)
\end{align}
である。
そこで,
\[
\partial_i \phi = \log \eta_i + 1 – \log \left( 1 – \sum_{i=1}^{n-1} \eta_i \right) -1 = \log\left( \frac{p(i)}{p(n)}\right) = \theta^i
\]
となる。(ここで, 二個目の$\log$は$p(n)$になる。)
$\nabla^*$-ダイバージェンスを計算する。
双対接続と、ダイバージェンスの対応から、
\[
D^{*}(p||q) = D(q||p)
\]
であるから, $\nabla^{(m)}$のダイバージェンスは, $\psi(\theta)=- \log p(n)$, $\varphi(\eta)= \sum_{\omega =1}^n p(\omega)\log p(\omega)$であったこと, $\theta^i=\log \frac{p(i)}{p(n)}$であったことを思い出すと,
\begin{align}
D^{(m)}(p \| q)
&= \psi(\theta(q)) + \varphi(\eta(p)) – \theta^i(q)\eta_i(p) \\
&= – \log q(n)
+ \sum_{\omega = 1}^n p(\omega)\log p(\omega)
– \sum_{i = 1}^{n-1} \left( \log \frac{q(i)}{q(n)} \right) p(i) \\
&= \sum_{\omega = 1}^n p(\omega)\log p(\omega)
– \sum_{i = 1}^{n-1} p(i)\log q(i)
– \left( 1 – \sum_{i = 1}^{n-1} p(i) \right)\log q(n) \\
&= \sum_{\omega = 1}^n p(\omega)\log \frac{p(\omega)}{q(\omega)}.
\end{align}