ネットワーク集合上の最小化問題

階層型ニューラルネットワークよって表現される関数，これを$\rho$で表すことにしますが，これに何らかの評価を与える関数

$$\rho \mapsto J(\rho)$$

が与えられた場合，$J(\rho)$を最小にする$\rho$は存在するでしょうか？　この節ではこの問題を調べます。

　結論から言えば，特に，結合係数としきい値の絶対値，シグモイド関数の最大勾配に制約がある階層型ネットワークから$\rho$が造られるのであれば，その制約の範囲内で$J(\rho)$を最小にする$\rho$は存在することは比較的簡単に判ります。

これは，よく知られた，以下の定理の応用です。

定理 4.2.1   $X$ を ${\bf R^n}$ の有界閉集合， $J$ を ${\bf R^n}$ 上の 連続関数とする。このとき， $\rho$ は $X$ で最大値，最小値をとる。すなわち， $\rho(X)$ は最大値，および最小値をもつ。

$\rho$は階層型ネットワークが表現する関数で，${\bf R^n}$の元ではありませんが， 同様な議論を行うことができます。

　図1 に表されるニューラルネットワークについて、特にそれらの結合係数としきい値の絶対値が $K > 0$ 以下で、最大勾配が$\Delta > 0$ 以下のシグモイド関数を各素子共通にもち、第2層の素子が$l$ 個の階層型ニューラルネットワーク集合を $N(\Delta, K, l)$ とします。

これに使うシグモイド関数は，例えば

$$\psi (x) = \frac{1}{1 + e^{-x}}$$

とおき、 $\phi_\delta (x) = \psi (\delta x)$ で定義される $\phi_\delta$ を用います。

このとき

$$\vert\phi_\delta (x') - \phi_\delta (x)\vert \le \vert\del... ...vert = \delta \vert x' - x\vert \le \Delta \vert x' - x\vert$$

です。$N(\Delta, K, l)$ は次式で定義されます。

$${ N(\Delta,K,l) \stackrel{\bigtriangleup}{=}\left\{ \rho: x \in B_D \mapsto \rho (x) \in {\bf R}^m; \right. }$$

$$\vert w_{k,j}^{(2)} \vert, \vert\theta_k^{(2)} \vert \le K, \quad (1 \le j \le n, 1 \le k \le l),$$

$$\vert w_{k,j}^{(3)} \vert \le K, \quad (1 \le j \le l, 1 \le k \le m),$$

$$0 \le \delta \le \Delta ,$$

$$\rho (x) = y^{(3)};$$

$$\qquad y_k^{(3)} = w_k^{(3)} \cdot y^{(2)}, \quad (1 \le k \le m),$$

$$\qquad y_j^{(2)} = \phi_\delta (w_j^{(2)} \cdot x - \theta^{(2)}_j), \quad (1 \le j \le l) \left. \right\}$$ (4.1)

ただし $w_k^{(2)}$ 【$w_k^{(3)}$】 は第 1 層 【第2層】 の各素子から 第2層 【第3層】$k$ 番の素子への結合係数のベクトル

$$\left. \begin{array}{l} w_k^{(2)} = (w_{k,1}^{(2)},w_{k,2}... ...k,l}^{(3)})^T \\ \quad (1 \le k \le m) \end{array} \right\}$$ (4.2)

を表し、 $\theta^{(2)}_k$ は第 2 層 $k$ 番の素子のしきい値を表す。

$$\begin{eqnarray*} && y^{(1)} = x \\ && y^{(2)} = (y_1^{(2)}, y_2^{(2)}, \cdot... ...^T \\ && y^{(3)} = (y_1^{(3)}, y_2^{(3)}, \cdots, y_m^{(3)})^T \end{eqnarray*}$$

は各層の出力ベクトルを表しています。