近似問題

前節では，システムの出力 $\mbox{\boldmath$y$}$と出力すべき値 $\mbox{\boldmath$z$}$との２乗誤差を $\mbox{\boldmath$E$}$として，すなわち出力信号 $\mbox{\boldmath$y$}$に対し

$$\begin{eqnarray*} \mbox{\boldmath$E$}(\mbox{\boldmath$y$}) &=& \frac{1}{2} \Ver... ...m)}\Vert^2 \\ &=& \frac{1}{2} \sum_{i=1}^{n_m}(y_i^{(m)}-z_i)^2 \end{eqnarray*}$$

で定義して， $\mbox{\boldmath$E$}$ の値が小さくなる方向に荷重 $\mbox{\boldmath$w$}$を変化させる方法を説明しました。

このように，出力すべき値が予め与えられる場合は，その値を教師値といい，その値との誤差の最小化問題を，教師付き問題といいます。

$K. Funahashi$や $K. Hornik$によって連続関数のニューラ ルネットワークによる一様近似可能性が研究されています。 その研究成果によれば， $C(B_D,{\bf R}^m)$ に属する任意の連続関数は $l$ を十分大きくとれば $N(\Delta, K, l)$ の元によって一様近似可能で あることがわかっています。 証明なしで使いますが，以下の定理が知られています。

定理 4.1.1  

$$\begin{eqnarray*} &&任意の C(B_D,{\bf R}^m)の元\mu　と任意の正数\varepsilon' >0... ...靴頓\ &&\max_{x \in B_D}\Vert\mu(x)-\rho(x) \Vert<\varepsilon' \end{eqnarray*}$$

詳しくは以下の文献にあります。
$K. Funahashi:On the Approximate Realization of Continuous Mappings by Neural Networks,$
$Neural Networks, Vol.2, pp. 183-192, 1989$

$K. Hornik:Some New Results on Neural Network Approximation,$
$Neural Networks, Vol.6, pp.1069-1072, 1993.$