Python 数値計算入門 Jupyter NoteBook を活用した Python3 プログラミング学習サイト
ソフトマックス関数 $n$ 次元の実数ベクトル \[\boldsymbol{x}=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}\] が与えられたとき、 \[y_i=\frac{\exp(x_i)}{\displaystyle\sum_{i=1}^{n}\exp(x_i)}\] で表される成分をもつ実数ベクトル \[\boldsymbol{y}=\begin{bmatrix}y_1\\y_2\\\vdots\\y_n\end{bmatrix}\] を返す関数をソフトマックス関数 (softmax function)とよびます。$ […]
最急降下法のアルゴリズム ある関数の最小値を数値的に求める方法として、古くから最急降下法 (勾配降下法)というアルゴリズムが知られています。最急降下法は適当な所にボールを置いて手を離し、斜面に沿って転がしながら、最終的に落ち着いた場所を最小値とするようなイメージのアルゴリズムです。 簡単な例として、二次関数 $f(x)=x^2$ の最小値を最急降下法で求めてみましょう。 この関数の点 $x$ における勾配（傾き）は導関数 $f'(x)=2x$ で与えられます。 最初に適当な点（初期値）$x_0$ を決めます。 どこでもいいのですが、とりあえず $x_0=2$ としておきま […]
