機械学習 確率的勾配降下法（SGD）
≪【前の記事】学習用データの作成 確率的勾配降下法(SGD)下図のように、入力層、中間層、出力層がそれぞれ 1 層ずつからなるニューラルネットワークを構築します。 中間層の活性化関数は ReLU を採用します。 すでに部品は揃っているので、...
あとりえこばと
機械学習 
機械学習 学習用データの作成
≪【前の記事】Middle_layerクラス 学習用データの作成ニューラルネットワーク を試験運用するための簡単な学習用データを作成しておきます。入力データは $xy$ 平面の座標とします。正解値（目標変数）は、放物線 $y=x^2-4$ ...
機械学習 中間層の実装
≪【前の記事】Output_layerクラスMiddle_layerクラス活性化関数クラスの実装今回設計する中間層（Middle_layer クラス）では、メソッドに活性化関数と、その導関数を渡す必要があります。これらの関数を別々に設定して...
Python数学 双曲線関数
双曲線関数双曲線余弦 (hyperbolic cosine)、双曲線正弦 (hyperbolic sine) および 双曲線正接 (hyperbolic tangent) は、それぞれ次式によって定義されます。 \&\sinh x=\fra...
機械学習 出力層
≪【前の記事】重み更新式の意味Output_layer_cクラスバックプロパゲーション機能 を持つ ニューラルネットワーク の実装を始めます。 今回は 出力層 をインスタンスとして生成する Output_layer_c クラスを設計します ...
Python数学 【SymPy】級数展開
ベキ級数展開ある関数 $f(x)$ を $x$ のベキ級数（整級数） \ で表すことを 関数の 級数展開 といいます。無限に項をとることによって、理論上は関数と級数展開は厳密に一致しますが、実用のために有限項で打ち切っても、適切な数の項をと...
機械学習 重み更新式の意味
≪【前の記事】バックプロパゲーション重みの更新式の意味今回は前回記事で得たバックプロパゲーションにおける 重みの更新式 の意味を考えます。 出力層の重み更新式$d-1$ 層 $i$ 番ニューロンから $d$ 層 $j$ 番ニューロンに入力さ...
機械学習 バックプロパゲーション
≪【前の記事】平均誤差の計算 損失関数の勾配ニューラルネットワークは、ある層の出力値の線形結合を次の層に渡すことを繰り返すので、ネットワークからの出力ベクトル $\boldsymbol{y}$ には、入力ベクトル $\boldsymbol{...
機械学習 平均誤差の計算
≪【前の記事】バッチサイズとエポック 損失関数の平均値分類問題を学習するネットワークの場合、出力値 $\boldsymbol{y}$ の各成分が入力データの属するクラスを表します。たとえば下図にあるように、ネットワークに $\boldsym...
機械学習 バッチサイズとエポック
≪【前の記事】1 of K 表記法バッチサイズとエポックミニバッチ学習機械学習においては、普通は手持ちのデータをまとめて全部学習に使うようなことはしません。全データを訓練データとテストデータに分け、さらに訓練データもいくつかのバッチ（かたま...