ガウス関数

この記事では統計分析や機械学習の分野で多用されるガウス関数の定義と性質、正規分布、Python における実装方法、関連するライブラリ等について解説します。

ガウス関数

ガウス関数（Gaussian function）は
 $$\begin{array}{}\text{(1)}& \phi (x)=a\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\}\end{array}$$
で定義される関数です。ガウシアンとよばれることもあります。$\mu$ は中心の位置、$\sigma$ は関数の広がりを決める定数です。機械学習の分野では近似曲線の線形基底関数としてガウス関数が用いられることがあります。ガウス関数を Python で実装してグラフの形を確認してみましょう。

# NUMPY_GAUSSIAN_FUNCTION

# In[1]

import numpy as np
import matplotlib.pyplot as plt

# ガウス関数を定義
def gauss(x, a=1, mu=0, sigma=1):
    return a * np.exp(-(x - mu)**2 / (2*sigma**2))

# Figureを作成
fig = plt.figure(figsize=(8, 6))

# FigureにAxesを追加
ax = fig.add_subplot(111)

# Axesのタイトルを'Gaussian Function'に設定
ax.set_title("Gaussian Function", fontsize=16)

# 目盛線を表示
ax.grid()

# 軸ラベルを設定
ax.set_xlabel("x", fontsize=14)
ax.set_ylabel("y", fontsize=14)

# 軸範囲を設定
ax.set_xlim([-4, 8])
ax.set_ylim([0, 1.2])

# -4～8まで0.1刻みの数値の配列
x = np.arange(-4, 8, 0.1)

# グラフに描く関数
f1 = gauss(x)
f2 = gauss(x, a=0.5, mu=2, sigma=2)

# Axesにガウス関数を描画
ax.plot(x, f1, color="red", label="a=1.0, μ=0, σ=1")
ax.plot(x, f2, color="blue", label="a=0.5, μ=2, σ=2")

# 凡例の表示
ax.legend(fontsize=14)

コードの中で定義した gauss() は x のみを必須引数とし、a, mu, sigma はそれぞれ $a,\mu ,\sigma$ に対応するオプション引数となっています。赤いラインは $a=1,\mu =0,\sigma =1$ としたガウス関数
 $$\phi (x)=\exp (-\frac{x^2}{2})$$
のグラフです。青いラインは
 $$\phi (x)=\frac{1}{2}\exp \{-\frac{(x-2{)}^2}{8}\}$$
のグラフです。赤いラインと比較すると、ピーク値は半分 ($a=0.5$) になり、中心位置（ピークの位置）は右にずれ ($\mu =2$)、全体の幅は $2$ 倍になっています ($\sigma =2$)。

ガウス積分

ガウス関数 $\exp (-c{x}^2)(c>0)$ の無限区間積分をガウス積分とよび、その積分値が $\sqrt{\pi /c}$ で与えられることが知られています。
 $$\begin{array}{}\text{(2)}& {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-c{x}^2}dx=\sqrt{\frac{\pi }{c}}\end{array}$$
SymPy をインポートして確認してみましょう。

# SYMPY_GAUSSIAN_INTEGRAL

# In[1]

import sympy

# 記号x,cを定義
x = sympy.Symbol('x')
c = sympy.Symbol('c', positive=True)

# 無限大記号を定義
oo = sympy.oo

# ガウス関数
f = sympy.exp(-c*x**2)

# ガウス積分
g = sympy.integrate(f, (x, -oo, oo))

print(g)
# sqrt(pi)/sqrt(c)

正規分布

式 (1) で表される一般的なガウス関数
 $$\begin{array}{}\text{(1)}& \phi (x)=a\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\}\end{array}$$
を無限区間で積分してみます。ガウス関数は左右対称形なので、$\mu$ は関数を左右にスライドさせるだけで無限区間積分に寄与しません。すなわち、
 $$\begin{array}{}\text{(3)}& \phi (x)=a\exp (-\frac{x^2}{2{\sigma }^2})\end{array}$$
を考えればよいことになります。
 $$\begin{array}{}\text{(4)}& c=\frac{1}{2{\sigma }^2}\end{array}$$
とおいて式 (3) を積分すると、ガウス積分の公式より
 $$\begin{array}{}\text{(5)}& a{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-c{x}^2}dx=a\sqrt{\frac{\pi }{c}}\end{array}$$
となります。この積分値が $1$ になるように $a$ を定めると、
 $$\begin{array}{}\text{(6)}& a=\sqrt{\frac{c}{\pi }}=\frac{1}{\sqrt{2\pi }\sigma }\end{array}$$
となります。このような形で規格化されたガウス関数
 $$\begin{array}{}\text{(7)}& N(\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\}\end{array}$$
のことを正規分布 (normal distribution) とよびます。このとき、$\mu$ は平均値、${\sigma }^2$ は分散を表すパラメータとなります。

ガウス関数の重ね合わせ

ガウス関数 は機械学習において基底関数として用いられることがあります。ガウス関数を適切に重ね合わせると、たとえば人間の平均身長や国の人口などの成長曲線を近似することができます。以下のサンプルコードは、中心位置 $\mu$ を少しずつずらしたガウス関数を重ね合わせたグラフを描きます。

# NUMPY_GAUSSIAN_SUPERPOSITION

# In[1]

import numpy as np
import matplotlib.pyplot as plt

# ガウス関数を定義
def gauss(x, a=1, mu=0, sigma=1):
    return a * np.exp(-(x - mu)**2 / (2*sigma**2))

# Figureを作成
fig = plt.figure(figsize=(8, 6))

# FigureにAxesを追加
ax = fig.add_subplot(111)

# Axesのタイトルを'Gaussian Function'に設定
ax.set_title("Gaussian Function", fontsize=16)

# 目盛線を表示
ax.grid()

# 軸ラベルを設定
ax.set_xlabel("x", fontsize=14)
ax.set_ylabel("y", fontsize=14)

# 軸範囲を設定
ax.set_xlim([-3, 3])
ax.set_ylim([0, 3])

# -3～3まで0.1刻みの数値の配列
x = np.arange(-3, 3, 0.1)

# 関数fの初期値
f = 0

# 中心位置をずらしながら重ね合わせる
for k in range(5):
    g = gauss(x, mu=k)
    ax.plot(x, g, label="φ{}".format(k))
    f += g

# Axesに重ね合わせたガウス関数を描画
ax.plot(x, f, color="black", label="φ0+φ1+φ2+φ3+φ4")

# 凡例を表示
ax.legend()

# ファイルを保存
plt.savefig("gauss.png", bbox_inches="tight")

2変数ガウス関数

2変数のガウス関数 は
 $$\begin{array}{}\text{(8)}& \phi (\mathbf{r})=a\exp \{-\frac{1}{2}(\mathbf{r}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathbf{r}-\mathit{\mu })\}\end{array}$$
で表されます。$\mathbf{r}$ と $\mathit{\mu }$ はそれぞれ位置ベクトルと平均ベクトルです。
 $$\begin{array}{}\text{(9)}& \mathbf{r}=\left[\begin{array}{c}x\\ y\end{array}\right],\mathit{\mu }=\left[\begin{array}{c}{\mu }_x\\ {\mu }_y\end{array}\right]\end{array}$$
$\mathrm{\Sigma }$ は共分散行列とよばれる $2\times 2$ の行列です。
 $$\begin{array}{}\text{(10)}& \mathrm{\Sigma }=\left[\begin{array}{cc}{\sigma }_1^2& {\sigma }_{12}\\ {\sigma }_{12}& {\sigma }_2^2\end{array}\right]\end{array}$$
全区間で積分したときに $1$ になるように規格化すると、
 $$\begin{array}{}\text{(11)}& a=\frac{1}{2\pi }\frac{1}{\sqrt{\det \mathrm{\Sigma }}}\end{array}$$
となります。$\det \mathrm{\Sigma }$ は $\mathrm{\Sigma }$ の行列式であり、
 $$\begin{array}{}\text{(12)}& \det \mathrm{\Sigma }={\sigma }_1^2{\sigma }_2^2-{\sigma }_{12}^2\end{array}$$
によって計算されます。規格化された 2 変数ガウス関数
 $$\begin{array}{}\text{(13)}& \phi (\mathbf{r})=\frac{1}{2\pi }\frac{1}{\sqrt{\det \mathrm{\Sigma }}}\exp \{-\frac{1}{2}(\mathbf{r}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathbf{r}-\mathit{\mu })\}\end{array}$$
は 2 変数正規分布の確率密度関数を表しています。2 変数正規分布は scipy.stats の multivariate_normal.pdf() で計算できます。

# SCIPY_MULTIVARIATE_NORMAL_PDF

# In[1]

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from scipy.stats import multivariate_normal

# FigureとAxesの設定
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection='3d')
ax.set_xlim(-6.0, 6.0)
ax.set_ylim(-6.0, 6.0)
ax.set_zlim(0.0, 0.14)
ax.set_xlabel("x", size=16)
ax.set_ylabel("y", size=16)
ax.set_zlabel("z", size=16)
ax.view_init(elev=45, azim=45)

# 格子点を作成
n = 128
x = np.linspace(-6, 6, n)
y = np.linspace(-6, 6, n)
X, Y = np.meshgrid(x, y)
pos = np.dstack((X, Y))

# 2変数ガウス関数
mu = np.array([0.5, 1.0])
sigma  = np.array([[1.0, -0.2],[-0.2, 1.0]])
Z = multivariate_normal(mu, sigma).pdf(pos)

# 2変数ガウス関数を3次元プロット
ax.plot_surface(X, Y, Z, cmap="coolwarm",
                cstride=1, rstride=1)

plt.show()