ベクトルの内積

【Pythonで学ぶ線形代数学講座(3)】ベクトルの内積
今回はベクトル同士の掛け算について学びます。ベクトルの掛け算には、内積と外積の２種類がありますが、今回は内積について考えます。内積の計算方法は特に難しくありませんが、「ベクトルの向きを揃えて掛ける」と考えるとイメージしやすいかと思います。機械学習の分野で頻繁に登場する概念なので、定義と実装方法についてマスターしておきましょう。外積については少し先の講座[09]で解説します。

内積の定義と性質

ベクトルの 内積 (inner product) は要素同士の積の総和として定義されます。
 
たとえば、$\mathit{v}=\left[\begin{array}{c}2\\ 3\end{array}\right]$ と $\mathit{w}=\left[\begin{array}{c}5\\ 1\end{array}\right]$ の内積は
 $$\begin{array}{}\text{(1)}& \mathit{v}\cdot \mathit{w}=\left[\begin{array}{c}2\\ 3\end{array}\right]\cdot \left[\begin{array}{c}5\\ 1\end{array}\right]=2\times 5+3\times 1=13\end{array}$$
のように計算できます。3 次元以上も同様で、一般に $n$ 次元ベクトル同士の内積は
 $$\begin{array}{}\text{(2)}& \begin{array}{rl}\mathit{v}\cdot \mathit{w}=& \left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]\cdot \left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_n\end{array}\right]\\ =& v_1\cdot w_1+v_2\cdot w_2+\cdots +v_n\cdot w_n\end{array}\end{array}$$
と定義されます。ベクトル $\mathit{v}$ の自身との内積、すなわち $\mathit{v}\cdot \mathit{v}$ は ベクトルの大きさ（ノルム）に等しくなっています：
 $$\begin{array}{}\text{(3)}& \mathit{v}\cdot \mathit{v}=v_1^2+v_2^2+\cdots +v_n^2=\parallel \mathit{v}{\parallel }^2\end{array}$$
すなわち、ベクトル $\mathit{v}$ の大きさは内積を使って
 $$\begin{array}{}\text{(4)}& \parallel \mathit{v}\parallel =\sqrt{\mathit{v}\cdot \mathit{v}}\end{array}$$
のように表せます。

内積演算においては、交換法則、結合法則、分配法則が成り立ちます。
 $$\begin{array}{}\text{(5)}& & \mathit{v}\cdot \mathit{w}=\mathit{w}\cdot \mathit{v}\text{(6)}& & c(\mathit{v}\cdot \mathit{w})=(c\mathit{v})\cdot \mathit{w}\text{(7)}& & (\mathit{u}+\mathit{v})\cdot \mathit{w}=\mathit{u}\cdot \mathit{w}+\mathit{v}\cdot \mathit{w}\end{array}$$
もう少し先の記事で行列について学ぶことになりますが、ベクトル $\mathit{v},\mathit{w}$ を $1$ 列の行列と考えて、内積を ${\mathit{v}}^T\mathit{w}$ と表記することもできます。${\mathit{v}}^T$ は $\mathit{v}$ を転置して要素を横に並べた行ベクトルです。
 $$\begin{array}{}\text{(8)}& {\mathit{v}}^T=\left[\begin{array}{cccc}{v}_1& v_2& \dots & v_n\end{array}\right]\end{array}$$
行列表記と整合性がとれるので、講座の後半では行ベクトルによる表記が増えると思います。行ベクトルを $\mathit{v}=(v_1,v_2,\dots )$ と混同しないように注意してください。$()$ で括ってカンマで区切るベクトルは、普段使っている列ベクトルを便宜上横書きにしているだけです。

numpy.dot()

numpy.dot(a, b) は行列積を計算する関数です。a, b に 1 次元配列（ベクトル）をわたせば内積を返します (1 列の行列同士の積はベクトルの内積と同じです)。

# numpy_inner_product_1

# In[1]

import numpy as np

# ベクトルv=[3 2 6]
v = np.array([3, 2, 6])

# ベクトルw=[4 7 2]
w = np.array([4, 7, 2])

# vとwの内積を計算
ip = np.dot(v, w)

print(ip)
# 38

ndarray.dot()

配列 (ndarrayオブジェクト) には内積を計算する dot() メソッドがあります。

# In[2]

# ベクトルv=[3 2 6]
v = np.array([3, 2, 6])

# ベクトルw=[4 7 2]
w = np.array([4, 7, 2])

# vとwの内積を計算
ip = v.dot(w)

print(ip)
# 38

numpy.vdot()

numpy.vdot(a, b) にベクトル（1 次元配列）を渡して内積を計算できます。

# numpy_inner_product_2

# In[1]

import numpy as np

# ベクトルv=[7+2i 3+i]
v = np.array([7 + 2j, 3 + 1j])

# ベクトルw=[4+5i 8]
w = np.array([4 + 5j, 8])

# vとwの内積を計算
ip = np.dot(v, w)

print(ip)
# 42+51j

numpy.vdot() の引数 a, b に 2 次元以上の配列を渡すと、1 次元配列に平坦化してから内積を計算します（テンソル複内積）。

# In[2]

# 行列a
a = np.array([[1, 4],
              [3, 5]])

# 行列b
b = np.array([[3, 7],
              [4, 9]])

# 1*3+4*7+3*4+5*9
ip = np.vdot(a, b)

print(ip)
# 88

numpy.inner()

numpy.inner(a, b) にベクトル (1 次元配列) を渡して内積を計算することができます。

# numpy_inner_product_3

# In[1]

import numpy as np

# ベクトルv=[2 5 0]
v = np.array([2, 5, 0])

# ベクトルw=[3 1 4]
w = np.array([3, 1, 4])

# vとwの内積を計算
ip = np.inner(v, w)

print(ip)
# 11

引数 a, b に行列を渡すと、a と b.T の行列積を返します (b.T は b の転置行列)。すなわち、np.dot(a, b.T) と同じ結果を返します。

内積の幾何学的意味

ベクトル $\mathit{v}$ と $\mathit{w}$ のなす角を $\theta$ とすると、二つのベクトルの内積は
 $$\begin{array}{}\text{(10)}& \mathit{v}\cdot \mathit{w}=\parallel \mathit{v}\parallel \parallel \mathit{w}\parallel \cos \theta \end{array}$$
と表されます。この定義は (1) と同値であり（余弦定理を使って証明できます）、幾何学的には下図のように $\mathit{v}$ の射影と $\mathit{w}$ の長さの積を意味します。
 

2 つのベクトルのなす角度が直角であるとき、射影がなくなるので内積は $0$ になることがわかります（下図）。
 

たとえば、$\left[\begin{array}{c}1\\ 0\end{array}\right]$ と $\left[\begin{array}{c}0\\ 1\end{array}\right]$ は互いに直交するので内積は $0$ です。
 
また、式 (10) より、ベクトル $\mathit{v}$ と $\mathit{w}$ の間の角度の余弦 (cosine) は
 $$\begin{array}{}\text{(11)}& \cos \theta =\frac{\mathit{v}\cdot \mathit{w}}{\parallel \mathit{w}\parallel \parallel \mathit{v}\parallel }\end{array}$$
となるので、$\cos$ の逆関数 $\mathrm{Arccos}$ を使うと、
 $$\begin{array}{}\text{(12)}& \theta =\mathrm{Arccos}\left(\frac{\mathit{v}\cdot \mathit{w}}{\parallel \mathit{v}\parallel \parallel \mathit{w}\parallel }\right)\end{array}$$
によって角度を計算できます。4 次元以上のベクトルのなす角度も（想像するのは難しいですが）、(12) で定義できます。Python で角度を求める関数を実装してみましょう。

# python_vector_angle

# In[1]

import numpy as np

# 2つのベクトルのなす角度を求める関数
def v_angle(v1, v2, deg = False):

    # v1とv2の大きさ（ノルム）を計算
    v1_n = np.linalg.norm(v1)
    v2_n = np.linalg.norm(v2)

    # v1とv2の内積を計算
    v1_dot_v2 = np.dot(v1, v2)

    # 角度の余弦を計算
    cos_theta = v1_dot_v2 / (v1_n * v2_n)

    # 逆三角関数を使って角度を計算
    theta = np.arccos(cos_theta)

    # 引数degがTrueならば、角度を度数単位(degree)に変換
    if deg == True:
        theta = np.degrees(theta)

    return theta

deg は結果を度数法単位 (deg) とラジアン (rad) のどちらで返すか決定するオプション引数です。デフォルトでは False に設定されているので、この引数を省略するとラジアンで返してきます。
 
v_angle() を使って、$\left[\begin{array}{c}1\\ 0\end{array}\right]$ と $\left[\begin{array}{c}1\\ \sqrt{3}\end{array}\right]$ の間の角度を求めてみましょう。
 
deg は True に設定して結果を度数単位で返すようにします。

# In[2]

# ベクトルを定義
v = np.array([1, 0])
w = np.array([1, np.sqrt(3)])

# vとwの間の角度を計算
theta = v_angle(v, w, deg = True)

print("θ = {:.3f}".format(theta))
# θ = 60.000