固有値、固有ベクトルのイメージ - 旅行好きなソフトエンジニアの備忘録

行列をかけるとは

固有値、固有ベクトルの計算方法は確か高校の時に習ったような気がしますし、OpenCV等既存のライブラリを使っても簡単に計算出来ますが、その意味が良く分かっていなかったのでメモします。

まず、点 $(1,1)$ に適当に作った行列 $A$ をかけてみます。 $$ A＝ \left( \begin{array}{ccc} 1 & -4 \\ 3 & 2 \\ \end{array} \right) $$ 計算結果は $(-3,5)$ となります。これは、点 $(1,1)$ に行列 $A$ をかけたことで、点 $(1,1)$ が点 $(-3,5)$ に移動したと考えることが出来ます。
f:id:ni4muraano:20170125110329j:plain
更に、移動の仕方を細かく見ると、"回転"と"長さの変化"に分けることが出来ます。
f:id:ni4muraano:20170125105711j:plain
ここで行列 $A$ は適当に作った行列なので、一般的には点に行列をかけると"回転する"＋"長さが変わる"という変化が起こるんだろう、と想像することが出来ます。

次に、点 $(1,1)$ に適当ではなく意図的に作成した別の行列 $R$ をかけてみます。 $$ R＝ \left( \begin{array}{ccc} 0 & -1 \\ 1 & 0 \\ \end{array} \right) $$ 計算結果は $(-1,1)$ となります。先と同様に点が移動していますが、先の例と異なり、回転はしていますが長さは変わっていません。
f:id:ni4muraano:20170125114052j:plain
今の例で利用した行列 $R$ はいわゆる回転行列（回転行列 - Wikipedia）で、回転のみの作用を持ちます。

固有値、固有ベクトルについて

ここまでで
1. 点に行列をかけると"回転する"、"長さが変わる"という変化が起こる
2. 特殊なケースでは長さが変わらずに回転のみの変化が起こる
ということが分かりました。そうすると、次は「回転することなく、長さだけが変わるようなケースもあるのでは？」と想像できます。試しに全ての要素が1の行列と点 $(1,1)$ をかけると以下のようになります。 $$ \left( \begin{array}{ccc} 1 & 1 \\ 1 & 1 \\ \end{array} \right) \left( \begin{array}{ccc} 1 \\ 1 \\ \end{array} \right) ＝ \left( \begin{array}{ccc} 2 \\ 2 \\ \end{array} \right) ＝ 2 \left( \begin{array}{ccc} 1 \\ 1 \\ \end{array} \right) $$ 結果を図示するまでもなく、回転することなく長さが二倍になっていることが分かります。ようやく固有値、固有ベクトルの話となりますが、教科書で見る $A{\bf x}=\lambda {\bf x}$ というのは、「回転することなく、長さだけが変わる $A$ と ${\bf x}$ の組み合わせが存在する可能性がありますよ。存在した場合、 ${\bf x}$ を $A$ の固有ベクトルと呼びましょう。どれ位長さが変わるかを表す $\lambda$ を固有値と呼びましょう。」と言っている、というイメージを持てば良いかと思います。

固有値、固有ベクトルの応用例

$A$ を対称行列とし、 $A$ の固有値、固有ベクトルを $(a_1,\lambda_1)$ , $(a_2,\lambda_2)$ ,… $(a_n,\lambda_n)$ とした場合、 $A$ を下記のように表現することができます。

$A={\lambda_1}{a_1}{a_1^T}+{\lambda_2}{a_2}{a_2^T}+{...}+{\lambda_n}{a_n}{a_n^T}$

仮に $\lambda_1$ , $\lambda_2$ と比較して ${\lambda_3}{...}{\lambda_n}$ の値が小さければ、Aを以下のように近似することができます。

$A{\fallingdotseq}{\lambda_1}{a_1}{a_1^T}+{\lambda_2}{a_2}{a_2^T}$

例として、具体的に以下の対称行列 $A$ で試します。 $$ A = \left( \begin{array}{ccc} 1 & 0.967 & 0.376 & 0.311 \\ 0.967 & 1 & 0.415 & 0.398 \\ 0.376 & 0.415 & 1 & 0.972 \\ 0.311 & 0.398 & 0.972 & 1 \end{array} \right) $$ $A$ の固有値、固有ベクトルは以下の通りです。

$\lambda_1=2.721$ , $a_1=(0.487, 0.511, 0.508, 0.493)^T$
$\lambda_2=1.222$ , $a_2=(0.527, 0.474, -0.481, -0.516)^T$
$\lambda_3=0.052$ , $a_3=(-0.499, 0.539, -0.504, 0.455)^T$
$\lambda_4=0.005$ , $a_4=(0.485, -0.474, -0.506, 0.533)^T$

$\lambda_1$ , $\lambda_2$ と比較して $\lambda_3$ , $\lambda_4$ の値は小さいので、

$A{\fallingdotseq}{\lambda_1}{a_1}{a_1^T}+{\lambda_2}{a_2}{a_2^T}$

と近似できそうです。実際にこれを計算してみると、 $$ A = \left( \begin{array}{ccc} 0.985 & 0.982 & 0.363 & 0.321 \\ 0.982 & 0.985 & 0.428 & 0.387 \\ 0.363 & 0.428 & 0.985 & 0.985 \\ 0.321 & 0.387 & 0.985 & 0.987 \end{array} \right) $$ となります。元の行列と比較して各要素に似たような値が入っており、上手く近似できていることが分かります。