2021年9月3日金曜日

ベクトルの公式メモ

機械学習などの最適化問題で登場するベクトルの微分に関する公式の確認方法をメモ．必要に応じて追加していくベクトル$\vec{x}$と$\vec{u}$の成分を次のように定義しておき，必要に応じて添字$i,j$などを追加する．微分を含む公式の確認に必要な微分を含まない公式もあるので分けている．

微分を含まない公式

\begin{array}{rclrc} \boldsymbol x & = & [\begin{array}{c} x \\ y \\ z \end{array}], \boldsymbol u & = & [\begin{matrix} u \\ v \\ w \end{matrix}] \end{array}

$\sum_i \vec{x}^T \vec{u}_i = \vec{x}^T \sum_i \vec{u}_i$

\begin{array}{rcl} \sum_{i} \boldsymbol x^{T} \boldsymbol u_{i} & = & \sum_{i} [x, y, z] [\begin{array}{c} u_{i} \\ v_{i} \\ w_{i} \end{array}] \\ = & \sum_{i} (x u_{i} + y v_{i} + z w_{i}) \\ = & x \sum_{i} u_{i} + y \sum_{i} v_{i} + z \sum_{i} w_{i} \\ = & [x, y, z] [\begin{array}{c} \sum_{i} u_{i} \\ \sum_{i} v_{i} \\ \sum_{i} w_{i} \end{array}] \\ = & [x, y, z] \sum_{i} [\begin{array}{c} u_{i} \\ v_{i} \\ w_{i} \end{array}] \\ = & \boldsymbol x^{T} \sum_{i} \boldsymbol u_{i} \end{array}

$\vec{x}^T \vec{u}\vec{u} = \vec{u}\vec{u}^T\vec{x}$

ベクトルも行列の一種と考えると，行列の結合法則 $(AB)C = A(BC)$ から見れば当たり前の法則かもしれない．

\begin{array}{rcl} \boldsymbol x^{T} \boldsymbol u \boldsymbol u & = & (\boldsymbol x^{T} \boldsymbol u) \boldsymbol u \\ = & \boldsymbol u (\boldsymbol x^{T} \boldsymbol u) \\ = & \boldsymbol u (\boldsymbol u^{T} \boldsymbol x) \\ = & \boldsymbol u \boldsymbol u^{T} \boldsymbol x \end{array}

ただ，この公式は少し当たり前じゃない部分もある． $\vec{u}\vec{u}$が行列どうしの積としては成立しないので$(\vec{x}^T \vec{u})\vec{u}$の順序としかみなせないため．左辺には$\vec{x}^T \vec{u}$という内積が登場しても行列はどこにも見当たらない．

一方右辺は，$(\vec{u}\vec{u}^T)\vec{x}$とも$\vec{u}(\vec{u}^T\vec{x})$ともみなすことができる． $(\vec{u}\vec{u}^T)\vec{x}$とみなすと$(\vec{u}\vec{u}^T)$の部分は正方行列になる． $\vec{u}(\vec{u}^T\vec{x})$とみなすと$(\vec{u}^T\vec{x})$の部分は内積と同じで単なるスカラーになる．

微分を含む公式

$\frac{\partial }{\partial \vec{x}} \vec{x} = I$

（未完成）

$\frac{\partial }{\partial \vec{x}} \vec{a}^T\vec{x} = \vec{a}$

（未完成）

$\frac{\partial }{\partial \vec{x}} \vec{x}^T\vec{a} = \vec{a}$

（未完成）

$\frac{\partial }{\partial \vec{x}} A \vec{x} = A^T$

（未完成）

$\frac{\partial }{\partial \vec{x}} \vec{x}^T A \vec{x} = (A + A^T)\vec{x}$

（未完成）

$\frac{\partial }{\partial \vec{x}}\left| A \vec{x} + \vec{b} \right|^2=2A^T(A \vec{x} + \vec{b})$

\begin{array}{rcl} \frac{\partial}{\partial \boldsymbol x} {| A \boldsymbol x + \boldsymbol b |}^{2} & = & \frac{\partial}{\partial \boldsymbol x} {(A \boldsymbol x + \boldsymbol b)}^{T} (A \boldsymbol x + \boldsymbol b) \\ = & \frac{\partial}{\partial \boldsymbol x} (\boldsymbol x^{T} A^{T} A \boldsymbol x + \boldsymbol x^{T} A^{T} \boldsymbol b + \boldsymbol b^{T} A \boldsymbol x + \boldsymbol b^{T} \boldsymbol b) \\ = & 2 A^{T} A \boldsymbol x + 2 A^{T} \boldsymbol b \\ = & 2 A^{T} (A \boldsymbol x + \boldsymbol b) \end{array}

$\frac{\partial }{\partial \vec{k}}\left| k \vec{x} + \vec{b} \right|^2=2\vec{x}^T(k \vec{x} + \vec{b})$

\begin{array}{rcl} \frac{\partial}{\partial \boldsymbol k} {| k \boldsymbol x + \boldsymbol b |}^{2} & = & \frac{\partial}{\partial \boldsymbol k} {(k \boldsymbol x + \boldsymbol b)}^{T} (k \boldsymbol x + \boldsymbol b) \\ = & \frac{\partial}{\partial \boldsymbol k} (k^{2} \boldsymbol x^{T} \boldsymbol x + k \boldsymbol x^{T} \boldsymbol b + k \boldsymbol b^{T} \boldsymbol x + \boldsymbol b^{T} \boldsymbol b) \\ = & 2 k \boldsymbol x^{T} \boldsymbol x + 2 \boldsymbol x^{T} \boldsymbol b \\ = & 2 \boldsymbol x^{T} (k \boldsymbol x + \boldsymbol b) \end{array}