変換の公式

[\begin{matrix} u_{a} \\ 1 \end{matrix}] \propto K_{a} R_{a} R_{b}^{- 1} K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}]

記号$\propto$は，両辺が相似（両辺が平行なベクトルもしくはスケール倍）であることを意味するので，実際には右辺を計算して得られたベクトルが$[u',v',w']$だとすると次のようにして$[u,v]$を計算する． $u = u^{'} / w^{'}, v = v^{'} / w^{'}$

応用先

2つのカメラの内一方を標準ステレオのカメラにすれば，非標準ステレオのカメラから標準への変換が得られる．

HMDや大型のスクリーンにカメラで取得した画像を提示して，カメラの視点で見た風景を再現する場合，そのカメラをカメラ$a$，CG描画に使用する仮想カメラをカメラ$b$として考えると同じ問題になる．

回転前後のカメラをカメラ$a$およびカメラ$b$とすれば同じ問題になる． 1台のカメラが回転しただけなのでこの場合は内部パラメータは$K_a=K_b$として考える．

2つのカメラの透視投影変換は次の通り．

[\begin{matrix} u_{a} \\ 1 \end{matrix}] \propto K_{a} [R_{a} | t_{a}] [\begin{matrix} x \\ 1 \end{matrix}]

[\begin{matrix} u_{b} \\ 1 \end{matrix}] \propto K_{b} [R_{b} | t_{b}] [\begin{matrix} x \\ 1 \end{matrix}]

2つのカメラが同一視点上にあるというのは．

- R_{a}^{T} t_{a} = - R_{b}^{T} t_{b}

K_{a}^{- 1} [\begin{matrix} u_{a} \\ 1 \end{matrix}] \propto R_{a} x + t_{a}

K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}] \propto R_{b} x + t_{b}

$t$と$R$を左辺に移項する．

R_{a}^{- 1} (K_{a}^{- 1} [\begin{matrix} u_{a} \\ 1 \end{matrix}] - t_{a}) \propto x

R_{b}^{- 1} (K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}] - t_{b}) \propto x

$x$を消去する．

R_{a}^{- 1} (K_{a}^{- 1} [\begin{matrix} u_{a} \\ 1 \end{matrix}] - t_{a}) \propto R_{b}^{- 1} (K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}] - t_{b})

移項した変数を順に元に戻していく．

R_{a}^{- 1} K_{a}^{- 1} [\begin{matrix} u_{a} \\ 1 \end{matrix}] - R_{a}^{- 1} t_{a} \propto R_{b}^{- 1} K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}] - R_{b}^{- 1} t_{b}

$-R_a^{T}t_a = -R_b^{T}t_b$なので

R_{a}^{- 1} K_{a}^{- 1} [\begin{matrix} u_{a} \\ 1 \end{matrix}] \propto R_{b}^{- 1} K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}]

移項した変数を順に元に戻す．

[\begin{matrix} u_{a} \\ 1 \end{matrix}] \propto K_{a} R_{a} R_{b}^{- 1} K_{b}^{- 1} [\begin{matrix} u_{b} \\ 1 \end{matrix}]