考察:「シーン合成」

by 小山明雄



 2つの視点から、サッカーゲームを見て、全体を俯瞰したシーンを再現するというような処理が要請されることはあるでしょう。とくに、人が歩きいながら、建物の様子を把握したいときには、このシーンの合成が必須です。一つの視点からその時に見える空間を、3次元マップで把握するのは3次元画像処理で可能です。そのマップを複数得て、置かれた状況を把握するには、その3次元マップを合成していかねばなりません。その辺の技術をまだ本で読んでいないので、自分なりに考えてみました。



複数のマップを合成するには、3つのオブジェクトが共通している視点の情報が必要ですね。中心のオブジェクトから2つのオブジェクトに向かう線が3角形を創って、空間を決定します。マップを合成するには、この3角形が一致するように、座標変換し、その他のオブジェクトの配置と距離も計算して、統一したマップに埋め込んでいくという数学的処理になります。 ということで、処理の第一段は、2つのシーンに同じオブジェクトが3つないかを検索します。あったとしましょう、第二段は、一方のシーンを基に2シーンを合成することになります。そのために、変換マトリクスを求めることになります。マトリクスは距離の拡大率rと、x軸周りの回転角a、y軸周りの回転角b、z軸周りの回転角の4つを求めることになります。中心オブジェクトを考えて、2つのベクトルの変換になります。マトリクス式では、2つの変換式ができますから、6つの方程式ができます。


これを解くのですが、x軸回転とy軸回転、z軸回転のマトリクスの積を取りますから、変換部分ではsinやcosの3次の項が生じます。この項を求めることですから、簡単な代数学では解けません。rは簡単にもとまりますが、a、b、cが求まらないのです。コンピュータ数学的には挑戦しがいのある問題ですが、人間の頭でそんな方程式を解くことをしているかな・・・とふと思ったのです。

変換は、マトリクス値が分かっていれば、簡単な処理です。ニューロンでも行えるでしょう。そこで、学習機構を導入したらどうだろうかと考えたわけです。3角形の座標変換(距離は正規化する)の変換元と変換結果ついがどの変換マトリクスで実現できたかを記憶していくのです。もちろん、すべての角度値でなく、8等分くらいで行っておく。3角形も辺の長さが1の二等辺三角形で良いでしょう。どんな三角形でも、3次元空間形状が決定できればよいのです。



ということで、神経系の処理でもできるシーン合成技術が提案できました。さて、これからこの線で、青葉を創っていくことになります。成功すればよいのですが。






おわり