パナ、魚眼カメラの画像1枚だけで高精度に姿勢を推定する技術
パナソニックHDが新たなカメラ校正技術を開発。魚眼カメラの角度を1枚の画像から高精度に推定可能に。
従来の計測システムに代わり、カメラ映像のみで姿勢や進行方向を推定可能に。自動車やロボットなどに応用が期待される。
マンハッタンワールド仮説や深層学習ネットワークを活用し、レンズ歪みの影響を受けずにカメラ角度を推定する技術。AI学習による消失点やヒートマップの活用により高精度を実現。
パナソニック ホールディングス(パナソニックHD)は、魚眼カメラの角度を、画像1枚から高精度に推定できる新たなカメラ校正技術を開発した。自動車やロボットなどにおいて、カメラ映像のみから高精度に姿勢や進行方向を推定できる技術となる。
自動車やドローン、ロボットなどの自動運転における位置決めやナビゲーションは、高精度に機器の進行方向が推定できることが前提となっている。そのため通常はカメラに加えて、ジャイロなどの専用の計測システムが使用されるが、小型軽量化や低コスト化のために、カメラの撮影画像のみで高精度に機器の進行方向を割り出す技術が求められているという。
パナソニックHDは、広範囲の映像を撮影でき、監視や障害物検知など幅広い用途で用いられている魚眼カメラにおいて、従来はレンズ歪みにより困難とされている角度推定の課題を解決する技術を開発した。
具体的には、建物や道路などの人工物は互いにその面が直交すると仮定する「マンハッタンワールド仮説」の考え方のもと、姿勢推定に用いられる深層学習ネットワークを応用し、レンズ歪みの大きい画像に対しても、頑健かつ高精度にカメラ角度を推定できる技術になっている。
無限遠を見た時に収束する消失点を、X軸、Y軸、Z軸の各軸の両端方向からなる6方向で求める手法に加えて、それぞれ45度の方向で補助対角点と呼ぶ8方向を新たに定義。補助対角点をAI学習時に消失点と同様に扱うことで、推定に利用できる情報量が増え、カメラ角度推定の頑健性と精度が向上したとしている。
また人工物の少ないシーンにも対応するため、消失点の推定に「ヒートマップ」も採用。ヒートマップは人の姿勢推定・骨格検出の分野で高い頑健性と精度を示し、広く利用されている手法で、この考え方を応用し、消失点の画像座標を直接推定せず、「消失点である確率」が高い領域を消失点の画像座標として推定できるようにした。
街路樹が多く映り込んだシーンのように、人工物が少なくカメラ角度の推定が難しいとされる入力画像でも、本手法では高精度にカメラ角度を推定可能。大規模データセットと複数の実カメラを用いた検証により、本手法の有効性を検証した結果、世界最高精度を達成したという。
この手法は、市街地の一般的な画像1枚からカメラ校正を行なえることから、自動車やドローン、ロボットなどの移動体を用いた、多岐にわたる用途での応用が期待されるとしている。
本技術は、パナソニックグループのトップ人材育成プログラム「REAL-AI」の研究成果として発表される予定。6月17日～21日に米国シアトルで開催される、AI・コンピュータビジョン分野における世界最高峰の国際会議のひとつ「IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) 2024」の本会議で発表される。
