Main content

AIを活用した360度画像の超解像技術

搭載製品:THETA 360.biz

360度画像を高精細・高画質化する

背景

リコーは、2013年に世界に先駆けてコンシューマー向け360度カメラRICOH THETAを発売して以来、新たな映像表現の領域を広げてきました。現在、360度画像はSNS(ソーシャルネットワーキングサービス)での写真共有やVR(仮想現実)の流行などに伴ってコンシューマーに普及しているほか、ビジネスシーンでの活用も広がり、訴求力の高いコンテンツとして業務効率向上に貢献するソリューションとなっています。特に不動産業界では物件の内見をオンラインで行うバーチャルツアーとしてその利用が広く普及してきています。また、新型コロナウイルス感染症(COVID-19)の影響で人と人との接触を減らすことが求められ、360度カメラによるバーチャルツアーはその重要性がより高まっています。

360度カメラは撮影範囲が広く、ユーザーがどこでも好きなところを見ることができるという利点がありますが、その反面、画像を拡大した際にはその解像度が一般的なデジタルカメラに比べて劣ってしまうという問題がありました。

解決したこと

リコーはAI(人工知能)を活用し、360度画像の魅力をより引き出す技術を開発しました。
この新技術によって、360度画像全体の解像度、ノイズ、色収差などの多くの要素を全面的に補正し、画質を飛躍的に向上させることが可能となりました。
リコーではこの技術を元にAIを活用した超解像・明るさ補正として、360度パノラマ画像を提供するクラウドサービスTHETA 360.biz上でサービスを開始しました。

サンプル画像 1

サンプル画像 2左:撮影画像 右:超解像+明るさ補正

技術の特徴

画像処理としての超解像技術には長い歴史があり、特にディープラーニング(深層学習)の発展以降大きな進展がありましたが、それらの技術は必ずしもあらゆる画像に対して有効なものではありませんでした。超解像を行う目的は、画質、特に解像度を改善したい点にありますが、その解像度一つとっても、どのように解像度が下がるのかは、光学系、センサー、画像処理がからむ複雑な問題であり、モデル化が困難な領域だったからです。

リコーは、自社の保有する高画質コンパクトデジタルカメラGRの画像を教師データとして、RICOH THETAの画像とペアにしたデータセットを作成し学習させることで、RICOH THETAの画像を改善する技術を開発しました。
THETA 360.bizにアップロードされた360度画像をクラウドサービス上で高画質化するサービスを実現しています。

RICOH THETA:低解像度・ノイズ多 ⇔ GR(APS-C):高解像度・ノイズ小 ペアにして学習

リコーの想い

もともとは特殊用途であった360度カメラ。リコーはその場の空気感を丸ごと写し取る“写場”をコンセプトに、1度の撮影で360度画像を撮影できるカメラとしてRICOH THETAを開発して世に送り出し、フロントランナーとしてさまざまなモデルやサービスを提供してきました。リコーはこれからも360度画像処理技術を進化、発展させ、より魅力的な360度画像サービスを提供していきます。

*
この技術は、2020年6月15日にCVPR 2020(IEEE/CVF International Conference on Computer Vision and Pattern Recognition)のワークショップ OmniCV: Omnidirectional Computer Vision in Research and Industry にて発表されました。

CVPR2020のウェブサイト(英語)

OmniCV Workshop(英語)

*
本研究は、株式会社リコーとリコーソフトウェア研究所(北京)有限公司が共同で行いました。

リコーソフトウェア研究所(北京)有限公司のウェブサイト(英語)