Change Country/Area リコーグループ企業・IRサイト

次世代XRのための360度イメージング技術

周囲の状況をユーザーに知らせることができる360度ウェアラブルカメラと認識AI

背景

XR(拡張現実)を高度に利用するシーン、例えば、日常生活支援や障害者のリハビリテーション、没入型の教育・トレーニング環境、さらにはプロフェッショナルやコンシューマー向けのテレプレゼンス・アプリケーションにおいては、XRシステムが利用者の期待に沿って応答したり、利用者の知覚を反映する形で情報を提示したりすることが求められます。XRシステムが利用者の状況や周囲の環境を正しく理解するためには、カメラによる広範囲な環境認識が必要です。

しかし、XRを実現する際に一般的なカメラを使用すると、画角の制限によって周囲の出来事を見逃したり、対象物を継続して追跡できなかったりする問題が生じます。このため、周囲の状況をより網羅的に理解するのが難しいという課題があります。

解決したこと

リコーは世界で初めて完全な一人称視点*1の360度ウェアラブルカメラを開発しました(2025年6月時点、リコー調べ)。首にかけるタイプや、ヘルメットに装着するタイプの360度カメラは世の中にもありますが、装着者の目の位置に近い360度ウェアラブルカメラは世界初です。これにより、XRシステムが人間の視野角を超えて周囲の状況を360度認識することが可能になります。マイクとスピーカーを搭載しており、音声によるLLMs*2との対話も実現しています。また、独自開発のAIにより、周囲の物体の接近を警告したり、「ヘルメットをかぶっている人」を探すといった任意のテキストによる物体検出も可能です。

  • *1
    一人称視点:ユーザーの視点と仮想カメラの視点が一致している見え方。ユーザー自身がその世界の中にいるような感覚を得られる
  • *2
    LLMs(Large Language Models):大規模言語モデル。「自然文の質問への回答」や「文書の要約」といった処理を人間並みの精度で実行でき、学習も容易にできる技術。人間が話したり書いたりする言葉(自然言語)に存在する曖昧性やゆらぎを、文章の中で離れた単語間の関係までを把握し「文脈」を考慮した処理を可能にしているのが特徴

図1. 一人称360度ウェアラブルカメラの初期版デザイン

技術の特徴

一人称360度ウェアラブルカメラ

リコーは耳にかけて装着できる360度カメラを開発しました(図2)。このカメラでは、より没入感があり、ユーザーの視点に則した認識が可能です。

一人称360度ウェアラブルカメラの概要

  • 軽量(耳にかけられる)
  • 4つのカメラで360度をキャプチャー
  • 慣性計測ユニット
  • マイクとスピーカー機能
  • 解像度:3840×1920 [pix]

図2. 一人称360度ウェアラブルカメラ

図3. キャプチャーサンプル(一人称360度ウェアラブルカメラ)

また、図4のようにデバイスの制御は小型のシングルボードPCで行うことで、システム全体を携帯することができます。さらにサーバーとリアルタイムに通信することで、LLMsのような最先端AIモデルに接続し、音声でリアルタイムに対話することも可能です。

図4. システム全体図

360度AI

テキストによる物体検出

360度映像からリアルタイムに任意の物体を検出する技術を開発しました。ユーザーはPCから自由記述のテキストで検出対象を指定することができるため、さまざまな分野への応用が期待できます。例えば、「安全ベストを着ている人」というテキストを入力するなど、工場の安全管理に活用することが考えられます。

図5.テキストによる物体検出

衝突検知

360度映像から接近する人間を検知するAIを開発しました。一人称360度ウェアラブルカメラの代わりに360度カメラ「RICOH THETA」をフォークリフトに設置し、フォークリフトに接近する人をドライバーに通知することで、ドライバーの死角にいる人との接触など、予期せぬ事故の防止に役立ちます。

図6.衝突検知

リコーの想い

リコー独自の360度カメラおよびその認識技術によって、人間の視野の制約を取り払い、360度全方位を理解するAIによるユーザー支援の実現を目指します。

リコーは光学およびデジタル技術を通して、XR産業に貢献していきます。

リコーはLuminous*3に参画しており、次世代のXRデバイスとして、ウェアラブルの360度カメラを開発し、その画像処理およびマルチモーダルAI*4の技術開発を行っています。当技術はその取り組みの中での成果です。

  • *3
    Luminous:ユーザーの文脈やニーズに応じて適応する言語強化型XR(拡張現実)システムを開発し、教育、医療、リハビリテーション、設計、遠隔支援などの分野で人間中心の直感的な体験を提供することを目指す、欧州連合のHorizon Europeプログラムにより支援された研究プロジェクト
  • *4
    マルチモーダルAI(multimodal AI):テキスト、音声、画像、動画など、異なる形式の情報を一度に処理し、より深い理解と高度な判断を可能にするAIのこと
PAGE TOP