XR(拡張現実)を高度に利用するシーン、例えば、日常生活支援や障害者のリハビリテーション、没入型の教育・トレーニング環境、さらにはプロフェッショナルやコンシューマー向けのテレプレゼンス・アプリケーションにおいては、XRシステムが利用者の期待に沿って応答したり、利用者の知覚を反映する形で情報を提示したりすることが求められます。XRシステムが利用者の状況や周囲の環境を正しく理解するためには、カメラによる広範囲な環境認識が必要です。
しかし、XRを実現する際に一般的なカメラを使用すると、画角の制限によって周囲の出来事を見逃したり、対象物を継続して追跡できなかったりする問題が生じます。このため、周囲の状況をより網羅的に理解するのが難しいという課題があります。
リコーは世界で初めて完全な一人称視点*1の360度ウェアラブルカメラを開発しました(2025年6月時点、リコー調べ)。首にかけるタイプや、ヘルメットに装着するタイプの360度カメラは世の中にもありますが、装着者の目の位置に近い360度ウェアラブルカメラは世界初です。これにより、XRシステムが人間の視野角を超えて周囲の状況を360度認識することが可能になります。マイクとスピーカーを搭載しており、音声によるLLMs*2との対話も実現しています。また、独自開発のAIにより、周囲の物体の接近を警告したり、「ヘルメットをかぶっている人」を探すといった任意のテキストによる物体検出も可能です。
図1. 一人称360度ウェアラブルカメラの初期版デザイン
リコーは耳にかけて装着できる360度カメラを開発しました(図2)。このカメラでは、より没入感があり、ユーザーの視点に則した認識が可能です。
一人称360度ウェアラブルカメラの概要
図2. 一人称360度ウェアラブルカメラ
図3. キャプチャーサンプル(一人称360度ウェアラブルカメラ)
また、図4のようにデバイスの制御は小型のシングルボードPCで行うことで、システム全体を携帯することができます。さらにサーバーとリアルタイムに通信することで、LLMsのような最先端AIモデルに接続し、音声でリアルタイムに対話することも可能です。
図4. システム全体図
360度映像からリアルタイムに任意の物体を検出する技術を開発しました。ユーザーはPCから自由記述のテキストで検出対象を指定することができるため、さまざまな分野への応用が期待できます。例えば、「安全ベストを着ている人」というテキストを入力するなど、工場の安全管理に活用することが考えられます。
図5.テキストによる物体検出
360度映像から接近する人間を検知するAIを開発しました。一人称360度ウェアラブルカメラの代わりに360度カメラ「RICOH THETA」をフォークリフトに設置し、フォークリフトに接近する人をドライバーに通知することで、ドライバーの死角にいる人との接触など、予期せぬ事故の防止に役立ちます。
図6.衝突検知
リコー独自の360度カメラおよびその認識技術によって、人間の視野の制約を取り払い、360度全方位を理解するAIによるユーザー支援の実現を目指します。
リコーは光学およびデジタル技術を通して、XR産業に貢献していきます。
リコーはLuminous*3に参画しており、次世代のXRデバイスとして、ウェアラブルの360度カメラを開発し、その画像処理およびマルチモーダルAI*4の技術開発を行っています。当技術はその取り組みの中での成果です。