画像・3Dデータを用いた現場のDX化
背景
近年、建設業、物流業、小売業、医療業などの「現場」で働く人々の生産性向上が急務となっています。また、生成AIに代表されるAI技術は日進月歩で進化しており、これらを用いたデジタルトランスフォーメーション（DX）が期待されています。
しかし、現場の課題解決に必要なデータは、センサーからの数値データ、画像データ、3次元データ、書誌的情報などを表す文字データなどさまざまであり、それらを適切に組み合わせて、総合的に取り扱う必要があります。
一方で、現場作業者が必ずしもデータ処理技術やAI技術の知見を持っているわけではなく、自身の持つ課題に対して適切な解決方法を考えることは容易ではありません。
解決したこと
リコーは、長年培ってきた光学技術や画像処理技術を応用することで、課題解決に必要なさまざまな種類のデータを取得して現場をデジタル化します。また、これらのデータを総合的に分析・処理する知見を持つAI人材が、お客様に寄り添って課題解決に導きます。
リコーには、画像、3D、自然言語処理技術を応用したさまざまなAI技術を、建設業をはじめとする現場のお客様に向けて開発してきた実績が多数あります。これらの技術を活用し、さらに幅広い業種のお客様に向けたAI開発を目指します。
図1. 建設業のお客様向けの開発実績
技術の特徴
全天球画像（360度画像）とAI技術により現場の状況をデジタル化
リコーの光学技術、画像処理技術を活用することで、現場で役立つ情報を抽出することができます。
- 現場全体（全天球）を手軽に撮影する技術
- 歪みのある全天球画像を適切に処理する技術
- そこから正確に対象物（人物、文字、設備など）を検出する技術
図2. 全天球画像からの人物認識結果の例
図3. 全天球画像からの文字認識結果の例
3次元点群認識技術でデータを扱いやすく
レーザースキャナーやスマートフォンなどを用いて取得した3次元点群データは、そのままではデータ量が大きく、容易に扱うことができません。しかし、リコー独自のAIを駆使した点群認識技術（各点がどの対象物を表しているかを識別する技術）を利用することで、以下のような応用が可能になります。
- BIM（Building Information Modeling）モデルの自動生成
- 完成BIMと施工中の現場で取得した点群を照合した施工の進捗度判定
- 現場の特定区画における面積、体積の自動計算
図4. オフィスの会議室の点群認識結果：テーブル（紫）、椅子（赤）などがカテゴリ認識されている
図5. オフィスで取得した点群をカテゴリ認識し、BIMモデルを自動生成する
現場文書の解析技術と生成AIを組み合わせた知識伝承
近年、LLM（Large Language Models、大規模言語モデル）に、個社独自の文書データを参照しながら回答を作成するRAG（Retrieval-Augmented Generation、検索拡張生成）を組み合わせた手法が注目されています。RAGを3次元情報（デジタルツイン）と組み合わせることで、作業員が現場で行う業務を支援します。
- 設備ごとの点検履歴を参照したトラブルシューティング（設備点検時）
- 過去文書を参照した新規文書の雛形作成（報告書作成時）
一方で、現場の文書データは、紙文書の状態、または、紙文書をスキャンした画像データであることが多く、この状態では、文字情報として認識されていないため、RAGに使用することはできません。
そこで、リコーの持つAI-OCRの技術を利用することで、表や図などさまざまな要素を含む複雑な文書データから必要な情報のみを抽出し、RAGに使用できる構造化データを生成できます。
図6. 現場を支援するRAGの仕組み
リコーの想い
リコーが長年のオフィス機器開発で培った光学、ソフト、画像処理技術と、AI技術を組合せることで、「現場」で働くお客様の働き方変革をお手伝いします。
また、開発経験が豊富なAI人材が並走することで、お客様固有の課題の解決を目指します。