“はたらく”を支えるリコーの大規模言語モデル（LLM）

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、中国のアリババクラウドが開発・提供する大規模言語モデル（LLM）ファミリーの「Qwen2.5-VL-32B-Instruct^*1」をベースに、日本企業の図表を含むドキュメントの読み取りに対応したマルチモーダル大規模言語モデル（以下「LMM」）を開発しました。

お客様から基本モデルに対して頂いたフィードバックをもとに、サービング環境の構築の容易さや利活用のしやすさを目指し、よりコンパクトで高性能、かつアプリケーションとの親和性の高いLMMを開発しました。合わせて、4bit量子化モデルも提供します。

本モデルの開発にあたっては、文字、円グラフ、棒グラフ、フローチャートなど、ビジネス文書で活用される視覚データ約60万枚を自社で開発したチューニングデータとして用い、LMMに学習させています。視覚情報とテキスト情報の双方を活用する日本語の質問応答データセット「JDocQA^*3」などのベンチマークツールによる検証の結果、他のモデルと比較しても優れた性能を示すことを確認しました（2025年12月17日時点）。

複雑な指示やタスクを含む代表的な日本語ベンチマーク「ELYZA-tasks-100」、日本語のマルチターンの対話能力を評価する「Japanese MT-Bench」により、性能を評価しました。その結果、リコーが開発したLLMは、日本語ベンチマークにおいて米OpenAIが開発したオープンウェイトモデル「gpt-oss-20b」をはじめとする最先端の高性能なモデルと同等レベルの高いスコアを示しました。

各データセットの概要は次の通りです。

• JGraphQA：日本のIR資料に記載されている円グラフ、棒グラフ、折れ線グラフ、表を集め、人手で全200問のQAを付与した図表用のベンチマーク。スコアは1.0が最高値。
• JDocQA：図表を含む日本語文書を対象とし、視覚情報とテキスト情報の両方を参照する質問応答データセット。
  JDocQA（overall）スコア1.0が最高値。
• JDocQA（llm）：gpt-4o-2024-11-20を用いた自動評価（LLM as a Judge）を採用。スコアは5点満点で評価。
• BusinessSlideVQA：ビジネス資料（スライド）を対象とした Visual Question Answering（VQA）ベンチマーク。
  gpt-4.1-2025-04-14を用いた自動評価（LLM as a Judge）を採用し回答が正解か否かを2値判定。スコアは1.0が最高値。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、米Meta Platforms社が提供する「Meta-Llama-3.1-8B」の日本語性能を向上させた「Llama-3.1-Swallow-8B-Instruct-v0.5」^*1をベースモデルに、LLMからの有害情報の出力を検知する自社開発のガードレール機能^*2を組み込んだLLM（以下、セーフガードモデル）を開発しました。本開発では、従来対応していた有害なプロンプト入力の判別に加え、LLMが生成する有害情報の出力の検知にも対応できるようになりました。ベンチマーク評価の結果、他社製ガードレールモデルと比較して、高いF1スコア^*3を示しました。

本セーフガードモデルは、生成AIの安全な利活用を支援するため、2024年10月にリコーが立ち上げたLLMに対する社内の安全性対策プロジェクトから生まれたものです。2025年8月に、有害なプロンプト入力を対象とした判別機能をまずリリースし、リコージャパン株式会社が提供する「RICOH オンプレLLMスターターキット」に標準搭載することで、お客様の安全な生成AI活用を支援してきました。今回、出力判別にも対応したことで、より多層的で強固な安全対策を実現します。

本セーフガードモデルは、LLMに対するガードレールとして機能し、プロンプト入力されたテキスト、およびLLMから出力された回答を監視して、不適切・有害な内容を自動で検出します。具体的には、暴力や犯罪、差別、プライバシー侵害など14種類のラベルに分類された、リコー独自構築の数千件のデータを学習させることで、これらに該当する入出力情報を判別します。これにより、LLMへの有害情報の入力、またはLLMから出力された有害回答を検知し、ブロックすることが可能となります。

また、一般的な有害表現だけでなく、「業務に無関係な内容をブロックしたい」といったお客様のニーズに応じたカスタマイズ対応も検討しています。

本セーフガードモデルは、リコー独自の量子化技術により小型・軽量化を実現しました。今後、リコージャパンが提供する、高セキュリティなオンプレミス環境向け生成AI活用ソリューション「RICOH オンプレLLMスターターキット」に標準搭載される予定です。

リコーは今後もお客様に寄り添い、業種・業務に最適化した安全な AI サービスを提供することで、お客様のオフィス／現場におけるデジタルトランスフォーメーション（DX）推進を支援してまいります。

複雑な指示やタスクを含む代表的な日本語ベンチマーク「ELYZA-tasks-100」、日本語のマルチターンの対話能力を評価する「Japanese MT-Bench」により、性能を評価しました。その結果、リコーが開発したLLMは、日本語ベンチマークにおいて米OpenAIが開発したオープンウェイトモデル「gpt-oss-20b」をはじめとする最先端の高性能なモデルと同等レベルの高いスコアを示しました。

各データセットの概要は次の通りです。

• 入力用評価データ：国立情報学研究所 大規模言語モデル研究開発センターが公開したAnswerCarefully Dataset バージョン2.0^*7と、リコー製のデータセット計476件
• 出力用評価データ：リコー製のデータセット計524件

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、自社で開発・提供する日本語大規模言語モデル^*1（以下、LLM）シリーズの次世代モデルとして、Googleが提供するオープンモデル「Gemma 3 27B^*2」をベースに、オンプレミス環境への導入に最適な高性能LLMを開発しました。

本LLMは、リコー独自のモデルマージ^*3技術を活用し、ベースモデルから大幅な性能向上を実現しています。具体的には、独自開発を含む約1万5千件のインストラクションチューニングデータで追加学習したInstructモデルから抽出したChat Vector^*4など複数のChat Vectorを開発し、「Gemma 3 27B」に対して独自技術でマージしています。

同規模パラメータ数のLLMとのベンチマーク評価の結果、米OpenAIのオープンウェイトモデル「gpt-oss-20b^*5」をはじめとする最先端の高性能モデルと同等の性能を確認しました。さらに、本モデルは、ユーザー体験を重視した非推論モデル^*6ならではの高い初期応答性^*7を実現しながら、高い執筆能力も兼ね備えており、ビジネス用途での活用に適しています。

また、モデルサイズは270億パラメータとコンパクトでありながら高性能を実現しており、PCサーバ^*8等で構築でき、低コストでのプライベートLLM導入を可能にします。LLMは高い電力消費による環境負荷が課題となっていますが、コンパクトで高性能な本LLMは省エネルギー・環境負荷低減にも寄与します。

複雑な指示やタスクを含む代表的な日本語ベンチマーク「ELYZA-tasks-100」、日本語のマルチターンの対話能力を評価する「Japanese MT-Bench」により、性能を評価しました。その結果、リコーが開発したLLMは、日本語ベンチマークにおいて米OpenAIが開発したオープンウェイトモデル「gpt-oss-20b」をはじめとする最先端の高性能なモデルと同等レベルの高いスコアを示しました。

各ベンチマーク・データセットの概要は次の通りです。

• Japanese MT-Bench：マルチターン対話設定のデータセット。タスクはコーディング、抽出、人文、数学、推論、ロールプレイ、STEM、ライティングから成る。スコアの範囲は1（最低）から10（最高）。
• Elyza-tasks-100：複雑な指示・タスクを含むデータセット。要約の修正、意図の汲み取り、複雑な計算、対話生成など広範なタスクから成る。スコアの範囲は1（最低）から5（最高）。ここではJapanese MT-Benchとの平均スコアを算出するため、スコアを2倍にして比較。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、リーズニング（推論）性能^*1の追加搭載によって、当社が開発・提供するオンプレミスで導入可能な700億パラメータの日本語大規模言語モデル（LLM^*2）の性能を向上させました。「金融業務特化型LLM」では、有価証券報告書などの公開データを用いて金融業特有の専門用語や知識を追加学習させたうえで、多段推論能力^*3（Chain-of-Thoughts：CoT）を付加することで、融資稟議業務などをはじめとした専門的な業務遂行能力を強化しました。ベンチマーク評価の結果、米OpenAIが開発したGPT-5をはじめとする最先端の高性能なモデルと同等レベルの性能を確認しました。今後は、製造業や医療といった他の業種・業務に適用可能な特化モデルの開発を進め、「使える・使いこなせるAI」を提供し、お客様が取り組むオフィス／現場のデジタルトランスフォーメーション（DX）を支援してまいります。

複雑な指示やタスクを含む代表的な日本語ベンチマーク「ELYZA-tasks-100」、日本語のマルチターンの対話能力を評価する「Japanese MT-Bench」、日本語金融ベンチマーク「japanese-lm-fin-harness」、および金融業向けに独自開発したベンチマークにより、性能を評価しました。その結果、リコーが開発した「金融業務特化型LLM」は、日本語ベンチマークにおいて米OpenAI社のGPT-5と同等レベルの高いスコアを示しました。また、金融ベンチマークではパラメータ数が同規模以上の最先端オープンソースモデルを上回るスコアを示しました。

各ベンチマーク・データセットの概要は次の通りです。

• Japanese MT-Bench：マルチターン対話設定のデータセット。タスクはコーディング、抽出、人文、数学、推論、ロールプレイ、STEM、ライティングから成る。スコアの範囲は1（最低）から10（最高）。
• Elyza-tasks-100：複雑な指示・タスクを含むデータセット。要約の修正、意図の汲み取り、複雑な計算、対話生成など広範なタスクから成る。スコアの範囲は1（最低）から5（最高）。
• japanese-lm-fin-harness：金融分野向けデータセット。タスクは金融分野における感情分析、証券分析における基礎知識、公認会計士試験における監査、FP試験の選択肢問題、証券外務員試験の模擬試験から成る。スコアの範囲は0（最低）から1（最高）。
• 融資稟議向け独自ベンチマーク：リコーが独自に開発した融資審査における企業・財務・信用の総合評価データセット。タスクは融資申込受付と初期ヒアリング、財務諸表分析、事業性評価（非財務情報分析）、信用情報調査、外部情報照会から成る。スコアの範囲は1（最低）から10（最高）。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、米Meta Platforms社が提供する「Meta-Llama-3.1-8B」の日本語性能を向上させた「Llama-3.1-Swallow-8B-Instruct-v0.3」^*1をベースモデルに、生成AIの安全な利活用を支援するため、有害な入力を判別するガードレール機能^*2を備えたLLM（以下、セーフガードモデル）を開発しました。本セーフガードモデルは、2024年10月にリコーが立ち上げたLLMに対する社内の安全対策プロジェクトから生まれたものです。今後、国内販売会社のリコージャパン株式会社が2025年4月から提供開始している「RICOH オンプレLLMスターターキット」に標準搭載し、お客様の安全な生成AI活用を支援してまいります。

本セーフガードモデルは、LLMに対するガードレールとして機能し、入力されたテキストを監視して、不適切・有害な内容を自動で検出します。具体的には、暴力や犯罪、差別、プライバシー侵害など14種類のラベルに分類された数千件のデータを学習させることで、これらに該当するプロンプトを判別します。これにより、メインのLLMへの有害情報の入力をブロックすることが可能となります。

現時点では、プロンプト入力を対象とした防御機能ですが、今後はLLMからの出力内容に対しても、安全性を判別する機能を追加開発する予定です。さらに、一般的な有害表現だけでなく、「業務に無関係な内容をブロックしたい」といったお客様のニーズに応じたカスタマイズ対応も検討しています。

本セーフガードモデルは、リコー独自の量子化技術により小型軽量化を実現しました。今後、リコージャパンが提供する、高セキュリティなオンプレミス環境向け生成AI活用ソリューション「RICOH オンプレLLMスターターキット」に標準搭載される予定です。

国立情報学研究所 大規模言語モデル研究開発センターが公開したAnswerCarefully Dataset バージョン2.0^*3と、リコー製のデータセット計476件で評価した結果、Llama guard 3^*4と比較して、高いF1スコア^*5を示しました。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する、国内における生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）^*1」第3期において採択されました。これにより、2期連続での採択となります。

リコーは、本事業において、企業の知の結晶である様々な企業内ドキュメント群を、多段推論を行うことでより高精度に読み取ることができるリーズニング性能^*2を持つマルチモーダルLLM（以下、リーズニングLMM）を開発します。画像トークン^*3の圧縮技術で省リソース・低コストで運用可能なモデル開発と、モデルマージの技術などを活用した効率的な開発プロセスの確立を目指します。

LMMとは、テキスト・画像・音声・動画など複数の種類のデータを一度に処理できるAI技術のことです。スクリーンショットからのテキストの要約や、図を使った質問への適切な回答など、さまざまなタスクに優れており、幅広いデータ形式を効果的に処理する適応性に期待が集まっています。

リコーは2024年8月から実施されたGENIACの第2期において、LMMの基本モデルを開発完了し、7月29日に基本モデルおよび独自に開発したベンチマークツールを無償で公開することを発表しています。本事業では、より高精度かつ低コストで運用・開発できるリーズニングLMMの開発を目指します。具体的には、多段推論によって文書画像の理解力向上を図りつつ、高性能化に伴って増大する顧客側の運用コストを画像トークン圧縮などで、開発側の開発コストをモデルマージ技術の適用などで、それぞれ低減を目指します。

日本企業の業務DXを促進するリーズニングLMMの開発。

• 複雑な図表を含む文書画像から情報を抽出、解析して統合的に判断する高いマルチモーダルリーズニング性能の獲得。
• 複雑な図表を含む文書画像のリーズニングタスクにおいて、現在商用利用可能な同等規模のオープンソースモデルの中で最高性能の達成。
• コストを抑制するための技術開発
  • 画像トークンの圧縮技術の開発などでメモリ使用量を抑制し、顧客側の運用コストを大きく削減。
  • マルチモーダルモデルに対するモデルマージ技術などを活用し、開発側の学習コストを大きく削減。

紙文書をベースに業務を行っている企業も多い中、リコーは複合機やスキャナーなどの独自のエッジデバイスを活用して、高精度なデジタル化を支援しています。さらに、AIを活用した先進的な画像認識やOCR技術に強みを持つ独スタートアップ「natif.ai」をグループ企業に迎えるなど、技術力の強化も着実に進めてきました。加えて、LMMによるドキュメントの高度な利活用によって、文書処理に関わる一連の業務を効率化・自動化するプロセスオートメーションの実現にも取り組んでいます。

リコーは、ワークプレイスサービスプロバイダーとして、デジタルによる業務プロセスの最適化を通じ、単純作業を減らし生産性の向上を実現すると共に、AI・データの活用により新たな価値を提供し、お客様の創造力の発揮を支援します。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する、国内における生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）^*1」において、マルチモーダル大規模言語モデル（以下「LMM」）の開発に取り組んできました。このたび、リコーは日本企業の図表を含むドキュメントの読み取りに対応したLMMの基本モデルの開発を完了したことをお知らせします。視覚とテキストの両方の情報を活用する日本語の質問応答データセットであるJDocQAおよび独自ベンチマークツール^*2による検証の結果、他のモデルと比較しても優れた性能を示すことが確認されました（2025年4月24日時点）。リコーは、7月29日から開催される画像の認識・理解シンポジウム 「MIRU2025」にて論文を発表し、本基本モデルおよび独自に開発したベンチマークツールを無償で公開します。

リコーは、本基本モデルの開発に際して、文字/円グラフ/棒グラフ/フローチャートなどの視覚データ合計600万枚以上を人工生成しました。学習用データの人工生成手法を確立することで、大量の学習用データの整備が可能となり、LMMの性能向上に寄与しています。

開発パートナーの1社であるFastLabel株式会社（代表取締役CEO：鈴木 健史、以下「FastLabel」）からは、学習用および評価用の実データの収集とアノテーション^*3業務の支援を受けました。FastLabelとは、リコーが主催するアクセラレータープログラム「TRIBUS（トライバス）2022」での採択がきっかけで、両社の協業が始まりました。

また、セキュリティやプライバシー、ガバナンスなどの観点から、オンプレミスや自社データセンターなどの社内専用環境でAIを利用したいと考える企業も多く、省リソースでのAI活用のニーズが高まっています。リコーが開発したLMMは、アーキテクチャも改良され、オンプレミス環境において、お客様情報を用いた追加学習が可能なコンパクトなモデルサイズを実現しています。具体的には、本モデルは、図表を処理するVision Encoder（ビジョンエンコーダー）^*4という第1階層と、第1階層からの出力を後段のLLMが理解できる形式に変換するAdapter（アダプター）という第2階層、そして第2階層で変換された情報と文字情報を統合処理するLLMの第3階層の3層構造になっています。第1階層においては複数のVision Encoderを評価し、「Qwen2-VL-7B-Instruct^*5」に採用されている手法を選定しました。また、第3階層においてもオンプレミス環境で実装可能な70Bクラスのモデルを複数評価し、「Llama-3.1-Swallow-70B-Instruct-v0.3^*6」を選定しました。さらに、第2階層であるAdapterに独自の工夫^*7を追加することにより、別々のモデルが由来であるため本来は接続できない第1・第3階層を、精度を維持しながら接続することに成功しました。

このように、アーキテクチャを改良する独自技術と大量の人工データによる学習を組み合わせることで、同規模のオープンソースモデルを凌ぐ性能を確保しながら、省コスト・省リソースでの運用を実現します。

評価手法としては、JDocQAに加えて、日本企業の文書に特有な複雑な図表をテストデータの中心に据えた、マルチモーダル性を評価する評価手法も独自に開発し、本モデルの性能を確認しました。

リコーは、本開発にあたり、アマゾン ウェブ サービス（以下、AWS）^*8から、計算資源の提供及び技術サポートを受けています。「採択事業者が計算リソース提供事業者と個別に調整し直接確保」するスキームを通じて、NVIDIA H200 Tensor Core GPU を搭載するAmazon EC2 P5eインスタンスが提供されています。開発終盤での総合的な学習ならびに顧客向けファインチューニングにおいて、安定的で大規模な資源提供を迅速に受けることで、今回の成果につながっています。

リコーは、これまでのLLMの開発においても、「AWS LLM開発支援プログラム」と「AWS 生成AIイノベーションセンター（AWS Generative AI Innovation Center）」による支援のもと、効率的な開発を実現しています。

なお、今回の取り組みにおいて、基本モデルをチューニングして個社の業務に合わせて精度を向上させる手法も確立しました。具体的には、損害保険ジャパン株式会社（代表取締役社長：石川 耕治、以下「損保ジャパン」）が保有する保険の引受規定が記載された図表などを含むマニュアルを用い、同社の保険業務に対応するように学習（ファインチューニング）を行ったプライベートなモデルは、基本モデルに比べて顕著に性能が向上しました。今後、同社がトライアル運用する保険業務に関する規定、マニュアル、Q&Aデータなどを学習させ、社内外からの照会内容に対して最適な回答案を自動生成するシステム「おしそんLLM^*9」に適用を検討していく予定です。

リコーは、基本モデルと独自に開発したマルチモーダル性能を評価する環境を無償で公開します。リコーは、GENIACで得られた成果を広く社会に還元することで、日本企業の知の結晶ともいえるドキュメントの利活用を促進し、業務革新と効率的で付加価値の高い働き方を支援することで、日本企業の企業価値の向上に貢献することを目指して取り組みを進めてまいります。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、経済産業省が推進する国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」のもと、国立研究開発法人新エネルギー・産業技術総合開発機構（以下、NEDO）が2024年8月に実施した公募「ポスト5G情報通信システムの開発（委託、助成）／計算可能領域拡大のための計算基盤技術開発（委託、助成）/競争力ある生成AI基盤モデルの開発（助成）」（以下、本事業）に採択されました。本事業では、主に生成AIのコア技術である基盤モデルの開発に対する計算資源の提供や、データやAIの利活用に向けた実証調査の支援等が行われます。リコーは、本事業において、企業の知の結晶である様々な企業内ドキュメント群を読み取るマルチモーダルLLMの本格的な開発を開始します。

日本企業の業務DXを促進するマルチモーダルLLMの開発。

1. マニュアル等の様々な図表を読解可能なマルチモーダル性能。
2. 製造現場で使われる長文のマニュアルや指示書を理解するためのロングコンテキスト処理能力。
3. 企業特有のドキュメント群に容易に適用可能なカスタマイズ性能。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、米Meta Platforms社が提供する「Meta-Llama-3-70B」の日本語性能を向上させた「Llama-3-Swallow-70B^*1」をベースモデルに、同社のInstructモデルからベクトル抽出したChat Vector^*2とリコー製のChat Vector^*3をリコー独自のノウハウでマージすることで、高性能な日本語大規模言語モデル（LLM^*4）を新たに開発しました。これにより、リコーが開発・提供するLLMのラインナップに、米OpenAIが開発したGPT-4と同等レベルの高性能モデルが追加されました。

複雑な指示・タスクを含む代表的な日本語のベンチマーク「ELYZA-tasks-100」において、今回リコーがモデルマージの手法で開発したLLMはGPT-4と同等レベルの高いスコアを示しました。また、比較した他のLLMはタスクによって英語で回答するケースが見られましたが、全てのタスクに対して日本語で回答して高い安定性を示しました。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、お客様の業務効率化や課題解決での活用を目的に、企業ごとのカスタマイズを容易に行える700億パラメータの大規模言語モデル^*1（LLM）を開発^*2しました。製造業で特に重視される日本語・英語・中国語に対応したほか、お客様のニーズに合わせてオンプレミス・クラウドのどちらの環境でも導入可能です。入力された文章を単語などの細かい単位に分割するトークナイザーの独自改良により、高速処理と省コストを実現し、環境負荷低減にも貢献します。ベンチマークツールを用いた検証^*3の結果、優れた性能を確認しました（2024年8月9日時点）。

リコーのLLMは、AIが自然言語の学習に利用するコーパスの選定や、誤記や重複の修正などのデータクレンジング、学習するデータの順序や割合を最適化するカリキュラム学習などリコー独自の方法で学習されています。これにより日本語による安定した回答を実現しました。また、AWS（Amazon Web Services）と共同で開発した学習スクリプトに基づいて訓練されており、日本語、英語、中国語の多様な表現を学習済みです。

さらに、独自開発を含む約1万6千件のインストラクションチューニングデータで追加学習することにより、広範なタスクに適応する能力を獲得しました。これによりお客様のご要望に合わせてプライベートLLMを構築する際の追加学習で生じる破滅的忘却による性能低下を抑制し、高品質なプライベートLLMを開発することができます。

リコーは、テキストをトークン^*4に分割しLLMが理解できる形に変換するトークナイザーを独自に改良することで処理効率を向上させました。これにより、リソース削減、レスポンス時間の短縮、省コストを実現しました。LLMは処理に多くの電力が消費され環境負荷が大きいという社会課題に直面するなか、本技術は省エネルギー・環境負荷低減にもつながります。

通常、700億パラメータのLLMの運用や学習には、複数のサーバをネットワークで繋ぐ大規模なクラスタシステムが必要となります。リコーのLLMは独自の語彙置換技術やその他の最新技術を活用することによりモデルサイズを保ったまま学習が可能です。セキュリティ面でデータを自社内で保有したいお客様向けには、お客様先のクローズドな環境下での機密情報含めた追加学習が可能です。

「AWS LLM開発支援プログラム」と「AWS 生成AIイノベーションセンター（AWS Generative AI Innovation Center）」によるサポート提供のもと、AWS Trainiumアクセラレーターを搭載したAmazon Elastic Compute Cloud Trn1インスタンスを利用することで、効率的な開発を実現しました。お客様向けカスタムLLMを開発する際にも、より安価・短納期でのご提供が可能です。また、学習に際してTrn1インスタンスを活用することで、同等のアクセラレーテッドコンピューティングEC2インスタンスよりもエネルギー効率を最大25%改善しました。

複雑な指示・タスクを含む代表的な日本語のベンチマーク「ELYZA-tasks-100」において、リコーのLLMは平均で4を超える高いスコアを示しました。また、比較した他のLLMはタスクによって英語で回答するケースが見られましたが、リコーのLLMは全てのタスクに対して日本語で回答して高い安定性を示しました。さらに、回答速度の面でも他のLLMを大きく上回り、トークナイザーの改良の効果を確認しました。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、国立研究開発法人理化学研究所 革新知能統合研究センター 言語情報アクセス技術チーム（以下、理研 AIP）が主催する日本語インストラクションデータ作成プロジェクトに参画しています。リコーは、同チームとの共同開発で得られたインストラクションデータをリコー製130億パラメータの日本語LLM^*1に追加学習させ、LLMの指示追従性能が向上するという結果を得ました。また、リコー独自開発のインストラクションデータ^*2を追加学習させた結果においても、指示追従性能^*3の向上を確認し、要約タスクでの優位性を確認しました。

今回、インストラクションデータ「ichikara-instruction」（10,329件）を用いてリコー製LLMにインストラクションチューニング^*4を行いました。結果、複雑な指示・タスクを含む代表的なベンチマーク「ELYZA-tasks-100」において、チューニング前と比較し、指示追従性能の大幅なスコア向上が確認できました。また、リコーが独自開発した3,556件のインストラクションデータを用いたチューニング結果でも、同ベンチマークにおいて、同様にスコアが大きく向上しました。

これらの結果から、「ichikara-instruction」はインストラクションデータとして高品質なデータセットであること、また、リコー製インストラクションデータにおいても高スコアが得られたことから、LLMの性能向上にはデータ量だけでなく、データの品質が重要だということが示唆されました。（表1）

また、要約タスクを独自評価^*5したところ、特に長文要約においては、リコー製データセットの優位性を確認できました。（表2）

AIによる要約生成はお客様のニーズが高く、リコーが強化していく領域です。リコーは継続的にデータ開発を進めており、2024年5月末時点では、5,000件超のインストラクションデータの開発を完了しています。今後、これらをリコーが提供するさまざまなAIソリューションに活用することで、より高品質なサービスの提供を目指します。

労働人口減少や高齢化を背景に、生産性向上や付加価値の高い働き方の実現に向けて、多くの企業がAIの業務活用に注目しています。しかし、AIを実際の業務に適用するためには、その業種・業務の情報や、企業固有の用語や言い回しなどを含む大量のデータをLLMに追加学習させ、企業独自のAIモデル（プライベートLLM）を作成する必要があります。

リコーでは、お客様の想定用途に合わせてさまざまなデータ（企業独自の情報や知識を含む）を使ってドメイン適用された高精度なAIモデル（プライベートLLM）の個別開発を行っています。リコー製LLMは、日本企業の業務での活用を目的に開発され、企業ごとのカスタマイズを容易に行うことができることが特徴です。独自の学習上の工夫が組み込まれており、日本語としての文法や回答が正確で日本語精度が高く、日本企業が持つ情報資産の活用に適したモデルになっています。特にNLI（自然言語推論能力）において高性能という評価結果が出ています。2024年4月から、プライベートLLMをクラウド環境で提供開始しています。

※掲載している情報は、発表当時のニュースリリースを原文のまま引用したものです。

リコーは、日本企業の業務での活用を目的に、企業ごとのカスタマイズを容易に行える130億パラメータの大規模言語モデル^*1（LLM）を開発しました。日本語と英語での学習において、その学習データの比率を工夫することで、日本語としての文法や回答が正確で日本語精度の高い、日本企業が持つ情報資産の活用に適したモデルを実現しました。ベンチマークツールを用いた性能検証^*2の結果、日本語で利用できる130億パラメータを持つ日本語LLMにおいて、2024年1月4日現在で最も優れた結果を確認しました。

労働人口減少や高齢化を背景に、AIを活用した生産性向上や付加価値の高い働き方が企業成長の課題となっており、その課題解決の手段として、多くの企業がAIの業務活用に注目しています。しかし、AIを実際の業務に適用するためには、企業固有の用語や言い回しなどを含む大量のテキストデータをLLMに学習させ、その企業独自のAIモデル（カスタムLLM）を作成する必要があります。このたびリコーが開発したLLMは、米Meta Platforms社が提供する「LLM Llama2-13B」をベースに、日本語と英語のオープンコーパス^*3を追加学習させて開発したものです。①学習に利用するコーパスの選定　②誤記や重複の修正などのデータクレンジング　③学習データの順序や割合を最適化するカリキュラム学習など、リコー独自の学習上の工夫が組み込まれていることが特徴です。学習の結果、特にNLI（自然言語推論能力）において高性能となっています。日本語LLMの性能評価で広く使われている日本語ベンチマークツール（llm-jp-eval）を用いた他LLMモデルとの性能比較^*2では、評価スコアの平均値が最も高く、優れた性能を確認することができました。

学習能力が高い本LLMに企業独自の情報や知識を取り入れることで、お客様ごとの業種・業務に合わせた高精度なAIモデル（カスタムLLM）を、短期間で容易に構築することが可能になります。カスタムLLMをお客様の業務で活用し、業務文書の要約や質問応答の作業をAIに置き換えることで、業務のワークフローを最適化し、業務効率化を実現します。

2024年春から、カスタムLLMをクラウド環境でお客様へ提供開始します。まずは日本国内のお客様より提供を開始し、今後海外のお客様への提供も目指します。

LLMは、パラメータ数が多いほどより多くの情報を処理でき、学習能力が高まる一方、より大きな計算リソースが必要になるうえ、学習や運用の難易度が上がり、開発難易度が高くなります。本モデルは「AWS™ LLM開発支援プログラム」によるサポート提供のもと、AWS Trainiumアクセラレーターを搭載したAmazon Elastic Compute Cloud Trn1インスタンスを利用することで、従来手法の開発と比較し45%のコスト低減および12%の開発期間短縮を実現することができました。さらに、お客様向けカスタムLLMを開発する際にも、効率的に開発することができるため、お客様へより安価・短納期でのご提供が可能です。

なお、今回のLLM開発とその手法は2024年3月11日から開催される言語処理学会^*4第30回年次大会において論文発表する予定です。