CASE

O社では、管理部門における他部署からの問い合わせ対応業務を効率化したいと考えていました。以前チャットボットの開発を試みたものの頓挫してしまったというご経験があり、開発時に質問に対する回答を細かく定義しなくてよい方法を希望されていました。

O社の他部署でKICONIA WORKSとのプロジェクトを実施した経験があり、プロジェクトの成果を評価していただいたことから、取り組みが始まりました。

LLMとRAGを活用した基本構成をプロジェクトの初期に構築し、規程集やマニュアルなどの文書を参照して、用意した質問にLLMが正しく回答できるかを検証していきました。用意いただいた文書はそのまま使用するのではなく、LLMとRAGが適切に読み取ることができるフォーマットに置き換えました。O社の担当者に回答結果を評価いただき、望ましくない回答に対して一つずつ課題解決に取り組むことで性能向上に繋げることができました。
全てをLLMに委ねるのではなく、ルールベースでの設計がより好ましい場合はルールベースのロジックを組み込むことで性能を安定させることができたのも、成功要因の一つです。

O社は本プロジェクトを実施するまでLLMの活用経験がありませんでした。どういう仕組みで動き、なぜその課題があるのかを噛み砕いて丁寧に説明してもらえたので、安心して任せることができたというお言葉をいただきました。
また、本プロジェクトでLLMの有効性を検証できたため、本格導入に進むことになっています。

• 千葉（エンジニア）
  LLMが出力した回答を正しいか正しくないかを評価できるのは、業務内容を熟知しているお客様です。評価していただくためにも、LLMの回答がなぜ間違うのかなど、LLMの仕組みをある程度理解していただくことが重要だと思っています。LLMの仕組みを人間の思考に当てはめて伝えることで、納得をしていただけることができました。エンジニアだからといって技術的なタスクに対応するのみではなく、お客様に納得して評価に参加してもらえるような分かりやすい説明を今後も探求し続けます。
• 北村（プロジェクトマネージャー）
  取り扱う文書のフォーマットが幅広く、フォーマットに合わせて適切な設計をしていく必要があり、弊社にとってもナレッジを蓄積していくことができました。
  また、お客様へLLMの仕組みを分かりやすく説明するにあたってはまず自分が徹底的に理解する必要があり、個人的にも多くの学びがありました。