ローカル LLM を用いた AI エージェントの現状と課題

Abstract

近年, 大規模言語モデル (LLM) をバックボーンとする AI エージェントの研究が急速に発展している. 特に GPT-4o や Gemini などの高性能なクローズド大規模モデルが広く利用されているが, 一方で, 利用コスト・透明性・データ主権の課題が指摘されている. 本研究ではローカル環境で動作可能な軽量 LLM (ローカル LLM) に着目し, AI エージェントとしての可用性を評価した. LLM でも難易度が高いデスクトップ環境アプリケーションの操作タスクを含むベンチマーク OSWorld を用い, 複数のローカル LLM を AI エージェントとして活用し, タスク成功率と推論過程を比較した. その結果, いずれのローカル LLM もクローズド大型モデルに比べて性能は大幅に劣るものの, モデル規模の拡大に伴いタスク成功率の改善傾向が確認された.