LLMオブザーバビリティにおけるトレースの拡張

OpenAIなどのLLMを組み込んだアプリケーションは、従来のシステム以上に不確実性を抱えています。こうしたアプリケーションでは、LLMの回答内容やプロンプトの効果測定、推論コストの変化を観測することが重要です。これらは、LLM利用の拡大に比例して今後ますます重要になるでしょう。この課題に対し、一般的なシステムでは分散トレーシングが用いられますが、LLMアプリケーションでは従来の仕組みだけでは不十分な場合が多くあります。本セッションでは、従来の分散トレーシングの限界を整理し、LLM特有のニーズに応えるトレースの拡張について解説します。さらに、Langfuseを利用したデモやCNCF Observability TAGで議論が進む Generative AI Semantic Conventions を紹介し、参加者とともに「生成AI時代のトレース拡張」を考えます。 参加者はLLMアプリケーションに対する新たな視点を持ち帰り、自組織のオブザーバビリティ戦略に活かすヒントを得られるでしょう。