制約下の医療LLM Observability〜セキュアなデータ活用と専門家による改善サイクルの実現〜

株式会社カケハシでは薬局向けの業務支援SaaSを提供しており、LLMを活用した機能の提供を行っています。 LLMの活用において、その不確実性をコントロールするためのObservabilityは不可欠です。特に、高い信頼性が求められる医療ドメインでは、その重要性が一層高まります。また、専門性の高い内容であるために、医療ドメインエキスパート自身が観測情報の参照やプロンプトの改善を行う必要があります。その一方、医療ドメインではデータの保護も重要な点であり、その可観測性とデータ保護の両立には様々な壁があります。 本セッションでは、インターネットから遮断されたセキュアな環境で、音声とテキストを扱うマルチモーダルな医療LLMアプリケーションのObservabilityをいかにして確保し、医療ドメインエキスパート自身が直接プロンプトチューニングを行える改善サイクルを実現したかをご紹介します。