ピーク時165万スパン/秒に立ち向かえ！オブザーバビリティコストを効率化する ABEMA におけるトレースサンプリングの実践的事例

多くのマイクロサービスで構成され、膨大なトラフィックを高速化つ安定的に処理する動画配信サービス ABEMA において、オブザーバビリティや分散トレースは必要不可欠です。 一方で、オブザーバビリティにおいて課題となるのはコストです。テレメトリーのデータ量は、ツールを長く効率化に使う上で考慮すべきコストの一つであり、保存すべきトレースの取捨選択が必要になります。関心のあるトレースは実は全てではないことが多く、エラーリクエストや高レイテンシーのものとなる傾向にあります。そこで必要なのがトレースサンプリング戦略です。 本セッションでは、ピーク時165万スパン/秒を超えるABEMAにおけるトレースサンプリングの実践的事例を紹介します。OpenTelemetryとDatadogを用いた分散トレース基盤の上で、OTel Collectorを用いたテールサンプリングや、DatadogのリテンションフィルターやアダプティブサンプリングといったSaaSならではの機能を駆使し、どのように価値あるシグナルを残しつつ、オブザバビリティーコストを最適化しているのか、その具体的な設計や工夫に迫ります。