AI 代理在給出答案之前，會層層堆疊模型呼叫、檢索與工具執行等處理。Langfuse 是一套把這整條路徑以樹狀結構記錄下來的開源平台，可以直接在瀏覽器上看到每一個步驟花掉多少 token 與多少時間。它以 MIT 授權釋出，因此也能放在自家伺服器上運作。

只看得到結果，看不到過程

代理型應用最麻煩的地方，在於輸出出錯時難以釐清原因。是模型推論偏了，還是檢索抓回不相干的文件，或者是工具挑錯了？光看回傳的文字，判斷不出來。

成本也是同樣的情況。帳單每個月才彙整送來，但若應用本身沒有留下紀錄，就無法回推這筆費用對應到哪個功能的哪一段處理。指令的寫法稍微改一下就讓 token 消耗大幅增加的情形並不少見，實際上線之後這個差距不容忽視。

Langfuse 的起點，就是把這段看不見的中間過程，以執行為單位完整保存下來。

把一次回應以階層結構保存

Langfuse 處理的核心單位是 trace。一次 trace 涵蓋從使用者輸入到最終輸出的整個過程，內部以巢狀方式排列模型呼叫、檢索與工具執行等處理。

每一個步驟都會記錄輸入與輸出內容，以及耗時、token 使用量與估算成本。呼叫工具時，傳入的參數與回傳的結果同樣會保留。由於可以依使用者、工作階段或自訂中繼資料篩選，因此能事後找出只發生在特定客戶身上的問題，或是延遲特別高的路徑。

資料蒐集採非同步批次傳送的設計，不會拖住應用本身的回應。8 月釋出的第 4 版重新打造了蒐集與顯示流程，使其更接近即時，官方表示在部分條件下速度可達以往的 165 倍。

不只觀測，改善也在同一處完成

Langfuse 與單純的紀錄工具不同的地方，在於蒐集到的資料可以直接當成改善的素材。

提示詞可以與程式碼分開保存，支援版本管理與還原。回答品質可以交給另一個模型評分，也可以用固定的計算規則判定，或是由人工逐筆檢視。把線上收到的輸入直接做成資料集，替換模型或提示詞之後並排比較結果的實驗功能同樣具備。8 月下旬還新增了可重複使用的評估規則，以及把評分結果畫成儀表板圖表的功能。

面向編碼型 AI 的接入方式也逐步齊備。可從終端機呼叫全部功能的命令列工具已於 8 月 21 日推出正式版，針對開發環境的代理則提供 MCP 伺服器。此外也加入了在畫面內調查線上資料並直接執行已核准動作的助理功能。

遵循 OpenTelemetry，不做封閉綁定

整合範圍之廣同樣是特色。Langfuse 原生支援 OpenTelemetry，只要是支援該標準的語言或框架，都能直接進行量測。Python 與 TypeScript 有專用 SDK，Go、Java、.NET、Ruby、PHP、Swift 則透過 OpenTelemetry 使用。

現成的整合超過 100 種，包含 LangChain、Vercel AI SDK、LiteLLM、Pydantic AI、Google ADK、CrewAI 等代理框架，OpenAI、Anthropic、Google Gemini、Mistral AI、xAI、Amazon Bedrock、Groq、vLLM、Ollama 等模型供應方，以及 Dify、n8n、OpenWebUI、Cursor、Claude Code 等手邊的工具。不綁定特定框架的設計方針，直接反映在這份清單上。

資料匯出也沒有設限。全部功能都能透過 REST API 操作，另外還提供查詢用的 SDK，以及匯出到 S3 相容儲存空間的方式。

放在自家伺服器上的選擇

Langfuse 的所有產品功能都以 MIT 授權公開。想快速試用的話，用 Docker 一次帶起來最快，只要取得儲存庫並啟動容器即可。

git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up -d

正式營運方面，除了 Kubernetes 用的 Helm chart，也提供 AWS、GCP、Azure 各自的 Terraform 設定。內部使用 ClickHouse 作為分析用資料庫，寫入透過佇列非同步處理，容量較大的輸入輸出則轉存到物件儲存，整體架構可以承載數億筆 trace。

雲端版本同樣有提供，免費額度為每月 5 萬筆紀錄，不需要登錄信用卡。安全方面已取得 SOC 2 Type II 與 ISO 27001，並可選擇美國、歐盟與日本的資料區域，以及處理醫療資訊用的組態。

開發方 Langfuse 目前已納入 ClickHouse 旗下。專案在 GitHub 上的星數超過 3 萬，貢獻者超過 300 人。依該公司公布的數字，每月處理超過 100 億筆觀測資料，客戶數超過 2,300 家。

總結

代理剛搭好的時候，大家在意的多半只是它跑不跑得動。真正上線之後，能不能說明它為什麼這樣運作才是關鍵。Langfuse 把執行路徑的紀錄、評估與提示詞管理放在同一個基礎上，而且以可以自行架設的授權方式提供。如果你現在還說不清自家代理把 token 花在哪裡，從留下紀錄開始就很值得。