AI 智能体给出答案之前，会层层叠加模型调用、检索和工具执行等处理。Langfuse 是一个把这一整条链路以树状结构记录下来的开源平台，可以在浏览器中查看每一步消耗了多少 token 和多少时间。它以 MIT 许可发布，因此也可以放在自己的服务器上运行。

只看得到结果，看不到过程

智能体类应用最棘手的地方，在于输出出错时难以定位原因。是模型推理偏了，还是检索取回了不相关的文档，或者是工具选择出了问题？只盯着返回的文本，无从判断。

成本问题也是同样的结构。账单每月汇总送达，但如果应用本身没有记录，就无法还原这笔费用对应哪个功能的哪一步处理。指令写法稍作改动就让 token 消耗大幅上升的情况并不罕见，在实际运行中这个差距不可忽视。

Langfuse 的出发点，就是把这段看不见的中间过程按执行单位完整保存下来。

把一次响应按层级结构保存

Langfuse 处理的核心单位是 trace。一次 trace 覆盖从用户输入到最终输出的全过程，内部以嵌套方式排列模型调用、检索和工具执行等处理。

每一步都会记录输入与输出内容，以及耗时、token 消耗量和估算成本。调用工具时，传入的参数和返回的结果同样会保留。由于可以按用户、会话或自定义元数据筛选，因此可以事后去查找只在特定客户身上出现的故障，或者延迟明显偏高的路径。

数据采集采用异步批量发送的设计，不会阻塞应用本身的响应。8 月发布的第 4 版重做了采集与展示流程，使其更接近实时，官方称在部分条件下速度可达以往的 165 倍。

不止于观测，改进也在同一处闭环

Langfuse 与单纯的记录工具不同之处在于，收集到的数据可以直接用作改进的素材。

提示词可以与代码分离保存，支持版本管理和回滚。回答质量既可以交给另一个模型打分，也可以用固定的计算规则判定，还可以由人工逐条确认。把线上收到的输入直接做成数据集，替换模型或提示词后横向比较结果的实验功能同样具备。8 月下旬还新增了可复用的评估规则，以及把评分结果绘制成仪表盘图表的功能。

面向编程类 AI 的接入路径也在完善。可以从终端调用全部功能的命令行工具已于 8 月 21 日发布正式版，面向开发环境智能体则提供了 MCP 服务器。此外还加入了在界面内调查线上数据并直接执行已批准操作的助手功能。

遵循 OpenTelemetry，不做封闭绑定

集成范围之广也是一大特点。Langfuse 原生支持 OpenTelemetry，只要是支持该标准的语言或框架，都可以直接接入观测。Python 和 TypeScript 有专用 SDK，Go、Java、.NET、Ruby、PHP、Swift 则通过 OpenTelemetry 使用。

现成的集成超过 100 种。包括 LangChain、Vercel AI SDK、LiteLLM、Pydantic AI、Google ADK、CrewAI 等智能体框架，OpenAI、Anthropic、Google Gemini、Mistral AI、xAI、Amazon Bedrock、Groq、vLLM、Ollama 等模型提供方，以及 Dify、n8n、OpenWebUI、Cursor、Claude Code 等本地工具。不绑定特定框架的设计方针，直接体现在这份清单上。

数据导出也没有设限。全部功能都可以通过 REST API 操作，另外还提供查询用 SDK 以及导出到 S3 兼容存储的能力。

把它放在自己服务器上的选择

Langfuse 的全部产品功能都以 MIT 许可公开。想快速试用，用 Docker 一次性启动最省事，只需拉取仓库并启动容器。

git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up -d

面向生产环境，除了 Kubernetes 用的 Helm chart，还提供 AWS、GCP、Azure 各自的 Terraform 配置。内部使用 ClickHouse 作为分析型数据库，数据写入经队列异步处理，体积较大的输入输出则转存到对象存储，整体结构可以承载数亿条 trace。

云端版本同样存在，免费额度为每月 5 万条记录，无需绑定信用卡。安全方面已通过 SOC 2 Type II 和 ISO 27001，并可选择美国、欧盟与日本数据区域，以及用于处理医疗信息的配置。

开发方 Langfuse 目前已并入 ClickHouse。项目在 GitHub 上的 star 数超过 3 万，贡献者超过 300 人。据该公司公布的数据，其每月处理超过 100 亿条观测数据，客户数量超过 2,300 家。

总结

刚搭好智能体时，人们关心的往往只是它能不能跑通。真正投入运行之后，能否说清它为什么这样表现才是关键。Langfuse 把执行路径记录、评估和提示词管理放在同一个基础之上，而且以可自行部署的许可方式提供。如果你现在还说不清自己的智能体把 token 花在了哪里，那么从记录开始就很有价值。