Langfuse

Langfuse 是一个开源 AI 工程平台，用于改进 LLM 与智能体应用。它把追踪、会话、成本与延迟分析、提示词版本管理、数据集、实验、评估、反馈和告警整合到 API 优先的工作空间中。团队可以使用 Langfuse Cloud，也可以自托管 MIT 许可的核心版本。

✨ 主要功能

• LLM 与智能体追踪：记录模型调用、检索、工具、嵌入、API 调用和智能体图。
• 会话与用户：聚合多轮对话，并按用户、功能、版本或环境查看用量。
• 成本与延迟分析：在仪表盘和 Metrics API 中追踪 token、支出、调用量、延迟和质量。
• 提示词管理：创建、版本化、组合、标记、部署、缓存并衡量文本或聊天提示词。
• Playground 与实验：针对数据集测试提示词版本和模型，并比较结果。
• 评估与评分：使用 LLM-as-a-judge、代码评估器、人工标注、用户反馈或自定义流程。
• 数据集与标注队列：建立测试集、创建基准答案并复核样本。
• SDK 与集成：通过 Python/JavaScript SDK、OpenTelemetry、LiteLLM、公共 API 和框架接入。
• 仪表盘与告警：按模型、提示词、用户、会话或标签切分指标，并通过 Slack、GitHub Actions 或 Webhook 通知。
• 云端与自托管：使用托管 Cloud 区域，或通过 Docker Compose、Kubernetes 和云基础设施部署开源核心。

💳 价格与方案

• Hobby：免费，无需信用卡；每月 50,000 个 units、30 天数据访问期、2 个用户和社区支持。
• Core：$29/月；每月 100,000 个 units、90 天数据访问期、无限用户和应用内支持，额外用量从每 100,000 个 units $8 起。
• Pro：$199/月；每月 100,000 个 units、3 年数据访问期、更高摄取限额、保留策略管理、无限标注队列和优先支持，额外用量从每 100,000 个 units $8 起。
• Enterprise：$2,499/月；企业支持、审计日志、SCIM、自定义限额、SLA 和专属支持工程师；年度承诺可使用自定义用量价格、AWS Marketplace 或发票结算。
• Self-hosted Open Source：核心平台和 API 按 MIT 许可免费使用，并包含无限用量；基础设施与可选 Enterprise 能力另计。

用量按摄取的 traces、observations 和 scores 计算，请以官方实时定价页为准。

⚖️ 同类产品对比

🎯 应用场景

• 调试智能体：在同一条 trace 中跟踪工具调用、检索、生成结果和延迟。
• 提示词迭代：对提示词版本化，并用数据集比较质量、成本和延迟。
• RAG 监控：检查检索上下文，并对相关性或回答质量评分。
• 成本控制：按模型、功能、用户或会话拆分 token 用量并设置告警。
• 回归测试：在 CI/CD 中运行 SDK 或界面实验，发现模型或提示词变更造成的回归。
• 人工复核：收集反馈、标注样本并建立基准数据。
• 自托管可观测性：当数据控制重要时，将开源核心部署在自己的基础设施中。

Langfuse 适合工程可观测性与质量流程，不能保证 LLM 输出一定正确。请核实数据保留、脱敏、访问控制、模型价格和评估器行为。