Groq

GroqCloud 是由 Groq LPU 技术驱动的开发者推理平台。它通过兼容 OpenAI 的 API 提供语言、视觉、语音转文字、图像和其他模型工作负载，支持低延迟推理、结构化输出、工具调用和可配置服务层级。开发者可以在 Groq Console 中管理项目、密钥、用量、速率限制和支出，企业客户则可以申请更高容量与受治理部署。

✨ 主要功能

• 兼容 OpenAI 的推理 API：通过 Groq API 或兼容 SDK，使用模型和文档化端点发送聊天补全请求。
• 模型目录：选择文本、推理、编程、视觉、语音识别和复合工作流模型；模型会随新增或退役而变化。
• 低延迟 LPU 推理：为需要快速 token 生成的交互应用提供推理，具体取决于模型和账户速率限制。
• 结构化输出与工具调用：在支持时使用结构化响应、函数调用、引用和服务端工具，把模型结果接入应用。
• 语音转文字：使用支持的 Whisper 模型处理音频，额度按每小时/每天音频秒数限制。
• 服务层级：根据延迟、吞吐和容量需求选择 on-demand、flex、auto 或企业 Performance 行为。
• 批处理：提交异步 JSONL 工作负载，用于大数据集、评估或批量生成；官方文档说明相较同步 API 可享 50% 折扣。
• 项目与治理：通过项目级 API 密钥、权限、用量、日志和模型速率限制隔离应用与环境。
• 用量与支出控制：跟踪模型使用和成本，设置组织级月度支出上限，并在接近预算时接收提醒。

💳 价格与方案

• Free plan — $0 用量层：官方速率限制文档列出 Free Plan，并为测试提供按模型区分的请求、token 和音频基础限制；具体额度取决于模型和账户。
• Developer plan — 按用量付费：升级需要支付方式，按月末或递进阈值为 token 用量计费；增加更高限制、聊天支持、Flex、Batch 和支出限制，模型价格各不相同。
• Enterprise — 定制报价：面向特定工作负载提供更高限制和企业支持，并按合同确定容量与商业条款。
• Performance tier — 预置容量，联系销售：企业专属的优先容量服务，用于稳定低延迟；企业协议中记录了 99.9% 可用性 SLA 和 99% 延迟保证。
• 模型与媒体费率：本次核验的定价文档按模型列出 token 价格，并单独列出语音、图像/视频、工具调用和批处理费率；例如当前文档分别列出 Whisper 与各模型价格，而不是一个统一 API 费率。

价格说明：Groq 按用量而非固定坐席授权收费。Free/Developer 速率限制按组织和模型计算，token 价格、可用模型、媒体费率和额度可能变化。正式使用前请确认当前模型价格、速率层级、数据处理、支持范围和企业协议。

⚖️ 同类产品对比

🎯 应用场景

• 交互式 AI 应用：为面向用户的应用加入快速聊天、推理或编程响应。
• 智能体工具调用：用结构化响应把模型结果连接到函数、API、检索系统或服务端工具。
• 语音转写：把支持的音频转换为文本，用于搜索、字幕、笔记或后续分析。
• 生产延迟控制：根据吞吐和延迟需求选择 on-demand、Flex、auto 或企业 Performance 层级。
• 多环境开发：通过 Groq 项目隔离开发、预发布和生产环境的密钥、限制、日志与用量。