Groq

Groq 的 LPU（语言处理单元）提供极速的 LLM 推理服务，以高吞吐量和低延迟著称。以下是快速上手指南：

1. 注册与获取 API 密钥：访问 Groq 官网，注册账户并登录。在控制台创建 API 密钥，妥善保存。

1. 选择模型：Groq 支持多种开源模型（如 Llama、Mixtral）。根据需求选择合适的模型 ID，例如 mixtral-8x7b-32768。

1. 调用 API：使用 HTTP POST 请求端点 https://api.groq.com/openai/v1/chat/completions，在请求头中设置 Authorization: Bearer YOUR_API_KEY。请求体格式类似 OpenAI，例如：

{
  "model": "mixtral-8x7b-32768",
  "messages": [{"role": "user", "content": "Hello"}],
  "temperature": 0.7
}

1. 优化性能：利用流式（streaming）响应减少等待时间；设置 max_tokens 控制输出长度；调整 temperature 平衡创造性与确定性。

1. 错误处理：注意 429 限流和 401 认证错误，建议重试机制。

1. 价格与配额：Groq 提供免费额度，超出后按 token 计费。查看控制台用量。

遵循以上步骤，即可快速体验 Groq LPU 的极速推理。