核对用量
成功响应通常包含usage:
prompt_tokens:系统提示、消息历史、工具定义等输入。completion_tokens:模型生成的输出。total_tokens:本次请求总 Token 数。
控制成本
- 为模型和业务设置单次最大输出。
- 压缩不必要的历史消息,但不要破坏任务所需上下文。
- 对可缓存的固定提示词使用应用侧缓存。
- 按 API Key、应用、模型和环境拆分用量。
- 为异常调用量和余额设置告警。
不同模型、渠道和能力可能使用不同计费方式。账单核对应以控制台记录为准,不要仅依赖客户端估算。