封面图

适合读者

  • 已经能调用 API 但输出不稳定的开发者
  • 需要调优生成质量的产品工程师

这篇文章解决什么问题？

参数乱调导致回答忽长忽短、风格飘忽、成本不可控。

核心概念解释

  • temperature
  • top_p
  • token 上限
  • 停止条件
  • 可复现实验

实战步骤

  1. 准备固定测试问题
  2. 对比不同参数组合
  3. 记录输出质量和 token 消耗
  4. 给不同场景设置推荐参数

Python 代码示例

本文配套 demo 会生成在：

cd examples/llm-guides/002_llm_api_parameters
python demo.py

示例代码遵循两个原则：

  • 从 OPENAI_API_KEY 读取密钥，不在代码里写死。
  • 没有 API Key 时自动进入 mock 模式，方便先理解流程。

核心调用方式可以简化成下面这样：

import os

api_key = os.getenv("OPENAI_API_KEY")
if not api_key:
    print("未配置 OPENAI_API_KEY，进入 mock 模式。")
else:
    # 真实项目中在这里初始化 SDK 客户端并发起请求。
    print("已读取 OPENAI_API_KEY，可以调用模型。")

常见坑

  • 只跑通 Demo 就直接发布，缺少错误处理、日志和人工审核。
  • 把 API Key、真实路径、账号或业务数据写进文章和代码。
  • 没有区分 mock 示例和真实线上环境，导致读者复制后无法复现。
  • 引用 API 或框架能力时没有核对官方文档，版本变化后容易误导读者。

总结

  • 这篇文章围绕「大模型使用指南 02：temperature、max_tokens、top_p 到底怎么调？」解决一个具体工程问题：参数乱调导致回答忽长忽短、风格飘忽、成本不可控。
  • 实践时优先保证可复现、可回滚、可人工审核，不要只追求一次性生成效果。
  • 涉及模型能力、API 参数和第三方框架时，发布前需要重新核对官方文档。

CSDN 标签

大模型、Prompt、Python、参数调优、AIGC

公众号摘要

通过对照实验理解生成参数的真实影响，让模型输出更稳、更省、更容易复现。

知乎标题变体

  • temperature 调高一定更好吗？
  • 大模型生成参数应该怎么设置？
  • 为什么同一个 Prompt 每次回答都不一样？

参考资料与延伸阅读

  • OpenAI 官方文档：以你实际使用的模型、SDK 和账号权限为准。
  • Python 官方文档：环境变量、虚拟环境和异常处理部分。
  • 相关框架官方文档：LangChain、LlamaIndex、Haystack、向量数据库等按文章主题选择。