From ac83db0955f34e79b4d192bd0f209a9492b02b55 Mon Sep 17 00:00:00 2001 From: bluish <734499798@qq.com> Date: Thu, 8 Jan 2026 07:15:09 +0000 Subject: [PATCH] =?UTF-8?q?=E6=8F=90=E7=A4=BA=E8=AF=8D=E7=AC=94=E8=AE=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- src/content/posts/prompt.md | 35 +++++++++++++++++++++++++++++++++-- 1 file changed, 33 insertions(+), 2 deletions(-) diff --git a/src/content/posts/prompt.md b/src/content/posts/prompt.md index 0e154ab..2150eee 100644 --- a/src/content/posts/prompt.md +++ b/src/content/posts/prompt.md @@ -5,7 +5,8 @@ pinned: false description: 什么是大模型提示词? tags: [Prompt] category: 学习日志 -draft: true +draft: false +sourceLink: [https://ai.google.dev/gemini-api/docs/prompting-strategies?hl=zh-cn#model-parameters,https://github.com/08820048/-LLM-Prompt-Engineering-Google/blob/master/%E6%8F%90%E7%A4%BA%E5%B7%A5%E7%A8%8B(%E4%B8%AD%E6%96%87%E7%89%88).md] --- 开始前先推荐一个闯关网站 [点击跳转](https://gandalf.lakera.ai/) @@ -32,6 +33,8 @@ Gpt-4o Answer: ```text “零-shot”指的是在没有提供任何期望行为示例的情况下,直接引导模型进行操作。 ``` + +> 在提示词编写中,建议包含以下要素:角色(可选)、任务、限制条件(规则)、上下文、输出格式和输出要求 ### Few-shot prompts 少样本提示 少样本提示指的是提示词有少许输出示例。例如: @@ -54,6 +57,11 @@ Gpt-4o Answer: ```text 零样本意味着在没有任何期望行为示例的情况下对模型进行提示。 ``` + +> 提供少量提示,可以让模型更好地知道输出格式,可以让输出更稳定。示例的最佳数量需要多次实验,如果太多示例,会产生过拟合。如果过少,可能达不到提示的效果。并且示例尽可能包含可能出现的全部情况和边缘情况,这样当遇到不符合预期的输入和输出时,模型也能按照预期输出,不会出现无法控制的情况。 +> 示例尽量使用正向示例,模型的遵守程度会比反例更优 +> 提示词需要保持风格一致,如果使用xml格式,则全文保持xml格式。避免多种格式混用的情况。 +> 如果有多个指令,尽量分解指令,不要在一个提示词中包含过多指令。 ### Chain-of-thought prompts 思维链(COT) 思维链是指在提示词中给出几步思考的提示,也可以直接让LLM"让我们逐步地思考这个问题”。 Question: @@ -165,6 +173,29 @@ Gpt-4o Answer: 在此运算得到的信息足以再度验证其过程和值,最终结论证明在具体高偏运动中需考虑更微量但关系理论可应对。 ``` -正确答案是乙的速度为60米/分钟,甲乙相距90米。虽然最终没有解答正确, +正确答案是乙的速度为60米/分钟,甲乙相距90米。 +上面的提示词只是加了一句“请逐步思考问题”,推理的逻辑就能够比原来的更加清晰,这在一些场景非常有效。 +### 提示词迭代技巧 +1、从不同角度描述同一件事,对比效果。 +2、更换任务为相似的任务形式。比如分类的任务可以变为做单选题的任务,让模型选择一个选项。 +3、更换提示词中不同部分的排列顺序。 +# 大模型输出配置 +除了提示词,我们还可以通过参数控制模型的输出。针对不同的任务需要设置不同的参数,才能达到更好的效果。 +## 输出长度 +输出长度的设置不会影响模型输出的风格。在一些需要短输出的场景中,需要设置较小的输出长度,否则模型可能会在生成完内容后,补充一些无用的内容,这既影响了生成速度,也会让成本增加。 +## 采样控制 +有三个常见的采样控制参数。温度、Top-K、Top-P和stop_sequences。它们通过不同的策略修改下一个令牌的预测概率,实现对输出内容的控制。 +### 温度(temperature) +温度可以控制 token 选择的随机性。温度在生成回答期间用于采样。较低的温度代表着确定性的回复,较高的温度代表着多样性的回复。如果温度为0,表示始终选择概率最高的token。 +### Top-K +topK 参数可更改模型选择输出 token 的方式。如果 topK 设为 1,表示所选 token 是模型词汇表的所有 token 中概率最高的 token(也称为贪心解码)。如果 topK 设为 3,则表示系统将从 3 个概率最高的 token(通过温度确定)中选择下一个 token。在每个词元选择步骤中,系统都会对概率最高的 topK 个词元进行采样。然后,系统会根据 topP 进一步过滤词元,并使用温度采样选择最终的词元。 +### Top-P +topP 参数可更改模型选择输出 token 的方式。系统会按照概率从最高到最低的顺序选择 token,直到所选 token 的概率总和等于 topP 值。例如,如果词元 A、B 和 C 的概率分别为 0.3、0.2 和 0.1,并且 topP 值为 0.5,则模型将选择 A 或 B 作为下一个词元(通过温度确定),并会排除 C 作为候选词元。默认 topP 值为 0.95。 +### stop_sequences +stop_sequences:设置停止序列,告知模型停止生成内容。停止序列可以是任意字符序列。尽量避免使用可能会出现在生成内容中的字符序列。 + +> 作为起点,温度0.2、Top-P 0.95、Top-K 30会生成相对连贯但不过分创意的输出。如果想要特别有创意的结果,可以试温度0.9、Top-P 0.99、Top-K 40。如果想要> 更严谨的结果,试温度0.1、Top-P 0.9、Top-K 20。如果任务有唯一正确答案(比如数学问题),从温度0开始。 +> 注意:自由度更高(高温度、Top-K、Top-P和输出令牌)可能导致模型生成不太相关的文本。 +> 回答末尾堆满无意义的填充词?这是大语言模型常见的“重复循环错误”,模型陷入循环,反复生成相同的词、短语或句子结构,通常由不合适的温度和Top-K/Top-P设置引发。这种问题在低温和高温时都可能出现。低温时,模型过于确定,固守最高概率路径,可能回到之前生成的文本,造成循环。高温时,输出过于随机,随机选择的词可能碰巧回到之前状态,造成循环。解决方法通常需要仔细调整温度和Top-K/Top-P,找到确定性和随机性的最佳平衡。