大模型提示词工程师的自我修养-提示技巧二（思维树、RAG检索增强生成） -(专题2）

1. 思维树 (ToT)

对于需要探索或战略性预测的复杂任务，传统或简单的提示技术往往不足以应对。Yao 等人（2023）和 Long（2023）最近提出了“思维树”（Tree of Thoughts，ToT）框架，这是一种在链式思维提示（chain-of-thought prompting）基础上进行概括并鼓励对作为解决问题中间步骤的思维进行探索的框架。

ToT 维护一个思维树，其中的“思维”代表着有条理的语言序列，这些序列作为解决问题的中间步骤。这种方法使得语言模型能够通过一系列有目的的推理过程，自我评估在解决问题过程中通过中间思维所取得的进展。语言模型生成和评估思维的能力与搜索算法（如广度优先搜索和深度优先搜索）结合，能够在思维的探索过程中实现前瞻性和回溯。

下图展示了 ToT 框架：

图像来源：Yao 等人（2023）

在使用思维树（ToT）时，不同的任务需要定义候选数量和思维/步骤数量。例如，正如论文中所示，“24点游戏”被用作数学推理任务，需要将思维分解为