如何优化大型语言模型(LLM)中的提示(prompt),以更有效地利用这些黑盒模型的能力。传统的优化方法倾向于寻找全局最优解,但在某些情况下这种做法可能表现不佳。

  • 首先,相比于全局最优解的稀有性,局部最优解通常更加丰富且性能良好,这为高效的提示优化提供了更多可能性;
  • 其次,输入域的选择(包括提示的生成和表示方式)会影响高性能局部最优解的识别。

受此启发,作者提出了一种名为局部零阶提示优化(Localized Zeroth-Order Prompt Optimization,ZOPO)的新算法,该算法将基于神经切线核推导的高斯过程与标准零阶优化相结合,以高效地搜索具有良好性能的局部最优解。实验结果表明,ZOPO在优化性能和查询效率方面均优于现有基线方法。

1 局部零阶提示优化--ZOPO

ZOPO是一种旨在提高提示优化过程中查询效率和优化性能的方法。目的是提高基于提示的方法利用大型语言模型(LLMs)的能力,特别是在那些寻找全局最优解表现不佳的任务上。与全局最优解相比,局部最优解更常见且性能良好,这使得它们成为更值得追求的目标。输入域的选择,包括提示的生成和表示方式,会影响高性能局部最优解的识别。


(1)输入域变换:

  • 使用大型语言模型生成提示候选。利用NLP嵌入模型将这些生成的提示转换成其对应的隐藏表示形式,从而充分利用LLMs的生成能力和NLP嵌入模型的表示能力。

(2)零阶优化框架:

  • 采用增强的零阶优化(ZOO)方法,通过一个推导出的高斯过程来进行高效的梯度估计。在这个框架中,进一步整合了神经切线核(NTK)来处理复杂和高维的提示优化任务。

(3)不确定性指导的局部探索:

  • 设计了一种基于不确定性的局部探索方法,以改善在推导出的NTK-GP框架中的梯度估计,从而增强算法的实际性能。


若想了解更多有关油气行业大模型,赋能油气行业领域发展,可查看油气通GPT云平台,链相关接: https://cn.oilgasgpts.com/ ,也可使用手机扫描下方二位码进行查看。