PPC905AE101 随着大型语言模型（LLM）技术的日渐成熟，其应用范围正在不断扩大。从智能写作到搜索引擎，LLM 的应用潜力正在一点点被挖掘。

最近，微软亚洲研究院提出可以将 LLM 用于工业控制，而且仅需少量示例样本就能达成优于传统强化学习方法的效果。该研究尝试使用 GPT-4 来控制空气调节系统（HVAC），得到了相当积极的结果。

论文地址：http://export.arxiv.org/abs/2308.03028

在智能控制领域，强化学习（RL）是最流行的决策方法之一，但却存在样本低效问题以及由此导致的训练成本高问题。PPC905AE101 当智能体从头开始学习一个任务时。传统的强化学习范式从根本上讲就难以解决这些问题。毕竟就算是人类，通常也需要数千小时的学习才能成为领域专家，这大概对应于数百万次交互。

但是，对于工业场景的许多控制任务，比如库存管理、量化交易和 HVAC 控制，人们更倾向于使用高性能控制器来低成本地处理不同任务，这对传统控制方法而言是巨大的挑战。

举个例子，我们可能希望只需极少量的微调和有限数量的参考演示就能控制不同建筑的 HVAC。HVAC 控制可能在不同任务上的基本原理都类似，但是场景迁移的动态情况甚至状态 / 动作空间可能会不一样。

不仅如此，用于从头开始训练强化学习智能体的演示通常也不够多。因此，我们很难使用强化学习或其它传统控制方法训练出普遍适用于这类场景的智能体。

使用基础模型的先验知识是一种颇具潜力的方法。这些基础模型使用了互联网规模的多样PPC905AE101 化数据集进行预训练，因此可作为丰富先验知识的来源而被用于各种工业控制任务。基础模型已经展现出了强大的涌现能力以及对多种下游任务的快速适应能力，具体的案例包括 GPT-4、Bard、DALL-E、CLIP。其中前两者是大型语言模型（LLM）的代表，后两者则能处理文本和图像。

基础模型近来取得的巨大成功已经催生出了一些利用 LLM 执行决策的方法。这些方法大致上可分为三类：针对具体下游任务对 LLM 进行微调、将 LLM 与可训练组件组合使用、直接使用预训练的 LLM。

之前的研究在使用基础模型进行控制实验时，通常选用的任务是机器人操控、家庭助理或游戏环境，而微软亚洲研究院的这个团队则专注于工业控制任务。对传统强化学习方法而言，该任务有三大难点：

1) 决策智能体通常面对的是一系列异构的任务，比如具有不同的状态和动作空间或迁移动态情况。强化学习方法需要为异构的任务训练不同的模型，这样做的成本很高。

2) 决策智能体的开发过程需要很低的技术债（technical debt），这说明所提供的样本数量不够（甚至可能没有），而传统的强化学习算法需要大数据才能训练，因此可能无法设计针对特定任务的模型。

3) 决策智能体需要以在线方式快速适应新场景或不断变化的动态情况，比如完全依靠新的在线交互经验而无需训练。

为了解决这些难题，微软亚洲研究院的 Lei Song 等研究者提出直接使用预训练 LLM 来控制 HVAC。该方法只需少量样本就能解决异构的任务，其过程不涉及到任何训练，仅使用样本作为少样本学习的示例来进行上下文学习。

据介绍，这项研究的目标是探索直接使用预训练 LLM 来执行工业控制任务的潜力。具体来说，他们设计了一种机制来从专家演示和历史交互挑选示例，还设计了一种可将目标、指示、演示和当前状态转换为 prompt 的 prompt 生成器。然后，再使用生成的 prompt，通过 LLM 来给出控制。

研究者表示，其目的是探究不同的设计方式会如何影响 LLM 在工业控制任务上的表现，而该方法的很多方面都难以把控。

• 第一，尽管该方法的概念很简单，但相比于传统的决策方法，其性能表现还不明朗。
• 第二，基础模型向不同任务的泛化能力（比如对于不同的上下文、动作空间等）仍然有待研究。
• 第三，该方法对语言包装器不同设计的敏感性也值得研究（例如，prompt 中哪一部分对性能影响最大）。

研究者希望通过解答这些问题凸显出这些方法的潜力以及展现可以如何为技术债较低的工业控制任务设计解决方法。

这篇论文的主要贡献包括：

• 开发了一种可将基础模型用于工业控制但无需训练的方法，其能以较低的技术债用于多种异构的任务。
• 研究者通过 GPT-4 控制 HVAC 进行了实验，得到了积极的实验结果，展现了这些方法的潜力。
• 研究者进行了广泛的消融研