1000多个智能体组成，AI社会模拟器MATRIX
AIxiv专栏是机器之心发布学术、技能内容的栏目。曩昔数年，机器之心AIxiv专栏接纳报导了2000多篇内容，掩盖全球各大高校与企业的尖端试验室，有用促进了学术沟通与传达。假如您有优异的作业想要共享，欢迎投稿或许联络报导。投稿邮箱：liyazhoujiqizhixin.com；zhaoyunfengjiqizhixin.com。
本文作者来自于上海交通大学人工智能学院的Multi-Agent Governance & Intelligence Crew (MAGIC团队)和牛津大学。一起榜首作者有唐铄、庞祥鹤、刘泽希和唐博瀚。辅导老师包含上海交大的王延峰教授、陈思衡副教授，以及牛津大学的董晓文副教授。
跟着大言语模型（LLMs）在处理杂乱使命中的广泛应用，高质量数据的获取变得尤为要害。为了保证模型可以精确了解并履行用户指令，模型有必要依靠很多实在且多样化的数据进行后练习。但是，获取此类数据往往伴跟着昂扬的本钱和数据稀缺性。因而，怎么有用生成可以反映实践需求的高质量组成数据，成为了当时亟需处理的中心应战。
那么，实在数据的需求是怎么发生的？想象一位程序员在进行机器学习模型的开发与调优时，他会提出问题：「怎么调整超参数以进步模型猜测精确率？」 这种指令并非随便而来，而是源于他所在的详细作业情境 —— 数据剖析和模型优化。相同，用户在日常日子中的指令无论是编程使命、医疗确诊仍是商业决议方案，往往与他们所面对的详细场景密切相关。要生成可以实在反映用户需求的组成数据，有必要从这些实践情境中动身，模仿出与用户需求相匹配的场景。
依据这一理念，上海交通大学与牛津大学的研讨团队提出了一项立异方案 —— 依据多智能体模仿的数据组成。团队提出了 MATRIX——AI 社会模仿器，构建了一个由 1000 多个 AI 智能体组成的模仿社会。在这个模仿社会中，每一个 AI 智能体代表了一个具有独立身份和品格的数字人，这些 AI 智能体可以模仿出杂乱的沟通和互动办法，涵盖了从软件开发到商业活动的广泛场景。依据这些场景，团队进一步开发了 MATRIX-Gen 数据组成器，可以依据不同需求组成高度多样化且高质量的练习指令数据。
论文链接：https://arxiv.org/pdf/2410.14251。
代码主页：https://github.com/ShuoTang123/MATRIX-Gen。
为验证 MATRIX-Gen 组成数据的高质量，研讨团队运用 Llama-3-8B-Instruct 驱动社会模仿，仅组成了 2 万条数据用于练习 Llama-3-8B-Base 模型。虽然数据量很少，练习后的模型在 AlpacaEval 2 和 Arena-Hard 基准测验中居然大幅逾越了 Llama-3-8B-Instruct 本身。这一成果不只证明了 MATRIX-Gen 组成数据的高效性，也标志着模型在组成数据驱动下完成了自我进化。此外，在代码生成、多轮对话和安全性使命上，MATRIX-Gen 生成的专用数据相同体现优异，乃至逾越了为这些特定使命规划的专用数据集。这项研讨为经过组成数据进步大言语模型功能供给了全新的处理方案，展现了 AI 模仿社会在数据组成中的巨大潜力，为未来大言语模型的后练习数据组成拓荒了立异的途径。
依据组成数据的后练习体系。
本研讨提出的后练习体系旨在运用依据多智能体模仿技能构建的 AI 模仿社会，组成高质量的练习数据，以进步预练习大言语模型的指令跟从才能。该体系的中心理念源于人类在实践场景中发问的办法 —— 人们依据本身需求提出多样且深化的问题。因而，本研讨经过 AI 模仿社会组成人类社会中的场景，并运用这些场景引导 LLM 提出信息丰厚、靠近实践的问题，然后发生高质量的练习数据。
如下图所示，该体系包含三个进程：
1. 组成社会场景：运用多智能体模仿技能构建 AI 模仿社会，该社会中的每个场景由一组 AI 智能体及其对应的文本举动构成。为了保证社会场景的实在性和多样性，本研讨规划了大规模人类社会模仿器 MATRIX，创建了一个包含各种 AI 智能体的互动环境。此模仿器充沛发挥了 LLM 的角色扮演才能，使得 AI 智能体可以逼真地模仿人类行为，进行规划、调查和举动，然后生成丰厚且高度实在的社会场景。
2. 组成练习数据：依据组成的社会场景，生成契合使命需求的后练习数据。本研讨规划了场景驱动的指令生成器 MATRIX-Gen，模仿人类在日常日子中提出问题的进程，结合场景生成指令，保证更高的实在性；经过挑选特定场景，可以组成契合使命需求的数据，具有可控性。这一进程组成包含 SFT、DPO 以及各种专用数据集。
3. 模型微调：运用组成的 SFT 数据集，对预练习模型进行监督微调，以取得具有指令跟从才能的模型。随后，依据组成的偏好数据集，选用 DPO 进一步练习模型。
AI 社会模仿器 MATRIX。
为了组成多样且丰厚的场景，以助力数据的组成，本研讨提出了人类社会模仿器 MATRIX。该模仿器的输入为若干 AI 智能体档案，输出为文本办法的场景。经过模仿人类的 AI 智能体和结构化的通讯机制，MATRIX 完成了大规模的人类社会模仿，然后生成多样且实在的场景。
模仿人类的智能体：每个 AI 智能体依据匿名化的实在人类档案进行初始化，并由 LLM 生成其特性和人生方针。这些方针进一步分解为可履行的进程，构成 AI 智能体的举动方案。例如，一个医学教授的日子方针或许包含传达科学知识，而其方案则包含进行研讨、宣布论文、进行讲座和安排教育项目。这些进程辅导 AI 智能体未来的举动，保证它们朝着方针尽力并展现出有目的的行为。当呈现新调查时，AI 智能领会依据其回忆和特性做出反响；在没有新调查的情况下，它们则遵从既定方案寻求方针。
结构化的通讯机制：受人类社会中同质性现象的启示，咱们依据类似特征对 AI 智能体进行分组，以削减不必要的衔接，然后进步模仿的可扩展性。在每组中，本研讨引进一个会集调节器来办理组内和组间的沟通。这一规划促进了类似 AI 智能体之间的更多互动，一起仍答应长距离沟通，丰厚信息流并增强实在性。此外，这种结构化通讯机制可以避免 AI 智能体接纳到过多无关信息，保证模仿的有用性。
数据组成器 MATRIX-Gen。
在组成了实在多样化的社会场景后，本研讨规划了场景驱动的指令生成器 MATRIX-Gen，以满意特定使命需求并组成后练习数据。经过挑选与用户需求相关的场景，MATRIX-Gen 可以生成契合人类目的的指令，然后保证组成指令的实在性和可控性。
如下图所示，在组成后练习数据的进程中，MATRIX-Gen 模仿了人类发问的进程。针对不同数据场景的需求（如通用使命或代码使命），MATRIX-Gen 结合每个 AI 智能体的特性和举动，将这些信息整合到指令生成提示中，模仿人类在日常日子中提出问题的办法。随后，依据上述指令生成提示，MATRIX-Gen 直接调用对齐的 LLM 生成组成指令及其对应的答复。
下图展现了一位 IT 司理在轿车数据剖析场景下，提出「怎么调整超参数以进步模型猜测精确率」的比如：
经过这一办法，本研讨可以组成三种类型的数据集，包含监督微调数据集 MATRIX-Gen-SFT、偏好调优数据集 MATRIX-Gen-DPO，以及特定范畴的 SFT 数据。每种数据集的指令生成在杂乱性和专业性上各具特色，保证满意不同场景下的需求。
功能体现。
在试验中，本研讨挑选 Llama-3-8B-Instruct 作为数据组成模型，挑选 Llama-3-8B 作为练习的模型，经过模型的练习作用评价 MATRIX-Gen 在通用使命、多轮对话、代码生成上的数据组成才能。
AlpacaEval 2 和 Arena-Hard 上的评价成果表明，经过多智能体模仿组成的 MATRIX-Gen-SFT 数据优于多个实在数据集以及组成数据集。
在 MATRIX-SFT 模型上 DPO 的练习成果表明，经过 MATRIX-Gen-DPO 练习的模型逾越多种组成偏好数据练习的模型，以及 Llama-3-8B-Instruct。值得注意的是，MATRIX-Gen-DPO 练习后的模型一共仅运用了 2 万条组成数据，便完成了对 Llama-3-8B-Instruct 本身的逾越，充沛展现了其高质量和自我进化的才能。
在代码生成与安全输出的使命中，MATRIX-Gen 组成的数据集均逾越了对应范畴的专用数据集，显示出 MATRIX-Gen 在组成数据上的高可控性。
上图展现了 MATRIX-Gen-SFT 组成指令的可视化，显示出组成数据的多样性。
总结与展望。
本研讨提出了一种依据 AI 智能体社会模仿的后练习数据组成结构。依托 MATRIX 组成的 AI 模仿社会，MATRIX-Gen 可以可控地组成高质量的多样数据。在通用和专用使命中，仅运用 0.2% 的数据，即可取得优于大模型研制领军团队 Meta AI 所用数据集的模型练习作用，突显了 MATRIX-Gen 在数据组成中的优势。
本研讨期望该数据组成结构可以协助定量研讨何种类型的数据更适合用于监督微谐和偏好优化，深化探讨不同数据特性对模型功能的影响。此外，咱们展望经过引进更强壮的 AI 智能体，如具有东西调用才能的 AI 智能体，以及接入更丰厚的环境，进一步组成更杂乱的数据，然后进步大言语模型在杂乱使命中的体现。