仅使用 20K 合成数据，就能让 Qwen 模子才能飙升——

模子主不雅对话才能权贵教化，还能达成模子自我迭代。

合成数据大法好！

最近，来自上海 AI Lab 的扣问团队针对合成数据技巧张开扣问，建议了 SFT 数据合成引擎 Condor，通过天下学问树（World Knowledge Tree）和自我反想（Self-Reflection）机制，探索合成海量高质料 SFT 数据的决策。

适度，他们还巧合发现，在增大合成数据量的情况下，模子性能抓续教化。

从 5K 数据量脱手，模子主不雅对话性能跟着数据量加多而教化，但数据量达到 20K 后，性能增长变缓——

LLM 数据合成新范式：基于天下学问树打造高质料对话数据

跟着大模子才能的快速发展，模子检修对高质料 SFT 数据的需求日益坚苦。数据合成技巧手脚一种新颖高效的数据生成战略，缓缓成为扣问热门，并在模子迭代历程中饰演珍摄要变装。

上海 AI Lab 扣问团队的 Condor 数据合成主要包含两个阶段：Condor Void 和 Condor Refine。

通盘历程中，扣问团队仅使用一个 LLM 手脚运行模子，同期承担问题合成、修起合成、修起评价和修起革新的多重变装。

使用天下学问树进行各样化请示合成。

具体来说，Condor 最初诓骗模子生成一系列天下学问树，给定模子一些重要词，让其自己递归生成更多的子重要词，从而变成齐备的学问树。每个节点手脚一个 Tag，用于后续数据生成。

举例，给定"东说念主工智能"这个重要词，生成一条由粗到细的学问链路：

东说念主工智能——深度学习——计较机视觉——自动驾驶——单目筹商检测

Condor 以这条学问链路手脚布景学问，条款模子生成干系问题。为进一步教化合成请示的各样性，扣问团队引入了任务各样性和问题难度各样性的增广条款。

针对不同类型的主不雅任务（如不异聊天、变装扮演、创意创作等），扣问东说念主员全心瞎想了不同的问题模板来指导模子生成对应任务下的问题。在生成问题时，Condor 条款模子在一次生成中同期生成三种不同难度的问题。

自我反想教化修起质料

关于每一条学问链路，基于 Condor 不错荟萃到不同任务类型、不同难度的多个问题。扣问东说念主员将这些问题输入模子，生成运转修起，得到第一版的 SFT 合成数据。

Condor Refine Pipeline 引入自我反想战略，使用模子对第一版修起进行评价并生成修改想法，指导模子进一步革新修起，从而赢得最终的高质料 SFT 数据。

使用合成数据提高模子通用对话才能

扣问东说念主员使用开源模子 Qwen2.5-72B-Instruct 进行数据合成，得到 Condor Void 和 Condor Refine 两个版块的合成数据，并基于 Qwen2.5-7B 进行 SFT 检修，测试其主不雅对话才能和客不雅笼统才能。

从执行适度不错看出，使用 Condor 合成数据检修的模子在主不雅对话才能上与 Qwen2.5-7B-Instruct 具有竞争力。

同期，基于 Condor 合成数据检修的模子在主流客不雅评测基准上保抓了性能。Condor 比拟其他基线尺度具有权贵的性能上风。

数据边界影响与模子自我迭代

扣问团队进一步探索在增大合成数据量的情况下，模子性能能否抓续教化。

从 5K 数据量脱手，缓缓加多到 200K，不雅察不同数据量下检修出的模子性能。

适度裸露，模子主不雅对话性能跟着数据量加多而教化，但数据量达到 20K 后，性能增长变缓。

诓骗合成数据能否达成模子的自我迭代呢？

扣问团队诓骗 Qwen2.5-7B-Instruct 和 Qwen2.5-72B-Instruct 模子经过 Condor Pipeline 生成两版数据，并诀别检修 7B 和 72B 的 Base 模子，不雅察自我迭代效力。

从适度不错看出，经过 Condor 合成数据检修，模子在 7B 和 72B 上均达成了自我迭代，比拟基线性能进一步教化。

合成数据为什么有用？

Condor 的合成数据何如对模子产生增益作用？扣问团队进行了一系列分析。扣问东说念主员将主不雅评测集按各个才能维度拆解，统计在各个维度上的增益，发咫尺通盘维度上皆产生了增益，在 Creation、QA 和 Chat 上的增益尤为昭彰。

进一步的，扣问东说念主员对 Condor Pipeline 合成的问题请示进行分析。使用 T-SNE 投影与 Magpie 尺度合成的问题进行对比，发现 Condor 合成的数据和 Magpie 均能达成庸碌的学问掩盖。

再来望望模子在对话修起中的发扬，通过和原始模子进行对比咱们不错发现，Condor 合成的数据检修后的模子即使和官方模子比拟，在修起作风（如幽默，创意）的主不雅感受上也要更胜一筹，能愈加拟东说念主化并研讨到回答细节的改善。

合成数据是大模子迭代的首要决策，仍有好多值得探索的扣问问题，如高质料推理数据和多轮对话数据的有用合成战略、竟然数据和合成数据的配合配比机制、以及何如轻松合成数据的 Scaling Law 等。咫尺，Condor 的合成数据和检修后的模子均已开源，迎接社区用户体验和探索。

Github:   https://github.com/InternLM/Condor

数据集：https://hf.co/datasets/internlm/Condor-SFT-20K

论文：https://arxiv.org/abs/2501.12273

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿实质‍

附上论文 / 方式主页邻接，以及干系方式哦

咱们会（尽量）实时修起你

一键热心 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「注意心」

迎接在指摘区留住你的主见！各种游戏等你来！