香港科大：PreSelect用AI预测提升训练效率10倍

想要训练出一个优秀的人工智能语言模型，就像培养一个博学的学者一样，关键在于给它"喂"什么样的知识。但问题来了，互联网上的文本资料浩如烟海，质量参差不齐，如何从中挑选出最有价值的训练材料呢？香港科技大学的研究团队最近提出了一个巧妙的解决方案，他们开发了一种名为PreSelect的方法，能够智能识别出对训练语言模型最有帮助的数据。这项研究由香港科技大学的沈家俊、黄宇珍等研究者与Vivo AI实验室合作完成，发表于2025年的arXiv预印本服务器，有兴趣深入了解的读者可以通过论文编号arXiv:2503.00808v3访问完整论文。

这项研究的核心洞察令人惊喜：通过分析不同模型在特定文本上的"理解难度"，竟然能够预测这些文本对训练新模型的价值。研究团队发现，那些能够准确反映模型能力差异的文本，往往也是最适合用来训练模型的优质材料。基于这一发现，他们开发的PreSelect方法在实验中表现出色，仅用30B个训练样本就达到了传统方法需要300B样本才能实现的效果，实现了10倍的计算效率提升。

一、数据质量决定模型能力：为什么选择比数量更重要

在人工智能语言模型的训练过程中，数据扮演着至关重要的角色。就好比一个厨师准备一道大餐，食材的新鲜度和品质直接决定了最终菜品的味道。对于语言模型来说，训练数据的质量同样是决定其最终表现的关键因素。

传统的做法往往是"多多益善"，认为只要有足够多的数据，模型就能学得更好。然而，现实并非如此简单。互联网上的文本内容质量千差万别，有些是精心撰写的学术论文和专业文章，有些则是随意的聊天记录或低质量的网页内容。如果不加选择地将所有内容都用于训练，就像在营养餐中掺入垃圾食品一样，不仅不会提升模型能力，反而可能产生负面影响。

研究团队注意到，当前的语言模型训练通常需要处理数万亿个词汇单元，但计算资源和时间成本却是有限的。这就像一个学生准备考试，时间有限的情况下，选择最有价值的复习材料比盲目刷题更加重要。因此，如何从海量数据中筛选出最有价值的训练样本，成为了提升模型训练效率的关键问题。

以往的数据筛选方法主要依赖人工制定的规则，比如根据文本长度、语言流畅度或者内容类型来过滤数据。这些方法虽然能够去除一些明显的低质量内容，但往往无法准确识别出真正对模型学习最有帮助的高价值数据。就像用筛子筛面粉，只能去除大颗粒杂质，但无法判断剩下的面粉品质如何。

二、压缩效率反映智能水平：发现数据价值的新视角

PreSelect方法的核心思想源于一个有趣的观察：如果我们能够准确预测一段文本对模型能力的反映程度，那么这段文本很可能也是训练模型的优质材料。这个想法的灵感来自于"压缩即智能"的理念，也就是说，一个模型对文本的压缩能力越强，往往意味着它对该文本的理解越深刻。

具体来说，研究团队发现了一个规律：当多个不同能力的语言模型处理同一段文本时，它们的"理解难度"排序往往能够准确反映这些模型的真实能力水平。这就像几个不同水平的学生做同一道题，题目的难易程度能够很好地区分出学生的能力差异。那些能够有效区分模型能力的文本，通常也是对训练新模型最有价值的材料。

这种现象可以用一个简单的类比来理解：假设你想要测试几个学生的数学水平，你会选择什么样的题目？太简单的题目人人都会做，无法区分能力差异；太难的题目可能大家都不会，同样失去了区分性。最好的测试题目应该是那些难度适中、能够清晰反映不同学生能力水平的题目。对于语言模型训练来说，最有价值的文本数据也具有类似的特征。

研究团队通过分析大量实验数据验证了这一观察。他们选择了Llama系列的6个不同规模模型，从7B参数到65B参数不等，然后观察这些模型在处理各种文本时的表现。结果发现，那些能够准确反映模型能力排序的文本，确实在模型训练中表现出更高的价值。这为数据筛选提供了一个全新的评判标准。

三、PreSelect方法详解：如何识别高价值训练数据

基于上述发现，研究团队开发了PreSelect数据筛选方法。这个方法的工作原理可以比作一个经验丰富的老师挑选教学材料的过程。

首先，PreSelect需要建立一个"能力基准"。研究团队选择了6个不同规模的Llama模型作为参考标准，这些模型在各种任务上的表现已经得到了充分验证。然后，他们从预训练语料库中随机抽取了90万个文档样本，确保覆盖了3000个不同的网站域名，以保证样本的多样性和代表性。

接下来是关键的"预测强度"计算步骤。对于每一个文档，PreSelect会计算6个参考模型处理该文档时的标准化损失值。这个损失值反映了模型理解该文档的难度程度，损失越低说明模型理解得越好。然后，PreSelect会检查这些损失值的排序是否与模型真实能力排序一致。如果一致度很高，说明这个文档具有很强的"预测能力"，是高价值的训练材料。

为了让这个过程更加直观，我们可以用考试成绩来类比。假设有6个学生能力从高到低排列，一道好的考试题目应该让成绩排序与能力排序完全一致，即能力最强的学生得分最高，能力最弱的学生得分最低。PreSelect正是寻找这样的"好题目"，也就是能够准确反映模型能力差异的文本。

计算出每个文档的预测强度分数后，PreSelect会选择分数最高的文档作为正面样本，分数最低的文档作为负面样本。然后使用这些样本训练一个轻量级的fastText分类器，这个分类器就像一个训练有素的质量检查员，能够快速判断新文档的价值。

四、实验验证：10倍效率提升的惊人表现

为了验证PreSelect方法的有效性，研究团队进行了大规模的对比实验。他们使用RefinedWeb数据集作为基础语料库，这是一个经过基础清理和去重处理的高质量网络文本集合，包含超过20万亿个词汇单元。

实验设计非常严谨，研究团队分别训练了400M、1B和3B参数规模的语言模型，并在17个不同类型的评估任务上测试性能。这些任务涵盖了阅读理解、常识推理、数学计算、代码理解等多个方面，确保了评估的全面性。

实验结果令人印象深刻。在1B参数模型的实验中，使用PreSelect方法筛选的30B训练样本，其训练出的模型性能竟然超过了使用随机选择的300B样本训练的模型。这意味着PreSelect实现了10倍的训练效率提升，大大降低了计算成本和时间开销。

更具体地说，在各种评估任务上，PreSelect都表现出了显著优势。比如在ARC-Easy阅读理解任务上，PreSelect训练的模型比随机选择方法提升了8.8个百分点；在BBH复杂推理任务上提升了8.4个百分点；在SciQ科学问答任务上提升了6.7个百分点。这些提升幅度在语言模型领域是相当可观的。

与其他先进的数据筛选方法相比，PreSelect同样展现出了明显优势。在与DCLM、FineWeb-Edu等方法的对比中，PreSelect平均性能提升超过2个百分点。特别值得注意的是，PreSelect在数学和代码理解任务上的表现尤为突出，相比基线方法分别提升了19%和18%。

五、方法优势：轻量高效的智能筛选

PreSelect方法相比其他数据筛选技术具有几个显著优势。首先是计算效率高。整个筛选过程只需要在90万个样本上运行一次推理计算，总计算量仅相当于25个H100 GPU小时，这对于动辄需要数千GPU小时的模型训练来说几乎可以忽略不计。

其次是部署简单。PreSelect最终只需要一个轻量级的fastText分类器就能完成数据筛选，这个分类器的体积很小，运行速度很快，可以轻松处理大规模数据集。相比之下，一些其他方法需要运行大型语言模型进行实时评估，计算开销要大得多。

第三是适用性广。PreSelect不依赖特定的数据域名或内容类型，而是基于文本的内在质量进行判断。这意味着它可以应用于各种不同来源的数据集，具有很好的通用性。实验表明，PreSelect在RefinedWeb和C4两个不同的数据集上都取得了良好效果，证明了其广泛的适用性。

最后是可解释性强。通过分析fastText分类器学到的特征权重，研究人员可以了解PreSelect倾向于选择什么样的文本内容。分析结果显示，PreSelect偏好包含数学符号、编程代码、学术引用等高质量内容的文本，这与人类对优质训练数据的直觉判断是一致的。

六、深入分析：什么样的数据被认为是高质量的

为了更好地理解PreSelect的选择偏好，研究团队对被选中的高质量数据进行了详细分析。结果发现，PreSelect倾向于选择几类特定的内容。

首先是学术和教育相关的内容。分析显示，维基百科、学术论文、教育网站等来源的文本在高质量数据中占比较高。这些内容通常结构清晰、信息准确、表达规范，是训练语言模型的优质材料。

其次是技术和专业内容。包含编程代码、数学公式、技术文档的文本也经常被PreSelect选中。这类内容虽然对普通人来说可能比较晦涩，但它们的逻辑性强、表达精确，有助于提升模型的推理能力。

再次是高质量的创作内容。一些文学作品、深度分析文章、专业评论等内容也受到PreSelect的青睐。这些文本通常语言丰富、逻辑清晰、信息密度高，能够帮助模型学习更好的语言表达能力。

相对地，PreSelect倾向于排除一些低质量内容，比如重复性高的广告文本、结构混乱的论坛讨论、信息密度低的社交媒体内容等。这些内容要么信息价值有限，要么可能引入噪声，不利于模型学习。

有趣的是，PreSelect选择的数据在长度分布上也表现出一定的特点。相比随机选择，PreSelect倾向于选择长度适中的文档，既不过短导致信息不足，也不过长导致处理困难。平均而言，被选中文档的字符长度约为4000个，这个长度既能包含足够的信息，又便于模型处理。

七、与其他方法的对比：PreSelect的独特优势

在数据筛选领域，已经存在多种不同的方法，每种方法都有其特定的设计思路和适用场景。通过与这些方法的详细对比，可以更好地understanding PreSelect的独特价值。

传统的基于规则的方法，比如CCNet和RefinedWeb的启发式过滤，主要依赖人工设计的规则来判断文本质量。这些规则可能包括文本长度、重复字符比例、标点符号使用等指标。虽然这类方法简单易行，但往往难以捕捉文本的深层语义质量，可能会误伤一些表面看起来不规范但内容有价值的文本。

另一类是基于预训练模型的方法，比如DCLM。这类方法使用已有的高质量数据（如监督微调数据）作为正面样本，训练一个分类器来识别相似的文本。虽然这种方法能够捕捉一些语义特征，但它过分依赖特定类型的参考数据，可能会产生选择偏见，只偏好与参考数据相似的内容。

还有一些基于困惑度的方法，比如困惑度过滤。这类方法认为模型处理起来更容易的文本（困惑度更低）质量更高。但实际上，过于简单的文本虽然困惑度低，但信息价值也可能有限，不一定是最好的训练材料。

相比之下，PreSelect采用了一个全新的视角：不是单纯看文本的表面特征或与特定参考的相似度，而是看文本能否有效区分不同模型的能力。这种方法更加本质，因为它直接关注文本对模型能力提升的潜在价值。

实验结果也证实了这种思路的优越性。在与困惑度相关方法的对比实验中，PreSelect在大多数任务上都取得了更好的性能。特别是在需要复杂推理的任务上，PreSelect的优势更加明显，这说明它确实能够识别出对提升模型智能水平更有价值的训练数据。

八、技术实现细节：如何让PreSelect工作起来

PreSelect方法的技术实现涉及几个关键步骤，每个步骤都经过精心设计以确保方法的有效性和可操作性。

数据采样阶段是整个流程的基础。为了确保样本的代表性，研究团队采用了分层采样策略。他们首先统计了整个语料库中最频繁的3000个域名，然后从每个域名下随机选择300个文档。这样既保证了样本的多样性，覆盖了不同类型的内容来源，又保证了足够的样本数量用于后续分析。

在计算预测强度分数时，研究团队使用了一个巧妙的排序匹配算法。对于每个文档，他们首先计算6个参考模型的标准化损失值，然后检查这些损失值的排序与模型真实能力排序的匹配程度。匹配度越高，说明该文档的预测能力越强。具体的计算公式考虑了所有可能的模型对之间的排序关系，确保了评分的准确性和稳定性。

fastText分类器的训练也经过了特殊优化。考虑到训练数据的多样性和复杂性，研究团队将训练轮数设置为5轮，比默认设置更多，以确保分类器能够充分学习数据特征。同时，他们还特对分类器的输出进行了后处理，消除了可能引入长度偏见的因素，确保筛选结果的公平性。

为了提高方法的可扩展性，PreSelect使用了高效的并行处理技术。在处理大规模数据集时，可以将数据分批处理，每批独立计算预测强度分数，最后合并结果。这种设计使得PreSelect能够轻松处理万亿级别的语料库，满足实际应用需求。

九、实验的全面性：多维度验证方法有效性

为了确保研究结果的可靠性和普适性，研究团队设计了非常全面的实验验证方案。他们不仅测试了不同规模的模型，还验证了方法在不同数据集和模型架构上的表现。

在模型规模方面，实验涵盖了从400M到3B参数的多个规模。这个范围虽然没有包括当前最大的模型，但已经能够很好地验证方法的有效性。小规模模型的实验成本相对较低，便于进行多次重复验证，而且实验结果也更容易被其他研究者复现。

在评估任务方面，研究团队选择了17个不同类型的任务，包括阅读理解、常识推理、科学问答、数学计算等多个方面。这些任务基本覆盖了语言模型需要掌握的主要能力，能够全面评估模型的综合表现。特别值得注意的是，研究团队还加入了数学和代码相关的评估，这些任务对数据质量的要求更高，更能体现筛选方法的价值。

为了验证方法的跨数据集适用性，研究团队还在C4数据集上进行了额外实验。C4是另一个广泛使用的预训练数据集，其特征与RefinedWeb存在一定差异。实验结果显示，PreSelect在C4上同样取得了良好效果，证明了方法的通用性。

在模型架构方面，除了主要实验使用的Llama架构，研究团队还测试了Pythia架构。两种架构在设计理念和技术细节上存在差异，但PreSelect在两种架构上都表现良好，说明方法不依赖特定的模型架构。

十、计算开销分析：高效率的背后

PreSelect方法的一个重要优势是计算开销相对较低，这对于实际应用具有重要意义。研究团队对方法的计算成本进行了详细分析。

在数据预处理阶段，PreSelect需要对90万个样本进行一次推理计算，使用6个不同规模的Llama模型。虽然涉及多个模型，但由于样本数量相对较少（相比数万亿的训练数据），总计算量约为1.8×10^20 FLOPs，相当于25个H100 GPU小时。这个开销对于通常需要数千GPU小时的模型训练来说是很小的。

fastText分类器的训练成本更是微不足道。由于fastText本身就是一个轻量级模型，训练时间通常在几分钟到几十分钟之间，即使在普通的CPU上也能快速完成。

在数据筛选阶段，PreSelect只需要运行训练好的fastText分类器，这个过程非常高效。对于万亿级别的语料库，筛选过程可以在几天内完成，远快于需要运行大型语言模型的筛选方法。

值得注意的是，PreSelect的计算开销主要集中在一次性的预处理阶段，一旦建立了fastText分类器，就可以重复使用来筛选不同的数据集。这种设计使得方法具有很好的经济性，特别适合需要处理多个数据集的场景。

十一、数据特征分析：揭示高质量数据的秘密

通过对PreSelect选择的数据进行深入分析，研究团队揭示了高质量训练数据的一些有趣特征。这些发现不仅验证了方法的合理性，也为理解语言模型的学习规律提供了有价值的洞察。

从内容来源看，PreSelect明显偏好某些类型的网站。维基百科作为高质量的百科全书式内容，在选中数据中占比远高于其在原始数据集中的比例。同样受到青睐的还有学术网站、技术论坛、教育平台等。这些网站的内容通常经过一定程度的编辑和审核，质量相对较高。

相反，一些商业网站、社交媒体、新闻评论等内容在选中数据中的比例较低。这并不意味着这些内容完全没有价值，而是说在大规模训练的语境下，前一类内容对模型能力提升的效果更显著。

从语言特征看，PreSelect选择的文本往往具有更好的结构性和逻辑性。分析fastText分类器学到的特征权重，可以发现一些有趣的模式。比如，包含数学符号（如"^"）、编程相关词汇（如"MIT"、"API"）、学术引用格式（如"Cite"、"Retrieved"）的文本更容易被选中。

这些特征反映了PreSelect的一个重要洞察：对于语言模型训练来说，那些需要更高认知能力才能理解和生成的文本，往往具有更高的训练价值。数学公式需要逻辑推理能力，编程代码需要精确的语法理解，学术文献需要严密的表达能力，这些都是语言模型需要掌握的重要技能。

从文本长度看，PreSelect倾向于选择长度适中的文档。过短的文档可能信息不足，过长的文档可能包含过多噪声。研究发现，被选中文档的平均长度约为4000字符，这个长度既能包含完整的语义信息，又便于模型处理。

十二、方法局限性与改进方向

尽管PreSelect方法表现出色，但研究团队也诚实地讨论了其局限性和可能的改进方向。

首先是参考模型的选择问题。当前PreSelect使用的是Llama系列模型作为能力基准，虽然这些模型性能优秀且广受认可，但它们可能存在特定的偏见或局限性。如果参考模型在某些任务上表现不佳，那么PreSelect可能也会低估相关数据的价值。未来的改进可以考虑使用更多样化的参考模型，或者根据具体应用场景选择最合适的基准。

其次是评估任务的覆盖面问题。虽然实验包含了17个不同类型的任务，但这些任务主要集中在英语和传统的NLP任务上。对于多语言、多模态或者特定领域的应用，PreSelect的有效性还需要进一步验证。

第三是计算资源的需求问题。虽然PreSelect的计算开销相对较低，但仍然需要运行多个大型语言模型进行推理。对于一些资源受限的研究机构或公司，这可能仍然是一个门槛。未来可以考虑开发更轻量级的版本，或者提供预计算的结果供其他研究者使用。

最后是方法的理论基础问题。虽然实验结果验证了"预测强度高的数据训练价值也高"这一假设，但这种关联背后的深层机制还不完全清楚。未来的研究可以从理论角度进一步分析这种关联的原因，这将有助于开发更精确和可靠的数据筛选方法。

十三、实际应用价值与影响

PreSelect方法的价值不仅体现在学术研究上，更重要的是它为实际的AI模型开发提供了实用的工具。随着语言模型规模不断增大，训练成本也水涨船高，如何提高训练效率成为业界关注的焦点。

对于AI公司而言，PreSelect提供了一个成本效益极高的解决方案。通过筛选出最有价值的训练数据，公司可以在保持模型性能的同时大幅降低训练成本。研究显示的10倍效率提升，意味着原本需要数月时间和数百万美元成本的训练项目，现在可能只需要几周时间和几十万美元就能完成。

对于学术研究机构来说，PreSelect降低了进行大规模语言模型研究的门槛。许多研究机构受限于计算资源，无法进行大规模模型训练实验。通过使用PreSelect筛选的高质量数据，这些机构可以用较少的资源获得接近大规模训练的效果，从而参与到前沿AI研究中来。

从更广泛的社会影响来看，PreSelect有助于推动AI技术的民主化。当前，只有少数拥有海量计算资源的大公司能够训练最先进的语言模型。PreSelect这样的高效训练方法，可能会让更多的组织和个人有机会开发出高质量的AI模型，从而促进AI技术的多样化发展。

此外，PreSelect对环境保护也有积极意义。AI模型训练消耗大量电力，产生可观的碳排放。通过提高训练效率，PreSelect可以显著减少模型开发过程中的能源消耗和环境影响，这对于AI行业的可持续发展具有重要意义。

说到底，PreSelect代表了AI研究中一个重要的发展方向：不是一味追求更大的模型和更多的数据，而是通过更智能的方法提高效率和效果。这种思路可能会启发更多类似的创新，推动整个AI领域向着更加高效、经济、可持续的方向发展。

这项来自香港科技大学的研究，虽然在技术层面相对简洁，但其影响可能是深远的。它不仅提供了一个实用的工具，更重要的是展示了一种新的思考问题的方式。当我们面对海量数据时，关键不是处理更多数据，而是找到最有价值的那部分。这个道理不仅适用于AI训练，也可能对其他需要处理大规模数据的领域有所启发。对于那些希望了解更多技术细节的读者，建议查阅原论文以获得更全面的信息。

Q&A

Q1：PreSelect到底是什么？它能做什么？ A：PreSelect是香港科技大学开发的一种AI训练数据筛选方法。它的核心能力是从海量文本中智能识别出最适合训练语言模型的高质量数据。通过分析文本对不同模型能力的反映程度，PreSelect能够找到那些对提升模型性能最有帮助的训练材料，实现用30B样本达到300B样本的训练效果。

Q2：PreSelect会不会取代现有的数据处理方法？ A：PreSelect更像是对现有方法的重要补充而非完全替代。它在数据筛选环节表现突出，但仍需要与传统的数据清洗、去重等预处理步骤配合使用。未来可能会成为AI训练流程中的标准组件，但不会完全取代其他数据处理技术。

Q3：普通研究者如何使用PreSelect？有什么要求？ A：研究团队已在GitHub开源了PreSelect的代码和训练好的数据筛选器（https://github.com/hkust-nlp/PreSelect）。使用者需要一定的机器学习基础和计算资源，主要用于运行fastText分类器进行数据筛选。相比其他方法，PreSelect的资源需求相对较低，使普通研究机构也能使用。