重磅更新OpenCSG开放传神正式发布Fineweb-Edu-Chinese V2.2 数据集这是目前开源界少有的、覆盖从预训练Pre-train到监督微调SFT全流程的高质量中文教育数据集。V2.2 版本标志着 Chinese Fineweb Edu 从单一的预训练语料库进化为覆盖从知识注入到行为对齐全流程的完备数据解决方案。本次更新在 V2.1 海量预训练数据的基础上利用 DeepSeek V3.2 强大的文本理解能力从全网最优质的0.1% 语料中蒸馏出 143.7 万条高质量问答对为社区提供了一套标准化的后训练Post-training数据集。在预训练数据方面V2.2 继承了 V2.1 的优势提供约1.5Ttokens 的高质量教育语料按照评分等级4-5 分、3-4 分进行质量分层存储支持课程学习策略。数据源整合了 CCI3、MAP-CC、OpenCSG-CC 等多个优质中文语料库通过 OpenCSG csg-wukong-enterprise V2 评分模型进行严格筛选。在 SFT 数据方面V2.2 版本采用“质量至上”策略只选取评分最高的 Top 0.1% 语料作为种子利用 DeepSeek V3.2 的阅读理解能力严格基于原文 Context 生成问答对。不同于自由生成的聊天数据V2.2 的每一条数据都有确凿的原文依据有效避免了模型幻觉和事实错误。版本演进与特性对比V1.0 - 概念验证规模~90M 条目 (300GB)关键特性与改进初代 BERT 打分模型引入MinHash 去重数据源CCI2, SkyPile, Tele-AIV2.0 - 规模化扩展规模~188M 条目 (420B Tokens)关键特性与改进升级打分器 OpenCSG csg-wukong-enterprise V2扩展数据源Industry2, wanjuan1.0, wudaoV2.1 - 预训练精选规模~1.5T Tokens关键特性与改进质量分层按分数归档 (4-5分3-4分新增源map-cc, opencsg-cc支持课程学习V2.2 - SFT 与对齐规模143.7 万条问答对关键特性与改进DeepSeek V3.2 合成基于顶级语料生成全流程覆盖提供数据回溯源与纯净微调版事实锚定回答内容严格忠实于原文Chinese Fineweb Edu DatasetChinese Fineweb Edu Dataset是一个专为中文教育领域大模型开发的高质量数据集系列。在当前的大模型研发中高质量的中文教育语料依然是稀缺资源。通用语料如 Common Crawl 虽然规模巨大但包含大量广告、碎片化信息和低质文本直接用于教育模型训练会导致严重的“幻觉”和逻辑混乱。同时业界开源的指令微调数据多集中于通用对话或代码能力极度缺乏经过严谨筛选、具备教学逻辑的垂直领域教育问答数据。这导致许多模型虽然能说话但无法像老师一样“传道授业”。V2.2 的里程碑意义为了解决上述痛点OpenCSG团队在 V2.1 海量预训练数据的基础上正式推出了 V2.2 SFT 增强版。不仅提供“燃料”预训练数据现在更提供“引擎图纸”(SFT 数据。通过引入 DeepSeek V3.2 的高阶推理能力将静态的教科书级文本转化为动态的、具有多轮逻辑的问答对。这标志着 Chinese Fineweb Edu 从单一的语料库进化为覆盖 Pre-train 知识注入 到 Post-train 行为对齐 全流程的完备数据解决方案。为什么需要高质量的 SFT 数据后训练是赋予大模型“交互能力”和“领域专精”的关键阶段。高质量的 SFT 数据能激发推理能力——仅靠预训练模型拥有知识但不懂如何运用。通过精心设计的问答对模型学会根据上下文进行推导、归纳和演绎。在教育场景下准确性是红线。通过“基于原文生成”的问答对强制模型学习“依据事实回答”而非凭空捏造。DeepSeek V3.2 生成的数据不仅仅是简单的事实核查更包含了“解释性”和“引导性”模拟人类教师的思维链条。从 1.4TB 到 143 万的精炼之路为了确保 DeepSeek 生成出最优质的问答OpenCSG团队对输入端的“种子数据”进行了极其严苛的筛选。OpenCSG团队沿用了 V2 版本中训练的高精度教育奖励模型该模型基于文本的知识密度、逻辑连贯性、学术严谨度进行 0-5 分的打分。在数亿条数据中直接截取了 Score 排名最高的 0.1%-0.5%数据作为种子这些数据主要由 STEM 领域的原理详解、人文社科的深度解析、百科知识的概念解释以及教育材料的知识点总结构成。将以上“金牌种子”输入DeepSeek V3.2利用其强大的指令遵循能力深度阅读原始文本、识别核心考点、构建教学对话。DeepSeek 被特别提示要生成“详尽、有逻辑步骤”的回答而非简短的 Yes/No。V2.2 SFT 数据集详情重塑后训练流程本部分数据专为指令微调场景打造。SFT 数据规格1. Pure QA SFT【微调首选】数据量143.7 万条 | 磁盘占用3.4 GB仅包含 Instruction 和 Output格式轻量专注于让模型学习由 DeepSeek 提炼出的高质量回答范式。用途直接用于 LLaMA-Factory 等框架进行 SFT特点标准问答对格式开箱即用2. Full Context SFT【数据回溯与备份】数据量143.7 万条 | 磁盘占用14.6 GB包含了 原始种子文本 Instruction Output保留完整上下文信息。注意不建议直接用于 SFT 训练Token 长度过长且包含非对话内容用途仅作为数据溯源使用。当模型表现异常时可回溯至该文件检查原始知识点是否准确数据样例与分析以下是一个真实的数据样例展示了 DeepSeek V3.2 生成的高质量问答对{ instruction:瑞士考古学家费迪南德·克勒是谁?他最著名的考古发现是什么,这对我们理解古代历史有什么帮助?, input:, output:费迪南德·克勒(Ferdinand Keller, 1800-1881)是一位瑞士重要考古学家...他最著名的考古发现是1853年在瑞士发现的**湖居遗址**(也称干栏建筑)... 这一发现对理解古代历史的帮助主要体现在: 1. **生活方式重建**:揭示了公元前5000-500年左右阿尔卑斯地区史前人类的居住形态。 2. **文化遗存**:由于水下环境缺氧,大量有机物(如木材、食物残渣)得以保存,为研究当时的技术水平提供了直接证据... }数据质量分析DeepSeek V3.2 在处理此类任务时展现了极强的信息提取与总结能力。生成的回答不仅包含了事实还包含了结构化的解释这是普通短文本 SFT 数据所不具备的。快速开始使用 Hugging Face datasets 库即可一键加载数据集from datasets import load_dataset # ------------------------------------------------------- # 场景 A: SFT 指令微调 # ------------------------------------------------------- # 加载纯问答对数据 (3.4GB)格式为标准 instruction/output ds_sft load_dataset(OpenCSG/Chinese-Fineweb-Edu-V2.2, splitsft_qa) # ------------------------------------------------------- # 场景 B: 数据校验与回溯 # ------------------------------------------------------- # 如果需要查看某条问答是基于哪篇原始文章生成的请加载 sft_context # 注意仅用于备份和查阅不建议直接训练 ds_context load_dataset(OpenCSG/Chinese-Fineweb-Edu-V2.2, splitsft_context) # ------------------------------------------------------- # 场景 C: 基座模型预训练 # ------------------------------------------------------- # 加载 Score 4-5 的高质量预训练语料 (Parquet 格式) ds_pretrain load_dataset(OpenCSG/Chinese-Fineweb-Edu-V2.2, data_filespretrain/score_4_5/*.parquet)使用建议SFT 微调推荐使用 sft_qa 分支配合 LLaMA-Factory、Axolotl 等主流微调框架预训练建议采用课程学习策略先使用 Score 4-5 的高质量数据再逐步引入 Score 3-4 的数据扩大规模数据溯源当模型输出异常时可通过 sft_context 分支回溯原始知识点检查数据质量OpenCSG 全球开源 AI 生态OpenCSG以 Chinese FineWeb Edu 为代表的高质量中文数据集体系已被全球高校、科研机构及科技企业广泛采用是支撑中文 NLP 研究与大模型产业落地的核心数据基础从顶尖高校 AI 实验室到企业级生产环境它持续为大模型预训练、指令微调与领域适配等关键环节提供可靠支撑推动研究成果向规模化应用高效转化在学术领域该数据集已被 100 篇论文引用多次入选 NeurIPS、ACL 等国际顶会及 Nature 子刊、JMLR 等权威期刊成为验证中文语言模型泛化能力、知识建模效率与跨语言迁移效果的代表性基础资源。除了Fineweb-Edu-Chinese系列OpenCSG 还发布了Cosmopedia-Chinese合成教科书风格数据和Smoltalk-Chinese多样化对话格式数据等多个高质量中文数据集构成了完整的OpenCSG Chinese Corpus 语料体系。这些数据集分别针对预训练、后训练和微调等不同阶段的需求进行了专门设计和优化为中文大语言模型的全生命周期开发提供了全方位的数据支持。OpenCSG 通过开源数据、评分模型及完整的数据处理工具链向社区输出可复用的数据治理方法论持续降低高质量数据的构建与评估门槛推动中文 AI 生态从 “模型参数竞争” 转向更加理性、可持续的 “数据基础设施建设” 阶段。高校与研究机构斯坦福大学(Stanford)、清华大学(Tsinghua)、中国人民大学高瓴人工智能学院、上海人工智能实验室(Shanghai AI Lab)、北京智源研究院(BAAI)、鹏城实验室、西班牙国家级超算中心(BarcelonaSupercomputingCenter)、Mozilla Data Collective等。企业应用英伟达(NVIDIA)、面壁智能(ModelBest)、中国移动、中国联通等。OpenCSG 坚持“开源即文化”的理念通过透明、共创、共享的社区文化与全球开发者、工程师和 AI 原生企业共同构建智能体生态。无论是数据集、模型还是工具平台OpenCSG 始终遵循 Apache 2.0 等开源协议确保技术成果能够被广泛使用和自由创新。这种开放的态度和持续的贡献使 OpenCSG 成为中文开源 AI 社区的重要推动者和引领者数据地址OpenCSG社区https://opencsg.com/datasets/OpenCSG/Fineweb-Edu-Chinese-V2.2hf社区https://huggingface.co/datasets/opencsg/Fineweb-Edu-Chinese-V2.2魔搭社区https://modelscope.cn/datasets/opencsg/Fineweb-Edu-Chinese-V2.2关于OpenCSGOpenCSG是全球领先的开源大模型社区平台致力于打造开放、协同、可持续生态AgenticOps是人工智能领域的一种AI原生方法论由OpenCSG开放传神提出。AgenticOps是Agentic AI的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的 一站式托管、协作与共享服务具备业界领先的模型资产管理能力支持多角色协同和高效复用。