1. 项目概述AI制药的数据基石在AI制药这个前沿交叉领域数据是驱动一切算法模型运转的燃料。无论是预测药物与靶点的结合活性还是生成全新的分子结构抑或是评估药物的吸收、分布、代谢、排泄和毒性ADMET都离不开高质量、大规模的数据集。对于刚入行的研究者或工程师来说面对海量的公开数据常常感到无从下手哪些数据集是业界公认的“金标准”它们各自解决了什么问题又该如何获取和使用今天我们就来系统性地梳理一下AI制药领域那些你必须知道的公开数据集并分享一些在实际项目中处理这些数据的实战心得。简单来说这些公开数据集就像是药物研发的“公共图书馆”它们由学术界、工业界或非营利组织发布旨在降低研究门槛促进算法公平比较。理解并善用这些数据集不仅能帮你快速验证想法、复现前沿工作更是构建可靠AI模型的第一步。无论你是计算化学背景的研究员还是机器学习工程师转型进入生物医药领域这份指南都将为你提供一个清晰的导航。2. 核心数据集分类与深度解析AI制药的流程漫长从靶点发现到临床前研究不同阶段需要不同类型的数据。因此公开数据集也呈现出多样化的特点。我们可以将其大致分为以下几类每一类都对应着药物研发流程中的关键环节。2.1 分子表征与性质预测数据集这类数据集是AI制药的入门基石主要用于训练模型理解分子的“语言”并预测其各种物理化学或生物活性性质。1. MoleculeNet这堪称是分子机器学习领域的“ImageNet”。它不是一个单一数据集而是一个基准测试集合囊括了多个子数据集覆盖了量子力学、物理化学、生物物理和生理学性质。核心子集举例:QM9: 包含约13.4万个有机小分子的量子化学计算数据如能量、偶极矩、极化率等。常用于测试模型对分子3D几何和电子性质的预测能力。ESOL: 包含1128个化合物在水中的溶解度数据。溶解度是口服药物吸收的关键参数。FreeSolv: 包含642个小分子在水中的水合自由能实验和计算数据。HIV: 包含超过4万个分子对HIV病毒复制能力的抑制活性数据二分类任务。BBBP (Blood-Brain Barrier Penetration): 关于分子能否穿透血脑屏障的数据对中枢神经系统药物研发至关重要。使用价值MoleculeNet的最大优势在于其标准化和广泛的接受度。当你开发一个新的分子图神经网络GNN模型时首先在MoleculeNet的多个任务上进行测试是证明其泛化能力的常规操作。它提供了统一的数据划分训练/验证/测试集和评估指标使得不同研究之间的比较成为可能。实操注意下载和使用时务必注意各个数据集的许可证。通常可以通过DeepChem库一个专门用于深度学习化学的Python库非常方便地加载这些数据集。例如deepchem.molnet.load_hiv()一行代码即可完成HIV数据集的下载、Featurization分子特征化和数据分割。2. ZINC这是一个庞大的商业可用化合物虚拟数据库提供了超过2.5亿个类药分子的购买信息和3D结构。对于虚拟筛选和生成模型训练极具价值。核心特点ZINC中的分子都标注了可购买性、价格、供应商等信息并且提供了多种格式的分子文件如SDF, MOL2。研究人员常从中抽取子集例如ZINC250k包含25万个分子用于分子生成模型如JT-VAE, GCPN的预训练或评估。使用场景当你需要构建一个分子生成模型并希望其生成的分子是“可合成”或“可购买”的时候使用ZINC作为训练数据或参考库是非常自然的选择。它的分子结构多样性极高能很好地覆盖化学空间。避坑指南ZINC数据库有不同的版本和子集。新手容易混淆的是“ZINC15”、“ZINC20”以及各种子集名称。建议直接从其官方网站或相关论文中确认使用的具体版本和下载链接。处理超大规模数据时需要考虑存储和读取效率通常需要编写脚本进行批处理。2.2 蛋白质相关数据集药物研发的核心是“锁钥模型”蛋白质靶点就是那把锁。理解蛋白质的结构、功能和作用界面至关重要。1. Protein Data Bank (PDB)这是结构生物学的核心资源一个全球性的数据库收录了通过X射线晶体学、核磁共振、冷冻电镜等实验方法解析出的蛋白质、核酸等生物大分子的三维结构。核心价值PDB是几乎所有蛋白质结构预测、蛋白质-配体对接、结合位点预测研究的数据来源。每个条目如“7T9L”不仅包含原子坐标还包含相关的实验信息、序列、文献引用等。如何使用可以通过RCSB PDB网站进行搜索、浏览和下载。在AI场景下我们通常需要从PDB文件中提取特定信息比如蛋白质的氨基酸序列、原子坐标、二级结构、结合的小分子配体等。常用的处理工具有Biopython、OpenBabel、RDKit结合PDBFixer处理蛋白质等。实战心得原始PDB文件很“脏”。直接使用会遇到诸多问题缺失氢原子、残基不完整、原子命名不规范、存在结晶水分子等。在用于深度学习模型如3D-CNN或图网络前必须进行严格的预处理流程加氢、补全缺失侧链、去除水分子、能量最小化等。可以使用软件如UCSF Chimera、PyMOL或开源工具PDBFixer/OpenMM来完成这些步骤。这一步的质量直接决定了模型性能的上限。2. UniProt这是蛋白质序列和功能信息最全面、注释最权威的数据库。如果说PDB是蛋白质的“三维照片”UniProt就是它的“详细档案”。核心内容包含蛋白质的氨基酸序列、功能描述如酶活性、结合位点、翻译后修饰、亚细胞定位、与疾病的关系以及与其他数据库如PDB, Pfam的交叉引用。AI应用常用于蛋白质序列的预训练类似NLP中的BERT。通过在海量的UniProt序列上训练语言模型如ESM, ProtTrans模型可以学习到蛋白质进化和结构的内在规律得到的序列嵌入Embedding可以极大地提升下游任务如稳定性预测、功能注释的性能。注意事项UniProt数据量极大数亿条序列下载和处理需要强大的计算和存储资源。通常我们会使用其提供的API或FTP服务来按需获取数据。对于大多数研究使用预训练好的蛋白质语言模型及其产生的嵌入向量是更高效的做法。2.3 蛋白质-配体相互作用数据集这是AI制药最核心的战场之一目标是精准预测小分子配体与蛋白质靶点如何结合、结合得有多强。1. PDBbind这是目前最权威的蛋白质-配体复合物结合亲和力数据库。它从PDB中筛选出高质量的复合物结构并手工收集了实验测得的结合常数Kd/Ki/IC50并将其统一转化为负对数形式的pKd/pKi/pIC50值作为结合亲和力的标准度量。版本与划分PDBbind每年更新常用的是“精炼集”Refined Set约5千个复合物和“核心集”Core Set约300个复合物用于盲测。其数据划分训练集、测试集被广泛用于评估打分函数和深度学习模型的预测精度。数据处理难点PDBbind提供的复合物结构同样需要预处理。更大的挑战在于如何从复合物结构中构建有效的分子表示。常见方法包括将结合口袋视为一个3D网格计算每个格点的理化性质如疏水性、电荷或者将蛋白质和配体分别表示为图再研究图之间的相互作用。工具如DGL-LifeSci、PyTorch Geometric (PyG) 提供了相关的数据处理管道。重要提醒务必使用官方划分的数据集进行模型训练和评估自行随机划分会导致数据泄露因为相似蛋白或配体可能出现在训练和测试集中从而得到过于乐观、不可靠的结果。2. BindingDB这是一个主要收录蛋白质尤其是药物靶点与小分子配体之间相互作用测量数据的数据库侧重于结合亲和力数据。与PDBbind的区别BindingDB的数据量更大超过200万条结合数据但并非所有条目都有对应的三维复合物结构。它更侧重于结合亲和力数值的广度覆盖。使用策略BindingDB常被用于训练不需要精确三维结构、只基于配体或蛋白序列/简单结构进行亲和力预测的模型。也可以用它来扩充PDBbind的数据。在下载时需要注意过滤实验类型如荧光法、SPR、放射性配体结合法等不同方法测得的数据可能存在系统偏差。2.4 ADMET性质预测数据集“成药性”是药物能否成功的关键。ADMET性质不佳是临床失败的主要原因。因此预测这些性质的数据集具有极高的实用价值。1. Tox21由美国NIH发起的数据挑战赛数据集旨在利用体外检测方法评估化合物对一系列核受体和应激反应通路的影响从而预测其体内毒性。特点包含约1.2万个化合物在12个不同毒性通路上的实验活性数据二分类或多任务分类。这是一个典型的多任务学习数据集。实战意义训练一个模型同时预测多种毒性终点可以共享不同任务间的知识提高数据利用效率特别是对于数据稀缺的毒性终点。这要求模型架构具备多任务学习的能力。2. ClinTox对比药物上市药物和因毒性原因失败化合物的数据集旨在区分药物和具有毒性的化合物。核心任务二分类药物/毒性化合物以及毒性具体类型的多标签分类。价值这个数据集直接关联药物研发的成功与失败具有明确的转化意义。模型在此数据集上的表现能一定程度上反映其“嗅出”潜在临床毒性的能力。3. 其他像SIDER药物副作用、L1000基因表达谱扰动等数据集也从不同侧面反映了药物的生物效应和潜在风险。重要提示ADMET数据通常存在严重的类别不平衡问题例如有肝毒性的化合物远少于无肝毒性的。在训练模型时必须采用重采样、调整损失函数权重等策略来处理不平衡否则模型会简单地偏向预测多数类失去实用价值。3. 数据获取、处理与特征工程实战知道了有哪些数据集只是第一步如何将它们“喂”给模型才是真正的挑战。这个过程充满了“坑”。3.1 数据获取渠道与工具官方源与社区工具MoleculeNet/ZINC/PDBbind优先通过DeepChem库加载。它自动处理下载、缓存和初步格式化。PDB使用Biopython的PDB.PDBList模块或直接通过RCSB PDB的API进行编程化下载。UniProt通过其FTP站点批量下载或使用requests库调用其REST API进行特定查询。通用化学数据RDKit是一个不可或缺的瑞士军刀。它不仅能读取SDF、SMILES等格式还能进行大量的分子操作和描述符计算。数据版本管理这是极易被忽视的一点。在科研中必须记录你所使用数据集的具体版本号或发布日期。例如PDBbind 2020和2023版本差异很大。记录版本号是保证实验结果可复现性的生命线。建议在项目根目录使用data_version.txt文件或在代码中用注释明确记录。3.2 分子特征化从结构到数字如何将一个分子结构如SMILES字符串或SDF文件转化为模型可以理解的数值向量这就是特征化。基于描述符的方法是什么计算一系列预定义的物理化学描述符如分子量、脂水分配系数LogP、氢键供受体数量、可旋转键数等。RDKit可以轻松计算数百种这样的描述符。优点可解释性强每个描述符都有明确的化学意义。缺点特征工程依赖领域知识可能无法捕捉复杂的非线性结构和活性关系特征之间可能存在高度共线性。实操代码片段from rdkit import Chem from rdkit.Chem import Descriptors mol Chem.MolFromSmiles(‘CCO’) # 乙醇 mol_weight Descriptors.MolWt(mol) logp Descriptors.MolLogP(mol) # 可以计算一个描述符列表 descriptor_names [name for name in dir(Descriptors) if not name.startswith(‘_’)]基于指纹的方法是什么将分子结构哈希化为一个固定长度的比特向量。最常用的是摩根指纹Morgan Fingerprints它是一种圆形指纹通过考虑每个原子周围特定半径内的拓扑环境来生成。优点能够捕捉子结构信息计算速度快是传统机器学习模型如随机森林、SVM的标配输入。缺点比特位与具体子结构的对应关系模糊由于哈希可解释性低于描述符固定长度可能造成信息损失。实操代码片段from rdkit.Chem import AllChem morgan_fp AllChem.GetMorganFingerprintAsBitVect(mol, radius2, nBits2048) # radius2 表示考虑原子周围两键以内的环境nBits决定指纹向量的长度。基于图的方法深度学习时代主流是什么将分子表示为图Graph其中原子是节点化学键是边。节点特征可以包括原子类型、杂化方式、形式电荷等边特征可以包括键类型、是否共轭等。优点最自然、最全面的分子表示方式能够完整保留拓扑和连接信息非常适合图神经网络GNN处理。缺点需要更复杂的模型架构计算成本相对较高。实操工具使用DGL或PyTorch Geometric (PyG)库来构建分子图数据对象。这些库与RDKit结合紧密可以方便地进行转换。3.3 数据清洗与标准化流程原始数据几乎不可能是完美可用的。一个稳健的数据处理管道必须包含以下步骤去重基于分子的规范SMILES或InChIKey移除完全相同的重复条目。异常值处理检查活性值如pIC50的分布。对于明显超出物理合理范围例如溶解度数据中出现极大负值或实验误差可能极大的数据点需要根据领域知识进行审查或剔除。不平衡处理针对分类任务如前所述使用SMOTE合成少数类过采样技术、随机欠采样或为不同类别在损失函数中赋予不同权重。特征标准化/归一化对于连续型特征或描述符必须进行标准化StandardScaler或归一化MinMaxScaler使其均值为0、方差为1或缩放到[0,1]区间。这能加速模型收敛并防止某些特征因量纲过大而主导训练过程。关键点拟合scaler时只能使用训练集数据然后用这个scaler去转换验证集和测试集。绝对不能用全部数据来拟合scaler否则会造成数据泄露。4. 模型训练中的数据集应用策略有了干净的数据如何设计实验来验证模型的有效性这里面的门道很多。4.1 数据分割的艺术如何划分训练集、验证集和测试集直接决定了你对模型泛化能力评估的可信度。随机分割最简单的方法适用于数据量大且样本间独立同分布的理想情况。但在化学数据中分子之间常有相似性随机分割可能导致相似的分子同时出现在训练集和测试集使评估结果虚高。按支架分割这是药物化学中更严格、更受推荐的分割方式。它基于分子的Bemis-Murcko骨架将侧链剥离后的核心环系结构进行划分。确保训练集和测试集中的分子具有不同的核心骨架。这能更好地测试模型对新结构类型的预测能力模拟真实场景中面对全新化学实体的挑战。按时间分割模拟现实世界中的时序信息。用较早时间发布的数据训练用较新时间的数据测试。这能评估模型对未来的预测能力。按蛋白分割在蛋白质-配体相互作用任务中按蛋白质进行划分。即测试集中的蛋白质在训练集中从未出现过。这是评估模型跨靶点泛化能力的金标准难度极大。核心建议在论文或报告中必须明确说明你采用了哪种数据分割方式。仅仅说“我们采用了80/10/10的分割”是远远不够的。对于旨在解决实际问题的研究按支架分割应作为默认的基线分割方法并报告其结果。4.2 评估指标的选择不同的任务需要不同的评估指标选错了指标可能会完全误导结论。任务类型常用评估指标说明与注意事项回归任务(如预测pIC50)均方误差 (MSE)平均绝对误差 (MAE)决定系数 (R²)MSE对异常值敏感MAE更稳健。R²能直观反映模型解释方差的比例。在药物发现中我们常更关心预测值的排序是否正确即哪个分子活性更高而非绝对误差。分类任务(如活性/非活性)准确率 (Accuracy)精确率/召回率/F1分数ROC-AUCPR-AUC准确率在不平衡数据上毫无意义。ROC-AUC综合考察模型在不同阈值下的表现对类别不平衡相对不敏感是首选。在极端不平衡时如毒性预测阳性样本极少PR-AUC比ROC-AUC更具信息量。排名任务(如虚拟筛选)富集因子 (EF)早期识别率例如EF10%表示在前10%的预测结果中找到的真正活性分子是随机筛选的多少倍。这直接反映了模型在虚拟筛选中的实用价值。4.3 利用公开数据集的常见陷阱与对策数据泄露这是新手最容易犯的致命错误。除了前述的scaler泄露还包括特征泄露不小心使用了未来信息或与标签直接强相关的特征。例如用包含了某种毒性终点的综合评分去预测该毒性本身。分割泄露在分割前进行了需要全局信息的操作如基于所有样本进行特征选择或降维。对策严格遵守“训练集-only”原则。任何从数据中学习参数的操作特征缩放、特征选择、降维其参数都必须仅从训练集学习然后固定这些参数应用于验证集和测试集。将整个数据处理流程封装成Pipeline是避免泄露的好方法。基准过拟合在某个公开数据集如PDBbind核心集上反复调参、试错直到得到一个很高的分数。但这可能只是对这个特定测试集过拟合了模型并不具备真正的泛化能力。对策使用交叉验证在训练集/验证集上调整超参数并保留一个完全独立的测试集或使用官方测试集仅做最终一次性评估。更好的做法是在多个不同的数据集上验证你的模型。忽视数据质量盲目相信数据库中的所有数据。实验数据本身有误差数据库收录时也可能有错误。对策对关键数据尤其是作为模型金标准的数据进行人工抽查。查阅原始文献了解实验条件。对于明显偏离群体分布的数据点要持怀疑态度。5. 从数据到应用构建端到端项目示例让我们以一个具体的项目思路来串联上述知识“构建一个预测化合物肝毒性Hepatotoxicity的分类模型”。步骤1问题定义与数据获取目标二分类模型输入化合物结构输出其有/无肝毒性的概率。数据源选择Tox21数据集中的NR-AHR芳烃受体任务不这不够直接。更好的选择是专门针对肝毒性的数据集如来自文献或ToxCast数据库的肝毒性数据。假设我们从某个研究论文的补充材料中找到了一个包含SMILES和肝毒性标签的数据集。步骤2数据预处理与探索性分析去重基于SMILES去重。检查不平衡计算阳性/阴性样本比例。假设是1:9严重不平衡。可视化用RDKit绘制一些有/无肝毒性的典型分子结构直观感受一下。计算一些简单的描述符如LogP分子量并绘制分布图看两类分子是否有明显差异。步骤3特征化与数据分割方案选择我们决定尝试两种主流方案做对比方案A传统ML使用摩根指纹2048位作为特征。方案B深度学习将分子表示为图使用GNN如GCN或GAT。数据分割采用按支架分割Scaffold Split使用RDKit的Scaffold模块生成Bemis-Murcko骨架并按骨架ID进行分层划分确保训练/测试集骨架不同。步骤4模型构建与训练方案A使用随机森林或XGBoost分类器。因为数据不平衡在模型初始化时设置class_weight‘balanced’。方案B构建一个简单的GNN模型。使用PyTorch Geometric定义网络层。在损失函数中使用加权交叉熵损失给少数类肝毒性阳性更高的权重。训练技巧使用验证集进行早停Early Stopping防止过拟合。记录训练过程中的损失和AUC曲线。步骤5评估与迭代评估指标主要看测试集上的ROC-AUC和PR-AUC。同时输出混淆矩阵查看精确率和召回率的具体数值。结果分析发现方案BGNN的ROC-AUC比方案A指纹RF高3个百分点。分析错误案例哪些有毒分子被预测为无毒假阴性这些分子是否有共同的结构特征这可能是模型学习的盲区也可能是数据标注的问题。迭代根据错误分析可以尝试引入更丰富的原子/键特征或使用更先进的GNN架构。也可以考虑将传统描述符作为额外的节点特征输入GNN中混合模型。步骤6模型部署与应用简化示例封装将训练好的最佳模型假设是GNN和特征化流程用Python类封装起来。接口提供一个简单的函数输入SMILES字符串输出肝毒性概率和二元分类结果。class HepatotoxicityPredictor: def __init__(self, model_path): self.model load_model(model_path) self.device torch.device(‘cuda’ if torch.cuda.is_available() else ‘cpu’) self.model.to(self.device) self.model.eval() def smiles_to_graph(self, smiles): # 使用RDKit和PyG将SMILES转换为图数据 ... return graph_data def predict(self, smiles_list): predictions [] for smi in smiles_list: graph self.smiles_to_graph(smi).to(self.device) with torch.no_grad(): prob self.model(graph) predictions.append({‘smiles’: smi, ‘probability’: prob.item(), ‘toxic’: prob.item() 0.5}) return predictions在整个过程中对公开数据的理解、清洗、合理分割和评估是比模型调参更基础、也更能决定项目成败的环节。公开数据集是宝贵的公共资源但也是一把双刃剑用得好能加速研究用不好则会得出误导性的结论。希望这份梳理和这些实战中的细节点能帮助你在AI制药的数据海洋中更稳健地扬帆起航。记住高质量的数据处理流程其价值不亚于一个精巧的模型架构。