简介本资源是一套基于遗传编程GP的Python实现专为量化投资领域设计面向具备Python基础与金融建模经验的开发者、量化研究员及因子投资实践者旨在解决传统阿尔法因子同质化导致失效的问题提供可自主演化、适配时序数据的新型因子生成方案。压缩包共8个文件含7个核心Python模块如genetic.py、fitness.py、utils.py等分别承担种群演化、适应度评估、时间序列预处理等功能及1份README说明文档整体仅28KB轻量易集成。已有700人学习下载表明其在实证因子挖掘场景中已获初步验证。读者可直接运行demo.py复现完整流程从自定义因子候选表达式构建、多股票时间序列数据输入支持双索引DataFrame、到因子回测与性能筛选获得可解释性强、具备演化潜力的原创阿尔法信号生成能力。1. 遗传规划真能“进化”出阿尔法因子——不是调参是让代码自己写选股逻辑你手头有几十个传统因子PE、PB、动量、波动率、资金流……但把它们线性加权、套个线性回归回测曲线总在2021年之后塌方用XGBoost堆特征又怕过拟合成“回测冠军、实盘裸泳”。这时候有人甩出一句“试试遗传规划GP——让算法自己拼出能赚钱的因子公式。”听起来像玄学其实不是。它不预测价格而是在多因子投资策略框架下自动合成一个可解释、非线性、带时序逻辑的新阿尔法因子表达式比如if_then_else(volatility_5d 0.03, rank(correlation(close, volume, 10)), ts_min(returns_3d, 20) * 0.7)这种结构。它不依赖人工预设函数形式而是从基础算子、-、log、rank、ts_mean、if_then_else等和原始数据中通过选择、交叉、变异迭代演化出具备统计显著性和经济逻辑的因子。适合量化研究员、策略工程师、以及想摆脱“因子手工拼凑”困局的实盘团队——尤其当你发现现有因子池已挖无可挖而市场风格切换频繁时GP不是锦上添花是换一套因子生成范式。2. 为什么选遗传规划而不是深度学习——从因子可解释性、过拟合防控与落地成本三维度拆解2.1 阿尔法因子的三个硬约束可解释性、稳定性、低维护成本多因子策略上线前要过风控、合规、投研三道关。深度学习模型输出一个黑匣子分数风控会问“这个分数在什么行情下失效哪条路径导致它突然跳变”——你答不上来。而GP生成的因子是一个纯符号表达式树Symbolic Expression Tree每个节点是明确运算符每片叶子是原始字段或常数。你可以直接打印出factor ts_rank(ts_delay(close / open, 5), 10) - ts_mean(volume, 20)投研立刻能判断“这是捕捉开盘跳空后5日价格相对强度再减去20日均量逻辑上对应‘突破放量’的朴素想法。”这种可追溯性是GP在资管机构内部落地的核心门槛优势。提示GP不是替代机器学习而是替代“人工构造因子线性组合”的中间层。它生成的是可嵌入现有多因子框架的单因子信号后续仍可用ICIR加权、Barra归因、风险模型控制。2.2 遗传规划 vs. 神经网络过拟合防控机制的本质差异神经网络靠Dropout、L2正则、早停来抑制过拟合但这些是“事后刹车”GP的过拟合防控是“事前筑墙”。关键在三点表达式长度惩罚在适应度函数中强制加入penalty 0.001 * len(expression_tree)树越深、节点越多得分越低。这天然偏好简洁逻辑避免出现log(log(log(volume)))这类无经济意义的嵌套。训练/验证双阶段评估GP不只看训练期IC信息系数更要求验证期IC绝对值 0.03 且符号一致否则直接淘汰该个体。动态样本窗口每次评估不固定用2018–2022年全段而是滑动取最近600个交易日模拟实盘滚动更新场景。我一般会把GP放在因子池扩容阶段当原有因子IC衰减超过20%就启动GP模块限定48小时生成10个候选因子再人工筛选2个进入回测。2.3 Python生态里DEAP vs. gplearn为什么最终锁定gplearn做基座DEAP功能全、文档厚但它的evalSymbReg示例默认用add,sub,mul,div四个算子缺少金融必需的时序运算如ts_mean,ts_rank,delay。硬改需重写PrimitiveSet和evaluate函数调试成本高。而gplearn专为符号回归设计原生支持自定义函数注册且API极简from gplearn.genetic import SymbolicTransformer import numpy as np # 定义金融专用算子 def ts_mean(x, window5): return np.nanmean(np.lib.stride_tricks.sliding_window_view(x, window), axis1) def ts_rank(x, window10): return np.array([np.argsort(x[i:iwindow])[-1] if len(x[i:iwindow]) window else np.nan for i in range(len(x)-window1)]) # 注册进gplearn function_set [add, sub, mul, div, (ts_mean, ts_mean), (ts_rank, ts_rank)] est SymbolicTransformer(population_size500, hall_of_fame10, generations20, stopping_criteria0.0, p_crossover0.7, p_subtree_mutation0.1, p_hoist_mutation0.05, p_point_mutation0.1, max_samples0.9, verbose1, random_state0, function_setfunction_set, metricpearson) # 用IC作为适应度这段代码跑通后est对象就能直接fit你的因子矩阵shape: [n_days, n_features]和目标收益率如次日涨跌幅est.transform(X)输出的就是新生成的阿尔法因子序列。gplearn的SymbolicTransformer还自带feature_names_in_属性能反查每个叶子节点对应哪个原始字段——这对后续归因至关重要。3. 用gplearn在本地跑通阿尔法因子生成从原始数据准备到表达式导出的最小闭环3.1 数据准备必须满足的三个结构化前提GP对输入数据格式极其敏感。常见翻车点用日频OHLCV直接喂入结果生成一堆close / close恒等于1的废因子。正确做法分三步字段标准化所有原始字段必须是截面标准化cross-sectional z-score后的日频序列。例如pe_ratio→ 每日对全市场股票做z-score剔除极值后volume→ 取对数后再z-score消除量纲returns_1d→ 直接用涨跌幅不z-score它是目标变量滞后对齐确保所有字段时间戳严格对齐。若用close计算returns_1d则returns_1d[t] close[t1]/close[t] - 1因此close[t]只能参与生成t时刻的因子不能泄露未来信息。缺失值处理gplearn不接受NaN。必须用pd.DataFrame.fillna(methodffill).fillna(0)禁止插值——金融数据插值会伪造相关性。import pandas as pd import numpy as np # 假设df_raw是原始数据index日期, columns[stock_id, open, high, low, close, volume, pe, pb] def prepare_features(df_raw): # 步骤1计算基础字段示例 df df_raw.copy() df[returns_1d] df.groupby(stock_id)[close].pct_change().shift(-1) # 目标变量次日收益 df[volatility_5d] df.groupby(stock_id)[close].rolling(5).std().values df[amount] df[close] * df[volume] # 步骤2截面标准化按日期分组 def cs_zscore(series): s series.dropna() if len(s) 5: return pd.Series(np.nan, indexseries.index) return (series - s.mean()) / (s.std() 1e-8) feature_cols [pe, pb, volatility_5d, amount] for col in feature_cols: df[col] df.groupby(date)[col].apply(cs_zscore) # 步骤3转为宽表date为indexstock为columns每个字段一个DataFrame # 这里简化假设我们只用一个字段做演示实际需stack所有feature_cols X_df df.pivot(indexdate, columnsstock_id, valuespe).dropna(howall) y_series df.pivot(indexdate, columnsstock_id, valuesreturns_1d).mean(axis1) # 全市场等权收益 return X_df, y_series X, y prepare_features(df_raw)注意X必须是二维数组n_samples × n_featuresy是一维数组n_samples。gplearn不支持Panel数据结构必须提前聚合为横截面均值或中位数。3.2 模型配置6个必调参数及其业务含义参数默认值推荐值业务含义调参逻辑population_size1000300–500每代个体数太小易早熟收敛到局部最优太大拖慢速度。A股3000只股票500足够覆盖搜索空间generations2015–30迭代代数少于15代难出优质因子超过30代边际收益递减且可能过拟合验证集max_samples1.00.8–0.9训练样本比例设0.85即每次随机抽85%日期训练15%留作内部验证防过拟合stopping_criteria0.00.01提前停止阈值当连续5代最佳IC提升0.01自动终止省电p_crossover0.90.7–0.8交叉概率高于0.8易破坏优质子树建议0.75平衡探索与利用metricmsepearson适应度函数必须用pearson——它计算因子值与次日收益的IC这才是阿尔法本质# 实际运行配置A股实盘级 est SymbolicTransformer( population_size400, generations25, stopping_criteria0.01, p_crossover0.75, p_subtree_mutation0.12, p_hoist_mutation0.03, p_point_mutation0.05, max_samples0.85, verbose1, random_state42, function_setfunction_set, metricpearson, n_jobs-1 # 启用全部CPU核心 ) # 训练耗时约15–45分钟取决于CPU核心数 est.fit(X.values, y.values)3.3 表达式导出与人工校验三步确认是否值得上线训练完成后est._programs[-1].best_estimator_存储最优个体。但别急着用必须人工走三步打印表达式树best_expr est._programs[-1].best_estimator_ print(best_expr.program) # 输出示例sub(div(add(ts_mean(close, 5), ts_rank(volume, 10)), 2.0), ts_mean(pb, 20))可视化树结构需安装graphvizfrom sklearn.tree import export_graphviz # gplearn不直接支持需手动转为sklearn树格式略见附录脚本 # 关键看是否有冗余嵌套是否含明显无效操作如除以0常数回测验证将生成因子在独立测试期如2023全年跑IC分析factor_series est.transform(X.values).flatten() # 形状(n_days,) ic_test pd.Series(factor_series).corr(y_test) # y_test是测试期次日收益 print(f测试期IC: {ic_test:.4f}, IR: {ic_test / factor_series.std():.4f})合格线IC绝对值 0.025IR 0.4红线若IC符号在测试期反转训练期正测试期负立即废弃——说明是数据巧合。4. 遗传规划生成阿尔法因子的5个真实踩坑记录血泪经验总结4.1 现象GP反复生成x / x或x - x这类恒等于0或1的表达式原因适应度函数未加足够强的复杂度惩罚且div、sub算子在数值相近时易产出稳定常数。gplearn默认parsimony_coefficient0.01太弱。解决在初始化时显式加大惩罚系数parsimony_coefficient0.05并添加自定义约束——在function_set中禁用div当分母可能为0时改用safe_divdef safe_div(a, b): return np.divide(a, b, outnp.zeros_like(a, dtypefloat), whereb!0)4.2 现象训练过程卡在某一代CPU占用100%但无进度原因ts_mean等滑动窗口函数在np.lib.stride_tricks.sliding_window_view中遇到NaN时抛异常gplearn默认不捕获导致进程挂起。解决在自定义函数内加try-except并返回全NaN数组def ts_mean(x, window5): try: windows np.lib.stride_tricks.sliding_window_view(x, window) return np.nanmean(windows, axis1) except: return np.full(len(x)-window1, np.nan)4.3 现象生成的因子在测试期IC很高但分组收益单调性差多头-空头差额小原因GP优化目标是整体IC但实盘需要的是尾部区分度。IC高可能来自中位数附近微弱相关而极端多空端无分离。解决改用rank作为metricgplearn支持或自定义适应度函数def custom_metric(y_true, y_pred): # 计算分组IC将y_pred五等分取每组y_true均值算线性回归斜率 ranks pd.qcut(y_pred, 5, labelsFalse, duplicatesdrop) group_ret pd.Series(y_true).groupby(ranks).mean() return np.corrcoef(range(len(group_ret)), group_ret)[0,1]4.4 现象导出的表达式含ts_rank(volume, 10)但实盘调用时报错IndexError原因ts_rank函数假设输入长度≥window但实盘首10天数据不足sliding_window_view返回空数组。解决在函数开头补零def ts_rank(x, window10): if len(x) window: return np.full(len(x), np.nan) # ...原逻辑4.5 现象同一份数据两次运行生成完全不同因子且都声称IC0.05原因随机种子未固化且max_samples0.85导致每次抽样不同。GP本质是随机搜索需多次运行取交集。解决固定random_state已做运行5次每次保存est._programs[-1].best_estimator_.program取5次结果中至少出现3次的子树结构作为稳健因子例如都含ts_mean(close, 5)节点最终上线因子必须是这5次运行的共识解5. 把GP因子嵌入实盘多因子框架从信号生成到仓位分配的四层加固策略5.1 第一层信号平滑与截断——对抗GP固有的高频噪声GP生成的因子天然带噪声表达式树深度越大对微小价格扰动越敏感。直接用于打分会导致换仓率飙升。我的加固方案是三级滤波时序中位数滤波对因子序列每5日取中位数非均值防异常值截面标准化再缩尾每日对全市场因子值z-score后将±3σ外的值压缩至±3σ动态衰减权重因子值乘以(1 - 0.1 * abs(factor_value))自动降低极端值影响力def smooth_factor(factor_series, window5): # 输入pd.Seriesindex日期value原始因子值 smoothed factor_series.rolling(window).median().fillna(methodbfill) cs_z smoothed.groupby(level0).apply(lambda x: (x - x.mean()) / (x.std() 1e-8)) clipped cs_z.clip(-3, 3) weighted clipped * (1 - 0.1 * np.abs(clipped)) return weighted5.2 第二层与传统因子正交化——避免信息重复导致的分散效应GP因子若与已有因子如ROE、动量高度相关加入后反而稀释阿尔法。必须做正交化from sklearn.linear_model import LinearRegression # X_existing: 已有因子矩阵 (n_days, n_existing_factors) # factor_new: GP生成的新因子 (n_days, 1) model LinearRegression() model.fit(X_existing, factor_new) factor_orth factor_new - model.predict(X_existing) # 残差即正交分量注意正交化必须在滚动窗口内进行如最近250日而非全样本——保证实盘一致性。5.3 第三层动态权重分配——用IC滚动标准差替代静态权重传统多因子用固定权重如ROE 30%、动量 25%但GP因子IC波动大。我用以下公式动态赋权$$ w_t \frac{IC_t}{\sigma_{IC, t}^2} $$其中 $IC_t$ 是该因子过去60日IC均值$\sigma_{IC, t}$ 是其60日IC标准差。分母加平方放大稳定性高的因子权重。def dynamic_weight(ic_series, window60): ic_mean ic_series.rolling(window).mean() ic_std ic_series.rolling(window).std() weight ic_mean / (ic_std ** 2 1e-6) # 防除零 return weight.clip(0, 5) # 限制最大权重为5倍均值5.4 第四层实盘熔断机制——当因子失效时自动降权设置三条熔断线IC熔断连续10日IC 0.01 → 权重降至50%分组收益熔断多头组月收益 空头组 → 权重归零暂停使用相关性熔断与基准指数相关性 0.7 → 触发正交化重算# 示例IC熔断检查 def check_ic_break(factor_series, returns_series, window10): ic_roll pd.Series(factor_series).rolling(window).apply( lambda x: pd.Series(x).corr(returns_series.iloc[x.index]) ) if (ic_roll 0.01).sum() 10: return True, IC连续10日低于0.01 return False, 最后说个习惯我从不用GP生成的因子单独建仓。它永远只是多因子框架里的“特种兵”——当其他因子集体哑火时如2022年成长股崩盘期GP因子往往因结构新颖而逆势扛旗。但它需要传统因子做底盘需要风控做护栏需要人工做校验。技术没有银弹但GP确实给了我一把新钥匙不是去猜市场要什么而是让市场自己告诉我它正在用什么逻辑定价。希望帮到你。本文还有配套的精品资源点击获取