伏羲天气预报科研数据集公开提供100组历史再分析样本与真值标签1. 伏羲天气预报系统简介伏羲FuXi是复旦大学开发的15天全球天气预报级联机器学习系统基于Nature npj Climate and Atmospheric Science期刊发表的论文实现。这个系统代表了人工智能在气象预报领域的前沿应用能够提供从短期到长期的全球天气预测。与传统数值天气预报方法不同伏羲采用机器学习技术通过级联网络结构处理不同时间尺度的预报任务。系统将预报过程分为三个阶段短期预报0-36小时、中期预报36-144小时和长期预报144-360小时每个阶段都有专门的模型进行处理。论文链接: https://www.nature.com/articles/s41612-023-00512-1这个系统的独特之处在于它能够处理高分辨率的全球气象数据输入数据维度达到(2, 70, 721, 1440)包含70个气象变量覆盖全球范围的高精度网格点。输出结果提供了未来15天的详细天气预报包括温度、风速、湿度、气压和降水等多个关键气象要素。2. 数据集内容与价值2.1 数据集组成本次公开的科研数据集包含100组历史再分析样本每组样本都包含完整的输入数据和对应的真值标签。数据集的具体组成如下输入数据100个NetCDF格式文件每个文件包含70个气象变量的初始场数据真值标签对应每个输入样本的未来15天实际观测数据时间范围覆盖不同季节和天气模式的历史时期空间范围全球范围经纬度网格分辨率为0.25度2.2 数据变量详解数据集包含70个气象变量分为两大类大气变量65个位势高度Z13个气压层50-1000 hPa温度T13个气压层U风分量U13个气压层V风分量V13个气压层相对湿度R13个气压层地表变量5个2米温度T2M10米U风U1010米V风V10海平面气压MSL6小时累积降水量TP2.3 科研价值这个数据集为气象AI研究提供了宝贵的资源具有以下科研价值模型训练与验证可用于训练新的天气预报模型或验证现有模型性能算法对比为不同机器学习算法提供统一的测试基准可重现性研究确保研究成果的可比较性和可重现性极端天气研究包含各种天气模式适合研究极端天气事件的预测能力3. 数据获取与使用3.1 获取方式数据集通过复旦大学气象AI研究平台公开提供研究人员可以通过以下方式获取直接下载提供网盘下载链接压缩包大小约50GBAPI接口支持编程方式按需获取特定样本子集选择可根据研究需求选择特定区域或时间段的子集3.2 数据格式说明数据集采用NetCDF格式存储这是一种在气象领域广泛使用的科学数据格式import xarray as xr # 读取数据示例 data xr.open_dataset(sample_001.nc) print(data.dims) # 查看维度信息 print(data.variables) # 查看变量列表 # 访问特定变量 temperature data[T] # 温度变量 precipitation data[TP] # 降水变量3.3 数据预处理工具为了方便使用提供了多个数据预处理脚本make_hres_input.py处理高分辨率原始数据make_era5_input.py处理ERA5再分析数据make_gfs_input.py处理GFS预报数据这些工具可以帮助研究人员将各种来源的气象数据转换为伏羲系统所需的输入格式。4. 在研究中的应用示例4.1 模型训练应用使用该数据集进行模型训练的典型流程import numpy as np import xarray as xr from sklearn.model_selection import train_test_split # 加载数据集 def load_dataset(sample_ids): inputs [] labels [] for sample_id in sample_ids: # 加载输入数据 input_data xr.open_dataset(finput_{sample_id:03d}.nc) # 加载真值标签 label_data xr.open_dataset(flabel_{sample_id:03d}.nc) inputs.append(input_data) labels.append(label_data) return inputs, labels # 划分训练集和测试集 all_samples range(1, 101) train_ids, test_ids train_test_split(all_samples, test_size0.2, random_state42) train_inputs, train_labels load_dataset(train_ids) test_inputs, test_labels load_dataset(test_ids)4.2 预报性能评估数据集可以用于评估不同预报模型的性能def evaluate_forecast(forecast_results, true_labels): 评估预报结果与真值的差异 metrics {} # 计算均方根误差 mse np.mean((forecast_results - true_labels) ** 2) metrics[rmse] np.sqrt(mse) # 计算平均绝对误差 metrics[mae] np.mean(np.abs(forecast_results - true_labels)) # 计算相关系数 metrics[correlation] np.corrcoef(forecast_results.flatten(), true_labels.flatten())[0, 1] return metrics # 使用示例 metrics evaluate_forecast(model_forecast, true_data) print(fRMSE: {metrics[rmse]:.4f}) print(fMAE: {metrics[mae]:.4f}) print(fCorrelation: {metrics[correlation]:.4f})4.3 可视化分析数据集支持多种可视化分析帮助理解天气模式和预报结果import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature def plot_weather_map(data, variableT2M, time_step0): 绘制气象变量空间分布图 fig plt.figure(figsize(12, 8)) ax plt.axes(projectionccrs.PlateCarree()) # 提取指定时间和变量的数据 plot_data data[variable].isel(timetime_step) # 绘制填色图 im ax.contourf(plot_data.lon, plot_data.lat, plot_data, levels50, transformccrs.PlateCarree(), cmapRdBu_r) # 添加地理特征 ax.add_feature(cfeature.COASTLINE) ax.add_feature(cfeature.BORDERS, linestyle:) ax.gridlines(draw_labelsTrue) # 添加颜色条 plt.colorbar(im, axax, orientationhorizontal, pad0.05) plt.title(f{variable} at time step {time_step}) plt.show() # 使用示例 sample_data xr.open_dataset(input_001.nc) plot_weather_map(sample_data, variableT2M, time_step0)5. 学术规范与引用要求5.1 使用规范在使用本数据集时请遵守以下学术规范注明数据来源在所有使用该数据集的研究成果中明确注明数据来源保持数据完整性不得篡改或歪曲原始数据共享改进鼓励基于该数据集的改进模型和方法的共享遵守许可协议数据集采用Apache-2.0许可协议5.2 推荐引用格式article{chen2023fuxi, title{FuXi: a cascade machine learning forecasting system for 15-day global weather forecast}, author{Chen, Lei and Zhong, Xiaohui and Zhang, Feng and Cheng, Yuan and Xu, Yinghui and Qi, Yuan and Li, Hao}, journal{npj Climate and Atmospheric Science}, year{2023}, doi{10.1038/s41612-023-00512-1} }5.3 贡献与反馈鼓励研究人员在使用过程中报告问题发现数据问题及时反馈分享应用分享基于该数据集的有趣应用和发现提出建议提出对数据集改进的建议参与扩展参与数据集的扩展和完善工作6. 总结与展望伏羲天气预报科研数据集的发布为气象人工智能研究提供了重要的基础设施。这个包含100组历史再分析样本与真值标签的数据集不仅支持天气预报模型的训练和验证还为算法比较和可重现研究提供了标准基准。数据集的价值体现在多个方面首先它提供了高质量、经过严格质量控制的气象数据其次它包含了从短期到长期的全周期预报标签最后它的全球覆盖和高空间分辨率使其适用于各种尺度的气象研究。未来我们计划持续更新和扩展这个数据集增加更多样本、更高分辨率的数据以及更多气象变量。同时我们也欢迎研究社区的参与和贡献共同推动气象人工智能技术的发展。对于研究人员来说这个数据集提供了一个难得的机会可以在真实的气象数据上测试和验证新的机器学习算法推动天气预报技术的进步最终为更好地理解和预测天气气候系统做出贡献。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。