尧图网页设计 
简介面向复旦大数据学院人工智能及相关课程的一份完整学习总结与作业资料包涵盖人工智能、分布式系统、自然语言处理、高级大数据解析、计算机网络、数据可视化等核心方向。包内共 576 个文件压缩后约 58.65MB以 Python 脚本、Jupyter Notebook、Markdown 笔记、PDF 文档、HTML 页面、C/C 源码及配套 Makefile 为主并带有 CRF 与 BERT 相关模型脚本、配置和参数文件覆盖从数据处理到模型训练验证的完整链路。已有 74 人学习适合需要系统梳理课程重点、参考作业实现或复习相关算法的同学。资料中包含大量可运行代码、实验数据、模型参数文件和目录说明既能从整体把握知识框架也能直接查看具体实现、排错思路和工程组织方式学习效率更高。尤其适合作为课程作业、毕业设计或科研入门时的参考模板可根据自身需求灵活选取模块使用。1. 为什么一份《人工智能》课程作业里会同时出现六个方向打开这份《人工智能》课程作业压缩包里面装的不是一门课的结课材料而是复旦大数据学院同一学期里六门课的完整交付人工智能、分布式系统、自然语言处理、高级大数据解析、计算机网络、数据可视化。你可能会觉得这是把几份独立的作业打了个包但真正动手做一遍就会发现这六门课其实是同一套系统的六个切面——AI 建模依赖大数据解析清洗后的数据NLP 模型的推理结果要交给可视化大屏展示模型一多、数据一涨分布式训练和网络通信就成了绕不开的工程问题。这篇文章不谈某个神秘项目源码而是从一线工程师视角把这条链路拆开讲清楚每门课的作业该怎么选型、怎么写、怎么调参、联调时哪里最容易翻车。文章更适合正在赶人工智能大作业、准备大数据和 Python 毕设的人也适合想把这套课程项目整理成面试作品集的开发者。我会按“数据结构与特征工程 → NLP 文本建模 → 分布式与网络部署 → 可视化验收”的顺序来组织尽量让你看完就能在自己的机器上复现出一条最小闭环。2. 高级大数据解析与人工智能把数据准备和建模做成一条流水线2.1 先定数据规模再定解析工具Pandas 是起点PySpark 才是“高级解析”高级大数据解析这门课听起来抽象但落到作业里无非做了三件事从异构数据源读数据、按业务规则清洗对齐、把原始字段加工成模型能吃的特征。很多人的误区是一上来就搬出 Spark问一句“你的数据有多大量级”就能劝退大半——几 GB 以内的结构化数据用 Pandas 加并行化完全够用强行上集群只会让你花一晚上修环境。我一般会先按数据形态做一次工具选型不盲目追框架数据规模数据形态推荐工具原因单表 500 MBCSV / ExcelPandas multiprocessing内存可容纳代码量最小多表 0.5 ~ 10 GB日志、JSON、关系库Pandas chunked / DuckDB支持 SQL 式查询且不损失开发效率10 GB 以上或需要 HDFS 协同分布式文件、实时流PySpark计算下推能跟后面的分布式系统课程接上作业里做高级大数据解析时我建议至少要体现一次“多来源数据解析”的操作比如把一份 JSON 格式的用户行为日志和一份 CSV 格式的商品表按主键对齐。解析阶段最常踩的坑有三个同一字段在不同来源里类型不一致、时间格式不统一、一对多关联后数据膨胀。下面这段代码处理的就是这三个问题import pandas as pd import json def parse_behavior_log(log_path: str) - pd.DataFrame: 读取 JSON 日志逐行解析并统一时间戳 rows [] with open(log_path, r, encodingutf-8) as f: for line in f: record json.loads(line) record[ts] pd.to_datetime(record.pop(timestamp), units) rows.append(record) return pd.DataFrame(rows) def join_and_check(behavior: pd.DataFrame, item: pd.DataFrame) - pd.DataFrame: # 先做数据类型统一再关联避免 join 丢数据 item[item_id] item[item_id].astype(str) behavior[item_id] behavior[item_id].astype(str) merged behavior.merge(item, onitem_id, howleft) # 一对多检查如果合并后行数超过左表行数说明有重复主键 assert len(merged) len(behavior), merge 后行数异常 return merged这段代码的要点在于把“类型统一”放在 merge 之前这也是大数据解析里最常见的隐患。时间戳这里用units指定秒级如果你拿到的日志是毫秒级就得改成unitms否则时间会偏移 1000 倍后面画可视化折线图时会出现“未来时间点”。2.2 用“先聚合再关联”规避大数据 N1 问题大数据面试里经常问的 N1 问题在课程作业里同样会出现。典型场景是拿到用户表和订单表为了给每个用户算订单量写了一个 for 循环逐个人去查订单表。订单量一上来连接次数跟着涨作业跑不完不说还会被老师质疑基础不扎实。正确做法是先把订单表按用户 ID 做 groupBy 聚合生成明细汇总表再一次性 join 回用户表。PySpark 版本是这样写的from pyspark.sql import functions as F order_summary ( order_df .groupBy(user_id) .agg( F.count(order_id).alias(order_cnt), F.sum(order_amount).alias(total_amount), F.avg(order_amount).alias(avg_amount), ) ) user_with_order user_df.join(order_summary, onuser_id, howleft) user_with_order.show(5)参数上没有太多玄机关键是agg里的聚合函数要按业务指标定义清楚。这里count统计的是订单数、sum统计消费总额、avg统计客单价一张汇总表可以同时喂给后续的机器学习模型做特征。如果你后面要做的是用户流失预测这三个字段就是最核心的数值特征如果是做用户分群它们也是 KMeans 聚类的输入。聚合后行数等于用户数join 不会造成数据膨胀整个过程从 O(订单数) 次查询降为一次全量聚合这是 N1 问题最直接的解法。2.3 一份能直接跑的分类建模最小代码数据解析完成后就进入人工智能课程作业的核心环节——建模。课程作业里最常见的任务是分类比如金融风控的逾期预测、电商的复购预测。这里给一个不依赖 GPU 也能跑通的最小方案Pandas 处理好的特征表 scikit-learn 的随机森林 GridSearchCV 调参。import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler import joblib df pd.read_csv(features.csv, parse_dates[ts]) df df.dropna(subset[label]) X df.drop(columns[label, ts, user_id]) y df[label] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) pipe Pipeline([ (scaler, StandardScaler()), (clf, RandomForestClassifier(random_state42)) ]) param_grid { clf__n_estimators: [100, 200], clf__max_depth: [6, 10, None], clf__min_samples_leaf: [1, 4] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1, n_jobs-1, verbose1) grid.fit(X_train, y_train) print(best params:, grid.best_params_) print(f1:, grid.best_score_) joblib.dump(grid.best_estimator_, model.pkl)代码里有几个参数值得单独解释stratifyy保证切分时正负样本比例和原数据一致对类别不平衡的数据集是必须项否则测试集里可能一个正样本都没有cv5表示五折交叉验证每折的验证集都是模型没见过的数据能压住过拟合min_samples_leaf4限制了叶子节点的最小样本数作业数据量不大时这个值设太小会严重过拟合。2.3.1 建模时怎么根据数据量选基线模型如果你是第一次跑人工智能大作业不建议上来就堆 XGBoost 或者深度学习。先用一个能被解释清楚的模型打底效果好再往上升级。选型参考如下模型适用场景调参重点注意坑逻辑回归特征维度高、样本量小C 值正则强度需要先做标准化随机森林表格数据、有缺失值n_estimators、max_depth对高基数分类特征不友好XGBoost / LightGBM数据量 10 万以上learning_rate、max_depth需要处理类别特征否则报错这章给出的代码已经是一条完整闭环解析数据、清洗关联、特征聚合、训练调参。到这里人工智能和数据解析的作业正文就完成了剩下的是把成果如何呈现给检查组——这个留到第 5 章讲可视化时再收口。3. 自然语言处理从语料到文本分类的可复现方案3.1 技术演进路线先 TF-IDF 再考虑 BERT自然语言处理的技术演进路线在课程里通常是按“词袋模型 → TF-IDF → Word2Vec → 预训练语言模型”来讲的但做作业时没必要按这条线全部实现一遍。看课程要求如果只是文本分类或者情感分析TF-IDF 加一个线性分类器就是最稳的基线几秒跑完解释性还强。只有当你需要做语义相似度、阅读理解这类任务时才值得上 BERT 这类预训练模型代价是得有 GPU 或租云服务器。在做 NLP 作业时最花时间的往往不是建模而是中文预处理。英文有空格天然分词中文要单独处理。下面这个脚本就是一个标准的中文文本分类作业模板输入是标注好的 CSV输出是分类报告和模型文件。import pandas as pd import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 加载语料至少包含 text 和 label 两列 df pd.read_csv(corpus.csv) df[text] df[text].astype(str) stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def cut_text(text: str) - str: words jieba.lcut(text) return .join([w for w in words if w not in stopwords and len(w) 1]) df[cut] df[text].apply(cut_text) X_train, X_test, y_train, y_test train_test_split( df[cut], df[label], test_size0.2, stratifydf[label], random_state42 ) pipe Pipeline([ (tfidf, TfidfVectorizer(max_features5000, ngram_range(1, 2))), (clf, LogisticRegression(C1.0, class_weightbalanced, max_iter1000)) ]) pipe.fit(X_train, y_train) y_pred pipe.predict(X_test) print(classification_report(y_test, y_pred)) import joblib joblib.dump(pipe, text_clf.pkl)max_features5000限制了特征维度语料大的时候可以放开到 20000但要注意训练时间和内存。ngram_range(1, 2)会把“非常”和“非常棒”这类相邻词组合纳入特征文本分类里常用但不要设成 (1, 4)特征爆炸而且过拟合风险高。class_weightbalanced会自动调整类别权重解决标签不均衡的问题这比手动采样省事。3.2 进阶路线什么时候切换到预训练模型如果你在课程要求里看到了“深度学习”“准确率不低于某个阈值”这类限定再考虑用预训练模型。用 Hugging Face 的transformers跑文本分类也很短但要注意两点一是中文预训练模型选择通常用bert-base-chinese就够二是本地显存不够时可以只训练全连接分类头冻结 BERT 参数或者直接用 CPU 跑小样本推理。from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments from datasets import Dataset tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model AutoModelForSequenceClassification.from_pretrained( bert-base-chinese, num_labels2 ) def tokenize_fn(batch): return tokenizer(batch[text], truncationTrue, max_length128, paddingTrue) dataset Dataset.from_pandas(df[[text, label]]).map(tokenize_fn, batchedTrue) training_args TrainingArguments( output_dir./results, num_train_epochs3, per_device_train_batch_size16, learning_rate2e-5, logging_steps50, save_strategyno, ) trainer Trainer(modelmodel, argstraining_args, train_datasetdataset) trainer.train() trainer.save_model(./bert_clf)这里max_length128很关键太长会增加训练成本太短会截断关键信息。文本分类一般 128 足够如果是长文档分类再提到 256。learning_rate2e-5是 BERT 微调的常用默认值跟 CNN 训练的 1e-3 差两个数量级不要照搬其他模型的参数习惯。对比一下两种方案TF-IDF 方案在几千条数据上两分钟内能跑完全流程模型可解释方便在报告里写特征重要性BERT 方案精度通常会高几个点但需要额外安装依赖、下载预训练权重如果你在课程设计中强调的是算法创新建议用 TF-IDF 做基线再在改进部分用 BERT 对比这样作业的完整度也更高。4. 分布式系统与计算机网络作业从单机走向集群的三步走4.1 大数据集群部署策略先伪分布式再三节点扩展课程作业里有分布式系统就必然涉及集群部署策略。常见的做法是先在单机上跑 Spark 的伪分布式模式把代码逻辑调通再开两台虚拟机或云主机组成三节点集群。一上来就配 HA高可用完全没必要作业规模用不上还会被 ZooKeeper 的配置搞得焦头烂额。伪分布式部署只需要修改 Spark 安装目录下的几个配置文件核心参数如下# conf/spark-env.sh export SPARK_MASTER_HOST127.0.0.1 export SPARK_MASTER_PORT7077 export SPARK_WORKER_CORES2 export SPARK_WORKER_MEMORY4g # conf/spark-defaults.conf spark.master spark://127.0.0.1:7077 spark.executor.memory 4g spark.executor.cores 2 spark.serializer org.apache.spark.serializer.KryoSerializer spark.sql.shuffle.partitions 4SPARK_MASTER_PORT7077是 Spark 自己的通信端口如果你的机器上有多个 Spark 版本或者端口被占用改成 7078、8077 都可以。spark.sql.shuffle.partitions4这个参数很多人会忽略它决定了 shuffle 的并行度作业模式下数据量小(4~8) 个分区足够如果默认设置过大每个任务只处理几百条数据反而多出几十倍的调度开销。启动集群后用jps命令检查 Master 和 Worker 进程是否都在。常见问题是 Worker 启动了但 Master 列表里看不到这时去logs/spark-*.out看日志十有八九是内存配置超过了机器物理内存或者是 hostname 解析不通。课程作业里出现 hostname 解析问题一般改/etc/hosts就能解决把主机名指向内网 IP而不是只保留 127.0.0.1。4.2 计算机网络在作业里的体现用 FastAPI 包一层推理服务一提到计算机网络很多人第一反应是想写 TCP socket 聊天程序。但在这个课程序列里计算机网络更自然的落点是把前面训练好的 AI 和 NLP 模型包装成服务——这涉及 HTTP 协议、请求响应模型、异步 IO作业报告甚至毕设答辩里都好解释。FastAPI 是首选自带文档页面异步支持好代码量又少。from fastapi import FastAPI from pydantic import BaseModel import joblib app FastAPI(titleAI Models API) model joblib.load(model.pkl) class PredictRequest(BaseModel): features: list[float] class TextRequest(BaseModel): text: str app.post(/api/predict) def predict(req: PredictRequest): pred model.predict([req.features])[0] return {prediction: int(pred)} text_model joblib.load(text_clf.pkl) app.post(/api/text_cls) def text_cls(req: TextRequest): label text_model.predict([req.text])[0] return {label: int(label)}启动命令是uvicorn main:app --host 0.0.0.0 --port 8000。这里--host 0.0.0.0表示监听所有网卡接口这样同一个局域网里的其他机器才能访问你的服务如果只在本地调试改成127.0.0.1更安全。Pydantic 的BaseModel在这里的作用不仅是类型校验FastAPI 会自动把请求体里的 JSON 字段映射成 Python 对象字段名对不上会直接返回 422 错误码这个特性在联调时能省很多时间。4.3 多模型训练时的分布式通信PyTorch DDP 怎么调如果你的人工智能作业要在多卡或多机环境里训练深度学习模型那就需要用到 PyTorch 的DistributedDataParallel。DDP 的原理是每个进程持有模型的一份副本前向传播各算各的反向传播时通过 NCCL 或 Gloo 后端做梯度同步。课程作业里小模型用 Gloo 就够了它只依赖 TCP 通信不需要额外装 NVIDIA 的 NCCL 驱动。import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def init_distributed(): dist.init_process_group( backendgloo, init_methodtcp://127.0.0.1:23456, world_size2, rankargs.local_rank, ) torch.cuda.set_device(args.local_rank) model nn.Linear(10, 2).to(args.local_rank) model DDP(model, device_ids[args.local_rank])init_methodtcp://127.0.0.1:23456指定的是“协调节点”的地址和端口所有进程先在这里汇合然后各自开始训练。port要确保两边都开放防火墙拦掉这个端口的话训练会卡在初始化阶段一直不报错。world_size是参与训练的进程总数跟启动的进程数必须一致。启动命令是python -m torch.distributed.launch --nproc_per_node2 train.py这里--nproc_per_node2表示单机启动两个进程对应两张卡或两套 CPU 核心。如果你是人工启动多个进程而不是用 launcherrank 和 world_size 需要手动配稍微麻烦一点。就课程作业而言更推荐 launcher——它已经帮你把环境变量LOCAL_RANK和RANK设好了代码里直接读就行。5. 数据可视化大屏从 ECharts 到答辩验收的进阶技巧5.1 大屏布局不只是好看把 AI 和 NLP 结果落到图表上数据可视化在六个方向里是唯一一个能直接“打分”的模块老师看一眼大屏就知道你的项目有没有跑通。作业里我建议用 ECharts 做核心图表它免费、开箱即用而且社区有大量免费的现成素材可以借鉴做出来的效果不输商业可视化平台。大屏上至少要放三类内容AI 模型的核心指标准确率、F1、AUC、NLP 分类结果的分布饼图、数据解析阶段的数据量统计概览。ECharts 的折线图配置里最容易被忽略的是dataZoom。当你要展示 10000 个时间点时ECharts 默认全量渲染图表会卡到拖不动。加上dataZoom之后图表只渲染当前窗口内的数据前后端都省力。option { xAxis: { type: category, data: timePoints }, yAxis: { type: value }, dataZoom: [ { type: inside, start: 0, end: 100 }, { type: slider, start: 0, end: 100, height: 20 } ], series: [{ name: 模型准确率, type: line, data: accList }] };dataZoom里type: inside表示鼠标滚轮直接缩放type: slider是底部滑块组件。两个都保留操作习惯不同的人都能用。如果你的大屏还要接实时数据可以考虑用 WebSocket 推送而不是 HTTP 轮询每 5 秒推一次新数据图表用setOption增量更新避免整个大屏闪烁重绘。5.2 答辩前怎么验证Mock 数据先行自测大屏开发最怕的不是代码 Bug而是“跟后端联调时你分不清是自己的问题还是接口的问题”。我一般会让前端先用 Mock 数据把大屏跑起来页面效果、交互逻辑、渲染性能都验证完再切换到真实接口。这一步能提前暴露问题比如组件数据格式对不上方便快速定位。const mockData { total_users: 15234, order_cnt: 89620, acc: 0.923, label_dist: [ { name: 正样本, value: 8732 }, { name: 负样本, value: 6502 } ] }; fetch(/api/overview) .then(res res.json()) .then(data renderDashboard(data)) .catch(() renderDashboard(mockData));这段代码的意义在于catch分支——接口没通时自动降级到 Mock 数据大屏依然能正常展示答辩时不会因为网络问题宕在台上。真实接口字段调整了只要 Mock 数据结构对齐前端代码完全不用动。这个技巧在真实项目中同样通用。最后要检查的是 ECharts 图表的自适应。大屏往往在 1920×1080 的分辨率下设计答辩投影可能是 4:3 或者 16:10记得给图表容器调用chart.resize()。把window.onresize事件绑定到图表的 resize 方法上确保切换窗口尺寸后图表不塌陷。本文还有配套的精品资源点击获取 AI课程作业全链路实战：从大数据解析到可视化大屏
简介面向复旦大数据学院人工智能及相关课程的一份完整学习总结与作业资料包涵盖人工智能、分布式系统、自然语言处理、高级大数据解析、计算机网络、数据可视化等核心方向。包内共 576 个文件压缩后约 58.65MB以 Python 脚本、Jupyter Notebook、Markdown 笔记、PDF 文档、HTML 页面、C/C 源码及配套 Makefile 为主并带有 CRF 与 BERT 相关模型脚本、配置和参数文件覆盖从数据处理到模型训练验证的完整链路。已有 74 人学习适合需要系统梳理课程重点、参考作业实现或复习相关算法的同学。资料中包含大量可运行代码、实验数据、模型参数文件和目录说明既能从整体把握知识框架也能直接查看具体实现、排错思路和工程组织方式学习效率更高。尤其适合作为课程作业、毕业设计或科研入门时的参考模板可根据自身需求灵活选取模块使用。1. 为什么一份《人工智能》课程作业里会同时出现六个方向打开这份《人工智能》课程作业压缩包里面装的不是一门课的结课材料而是复旦大数据学院同一学期里六门课的完整交付人工智能、分布式系统、自然语言处理、高级大数据解析、计算机网络、数据可视化。你可能会觉得这是把几份独立的作业打了个包但真正动手做一遍就会发现这六门课其实是同一套系统的六个切面——AI 建模依赖大数据解析清洗后的数据NLP 模型的推理结果要交给可视化大屏展示模型一多、数据一涨分布式训练和网络通信就成了绕不开的工程问题。这篇文章不谈某个神秘项目源码而是从一线工程师视角把这条链路拆开讲清楚每门课的作业该怎么选型、怎么写、怎么调参、联调时哪里最容易翻车。文章更适合正在赶人工智能大作业、准备大数据和 Python 毕设的人也适合想把这套课程项目整理成面试作品集的开发者。我会按“数据结构与特征工程 → NLP 文本建模 → 分布式与网络部署 → 可视化验收”的顺序来组织尽量让你看完就能在自己的机器上复现出一条最小闭环。2. 高级大数据解析与人工智能把数据准备和建模做成一条流水线2.1 先定数据规模再定解析工具Pandas 是起点PySpark 才是“高级解析”高级大数据解析这门课听起来抽象但落到作业里无非做了三件事从异构数据源读数据、按业务规则清洗对齐、把原始字段加工成模型能吃的特征。很多人的误区是一上来就搬出 Spark问一句“你的数据有多大量级”就能劝退大半——几 GB 以内的结构化数据用 Pandas 加并行化完全够用强行上集群只会让你花一晚上修环境。我一般会先按数据形态做一次工具选型不盲目追框架数据规模数据形态推荐工具原因单表 500 MBCSV / ExcelPandas multiprocessing内存可容纳代码量最小多表 0.5 ~ 10 GB日志、JSON、关系库Pandas chunked / DuckDB支持 SQL 式查询且不损失开发效率10 GB 以上或需要 HDFS 协同分布式文件、实时流PySpark计算下推能跟后面的分布式系统课程接上作业里做高级大数据解析时我建议至少要体现一次“多来源数据解析”的操作比如把一份 JSON 格式的用户行为日志和一份 CSV 格式的商品表按主键对齐。解析阶段最常踩的坑有三个同一字段在不同来源里类型不一致、时间格式不统一、一对多关联后数据膨胀。下面这段代码处理的就是这三个问题import pandas as pd import json def parse_behavior_log(log_path: str) - pd.DataFrame: 读取 JSON 日志逐行解析并统一时间戳 rows [] with open(log_path, r, encodingutf-8) as f: for line in f: record json.loads(line) record[ts] pd.to_datetime(record.pop(timestamp), units) rows.append(record) return pd.DataFrame(rows) def join_and_check(behavior: pd.DataFrame, item: pd.DataFrame) - pd.DataFrame: # 先做数据类型统一再关联避免 join 丢数据 item[item_id] item[item_id].astype(str) behavior[item_id] behavior[item_id].astype(str) merged behavior.merge(item, onitem_id, howleft) # 一对多检查如果合并后行数超过左表行数说明有重复主键 assert len(merged) len(behavior), merge 后行数异常 return merged这段代码的要点在于把“类型统一”放在 merge 之前这也是大数据解析里最常见的隐患。时间戳这里用units指定秒级如果你拿到的日志是毫秒级就得改成unitms否则时间会偏移 1000 倍后面画可视化折线图时会出现“未来时间点”。2.2 用“先聚合再关联”规避大数据 N1 问题大数据面试里经常问的 N1 问题在课程作业里同样会出现。典型场景是拿到用户表和订单表为了给每个用户算订单量写了一个 for 循环逐个人去查订单表。订单量一上来连接次数跟着涨作业跑不完不说还会被老师质疑基础不扎实。正确做法是先把订单表按用户 ID 做 groupBy 聚合生成明细汇总表再一次性 join 回用户表。PySpark 版本是这样写的from pyspark.sql import functions as F order_summary ( order_df .groupBy(user_id) .agg( F.count(order_id).alias(order_cnt), F.sum(order_amount).alias(total_amount), F.avg(order_amount).alias(avg_amount), ) ) user_with_order user_df.join(order_summary, onuser_id, howleft) user_with_order.show(5)参数上没有太多玄机关键是agg里的聚合函数要按业务指标定义清楚。这里count统计的是订单数、sum统计消费总额、avg统计客单价一张汇总表可以同时喂给后续的机器学习模型做特征。如果你后面要做的是用户流失预测这三个字段就是最核心的数值特征如果是做用户分群它们也是 KMeans 聚类的输入。聚合后行数等于用户数join 不会造成数据膨胀整个过程从 O(订单数) 次查询降为一次全量聚合这是 N1 问题最直接的解法。2.3 一份能直接跑的分类建模最小代码数据解析完成后就进入人工智能课程作业的核心环节——建模。课程作业里最常见的任务是分类比如金融风控的逾期预测、电商的复购预测。这里给一个不依赖 GPU 也能跑通的最小方案Pandas 处理好的特征表 scikit-learn 的随机森林 GridSearchCV 调参。import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler import joblib df pd.read_csv(features.csv, parse_dates[ts]) df df.dropna(subset[label]) X df.drop(columns[label, ts, user_id]) y df[label] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) pipe Pipeline([ (scaler, StandardScaler()), (clf, RandomForestClassifier(random_state42)) ]) param_grid { clf__n_estimators: [100, 200], clf__max_depth: [6, 10, None], clf__min_samples_leaf: [1, 4] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1, n_jobs-1, verbose1) grid.fit(X_train, y_train) print(best params:, grid.best_params_) print(f1:, grid.best_score_) joblib.dump(grid.best_estimator_, model.pkl)代码里有几个参数值得单独解释stratifyy保证切分时正负样本比例和原数据一致对类别不平衡的数据集是必须项否则测试集里可能一个正样本都没有cv5表示五折交叉验证每折的验证集都是模型没见过的数据能压住过拟合min_samples_leaf4限制了叶子节点的最小样本数作业数据量不大时这个值设太小会严重过拟合。2.3.1 建模时怎么根据数据量选基线模型如果你是第一次跑人工智能大作业不建议上来就堆 XGBoost 或者深度学习。先用一个能被解释清楚的模型打底效果好再往上升级。选型参考如下模型适用场景调参重点注意坑逻辑回归特征维度高、样本量小C 值正则强度需要先做标准化随机森林表格数据、有缺失值n_estimators、max_depth对高基数分类特征不友好XGBoost / LightGBM数据量 10 万以上learning_rate、max_depth需要处理类别特征否则报错这章给出的代码已经是一条完整闭环解析数据、清洗关联、特征聚合、训练调参。到这里人工智能和数据解析的作业正文就完成了剩下的是把成果如何呈现给检查组——这个留到第 5 章讲可视化时再收口。3. 自然语言处理从语料到文本分类的可复现方案3.1 技术演进路线先 TF-IDF 再考虑 BERT自然语言处理的技术演进路线在课程里通常是按“词袋模型 → TF-IDF → Word2Vec → 预训练语言模型”来讲的但做作业时没必要按这条线全部实现一遍。看课程要求如果只是文本分类或者情感分析TF-IDF 加一个线性分类器就是最稳的基线几秒跑完解释性还强。只有当你需要做语义相似度、阅读理解这类任务时才值得上 BERT 这类预训练模型代价是得有 GPU 或租云服务器。在做 NLP 作业时最花时间的往往不是建模而是中文预处理。英文有空格天然分词中文要单独处理。下面这个脚本就是一个标准的中文文本分类作业模板输入是标注好的 CSV输出是分类报告和模型文件。import pandas as pd import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 加载语料至少包含 text 和 label 两列 df pd.read_csv(corpus.csv) df[text] df[text].astype(str) stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) def cut_text(text: str) - str: words jieba.lcut(text) return .join([w for w in words if w not in stopwords and len(w) 1]) df[cut] df[text].apply(cut_text) X_train, X_test, y_train, y_test train_test_split( df[cut], df[label], test_size0.2, stratifydf[label], random_state42 ) pipe Pipeline([ (tfidf, TfidfVectorizer(max_features5000, ngram_range(1, 2))), (clf, LogisticRegression(C1.0, class_weightbalanced, max_iter1000)) ]) pipe.fit(X_train, y_train) y_pred pipe.predict(X_test) print(classification_report(y_test, y_pred)) import joblib joblib.dump(pipe, text_clf.pkl)max_features5000限制了特征维度语料大的时候可以放开到 20000但要注意训练时间和内存。ngram_range(1, 2)会把“非常”和“非常棒”这类相邻词组合纳入特征文本分类里常用但不要设成 (1, 4)特征爆炸而且过拟合风险高。class_weightbalanced会自动调整类别权重解决标签不均衡的问题这比手动采样省事。3.2 进阶路线什么时候切换到预训练模型如果你在课程要求里看到了“深度学习”“准确率不低于某个阈值”这类限定再考虑用预训练模型。用 Hugging Face 的transformers跑文本分类也很短但要注意两点一是中文预训练模型选择通常用bert-base-chinese就够二是本地显存不够时可以只训练全连接分类头冻结 BERT 参数或者直接用 CPU 跑小样本推理。from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments from datasets import Dataset tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model AutoModelForSequenceClassification.from_pretrained( bert-base-chinese, num_labels2 ) def tokenize_fn(batch): return tokenizer(batch[text], truncationTrue, max_length128, paddingTrue) dataset Dataset.from_pandas(df[[text, label]]).map(tokenize_fn, batchedTrue) training_args TrainingArguments( output_dir./results, num_train_epochs3, per_device_train_batch_size16, learning_rate2e-5, logging_steps50, save_strategyno, ) trainer Trainer(modelmodel, argstraining_args, train_datasetdataset) trainer.train() trainer.save_model(./bert_clf)这里max_length128很关键太长会增加训练成本太短会截断关键信息。文本分类一般 128 足够如果是长文档分类再提到 256。learning_rate2e-5是 BERT 微调的常用默认值跟 CNN 训练的 1e-3 差两个数量级不要照搬其他模型的参数习惯。对比一下两种方案TF-IDF 方案在几千条数据上两分钟内能跑完全流程模型可解释方便在报告里写特征重要性BERT 方案精度通常会高几个点但需要额外安装依赖、下载预训练权重如果你在课程设计中强调的是算法创新建议用 TF-IDF 做基线再在改进部分用 BERT 对比这样作业的完整度也更高。4. 分布式系统与计算机网络作业从单机走向集群的三步走4.1 大数据集群部署策略先伪分布式再三节点扩展课程作业里有分布式系统就必然涉及集群部署策略。常见的做法是先在单机上跑 Spark 的伪分布式模式把代码逻辑调通再开两台虚拟机或云主机组成三节点集群。一上来就配 HA高可用完全没必要作业规模用不上还会被 ZooKeeper 的配置搞得焦头烂额。伪分布式部署只需要修改 Spark 安装目录下的几个配置文件核心参数如下# conf/spark-env.sh export SPARK_MASTER_HOST127.0.0.1 export SPARK_MASTER_PORT7077 export SPARK_WORKER_CORES2 export SPARK_WORKER_MEMORY4g # conf/spark-defaults.conf spark.master spark://127.0.0.1:7077 spark.executor.memory 4g spark.executor.cores 2 spark.serializer org.apache.spark.serializer.KryoSerializer spark.sql.shuffle.partitions 4SPARK_MASTER_PORT7077是 Spark 自己的通信端口如果你的机器上有多个 Spark 版本或者端口被占用改成 7078、8077 都可以。spark.sql.shuffle.partitions4这个参数很多人会忽略它决定了 shuffle 的并行度作业模式下数据量小(4~8) 个分区足够如果默认设置过大每个任务只处理几百条数据反而多出几十倍的调度开销。启动集群后用jps命令检查 Master 和 Worker 进程是否都在。常见问题是 Worker 启动了但 Master 列表里看不到这时去logs/spark-*.out看日志十有八九是内存配置超过了机器物理内存或者是 hostname 解析不通。课程作业里出现 hostname 解析问题一般改/etc/hosts就能解决把主机名指向内网 IP而不是只保留 127.0.0.1。4.2 计算机网络在作业里的体现用 FastAPI 包一层推理服务一提到计算机网络很多人第一反应是想写 TCP socket 聊天程序。但在这个课程序列里计算机网络更自然的落点是把前面训练好的 AI 和 NLP 模型包装成服务——这涉及 HTTP 协议、请求响应模型、异步 IO作业报告甚至毕设答辩里都好解释。FastAPI 是首选自带文档页面异步支持好代码量又少。from fastapi import FastAPI from pydantic import BaseModel import joblib app FastAPI(titleAI Models API) model joblib.load(model.pkl) class PredictRequest(BaseModel): features: list[float] class TextRequest(BaseModel): text: str app.post(/api/predict) def predict(req: PredictRequest): pred model.predict([req.features])[0] return {prediction: int(pred)} text_model joblib.load(text_clf.pkl) app.post(/api/text_cls) def text_cls(req: TextRequest): label text_model.predict([req.text])[0] return {label: int(label)}启动命令是uvicorn main:app --host 0.0.0.0 --port 8000。这里--host 0.0.0.0表示监听所有网卡接口这样同一个局域网里的其他机器才能访问你的服务如果只在本地调试改成127.0.0.1更安全。Pydantic 的BaseModel在这里的作用不仅是类型校验FastAPI 会自动把请求体里的 JSON 字段映射成 Python 对象字段名对不上会直接返回 422 错误码这个特性在联调时能省很多时间。4.3 多模型训练时的分布式通信PyTorch DDP 怎么调如果你的人工智能作业要在多卡或多机环境里训练深度学习模型那就需要用到 PyTorch 的DistributedDataParallel。DDP 的原理是每个进程持有模型的一份副本前向传播各算各的反向传播时通过 NCCL 或 Gloo 后端做梯度同步。课程作业里小模型用 Gloo 就够了它只依赖 TCP 通信不需要额外装 NVIDIA 的 NCCL 驱动。import torch import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def init_distributed(): dist.init_process_group( backendgloo, init_methodtcp://127.0.0.1:23456, world_size2, rankargs.local_rank, ) torch.cuda.set_device(args.local_rank) model nn.Linear(10, 2).to(args.local_rank) model DDP(model, device_ids[args.local_rank])init_methodtcp://127.0.0.1:23456指定的是“协调节点”的地址和端口所有进程先在这里汇合然后各自开始训练。port要确保两边都开放防火墙拦掉这个端口的话训练会卡在初始化阶段一直不报错。world_size是参与训练的进程总数跟启动的进程数必须一致。启动命令是python -m torch.distributed.launch --nproc_per_node2 train.py这里--nproc_per_node2表示单机启动两个进程对应两张卡或两套 CPU 核心。如果你是人工启动多个进程而不是用 launcherrank 和 world_size 需要手动配稍微麻烦一点。就课程作业而言更推荐 launcher——它已经帮你把环境变量LOCAL_RANK和RANK设好了代码里直接读就行。5. 数据可视化大屏从 ECharts 到答辩验收的进阶技巧5.1 大屏布局不只是好看把 AI 和 NLP 结果落到图表上数据可视化在六个方向里是唯一一个能直接“打分”的模块老师看一眼大屏就知道你的项目有没有跑通。作业里我建议用 ECharts 做核心图表它免费、开箱即用而且社区有大量免费的现成素材可以借鉴做出来的效果不输商业可视化平台。大屏上至少要放三类内容AI 模型的核心指标准确率、F1、AUC、NLP 分类结果的分布饼图、数据解析阶段的数据量统计概览。ECharts 的折线图配置里最容易被忽略的是dataZoom。当你要展示 10000 个时间点时ECharts 默认全量渲染图表会卡到拖不动。加上dataZoom之后图表只渲染当前窗口内的数据前后端都省力。option { xAxis: { type: category, data: timePoints }, yAxis: { type: value }, dataZoom: [ { type: inside, start: 0, end: 100 }, { type: slider, start: 0, end: 100, height: 20 } ], series: [{ name: 模型准确率, type: line, data: accList }] };dataZoom里type: inside表示鼠标滚轮直接缩放type: slider是底部滑块组件。两个都保留操作习惯不同的人都能用。如果你的大屏还要接实时数据可以考虑用 WebSocket 推送而不是 HTTP 轮询每 5 秒推一次新数据图表用setOption增量更新避免整个大屏闪烁重绘。5.2 答辩前怎么验证Mock 数据先行自测大屏开发最怕的不是代码 Bug而是“跟后端联调时你分不清是自己的问题还是接口的问题”。我一般会让前端先用 Mock 数据把大屏跑起来页面效果、交互逻辑、渲染性能都验证完再切换到真实接口。这一步能提前暴露问题比如组件数据格式对不上方便快速定位。const mockData { total_users: 15234, order_cnt: 89620, acc: 0.923, label_dist: [ { name: 正样本, value: 8732 }, { name: 负样本, value: 6502 } ] }; fetch(/api/overview) .then(res res.json()) .then(data renderDashboard(data)) .catch(() renderDashboard(mockData));这段代码的意义在于catch分支——接口没通时自动降级到 Mock 数据大屏依然能正常展示答辩时不会因为网络问题宕在台上。真实接口字段调整了只要 Mock 数据结构对齐前端代码完全不用动。这个技巧在真实项目中同样通用。最后要检查的是 ECharts 图表的自适应。大屏往往在 1920×1080 的分辨率下设计答辩投影可能是 4:3 或者 16:10记得给图表容器调用chart.resize()。把window.onresize事件绑定到图表的 resize 方法上确保切换窗口尺寸后图表不塌陷。本文还有配套的精品资源点击获取