这次我们来看一个非常典型的 Python 大数据方向毕业设计基于 Spark 的猫眼电影数据分析与推荐系统。它的技术栈直接铺开是 Python Spark Hadoop Django 推荐算法几乎把大数据课程里最常考的几块都串在了一起爬虫采集、HDFS 存储、Spark 离线分析、协同过滤推荐、Django Web 展示。如果你正在为毕业设计、课程设计选题发愁或者想把 Spark 和 Hadoop 真正跑通一个完整项目这个题目是很有参考价值的。这个项目最值得关注的点不是某个算法有多新而是结构完整、链路清晰。从数据源头到最终页面展示整个流程是通的先抓取猫眼电影数据再把数据落到 Hadoop HDFS用 Spark 做清洗和分析最后用 Django 做一个可视化后台同时基于用户行为数据给出电影推荐。也就是说你拿到手的是一套“大数据 Web 推荐”的全栈实践而不是单独一个算法 demo。本文会围绕这个项目拆开讲核心能力、适用场景、技术架构、环境准备、部署启动方式、数据分析与推荐功能怎么验证、接口怎么调、批量任务怎么做、资源占用怎么看以及常见问题的排查思路。如果你正在做同类毕设或者刚入门 Spark Django 的整合开发可以直接按本文的思路去部署和验收。先说明一点因为不同版本的源码、运行环境、数据规模和交付包会有差异本文不会写死某个具体版本号或启动脚本路径。你拿到项目后先看 README 和配置文件再按实际目录替换路径即可。1. 核心能力速览能力项说明项目类型大数据方向毕业设计 / 课程设计 / 学习项目技术栈Python、Spark、Hadoop、Django、SQLite/MySQL、推荐算法主要功能猫眼电影数据采集、数据清洗、Spark 离线分析、可视化展示、电影推荐数据存储HDFS 存储原始数据MySQL/SQLite 存储业务数据数据处理Spark SQL、DataFrame、RDD 离线批处理Web 框架Django 后台管理 前端页面展示推荐算法基于物品的协同过滤 / 基于用户的协同过滤以源码为准启动方式命令启动分模块运行是否支持 API依赖 Django REST 接口设计通常可提供 JSON 接口是否支持批量任务支持Spark 批量分析 Django 批量数据导入交付内容源码、文档报告、代码讲解按实际交付包为准适合场景毕设、课设、大数据入门实践、推荐系统学习这里要强调一点这个项目的定位是教学和演示不是生产级大数据平台。它适合在本地或单机伪分布式环境跑通全流程帮你理解每个组件之间怎么协作。如果是生产环境需要额外考虑集群规模、数据量、稳定性、权限控制等那超出了普通毕设项目的范围。2. 适用场景与使用边界先说适合谁。第一类是正在准备毕业设计的学生尤其是计算机、软件工程、数据科学与大数据技术专业题目里同时包含 Spark、Hadoop、推荐系统、Django 这四个关键词在答辩时覆盖的知识点面很广容易讲清楚自己的工作量。第二类是做课程设计的学生需要快速搭建一个能演示的大数据项目。第三类是刚接触 Spark 的开发者想找一个完整的业务场景来练习 RDD、DataFrame、Spark SQL 和协同过滤而不是只看官方文档里的 word count 例子。这个项目能解决什么问题核心是三个一是数据怎么来爬虫模块解决数据采集二是数据怎么分析Spark 离线任务处理千万级电影评论、评分、票房等数据三是结果怎么用Django 展示统计图表推荐系统输出个性化电影列表。把这套流程跑通你对大数据项目落地的整体认知会明显提升。使用边界也要说清楚。第一数据爬取必须合规。猫眼等平台的数据属于第三方平台内容毕设项目做学习研究可以但要注意遵守平台 robots 协议控制请求频率不要对目标站点造成压力也不要将采集数据用于商业用途。第二这个项目不是高并发系统。Django 默认开发服务器不适合直接对外开放生产部署需要换 uwsgi/gunicorn Nginx并做好数据库和缓存配置。第三推荐效果有限。单机跑协同过滤面对冷启动用户和新电影效果不会很好答辩时要能解释这种局限。3. 项目整体架构与功能模块拆解从架构上看这个项目可以分成五层采集层、存储层、计算层、推荐层、展示层。每一层之间的职责边界比较清晰这也是这个项目适合做毕设的原因你可以在答辩时按“数据采集 - 数据清洗 - 数据分析 - 推荐计算 - 可视化展示”这条主线来讲。3.1 数据采集层通过 Python 爬虫抓取猫眼电影的基本信息、评分、评论、票房等数据生成结构化数据文件。爬虫部分一般会用到 requests、BeautifulSoup、Scrapy 等库。抓下来的数据先落成 CSV 或 JSON作为后续大数据处理的输入。采集完成后最好对数据做一次去重和抽样控制数据规模否则后续 Spark 任务跑起来会比较慢。3.2 数据存储层原始数据上传到Hadoop HDFS体现大数据存储思路。另一部分业务数据比如用户信息、电影信息、推荐结果存放在 MySQL 或 SQLite 中方便 Django 查询。这里要注意 HDFS 和 MySQL 的分工HDFS 用来存“原始数据”和“分析中间结果”MySQL 用来存“Web 展示需要查询的数据”。3.3 数据处理层Spark 读取 HDFS 上的数据通过 Spark SQL、DataFrame 完成清洗和统计。常见分析指标包括评分分布、票房排名、地区分布、年份趋势、高分电影 TOP 榜、热门类型统计等。分析结果可以写回 HDFS也可以直接导到 MySQL供 Web 端展示。3.4 推荐引擎层基于用户对电影的评分、收藏、观看记录构建协同过滤模型。毕设项目一般使用基于物品的协同过滤ItemCF或者基于用户的协同过滤UserCF计算电影之间的相似度再给目标用户推荐 Top K 部电影。推荐结果存入数据库Django 通过查询接口展示。3.5 Web 展示层Django 负责后台管理和前端页面。典型页面包括电影列表页、电影详情页、统计图表页、推荐结果页、后台数据管理页。统计图表可以用 ECharts、Pyecharts 生成也可以直接把 Spark 统计结果渲染成表格。4. 环境准备与前置条件在动手部署之前先把环境梳理一遍。这个项目涉及多个组件建议按下面的清单逐项确认避免启动过程中反复报错。检查项建议操作系统Windows / Linux / macOS 均可Linux 服务器更接近真实环境Python 版本Python 3.6 以上建议 3.8 / 3.10先看项目 requirements.txtJDK 版本Hadoop 和 Spark 依赖 JDK常见的 Spark 3.x 需要 JDK 8 或 JDK 11Hadoop 版本伪分布式模式即可按项目说明安装Spark 版本按项目的 spark 版本选择本地使用 local 模式即可Django 版本按 requirements.txt 安装数据库MySQL 或项目默认的 SQLite依赖库requests、pandas、pyspark、django、djangorestframework、pyecharts 等磁盘空间预留 10G 以上Hadoop 日志和 Spark 临时文件比较占空间端口默认 50070HDFS Web、8088YARN、8000/8080Django环境准备这里最容易踩的坑就是版本不匹配。比如 Spark 3.3 需要 JDK 8/11但如果本机装的是 JDK 17可能会遇到兼容性报错。再比如 pyspark 版本和 Spark 版本不一致启动时也会提示找不到包。建议先看项目的 requirements.txt 和 README按项目指定版本安装不要盲目装最新版。如果你是在 Windows 本机跑Hadoop 需要下载对应 Windows 版 winutils.exe否则启动 HDFS 时会报 native 库找不到的错。Linux 环境下会省去这个麻烦。电脑配置方面内存建议至少 8G能用 16G 更好。Spark 和 Hadoop 的 JVM 进程都很占内存既要跑 Hadoop 又要跑 Spark 还要跑 Django小内存机器容易卡死。5. 安装部署与启动流程下面给出一套通用的启动流程具体命令以你拿到的项目说明为准。整个过程建议分成四步先启动 Hadoop再启动 Spark 相关服务然后初始化 Django最后导入数据并执行分析。5.1 启动 Hadoop 伪分布式如果是 Linux 环境Hadoop 配置完成后先格式化 NameNode然后启动 HDFS 和 YARN# 格式化 NameNode只在首次启动时执行 hdfs namenode -format # 启动 HDFS start-dfs.sh # 启动 YARN start-yarn.sh # 查看进程是否正常 jps如果jps能看到 NameNode、DataNode、ResourceManager、NodeManager 这几个进程说明 Hadoop 启动成功。接着可以访问 HDFS Web 页面确认# HDFS 页面默认端口 http://localhost:500705.2 创建 HDFS 目录并上传数据项目里通常会有data/、spark/、movie/这类目录先把原始数据上传到 HDFS# 创建项目目录 hdfs dfs -mkdir -p /movie/input hdfs dfs -mkdir -p /movie/output # 上传本地数据 hdfs dfs -put ./data/movie_data.csv /movie/input/如果本地数据文件比较大可以先抽样一部分再上传避免后续 Spark 跑太久。5.3 安装 Python 依赖强烈建议用虚拟环境隔离依赖不要直接装到系统 Python# 创建虚拟环境 python -m venv venv # 激活虚拟环境 # Windows venv\Scripts\activate # Linux / macOS source venv/bin/activate # 安装依赖 pip install -r requirements.txt如果项目没有给出 requirements.txt至少需要安装以下核心库具体版本看报错信息再调整pip install django pyspark pandas requests djangorestframework pyecharts5.4 初始化 Django 数据库配置好 Django 的数据库连接后执行迁移和创建管理员python manage.py makemigrations python manage.py migrate python manage.py createsuperuser初始化完成后再启动 Djangopython manage.py runserver 0.0.0.0:8000启动后访问http://localhost:8000如果能看到项目页面或后台登录页说明 Web 端跑通了。5.5 提交 Spark 分析任务Spark 离线分析是另一条独立的命令。常见做法是把分析脚本放到spark/或analysis/目录下然后用 spark-submit 提交spark-submit \ --master local[*] \ --driver-memory 2g \ --executor-memory 2g \ analysis/movie_analysis.py如果是用 pyspark 直接开发也可以写一个 Python 脚本内部用 SparkSession 读取 HDFS 文件计算分析结果再写入 MySQL。提交任务后关注控制台日志和最终输出如果看到Job succeeded或Success字样说明分析任务执行成功。6. 数据分析功能测试与效果验证项目部署起来之后怎么判断它真的能干活建议按下面几个维度做功能测试。每个测试都在明确输入、操作步骤、预期结果和失败排查方式。6.1 数据导入测试测试目的确认 Django 能正确读取爬虫产出的电影数据。操作步骤在 Django 后台或通过管理命令导入数据然后打开电影列表页。预期结果数据列表正常显示电影名称、导演、主演、评分、上映时间等信息。判断标准列表页能分页浏览点击详情页能看到完整字段不出现 500 错误。常见失败原因字段类型不匹配、数据文件编码问题、数据格式和模型不一致。6.2 Spark SQL 统计验证测试目的确认 Spark 能正确读取 HDFS 数据并完成统计。推荐测试指标评分分布不同评分段的电影数量。票房 TOP 10按票房从高到低排序。年份趋势按上映年份统计电影数量。类型分布统计各个电影类型的数量。操作步骤先确认 HDFS 上有原始数据文件再运行分析脚本最后查看输出结果。判断标准统计结果和用 pandas 直接计算的结果基本一致。常见失败原因Spark 读取路径错误、数据文件格式不规范、字段类型推断异常。6.3 可视化页面验证测试目的确认 Django 页面能正确展示统计图表。操作步骤在页面上切换不同的统计维度查看图表是否更新。判断标准图表数据与 Spark 输出结果一致页面无白屏、无接口超时。常见失败原因Pyecharts 渲染依赖 JS 文件加载、接口超时、数据量过大导致浏览器渲染卡顿。6.4 完整链路验证这是最关键的验收测试。完整跑一遍爬虫或已有数据文件 - HDFS 上传 - Spark 分析 - 结果写入数据库 - Django 展示。只要这条链路每一步都有明确输出项目主流程就算验证通过。建议第一次跑的时候数据量控制在几千条以内快速定位问题确认稳定后再扩大规模。7. 推荐系统实现思路与效果验证推荐系统是这个项目里最有“技术含量”的部分答辩时也是重点。常见的实现方式是基于物品的协同过滤ItemCF核心思路是如果两部电影被同一批用户喜欢那么这两部电影相似度较高当用户喜欢其中一部时就给他推荐另一部。算法流程可以分成三步构建用户-电影评分矩阵。计算电影之间的相似度例如余弦相似度。根据用户历史行为找出相似度最高的 Top K 部电影作为推荐结果。代码思路可以这样写from pyspark.sql import SparkSession from pyspark.sql.functions import collect_list spark SparkSession.builder.appName(MovieRec).getOrCreate() # 读取评分数据 ratings_df spark.read.csv(hdfs://localhost:9000/movie/input/ratings.csv, headerTrue, inferSchemaTrue) # 按用户分组得到每个用户的评分电影列表 user_movies ratings_df.groupBy(user_id).agg(collect_list(movie_id).alias(movie_list)) user_movies.show()推荐结果验证方面需要关注三个问题第一推荐结果是否相关。给某个用户推荐电影时推荐的电影是否和他历史观看的电影在类型、导演、主演上有重叠。完全无关的推荐通常是相似度计算有问题。第二冷启动如何处理。新用户没有历史行为常见做法是推荐热门电影 TOP N或者让用户先选择感兴趣的标签。新电影没有评分数据则无法参与协同过滤需要基于内容特征做补充。第三准确率如何评估。毕设阶段可以简单划分训练集和测试集用准确率、召回率评估推荐效果但数据量小时评估结果波动较大解释时要注意。8. 接口 API 与批量任务设计很多同学拿了源码只会在页面上点点点答辩时老师一问“怎么把功能开放给外部系统”就卡住。所以接口这部分最好自己动手跑一遍。Django REST Framework 是常用的接口方案如果项目源码里已经有接口直接测试即可如果没有你可以按下面的方式自建一个简单接口。8.1 获取电影列表接口import requests BASE_URL http://127.0.0.1:8000/api # 获取电影列表 resp requests.get(f{BASE_URL}/movies/, timeout30) print(resp.status_code) print(resp.json())8.2 获取推荐结果接口import requests BASE_URL http://127.0.0.1:8000/api payload { user_id: 1, top_k: 10 } resp requests.post(f{BASE_URL}/recommend/, jsonpayload, timeout60) print(resp.status_code) print(resp.json())这里的接口路径和请求参数按实际项目调整。测试时注意接口是否鉴权如果开启认证需要在请求头加上 Token。返回结果是 JSON 还是其他格式。推荐接口是否耗时较长超过 Django 默认请求超时时间。批量请求时需要控制并发数防止接口服务被压垮。8.3 批量任务设计批量任务分为两类。第一类是Spark 批量分析任务可以写一个 shell 脚本按顺序执行多个分析脚本也可以直接在脚本里串联多个 DataFrame 操作。第二类是Django 数据导入/导出任务可以用 Django management command 实现定时或手动执行python manage.py import_movies --file ./data/movie_data.csv python manage.py export_recommend --user 1 --top 10如果希望定时执行分析任务可以用 Linux 的 crontab 或者 Windows 的计划任务# 每天凌晨 2 点执行一次分析任务路径按实际项目调整 0 2 * * * cd /home/user/movie_project spark-submit analysis/movie_analysis.py logs/spark.log 21批量任务最容易出的问题是日志不完整。脚本一多进程之间互相依赖一旦中间某一步失败后面全部失败。建议每个脚本都记录开始时间、结束时间、处理条数和错误信息。9. 资源占用与性能观察Spark 和 Hadoop 都是吃内存的大户学会观察资源占用是部署这类项目的基本功。下面列出几个实用的观察维度。内存占用启动 Hadoop 和 Spark 后用free -h查看可用内存或用top观察 Java 进程。如果内存持续紧张调低 Spark 的 driver 和 executor 内存spark-submit \ --master local[*] \ --driver-memory 1g \ --executor-memory 1g \ analysis/movie_analysis.pyCPU 占用Spark 任务执行时 CPU 占用会明显升高。如果本机核心数较少可以把local[*]改成local[2]限制并行度避免把机器卡死。磁盘占用Hadoop 默认会保存多份副本即使伪分布式模式也会消耗额外的磁盘空间。定期清理 HDFS 上无用的中间结果hdfs dfs -rm -r /movie/output/temp_resultSpark UI运行 Spark 任务时访问http://localhost:4040可以看到 Job、Stage、Executor 的详细信息。如果某个 Stage 执行时间明显偏长说明数据倾斜或资源配置不合理。Django 页面响应如果页面打开慢优先检查统计接口是否实时执行了复杂 SQL。更合理的做法是在 Spark 阶段把统计结果预先算好Django 只负责读结果不要在 Web 请求时临时跑大计算。10. 常见问题与排查方法问题现象可能原因排查方式解决方案Hadoop 启动失败JDK 版本不兼容 / 配置文件错误查看 Hadoop 日志目录下的 .log 文件确认 JDK 版本检查 core-site.xml、hdfs-site.xmljps看不到 DataNodeNameNode 格式化后 data 目录异常查看 datanode 日志停止所有服务删除临时数据目录后重新格式化Spark 任务连接 HDFS 失败HDFS 地址配置错误检查 core-site.xml 中的 fs.defaultFS确认 spark 脚本中的 HDFS 地址与实际配置一致pyspark 与 Spark 版本不一致pip 安装的 pyspark 与本地 Spark 版本不同pip show pyspark查看版本统一版本后重新安装Django 页面打不开服务未启动 / 端口被占用检查 8000 端口占用情况关闭占用进程或python manage.py runserver 8080换端口数据库迁移报错Django 版本差异 / 依赖包缺失查看 manage.py migrate 错误信息检查 requirements.txt按项目版本安装依赖中文乱码文件编码不是 UTF-8查看读入数据文件的编码格式统一转成 UTF-8 后重新导入推荐结果为空用户没有历史行为 / 相似度计算失败检查用户评分记录是否为空冷启动场景下返回热门电影数据量太大导致 Spark 任务卡死内存配置不足观察 Spark UI 的 Executor 内存增大内存或减小数据量日志很多但没有报错信息日志级别设置过高检查 log4j 配置临时调整日志级别为 INFO 便于调试遇到问题时第一件事是看日志不要盲改配置。Hadoop、Spark、Django 各有独立的日志输出先定位报错发生在哪一层再来改对应配置。11. 最佳实践与使用建议如果这是一份要拿去答辩的毕设项目建议按下面的思路用起来第一先跑通最小链路。不要一上来就全量导入全部数据。先准备几百条样例数据从爬虫产出到 HDFS、再到 Spark 分析、最后 Django 展示完整跑一遍。只要最小链路通了后续加数据只是时间问题。第二模块化管理文件。建议目录结构大致保持为数据文件放在data/Spark 脚本放在spark/Django 项目放在django/文档报告单独放。分析脚本和 Web 代码不要混在一起否则维护成本很高。第三重要命令写进 README。把每一步的启动命令、默认端口、账号密码都写清楚。尤其是你自己在部署过程中踩过的坑更要记下来答辩时可以直接展示为“部署过程中的问题记录”。第四关注数据合规。爬虫采集的猫眼数据仅限学习研究使用不要二次分发或商用。涉及用户评分数据时不要保留任何可用于定位到真实个人的信息。做推荐系统演示时建议使用脱敏后的模拟数据。第五答辩前准备好三个演示场景。一个是数据量较大的 Spark 统计场景展示大数据处理能力一个是单用户推荐场景展示推荐结果一个是冷启动用户场景展示兜底策略。这三个场景能覆盖大部分答辩问题。12. 总结与下一步这个项目最值得尝试的点就是用一套完整的链路把 Spark、Hadoop、Django 和推荐算法串起来。拿到源码后建议最先验证的功能是“数据导入 - Spark 分析 - 页面展示”这条主链路因为它决定了项目整体能不能跑通。最容易踩的坑集中在版本匹配和端口冲突上尤其是 JDK/Spark 版本不一致导致的启动失败。整体来说这个项目非常适合做毕设展示也适合作为大数据入门者的练手项目。如果后续想继续扩展可以往这几个方向走一是增加更多的推荐算法比如基于矩阵分解的 ALS 推荐并与现有协同过滤做效果对比二是增加实时推荐模块接入 Flink 或 Spark Streaming让推荐结果更实时三是把 Django 部署到云服务器配合 Nginx 和 uWSGI 做成真正可对外访问的服务。这样项目的技术深度和工作量都会更扎实。