1. 从零开始学 Python为什么绕不开爬虫和数据分析很多初学者在刚接触 Python 时都会遇到同一个困惑Python 能做的事情太多了Web 开发、自动化运维、人工智能、爬虫、数据分析、量化交易、办公自动化……到底该从哪里入手如果只推荐一条最友好的入门路径我通常会建议Python 基础语法 → 网络爬虫 → 数据分析。原因很简单爬虫能帮你获取数据数据分析能帮你处理数据这两条技能链刚好覆盖了大部分日常开发和数据工作场景。而且对于零基础的人来说爬虫是练手项目最多的方向数据分析能带来即时可见的结果。你写完一个爬虫把网页数据存进 CSV再用 Pandas 清洗、用 Matplotlib 画图整个流程非常有成就感远比单纯敲语法题更容易坚持。当然这里要说清楚Python 零基础并不等于“背语法”。你需要把语法当成工具通过项目去推动学习。这篇文章就围绕“Python 入门 爬虫 数据分析”整理了一套完整的学习和实践路径包含环境搭建、核心语法、爬虫实战、数据分析实战、综合案例、常见报错排查和最佳实践。你可以把它当成一份自学地图也可以当成实验手册照着敲一遍效果比只刷视频好得多。2. Python 环境准备与版本说明在写代码之前先把环境准备好。很多初学者在搞不清 Python 版本、包管理工具、IDE 之间关系的情况下就开始装环境结果把系统弄得很乱后面每装一个新库都出现各种诡异问题。2.1 安装 Python 解释器推荐从 Python 官网下载安装包选择 Python 3 系列。当前主流稳定版本是 3.10 到 3.12具体版本建议根据你使用的第三方库兼容情况选择。总的来说Python 3.10 及以上版本对新手更友好语法提示和异常信息都更清晰。安装时需要注意一个关键点Windows 环境下在安装向导第一页务必勾选Add Python to PATH。如果不勾选后面在命令行里输入 python 会提示找不到命令。安装完成后打开命令行工具验证python --version如果输出类似Python 3.11.4说明安装成功。如果提示python 不是内部或外部命令大概率是 PATH 没配置好重新安装一次勾选添加环境变量即可。2.2 选择 IDE 或编辑器Python 开发工具常用三选一工具适合场景特点PyCharm项目开发、调试功能全有社区版可免费使用适合做完整项目VS Code轻量编辑器需要自己配置 Python 插件灵活且启动快Jupyter Notebook数据分析、教学演示按单元格执行代码适合边写边看结果对于爬虫和数据分析和数据可视化来说Jupyter Notebook 和 VS Code 都很合适。PyCharm 则更适合工程化开发。本文示例会用普通 .py 脚本 命令行运行的方式展示核心代码不依赖于特定 IDE。如果你的电脑里暂时没有安装 PyCharm只装了 VS Code可以在 VS Code 扩展商店搜索 Python 扩展并安装然后新建.py文件就能写代码。Jupyter 也可以安装pip install jupyter安装完成后命令行输入jupyter notebook即可启动。2.3 使用 pip 管理第三方库Python 的第三方库通过 pip 安装。常用命令如下# 安装指定库 pip install requests # 安装指定版本 pip install pandas2.0.3 # 安装多个库 pip install requests beautifulsoup4 pandas matplotlib # 查看已安装库 pip list # 导出依赖 pip freeze requirements.txt # 根据文件安装依赖 pip install -r requirements.txt如果你是新手建议在安装第三方库时使用一个独立的虚拟环境避免污染全局环境。创建一个项目目录并在项目目录中创建虚拟环境mkdir python-learn cd python-learn python -m venv venv激活虚拟环境Windowsvenv\Scripts\activatemacOS / Linuxsource venv/bin/activate激活后命令行前面会出现(venv)标记之后通过 pip 安装的库都只会存在于当前项目环境内。这个习惯越早建立越好后面做项目时会少很多依赖冲突。3. Python 核心语法速成不要一上来就啃整本语法书。你只需要掌握下面几个核心知识点就可以开始写爬虫和数据分析代码了。3.1 变量与基本数据类型Python 是动态类型语言变量不需要声明类型。基本类型包括整型、浮点型、字符串、布尔值、列表、字典、元组、集合。# 数值和字符串 num 10 price 19.9 name Python is_ok True # 列表有序可变 skills [爬虫, 数据分析, 自动化] # 字典键值对 person {name: 张三, age: 25} # 元组有序不可变 point (100, 200)列表和字典在爬虫、数据分析中会频繁使用。尤其是字典它天然适合表达一条记录比如一条商品信息、一条用户信息。3.2 流程控制if、for、while条件判断和循环是写业务逻辑的基础结合例子看更直观# 判断 score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格) # 遍历列表 for skill in skills: print(skill) # 遍历字典 for key, value in person.items(): print(f{key}: {value}) # while 循环 count 0 while count 3: print(count) count 1f{key}: {value}是格式化字符串Python 3.6 之后推荐使用。3.3 函数与模块把重复的逻辑封装成函数代码才具有可读性。一个简单的函数定义如下def add(a, b): return a b result add(3, 5) print(result) # 8在爬虫中一个常见的做法是把请求、解析、保存分别封装成函数。比如def fetch_page(url): # 发送请求并返回响应 return response def parse_data(html): # 解析 HTML返回数据列表 return data_list def save_to_csv(data): # 保存数据 pass模块就是.py文件通过import导入使用。例如写了一个utils.py里面有fetch_page函数另一个文件可以这样导入from utils import fetch_page函数和模块帮助你组织项目结构是零基础必须迈过的坎。3.4 文件读写文件操作是爬虫保存结果的必要技能。# 写入文本 with open(output.txt, w, encodingutf-8) as f: f.write(Hello Python\n) # 读取文本 with open(output.txt, r, encodingutf-8) as f: content f.read() print(content)使用with语句可以自动管理文件关闭避免资源泄漏。encodingutf-8在写入中文时非常关键否则 Windows 下容易遇到乱码。4. 爬虫必备技能Requests 与 BeautifulSoup 实战Python 爬虫的核心就是模拟浏览器向服务器发送请求然后从响应内容中提取需要的数据。这里推荐两个最常用的库Requests发送 HTTP 请求获取响应。BeautifulSoup4解析 HTML 文档提取节点和数据。4.1 爬虫的基本流程一个最小可用的爬虫流程如下构造目标 URL并加上必要的请求头。使用 requests 发送 GET 请求。检查响应状态码确认请求成功。用 BeautifulSoup 解析 HTML。定位目标数据所在的标签。保存数据。请求头中的 User-Agent 很重要。很多网站会拒绝没有 User-Agent 的请求。我们先用一个简单的示例演示请求和解析。4.2 使用 Requests 发送请求安装依赖pip install requests beautifulsoup4下面是一个最简单的 GET 请求import requests url https://httpbin.org/get headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(url, headersheaders, timeout10) print(response.status_code) print(response.text)httpbin.org是一个专门用于测试 HTTP 请求的网站非常适合新手练手。需要注意response.text返回的是文本内容如果内容是 JSON可以直接用response.json()获取字典。4.3 使用 BeautifulSoup 解析网页假设我们有一个简单的示例 HTML 字符串用来演示解析逻辑from bs4 import BeautifulSoup html html body div classmovie h2流浪地球/h2 span classyear2019/span span classrating8.4/span /div div classmovie h2哪吒之魔童降世/h2 span classyear2019/span span classrating8.4/span /div /body /html soup BeautifulSoup(html, html.parser) movies soup.find_all(div, class_movie) for movie in movies: title movie.find(h2).text year movie.find(span, class_year).text rating movie.find(span, class_rating).text print(f电影{title}年份{year}评分{rating})关键点find_all返回所有匹配的节点列表。find返回第一个匹配节点。class_是 BeautifulSoup 中的特殊写法因为class在 Python 中是关键字。.text获取标签内的文本内容不会包含标签本身。4.4 爬取并保存数据到 CSV下面是一个完整的小案例抓取某个页面上的简单列表信息保存到 CSV 文件。我们用一个测试页面来演示假设页面结构如上文 HTML 一致这里重点演示保存逻辑。import csv from bs4 import BeautifulSoup import requests # 1. 请求页面 url https://httpbin.org/html headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } resp requests.get(url, headersheaders, timeout10) resp.encoding resp.apparent_encoding # 2. 解析页面 soup BeautifulSoup(resp.text, html.parser) # 这里仅演示解析 h1 h1 soup.find(h1) print(h1.text if h1 else 未找到 h1) # 3. 假设我们要保存的数据结构如下 data_list [ {title: 示例1, value: A}, {title: 示例2, value: B}, ] # 4. 保存到 CSV with open(output.csv, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, value]) writer.writeheader() writer.writerows(data_list) print(保存完成)这里有一个细节encodingutf-8-sig导出的 CSV 用 Excel 打开时不会出现中文乱码。如果你用utf-8Excel 可能需要手动指定编码才能正确显示。4.5 爬虫初学者的分阶段练习建议如果你是完全零基础不要一上来就爬抖音、小红书、京东这类复杂站点。这些网站都有较强的反爬机制而且涉及登录、加密参数、验证码新手很容易挫败。建议按以下阶段练习爬 httpbin.org 等测试接口熟悉 requests 用法。爬一些静态内容网站比如新闻列表、图书列表。学习翻页处理找到翻页 URL 规律循环抓取。学习数据解析从 JSON 接口中提取字段。最后再接触需要登录、带 Cookie、带签名参数的网站。爬虫是一门实践性很强的技术但必须以合法合规为前提。抓取公开数据时应遵守目标网站的 robots 协议尊重网站的使用条款不要对目标服务器发起高频请求更不要爬取个人隐私数据。5. 数据分析实战Pandas 与 Matplotlib拿到数据后下一步就是用 Python 做数据清洗、分析和可视化。Pandas 是 Python 数据分析的核心库专门处理表格型数据。Matplotlib 是最常用的可视化库。安装依赖pip install pandas matplotlib5.1 数据加载与查看数据分析的第一步是把数据载入 Python。Pandas 支持读取 CSV、Excel、JSON、数据库等。这里用一个示例 CSV 文件演示。假设sales.csv内容如下日期,商品,销量,金额 2024-01-01,苹果,10,50.0 2024-01-01,香蕉,5,15.0 2024-01-02,苹果,8,40.0 2024-01-02,梨子,6,30.0 2024-01-03,苹果,12,60.0 2024-01-03,香蕉,7,21.0读取并查看import pandas as pd df pd.read_csv(sales.csv) print(df.head()) print(df.info()) print(df.describe())df.head()默认显示前 5 行。df.info()显示每列的数据类型和非空数量。df.describe()显示数值列的统计信息。如果数据文件里有缺失值info()可以帮你快速定位。5.2 数据清洗真实数据往往不干净比如有缺失值、重复值、异常值、数据类型错误。常见清洗操作如下# 检查缺失值 print(df.isnull().sum()) # 删除缺失值所在行 df df.dropna() # 删除重复行 df df.drop_duplicates() # 转换日期列类型 df[日期] pd.to_datetime(df[日期]) # 修改列名 df df.rename(columns{销量: quantity, 金额: amount}) # 新增计算列 df[单价] df[amount] / df[quantity]数据清洗在真实项目里会占用大量时间处理原则是先看数据长什么样再决定如何处理缺失值。缺失值可以使用dropna()删除也可以使用fillna()填充具体取决于业务场景。5.3 数据聚合与分析Pandas 的分组聚合操作是数据分析的核心能力。最常用的是groupby。# 按商品分组计算销量总和 print(df.groupby(商品)[quantity].sum()) # 按商品分组计算金额平均值 print(df.groupby(商品)[amount].mean()) # 按日期汇总总销量 print(df.groupby(日期)[quantity].sum())groupby返回的是一个分组对象后面可以接sum()、mean()、count()、max()等聚合函数。分组聚合能够快速回答很多业务问题比如“哪种商品销量最高”“哪一天销售额最多”。5.4 可视化展示Matplotlib 可以绘制折线图、柱状图、饼图等。下面是一个简单的柱状图示例import matplotlib.pyplot as plt # 让中文正常显示 plt.rcParams[font.sans-serif] [SimHei] # Windows 示例Mac 可改为 PingFang SC plt.rcParams[axes.unicode_minus] False # 统计每种商品的总销量 sales_summary df.groupby(商品)[quantity].sum() # 绘制柱状图 sales_summary.plot(kindbar, figsize(8, 5)) plt.title(各商品销量对比) plt.xlabel(商品) plt.ylabel(销量) plt.xticks(rotation0) plt.tight_layout() plt.show()如果绘制折线图可以使用kindline。比如按日期查看销量趋势daily_sales df.groupby(日期)[quantity].sum() daily_sales.plot(kindline, markero, figsize(8, 5)) plt.title(每日销量趋势) plt.xlabel(日期) plt.ylabel(销量) plt.grid(True) plt.show()Matplotlib 的 API 非常丰富但初学者不需要全部掌握。先学会柱状图、折线图、饼图再根据实际需求查文档是最高效的学习方式。6. 综合案例爬取一份数据并完成分析这个综合案例把爬虫和数据分析串起来完成一个最小可运行的闭环任务。6.1 案例需求目标从某个公开的思维练手接口获取一批数据模拟爬虫过程然后用 Pandas 分析最后绘制可视化图。为了演示方便我们使用https://jsonplaceholder.typicode.com/posts这个公开测试接口。它返回一组 JSON 数据每条数据包含userId、id、title、body字段。这个接口不涉及隐私适合学习。我们需要统计每个用户发布的文章数量。文章标题的平均字数。用柱状图展示每个用户发布文章数量。6.2 编写爬虫获取数据import requests import pandas as pd url https://jsonplaceholder.typicode.com/posts headers { User-Agent: Mozilla/5.0 } resp requests.get(url, headersheaders, timeout10) if resp.status_code ! 200: print(请求失败状态码, resp.status_code) exit() data resp.json() print(获取到数据条数, len(data)) print(字段示例, data[0])这个接口返回的 JSON 是一个列表每个元素是字典所以我们直接把data传给 Pandas 即可。6.3 数据清洗与分析df pd.DataFrame(data) # 查看基本信息 print(df.head()) print(df.info()) # 检查缺失值 print(缺失值统计\n, df.isnull().sum()) # 新增一列文章标题长度 df[title_len] df[title].str.len() # 按用户统计文章数量 user_post_count df.groupby(userId)[id].count() # 按用户统计标题平均长度 user_title_mean df.groupby(userId)[title_len].mean()df[title].str.len()是 Pandas 字符串方法可以计算每行标题的字符数。6.4 可视化与结论import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False user_post_count.plot(kindbar, figsize(10, 5), colorskyblue) plt.title(每个用户发布的文章数量) plt.xlabel(用户 ID) plt.ylabel(文章数量) plt.xticks(rotation0) plt.tight_layout() plt.show()运行后可以看到每个用户的文章数量柱状图。这个案例虽然数据源很简单但完整覆盖了“请求接口—解析 JSON—构造 DataFrame—清洗分析—可视化”的全流程。你可以替换成其他公开接口进一步练习。7. 常见问题与排查思路新手写爬虫和数据分析代码时经常遇到一些固定报错。下面整理最常见的三类问题及排查方法。问题现象常见原因解决思路ModuleNotFoundError: No module named requests第三方库未安装或使用了不同的 Python 环境执行pip install requests检查是否有多个 Python 环境使用which python或python -m pip确保当前环境正确请求后返回 403 或 418网站拒绝了请求通常因为缺少浏览器请求头或反爬机制添加User-Agent、Referer等请求头降低请求频率检查是否触发验证码解析结果为空页面结构是动态加载的或选择器写错右键检查元素确认标签结构如果数据由 JavaScript 加载需要分析接口地址而不是直接解析 HTMLCSV 用 Excel 打开中文乱码文件编码问题写入时使用encodingutf-8-sigJSON 解析报错接口返回的不是 JSON或响应被压缩先打印resp.text的前 200 字符确认格式检查响应头是否 gzip 压缩必要时设置resp.encodingMatplotlib 中文乱码字体缺失在代码中设置中文字体如plt.rcParams[font.sans-serif] [SimHei]上面这些报错只要出现过一次就基本不会再犯。关键养成一个习惯遇到报错先读完整异常信息再打印中间变量。不要只看最下面一行异常信息里通常会明确告诉你哪一行代码出了问题。8. 最佳实践与工程建议8.1 代码组织把爬虫和分析拆开写不要把所有代码都塞在一个文件里。建议这样组织项目python-learn/ ├── venv/ # 虚拟环境 ├── src/ │ ├── crawler.py # 爬虫相关代码 │ ├── analysis.py # 数据分析相关代码 │ └── utils.py # 公共函数 ├── data/ │ ├── raw/ # 原始抓取数据 │ └── processed/ # 处理后的数据 ├── output/ # 图表输出 ├── requirements.txt └── README.md当你做第二个、第三个项目时会发现这种组织结构让你能快速复用之前的爬虫函数和清洗逻辑。8.2 做好异常处理网络请求非常不稳定超时、断网、状态码错误都是常态。合理使用异常处理可以让程序更健壮import requests from requests.exceptions import RequestException def safe_get(url, headersNone, timeout10): try: resp requests.get(url, headersheaders, timeouttimeout) resp.raise_for_status() return resp except RequestException as e: print(f请求失败{e}) return Nonetimeout参数一定要设置否则可能出现程序卡住不动的情况。resp.raise_for_status()会在状态码不是 2xx 时主动抛出异常方便排查。8.3 数据合规与爬虫边界这是今天最需要强调的一点。爬虫不是“想爬就爬”以下红线和边界必须记清楚遵守目标网站的 robots.txt 文件约束。不要高频访问服务器给服务器造成压力。不要爬取涉及个人隐私、账号信息、商业机密的数据。不要将爬取的数据用于商业用途或二次传播除非获得授权。测试爬虫时优先使用公开的测试接口如 httpbin、jsonplaceholder。作为学习用公开接口和模拟数据完全可以达到练习效果。不要为了“炫技”去攻击有一定安全要求的网站。8.4 版本管理与依赖锁定项目中的第三方库版本要固定。不同版本的 Pandas、requests 在接口和行为上可能存在差异最好生成requirements.txt文件方便其他人复现你的环境pip freeze requirements.txt后续需要重装环境时pip install -r requirements.txt如果使用 Git建议把venv/、__pycache__/、data/raw/*.csv加入.gitignore避免把大文件和环境打入版本库。8.5 从单纯“会写”到“会排查”很多初学者在看视频教程时觉得“全听懂了”一动手却报错连连。原因在于代码是跟着敲的而不是自己思考出来的。一条更有效的练习方法是先只跑通别人的完整代码。然后故意改掉一个参数观察报错。自己尝试修复报错。最后不参考教程从零写出同样的功能。比如把刚才的爬虫案例中的https://jsonplaceholder.typicode.com/posts换成其他接口要求自己完成请求、解析、存 CSV、读 CSV、分析、画图整个流程。这个过程能暴露很多隐藏问题也会让你对知识点的理解更扎实。9. 后续学习路线与一些建议到这里你已经掌握了 Python 基础语法、Requests 爬虫、BeautifulSoup 解析、Pandas 数据清洗分析、Matplotlib 可视化并完成了一个综合案例。这套技能已经可以做不少实际工作了比如日报自动生成、价格监控、舆情汇总、Excel 数据处理等。如果想继续深入可以按以下顺序扩展爬虫进阶学习 Scrapy 框架、Selenium 自动化、提高爬取效率、处理登录态和验证码、分布式爬虫。数据分析进阶学习 NumPy 数组运算、数据透视表、时间序列分析、SQL 查询、Hadoop/Spark 基础知识。可视化进阶学习 Seaborn、Plotly、Pyecharts 等更美观的可视化工具。工程化能力学习 Git 版本管理、单元测试、日志记录、异常处理、模块化设计。业务结合尝试用 Python 做数据分析报告、自动化报表、量化交易回测、用户行为分析等。在学习过程中建议始终带着真实问题去学。你不需要把一本书看完才开始动手而是跟着项目需求缺什么补什么。Python 零基础的“速成”并不是指几天内记住所有 API而是指用最短路径建立项目直觉之后再通过持续练习把 API 和语法内化。接下来你可以自己做一个感兴趣的练手项目。比如整理一份你所在城市的天气数据对比不同月份的温差或者分析一份公开的电商数据找出销量最高的品类。遇到不会的知识点就去搜索引擎和官方文档查查不到就去看源码。真正让你成长的不是看过的视频数量而是亲手写完并调通的一个个小项目。如果这篇文章对你有帮助可以收藏备用。也欢迎在评论区分享你练习过程中遇到的报错大家一起排查进步会更快。