1. 采集前必须搞懂的核心逻辑1.1 抖音视频为什么“不好爬”很多人第一次尝试写抖音爬虫都栽在一个问题上明明用浏览器能看到的视频用 Python 的 requests 去请求要么拿到一堆看不懂的 HTML要么直接返回空白。这不是你代码写得不对而是你还没摸清抖音网页端的真实数据链路。先看一个最基本的事实抖音的视频播放地址是动态生成的同一个视频在不同时间、不同设备、不同登录状态下拿到的播放链接都不一样。而且网页端展示的视频链接默认都是带水印的。抖音这么做一方面是为了防盗链另一方面是鼓励用户下载 App 观看但对我们做素材采集的人来说就意味着不能简单通过“找到视频标签里的 src 就下载”这种老套路搞定。要理解抖音视频的采集原理得先分清两个概念视频的页面地址和视频的真实流地址。页面地址就是你浏览器地址栏里那一串https://www.douyin.com/video/7312345678901234567它指向的是一个包含播放器、评论区、推荐列表的完整页面。而真实流地址是视频文件本身所在的 CDN 链接通常长这样https://v3-web.douyinvod.com/xxxxx/xxxxx/video/tos/cn/tos-cn-ve-15/xxxxx/?a6383ch26cr3dr0lrallcd0|0|0|0cv1br2068bt2068cs0ds3ftxxxmime_typevideo_mp4qs0rcxxxvlxxxvrxxx。这串地址里有大量随机参数每次请求都会变化有效时间也很短。所以采集抖音视频的正确思路不是“硬编码一个视频链接”而是先拿到视频页面 → 从页面数据里解析出真实流地址 → 再对流地址发起下载请求。后面所有实现都是围绕这条链路来展开的。1.2 无水印视频地址的秘密很多人问为什么下载下来的视频左下角总是有个抖音的水印和账号ID能不能去掉能而且并不复杂。视频页面里实际上包含了多个清晰度、多种协议的播放地址其中带水印的地址默认排在前面不被你注意到的地方还藏着无水印版本。具体来说抖音网页版的页面源码里嵌入了一段window._ROUTER_DATA的 JSON 数据里面包含了视频的详细信息包括标题、作者、音乐、封面以及最重要的播放地址。这个播放地址的字段名一般是play_addr或playApi里面的url_list数组存着好几个视频地址。关键技巧在于带水印的地址和不带水印的地址在链接里会有一个固定的标识词差异。老版本的无水印地址是把链接里的playwm替换成play新版本略有不同但核心思路一样——在拿到播放地址后检查一下 URL 路径里有没有与 watermark水印相关的特征字符串有的话就做替换或者换一个url_list里的其他地址试试。这个操作我在后面代码部分会完整演示。需要提醒的是无水印地址虽然能拿到但它的 CDN 节点同样有防盗链策略直接拿这个地址去下载大概率会得到一个 403 或者损坏的文件。这时候必须给请求加上合理的Referer和User-Agent模拟成从抖音页面内部发起的播放请求。这个细节很关键几乎一半以上的人卡在这一步。1.3 为什么必须带 Cookie 和请求头我见过很多新手写的爬虫代码requests 一上来就是requests.get(url)那对普通网站可能行但对抖音这种级别的平台基本是秒挂。抖音的接口校验体系大致有四层第一层UA 校验。非浏览器的 User-Agent比如 Python 默认的python-requests/2.x直接拒绝服务。第二层Referer 校验。抖音对视频流地址有严格的来源检查Referer 必须来自https://www.douyin.com/否则返回 403。第三层Cookie 校验。未登录或缺少必要 Cookie 时网页端返回的数据不完整很多关键字段会被隐藏。第四层签名参数校验。部分敏感接口需要额外的时间戳和签名参数不过普通视频详情页暂时用不到太复杂的签名只要前三个层级处理妥当解析播放地址是够用的。说白了爬抖音视频的第一步不是写代码而是学会“伪装成浏览器”。你打开 Chrome 的开发者工具随便访问一个抖音视频页面把网络请求里的User-Agent、Referer、Cookie这三个关键请求头复制下来这就是你爬虫的“身份证”。后面所有请求都要带上它们尤其在采集频率稍高或者访问部分敏感接口的场景下少了这套伪装你的 IP 很快就会被风控盯上。2. 环境准备与工具选型2.1 Python 环境与依赖安装做抖音视频采集Python 3.8 以上版本就足够。不需要装特别重的框架核心依赖其实只有三个requests发请求、re正则提取、json解析数据。其中正则和 json 都是 Python 内置模块只有 requests 需要额外安装。pip install requests就这么一个库能解决 90% 的工作。很多教程会推荐你用 Selenium 模拟浏览器或者 Playwright 做动态渲染但在抖音视频采集这个场景里我强烈不建议一上来就上这些重型工具。原因很简单第一Selenium 会真实打开一个浏览器窗口采集速度极慢批量采集时资源占用也很高第二真实的自动化浏览器操作反而更容易触发平台的反爬机制因为它的行为特征和普通用户差异明显第三抖音的播放地址完全可以通过分析网络请求拿到属于“静态但动态生成”的数据requests 完全够用。我自己常用的依赖组合是 requests urllib 两个库搭配。urllib 是 Python 自带的在处理重定向、解析 URL 参数时很方便不需要额外装第三方库。如果你要做的不仅仅是下载视频还想把视频信息存进数据库那再装一个pymysql用来连 MySQL或者用pandas导出 CSV这都属于后话了。2.2 开发调试工具写爬虫最忌讳“闭门造车”我建议你至少留一个抓包工具在身边比如 Chrome 开发者工具F12。整个开发过程中你至少要做这么几件事打开抖音网页版随便点开一个视频。按 F12 进入开发者工具切到 Network网络面板。刷新页面找到第一个文档类型的请求通常是https://www.douyin.com/video/xxx。在 Response响应里搜索play_addr关键词确认数据结构。切到 Headers请求头面板复制User-Agent、Referer、Cookie。这一步不是可有可无的准备工作而是整个采集脚本的数据来源依据。因为你代码里要解析的字段名、要用的请求头都必须从真实的网络请求里拷贝出来。不同时间、不同账号、不同浏览器这些字段可能会有细微差别以你实际抓到的那一份为准。另外我建议你在调试阶段把接口返回的 JSON 数据保存成.json文件存到本地用编辑器或在线 JSON 格式化工具慢慢研究字段结构。比起在终端里打印一大堆看似乱码的内容这个方法能让你更快定位到视频地址所在的位置。2.3 准备必要参数UID 与视频 ID在写代码之前还有一个概念得先捋清楚抖音视频的唯一标识。当你从抖音 App 里复制一条视频分享链接时会得到类似这样的内容7.12 复制打开抖音看看【嘿嘿哈哈的作品】主动发消息的operit ai下载教程来了《阳光的... https://v.douyin.com/vtezwc4lj6k/ :9pm 02/15 ba.nq kcu:/这里面最核心的部分是https://v.douyin.com/vtezwc4lj6k/这个短链接。它就像快递的取件码拿着它才能定位到具体的视频。短链背后跳转的完整地址里会包含一串纯数字那就是视频 ID也叫 aweme_id比如7312345678901234567。作者 UID 则是用户主页地址里的那串数字形如https://www.douyin.com/user/ MS4wLjABAAAAxxx注意用户 UID 可能不全是数字也可能包含字母别和视频 ID 搞混。在采集流程里你从分享口令中先要提取短链然后访问短链获取重定向的最终地址再从最终地址的 URL 参数或页面数据里提取视频 ID最后拿着视频 ID 去请求详情接口。整个链路是一环扣一环的下面第 3 节我会一步步拆开来讲。3. 从分享口令到本地视频的完整实现3.1 提取分享链接抖音最常见的分享样式就是 App 里复制出来的那一段带有 emoji 和水印的文字里面嵌着一个短链接。我们要做的第一步是用正则从整段文本里把 URL 拎出来。import re def extract_share_url(text: str) - str: # 匹配 http(s)://v.douyin.com/xxxxx/ 形式的短链 pattern rhttps?://v\.douyin\.com/[A-Za-z0-9_\-]/? match re.search(pattern, text) if match: return match.group(0).rstrip(/) return 这段代码的关键点是正则里对短链域名的精确匹配避免误抓其他无关链接。实测中会遇到几种情况分享文字里只有一个短链正常提取。文字里有多个链接比如同时包含商品链接和视频链接这时要优先取v.douyin.com开头的那个。链接末尾带斜杠先用rstrip(/)清理掉避免后续拼接 URL 时出现双斜杠问题。如果用户输入的是完整的主站链接形如https://www.douyin.com/video/731234...那就不需要经过短链提取这一步直接用完整链接做下一步处理即可。在代码里建议同时兼容这两种情况判断一下 URL 里是否包含v.douyin.com来决定走哪条路。3.2 处理重定向与获取视频 ID拿到短链之后不能直接拿它去解析视频信息因为短链只是一个“跳板”真正的视频页面地址在重定向之后的 Location 里。我们可以用 requests 的allow_redirects参数来控制是否跟随重定向import requests HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://www.douyin.com/, } def resolve_redirect(share_url: str) - str: resp requests.get(share_url, headersHEADERS, allow_redirectsTrue, timeout10) return resp.urlresp.url是跟随所有重定向之后的最终 URL。在绝大多数情况下它会是一个形如https://www.douyin.com/video/7312345678901234567?previous_pageapp_code_link的地址。注意URL 里可能带着一堆参数previous_page、utm_source之类的这些参数不影响视频 ID 的提取直接用正则匹配数字即可def extract_video_id_from_url(real_url: str) - str: # 优先尝试 /video/ 路径 m re.search(r/video/(\d), real_url) if m: return m.group(1) # 有些链接走的是 /share/ 路由或者带其他前缀继续处理 m re.search(r(\d{15,}), real_url) if m: return m.group(1) return 这里有个边角情况部分短链重定向后并不直接跳转到/video/路径而是跳转到某个带长串数字参数的中间页。所以我在代码里加了一个兜底逻辑从整段 URL 中寻找 15 位以上的连续数字。抖音的视频 ID 通常是 19 位数字这个正则已经足够精准。3.3 请求视频详情接口解析播放地址拿到视频 ID 后我们就可以请求真实的视频信息接口了。抖音网页版的视频详情接口是https://www.douyin.com/aweme/v1/web/aweme/detail/?aweme_id{视频ID}但这个接口校验比较严格一般需要带签名参数。更简单的方式是直接请求视频页面自身然后从 HTML 源码里的window._ROUTER_DATA或者被转义的 JSON 字符串中解析。这里我分享一种比较稳的做法请求视频页面然后用正则从 HTML 中把指定的大 JSON 数据块拉出来。def get_video_json(video_id: str) - dict: url fhttps://www.douyin.com/video/{video_id} resp requests.get(url, headersHEADERS, timeout10) resp.encoding utf-8 html resp.text # 方案一从 _ROUTER_DATA 中提取 match re.search(rscript idRENDER_DATA typeapplication/json(.*?)/script, html) if match: import html as html_lib data html_lib.unescape(match.group(1)) return json.loads(data) # 方案二从 _ROUTER_DATA 对象里提 match re.search(rwindow\._ROUTER_DATA\s*\s*(\{.*?\});/script, html, re.S) if match: return json.loads(match.group(1)) # 方案三懒人方案直接在 HTML 全局搜 playAddr match re.search(rplayAddr:\s*([^]), html) if match: return {url_list: [match.group(1).replace(\\u002F, /)]} return {}这段代码我写了三种解析方案顺序是从最可靠到最兜底。RENDER_DATA标签里存的是 URL 编码后的 JSON需要先用html.unescape反转义window._ROUTER_DATA是直接可解析的 JSON第三种方案则是暴力搜索playAddr关键词适合页面结构发生变化时临时救急。拿到这个大 JSON 之后下一步就是从嵌套结构里定位视频字段。不同版本的数据结构层级不太一样我一般会写一个“深度优先搜索”的辅助函数从字典里递归寻找包含指定字段的节点def search_key(obj, target_key): 在嵌套 dict/list 中递归查找某个 key results [] if isinstance(obj, dict): for k, v in obj.items(): if k target_key: results.append(v) else: results.extend(search_key(v, target_key)) elif isinstance(obj, list): for item in obj: results.extend(search_key(item, target_key)) return results然后用它来定位play_addr字段video_data get_video_json(video_id) play_addr_list search_key(video_data, play_addr) if play_addr_list: # 取第一个匹配到的播放地址信息 play_addr play_addr_list[0] url_list play_addr.get(url_list, []) if url_list: video_url url_list[0]拿到video_url之后处理水印的细节来了。老版本的做法是把链接里的playwm替换为play。新版通常不需要替换因为url_list里的多个地址中某些本身就是无水印的你可以换一个没带playwm字段的地址试试。我建议的优化顺序是遍历url_list优先取不含playwm的地址。如果所有地址都含playwm做一次字符串替换。如果替换后请求仍是 403则带 Referer 再做一次请求验证。3.4 下载视频并保存文件拿到最终的无水印播放地址后下载本身不难但有几个细节要注意。第一个是大小写问题URL 里的参数mime_typevideo_mp4意味着这是一个 MP4 文件下载时文件扩展名要写.mp4。第二个是下载请求必须带与之前一致的请求头尤其是 Referer否则这次请求大概率失败。def download_video(video_url: str, save_path: str): headers { **HEADERS, Referer: https://www.douyin.com/, } resp requests.get(video_url, headersheaders, streamTrue, timeout30) if resp.status_code ! 200: raise Exception(f下载失败状态码: {resp.status_code}) total_size 0 with open(save_path, wb) as f: for chunk in resp.iter_content(chunk_size1024 * 1024): f.write(chunk) total_size len(chunk) print(f视频已保存到: {save_path}大小: {total_size / 1024 / 1024:.2f}MB)streamTrue的作用是让响应以流式方式返回逐块写盘避免一次把整个文件加载进内存。对于几百 MB 的长视频这个细节能明显降低内存占用。下载完成后最好做个简单的完整性检查比如文件大小是否大于 100KB、能否用os.path.getsize查到有效大小。顺便说一个命名的小技巧保存文件时不要只用一个固定名字建议用视频 ID 加时间戳组合比如7312345678901234567_1699999999.mp4避免批量下载时重名覆盖。3.5 整个流程的串接把上面这些函数连起来一个可运行的完整脚本就出来了。我贴一个精简版的完整示例你本地跑的时候把share_text换成你自己的分享口令即可import os import re import json import html as html_lib import requests from urllib.parse import urlparse HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://www.douyin.com/, Cookie: 你的Cookie, } def extract_share_url(text): pattern rhttps?://v\.douyin\.com/[A-Za-z0-9_\-]/? match re.search(pattern, text) return match.group(0).rstrip(/) if match else def resolve_redirect(share_url): resp requests.get(share_url, headersHEADERS, allow_redirectsTrue, timeout10) return resp.url def extract_video_id(real_url): m re.search(r/video/(\d), real_url) if m: return m.group(1) m re.search(r(\d{15,}), real_url) return m.group(1) if m else def get_video_play_url(video_id): url fhttps://www.douyin.com/video/{video_id} resp requests.get(url, headersHEADERS, timeout10) html resp.text match re.search(rscript idRENDER_DATA typeapplication/json(.*?)/script, html) if match: data html_lib.unescape(match.group(1)) else: match re.search(rwindow\._ROUTER_DATA\s*\s*(\{.*?\});/script, html, re.S) if not match: raise ValueError(页面数据结构变化未找到视频信息) data match.group(1) obj json.loads(data) play_addr_list [] def search_key(target): if isinstance(target, dict): for k, v in target.items(): if k play_addr: play_addr_list.append(v) search_key(v) elif isinstance(target, list): for item in target: search_key(item) search_key(obj) if not play_addr_list: raise ValueError(未找到播放地址字段) url_list play_addr_list[0].get(url_list, []) for u in url_list: if playwm not in u: return u if url_list: return url_list[0].replace(playwm, play) raise ValueError(播放地址列表为空) def download_video(video_url, save_path): headers {**HEADERS, Referer: https://www.douyin.com/} resp requests.get(video_url, headersheaders, streamTrue, timeout30) if resp.status_code ! 200: raise Exception(f下载失败状态码: {resp.status_code}) with open(save_path, wb) as f: for chunk in resp.iter_content(chunk_size1024 * 1024): f.write(chunk) print(f已保存: {save_path}) if __name__ __main__: share_text 7.12 复制打开抖音看看【嘿嘿哈哈的作品】... https://v.douyin.com/vtezwc4lj6k/ ... share_url extract_share_url(share_text) if not share_url: print(未能从输入文本中提取到抖音分享链接) exit(1) real_url resolve_redirect(share_url) video_id extract_video_id(real_url) print(视频ID:, video_id) video_url get_video_play_url(video_id) print(无水印播放地址:, video_url) save_path os.path.join(os.getcwd(), f{video_id}.mp4) download_video(video_url, save_path)代码里Cookie字段我留了占位符第一次运行前你需要从浏览器里复制替换。这里多说一句Cookie 的获取方法在第 2.2 节里讲过了原则上只要登录抖音网页版后打开开发者工具就能拿到。注意 Cookie 是会过期的如果脚本报错说没权限或数据为空第一个排查对象就是它。4. 常见报错与排查实践4.1 遇到 403 / 412 状态码我刷短视频的时候见过不少人在评论区问为什么解析出来的链接用浏览器能打开用 Python 下载就是 403还有人说自己的请求直接被返回 412。这两种状态码本质上是同一个问题服务器识别出你不是正常用户拒绝了你。403 的场景多半是下面对应上了某一个没配好的请求头而 412 更多是请求频率或者访问特征的异常。解决方案按优先级排列如下核对 Referer。下载视频地址时Referer 必须是https://www.douyin.com/少一个斜杠都不行。核对 User-Agent。别用python-requests的默认 UA要用完整浏览器 UA。核对 Cookie。Cookie 过期是最常见的原因重新登录网页版并复制最新的 Cookie。降低请求频率。连续多个请求之间加上 2~5 秒随机延迟不要用固定间隔最好做成类似time.sleep(random.uniform(2, 5))的形式。更换 IP 出口。如果你在服务器或特定网络环境下采集可以尝试换个网络。不过这只在 IP 被重点盯上时才有必要。这里有个容易忽略的坑很多时候你明明带了 Cookie但代码里是硬编码的一个全局字典而代码执行一段时间后 Cookie 就悄悄过期了。建议把“判断是否登录状态/是否返回完整数据”的检查逻辑写到脚本里比如解析到空 JSON 时自动报警提示。4.2 页面结构变化导致解析失败抖音前端经常改版window._ROUTER_DATA这个变量名说不定哪天就改了RENDER_DATA这个 script 标签的 id 也可能变。我在实际使用中碰到过页面结构大改、老解析代码全面失效的情况这也是爬虫开发最头疼的地方。应对策略主要有两条。第一条是给自己的解析模块留好后路不要只写一种解析方式像我上面代码里那样写几个 fallback 方案轮询尝试。第二条是抓包看最新的页面数据源不要迷信教程里的字段名而是以你自己抓包到的真实响应为准。最稳的数据源其实是接口https://www.douyin.com/aweme/v1/web/aweme/detail/但它需要签名参数你如果熟悉 JS 逆向可以自己分析签名逻辑这里不展开讲了。顺便提一个调试技巧把每次请求的 HTML 源码保存下来用 diff 工具对比前后两次的差异。这样页面结构一变你能立刻看到是哪个部分变了而不是对着报错瞎猜。4.3 拿到的视频带水印或分辨率低如果你解析出来的地址最后确实能下载但视频带水印或者分辨率不符合预期多半是以下两个原因之一解析到了错误的字段。详情页的 JSON 里不止一个播放地址有的字段叫video有的叫video_play分别对应不同的清晰度。建议在play_addr之外再对比一下bit_rate数组里的数据。bit_rate下通常有多个清晰度配置每个配置里还有自己的play_addr清晰度由gear_name字段标识比如sd、hd、fhd。想要更高清的版本遍历bit_rate列表挑gear_name为高清的项再从其play_addr里取地址。替换水印时过于粗暴。有些版本的链接不是简单的playwm替换而是 URL 参数里藏了一个watermark开关。这时需要把参数值改了而不是替换路径。以抓包返回的实际内容为准。另外不同地区的 CDN 节点可能对视频的分辨率支持不同这类问题没法从代码层面完全规避只能多试不同地址。4.4 批量采集时的限流与封禁最后一个常见问题是批量采集。如果你要做的不是下载一两个视频而是把某个账号下所有视频全部采下来那必须考虑采集频率的问题。我个人的建议是请求频率不超过每秒 1 次批量任务之间增加随机延时采集一部分后歇几秒钟。别人分享的一个经验也很实用——用多个账号的 Cookie 轮换着请求能明显降低单个账号被风控的概率。但这属于灰色操作你自己评估风险就好。还需要注意的是抖音的网页端对未登录用户的访问权限控制越来越严格。很多视频详情数据未登录状态下根本返回不完整你即使把频率控制得很低拿不到数据也白搭。所以在批量采集前先保证每个请求都带上了有效的登录 Cookie这是前提。4.5 常见问题速查表问题现象大概率原因解决办法请求返回 403Referer 缺失或错误请求头补上Referer: https://www.douyin.com/页面返回空或数据不完整Cookie 过期或未登录重新登录网页版更新 Cookie输出视频带水印解析到带水印地址且未替换遍历其他无playwm的地址或替换关键字下载速度极慢未使用流式下载或网络受限加上streamTrue用iter_content分块写解析不到任何视频字段页面结构改版重新抓包分析数据结构更新解析代码单个视频能下批量就断请求频率过高触发风控延时请求、随机等待、控制并发数视频文件损坏无法播放下载未完成或地址过期增加下载超时重试逻辑及时保存过期链接5. 采集数据延伸与合规提醒5.1 将视频信息保存到 Excel 或 MySQL视频下载只是第一步很多时候我们还需要把视频的标题、作者、发布时间、点赞数、播放地址等结构化成表格方便后续整理和检索。这里给一个简单的思路在解析完页面 JSON 后用之前写的search_key函数把desc标题、create_time发布时间、author作者等字段一并提取出来存入列表。最后用pandas导出成.xlsx或者用pymysql写入 MySQL。import pandas as pd data_list [] # 每解析完一个视频追加一行 data_list.append({ 视频ID: video_id, 标题: video_data.get(desc, ), 作者: author_name, 播放地址: video_url, 下载时间: time.strftime(%Y-%m-%d %H:%M:%S), }) df pd.DataFrame(data_list) df.to_excel(douyin_videos.xlsx, indexFalse)存数据库的做法类似核心是把 JSON 里的字段映射到表字段连接 MySQL 之后INSERT INTO即可。有一点要提醒抖音视频信息中的发布时间是 Unix 时间戳10 位或 13 位存库前最好先转成DATETIME格式否则后面查数据时很容易被时间整整的问题绊住。5.2 合规使用与版权意识把抖音视频采集下来这件事本身技术难度不算高但从合规角度讲有几个底线必须守住只用于个人学习、素材整理或研究不要对采集到的视频进行二次分发、售卖或任何形式的商用行为除非你获得了版权方的明确授权。不要在短期内高频率、大规模采集这不仅可能触发平台风控导致你的账号、IP 被限制也会给平台服务器带来不必要的压力。尊重创作者。很多视频内容凝结了作者的心血采集不等于“拿走”如果后续有用到他人作品的地方尽量标注来源条件允许的话先私信获得授权。注意个人信息边界。抖音的接口里除了视频信息还可能返回作者的各类公开信息采集时不要顺带获取用户的敏感字段也不要将这些信息用于任何非正当目的。我在实际写代码的过程中始终给自己定了一条规矩能采集公开页面能看到的视频就绝不碰需要特殊权限才能拿到的数据能用低频率解决的问题绝不疯狂并发。技术是无罪的但用技术的分寸感很大程度上决定了这件事的边界在哪里。写在最后的一个实操建议最后分享一个我踩过多次坑总结出来的经验抖音视频采集这条链路里最大的不确定性从来不在代码而在“数据源”。今天能用的解析字段可能下周就变了今天正常的请求频率可能明天就被盯上。与其追求写一个“一劳永逸”的脚本不如养成抓包、保存响应、分析结构的习惯把每次适配都当成一次快速的小项目来做。另外我建议你一开始不要急着做批量先手动跑通单条视频的完整流程从分享链接到下载无非 5 秒的事。等单个视频稳定了再慢慢扩展成批量任务。代码框架保持简洁把“解析”和“下载”两层逻辑分开这样以后即使解析层需要大改下载层也不用动。这也是我自己写了很多版爬虫脚本之后沉淀下来的最实用的架构思路。