Python爬网页源码3步实操：从获取到解析，避坑指南都在这
第一步：5行代码获取完整网页源码，新手也能秒懂
其实爬网页源码没那么玄乎，就像你用浏览器打开网页一样，只不过把“手动点击”变成了“代码自动请求”。我去年帮一个做新媒体的朋友爬公众号文章，她连Python都没装过，跟着我敲5行代码就拿到了源码，当时她自己都惊了：“原来这么简单？”
具体怎么做呢？首先你得装个Python（官网下载就行，记得勾上“Add Python to PATH”），然后打开命令提示符，输入pip install requests装个叫“requests”的库——这玩意儿就像个“自动浏览器”，能帮你向网站发送请求。接着打开记事本（或者用VS Code，新手用记事本也行），写下这段代码：
import requests
url = "https://www.baidu.com" # 你想爬的网页地址
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/98.0.4758.102 Safari/537.36"}
response = requests.get(url, headers=headers)
print(response.text) # 打印网页源码
保存成“爬源码.py”，双击运行，你会看到一堆HTML代码弹出来——这就是网页源码了！
这里有个关键点：headers里的User-Agent必须加，不然很多网站会把你当成“恶意爬虫”直接拒绝。你可以理解成这是“浏览器的身份证”，网站看到这个才会觉得“哦，是真人在用浏览器访问”。不知道自己的User-Agent是啥？打开Chrome浏览器，按F12，点“Network”，刷新页面随便点一个请求，在“Request Headers”里就能找到，复制过来就行。
我之前遇到个学员，没加headers就直接爬豆瓣，结果返回“403 Forbidden”，还以为是自己电脑坏了。后来加上这行代码，立马就拿到了源码——所以这一步千万别省，花30秒复制粘贴，能少走1小时弯路。
第二步：3个反爬应对技巧，让你不再被网站“拉黑”
拿到源码只是第一步，有时候你会发现：代码能运行，但返回的内容是空的，或者一直提示“连接超时”。这不是你操作错了，而是网站开启了反爬机制。上个月帮一个学生爬学术论文数据，他一开始10分钟发了200次请求，结果IP直接被封，连正常浏览网页都不行了。后来用了这3个技巧，第二天就顺利爬完了500条数据。
第一个技巧：控制请求频率
。网站就像个脾气不好的门卫，你要是一直敲门（频繁请求），他肯定会赶你走。解决办法很简单：每次请求后让代码“休息”几秒。在代码里加一行import time，然后在requests.get()后面加time.sleep(3)（3秒后再发下一次请求）。我一般 新手设置5-10秒，既不会被封，效率也够用。 第二个技巧：用随机User-Agent池。如果一直用同一个“身份证”（固定User-Agent），网站会觉得“这人怎么老访问，不像真人”。你可以准备3-5个不同浏览器的User-Agent，让代码每次随机选一个用。比如这样：
import random
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/98.0.4758.102 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 12_3) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.3 Safari/605.1.15",
"Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1"
]
headers = {"User-Agent": random.choice(user_agents)} # 随机选一个User-Agent
这样网站就会觉得“是不同的人在访问”，自然不会拦你了。
第三个技巧：遇到验证码别慌
。如果网站弹出验证码，说明你的请求频率还是太高了。新手不用急着学自动识别验证码（那玩意儿复杂），直接手动输入就行：在代码里加个input("请输入验证码：")，运行时会暂停等你输入，输完按回车继续。我之前爬某电商平台评论，就是用这个笨办法，虽然慢点，但胜在稳定，适合新手过渡。
第三步：用BeautifulSoup解析源码，3分钟定位你要的数据
拿到源码后，你可能会说：“这一堆代码我哪看得懂啊？”别担心，我们用“BeautifulSoup”这个工具，就像给源码装了个“搜索引擎”，想找什么数据直接搜就行。我第一次用的时候，想爬取知乎问答的标题，对着源码找了半小时标签，用了BeautifulSoup后，3行代码就搞定了。
先装库：pip install beautifulsoup4，然后在代码里引入：from bs4 import BeautifulSoup。假设你爬了豆瓣电影Top250的源码（网址是https://movie.douban.com/top250），想提取电影名和评分，代码可以这么写：
soup = BeautifulSoup(response.text, "html.parser") # 解析源码
movies = soup.find_all("div", class_="hd") # 找到所有电影标题的标签
ratings = soup.find_all("span", class_="rating_num") # 找到所有评分的标签
for movie, rating in zip(movies, ratings):
print("电影名：", movie.a.span.text, "评分：", rating.text)
运行后，你会看到清晰的“电影名+评分”列表，是不是超直观？
这里的关键是“找标签”。你可以在浏览器里按F12打开开发者工具，点左上角的“箭头”图标，然后点击你要提取的内容（比如电影名），右边就会显示对应的HTML标签（比如
class属性填到soup.find_all()里，就能精准定位数据了。
如果你纠结用哪个解析工具，我整理了个对比表，新手直接选BeautifulSoup就行：
| 解析工具 | 优点 | 缺点 | 适合人群 |
|---|---|---|---|
| BeautifulSoup | 语法简单，报错信息友好，支持多种解析器 | 速度中等 | 零基础新手 |
| lxml | 解析速度快，支持XPath | 语法稍复杂，安装可能需要依赖 | 有一定编程基础 |
| PyQuery | 语法类似jQuery，前端开发者上手快 | 生态不如前两者完善 | 熟悉前端的用户 |
你可以先拿豆瓣Top250练手，这个网站反爬宽松，数据结构清晰，爬下来后检查有没有拿到250条电影数据，就能验证方法对不对。我带的一个朋友，第一次爬就成功提取了所有电影名，激动得截图发朋友圈，说“原来编程也没那么难”。
其实爬网页源码就像学骑自行车，看着难，实际操作起来只要掌握那几个关键点，很快就能上手。你可以先从简单的静态网页开始，比如个人博客、新闻网站，等熟练了再挑战复杂的动态网站。要是过程中遇到报错，别着急删代码，把错误信息复制到百度搜一下，90%的问题都有现成答案。
对了，爬数据的时候记得遵守网站的robots.txt规则（在网址后面加/robots.txt就能看到），别爬敏感信息，合理使用技术才是最重要的。你准备先爬哪个网站的源码？可以在评论区告诉我，我帮你看看有没有需要注意的坑~
你有没有遇到过这种情况？想爬某个电商网站的商品评论，用requests库拿到源码一看，里面只有前10条评论，可你明明在浏览器里往下翻能看到200多条——这就是典型的“源码和浏览器显示不一样”。其实问题出在“动态加载”上，现在很多网站都喜欢用JavaScript这种技术，就像你看视频时需要点“加载更多”才能看到后面内容一样，网页里的评论、商品列表、甚至新闻的后续段落，可能都是你滚动鼠标或点击按钮后，才临时从服务器加载出来的。而requests库呢，它就像个急性子的摄影师，网页刚打开0.1秒，它“咔嚓”一下就把当时的源码拍下来了，那些需要后续加载的内容，自然就不在照片里。
我之前帮一个朋友爬某社交平台的用户动态，他一开始用requests爬，结果源码里只有3条动态，还纳闷“怎么这么少”。后来我让他打开浏览器按F12，切换到“Network”标签再滚动页面，他才发现每往下滚一次，浏览器就会偷偷发一个新请求，从服务器拉取新的动态数据——这些数据requests根本没机会拿到。所以新手刚开始爬网页时，最好先分辨清楚目标网站是“静态”还是“动态”：静态网页比如新闻网站的单篇文章、豆瓣电影的详情页，内容是一次性加载完的，源码和浏览器显示基本一致，用requests就能轻松搞定；而动态网页像微博的信息流、抖音的视频列表，内容是“按需加载”的，这时候就得换工具了。
说到动态网页，Selenium是个不错的选择，你可以把它理解成一个“机器人浏览器”——它会真的打开一个浏览器窗口（比如Chrome、Firefox），像真人一样操作：你让它滚动到页面底部，它就慢慢滚；你让它等3秒再加载，它就乖乖等着。等页面上所有动态内容都显示出来了，它再把完整的源码给你。不过有个小缺点，Selenium因为要模拟浏览器渲染，速度会比requests慢一些，所以如果目标网站是静态的，没必要杀鸡用牛刀。你可以先在浏览器里试试：打开网页后按Ctrl+U查看源码，如果源码里能直接找到你要的数据（比如评论内容、商品价格），那就是静态网页，用requests足够；如果源码里找不到，却在浏览器里能看到，那十有八九是动态加载，这时候再考虑用Selenium也不迟。
爬网页源码时出现“403 Forbidden”怎么办？
这通常是网站拒绝了你的请求，大概率是因为没设置User-Agent或请求频率太高。先检查代码里是否添加了headers（包含User-Agent），可以从浏览器开发者工具复制真实的User-Agent；如果已经加了，试试降低请求频率，在每次请求后用time.sleep(5-10)让代码“休息”几秒，模拟真人浏览节奏。
如何判断一个网站是否可以爬取源码？
可以先查看网站的robots协议（在网址后加“/robots.txt”，比如“https://www.baidu.com/robots.txt”），里面会说明哪些内容允许爬取、哪些禁止。 即使允许爬取，也要注意不要频繁请求（ 单次爬取间隔5秒以上），避免给网站服务器造成压力，更不要爬取敏感信息（如个人隐私、付费内容）。
为什么爬取某些网页返回的源码和浏览器看到的不一样？
这是因为很多网站用JavaScript动态加载内容（比如滚动加载、点击加载更多），而requests库只能获取“初始静态源码”，看不到动态生成的内容。新手可以先从静态网页练手（比如豆瓣Top250、新闻网站文章页），如果需要爬动态内容，可以尝试学习Selenium工具，它能模拟浏览器运行JavaScript，获取完整渲染后的源码。
用BeautifulSoup解析源码时找不到目标数据怎么办？
先检查你定位的标签是否正确：打开浏览器按F12，用“开发者工具”的箭头图标点击目标内容（如标题、价格），右侧会显示对应的HTML标签和属性（如class、id），确保代码里的标签名、class名和浏览器显示的完全一致（注意class名可能有空格，需要完整复制）。如果还是找不到，可能是数据藏在iframe里，需要先获取iframe的src链接，再爬取这个链接的源码。
