浏览器开发者工具的进阶用法
Chrome DevTools是获取网页源代码最直接的工具，但大多数人只用到基础功能。右键”查看网页源代码“只能看到初始HTML，对于动态渲染的内容完全无效。这时候需要切换到Elements面板，这里展示的是实时DOM树：
Ctrl+Shift+I(Windows)或Cmd+Opt+I(Mac)快速打开Ctrl+F搜索特定代码片段时，可以切换正则表达式模式| 快捷键 | 功能 | 适用场景 |
|---|---|---|
| Ctrl+U | 查看静态源码 | 基础HTML分析 |
| Ctrl+Shift+C | 元素选择模式 | 定位特定组件 |
| F12→Esc | 调出控制台 | 执行JS代码 |
命令行工具的高效操作
对于需要批量处理的场景，终端工具才是王道。curl和wget这两个老牌工具现在依然好用，特别是配合管道操作：
curl -s https://example.com | grep -oP '?>.?' > scripts.txt最近崛起的httpie用起来更人性化，JSON响应会自动格式化。如果是需要处理JavaScript渲染的页面，可以考虑puppeteer-cli：
npm install -g puppeteer-clipup 'https://example.com' full > fullpage.html动态页面的处理技巧
现在90%的网站都用React/Vue等框架，传统方法获取的源码可能只有个空div。这时候需要启动无头浏览器：
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
console.log(await page.content());
await browser.close();
})();
对于懒加载内容，需要模拟滚动操作。有些网站检测到自动化工具会封IP，记得设置合理的等待间隔和随机延迟，最好配合代理池使用。
移动端源码的特殊获取
手机网页经常服务端渲染不同内容，安卓设备可以通过USB调试获取：
adb shell curl http://localhost:8080微信内置浏览器是个特殊案例，需要利用X5内核的调试端口。企业微信的网页甚至要单独配置调试证书才能查看完整源码结构。
反爬机制的应对策略
遇到Cloudflare等防护时，常规方法全部失效。这时候需要：
有些网站用WebAssembly混淆关键逻辑，这时候需要Chrome的WASM调试功能，或者直接抓取网络请求的API数据更实际。
说到命令行工具获取网页源码的效率，其实得看具体的使用场景。如果是静态页面或者简单的API请求，curl和wget这对黄金搭档确实是最快的选择，它们轻量级、响应迅速，配合管道操作能快速完成数据抓取和过滤。但遇到需要处理JavaScript渲染的动态内容时，就得换puppeteer-cli上场了，它能模拟真实浏览器环境，完整获取渲染后的DOM结构，虽然启动时间稍长但结果更准确。
现在越来越多的API返回JSON格式数据，这时候httpie的优势就凸显出来了。它不仅语法更简洁直观，还能自动格式化JSON响应，省去了用jq二次处理的麻烦。实测表明，同样的操作httpie能比curl少打30-50%的字符，特别是处理复杂请求头时，httpie的键值对语法比curl那一长串-H参数要清爽得多。不过要注意的是，httpie对HTTPS证书的处理方式与curl不同，在某些严格的安全环境下可能需要额外配置。
如何获取动态渲染网页的完整源代码？
对于React/Vue等框架构建的页面，需要使用无头浏览器如Puppeteer。先安装puppeteer库，然后通过page.content()方法获取渲染后的完整DOM，这种方式能捕获到所有动态生成的内容。
为什么通过浏览器”查看源代码”获取的代码不完整？
浏览器默认的”查看源代码”功能只显示服务器返回的初始HTML，而现代网页90%的内容是通过JavaScript动态生成的。要获取完整代码必须使用开发者工具的Elements面板，或者执行document.documentElement.outerHTML命令。
移动端网页源码如何获取？
安卓设备需开启USB调试后通过adb命令获取，iOS设备需要使用Safari的远程调试功能。微信内置浏览器需要通过X5内核调试端口，企业微信网页还需配置调试证书才能获取完整源码。
遇到Cloudflare防护时怎么获取源代码？
需要模拟真实浏览器行为：复制完整的请求头信息、保持2-5秒的请求间隔、使用request库处理cookie自动更新。更复杂的防护可能需要解析WASM代码或直接抓取API数据。
命令行工具获取网页源码哪个更高效？
对于简单页面curl+wget组合最快，处理动态内容推荐puppeteer-cli，需要解析JSON响应时httpie更高效。实际测试中，httpie比curl节省30-50%的命令输入时间。
