PHP网页抓取的三种核心技术解析
正则表达式精准匹配
PHP的preg_match和preg_match_all函数配合正则表达式，能像手术刀般精准提取网页内容。比如要抓取电商网站价格，用/¥(d+.d{2})/就能捕获所有带¥符号的价格数据。注意设置PREG_OFFSET_CAPTURE参数获取匹配位置，这对处理动态加载的网页特别有用。遇到HTML标签嵌套时，非贪婪模式.?比.更安全，能避免跨标签误抓。
| 正则符号 | 作用 | 示例 |
|---|---|---|
| d+ | 匹配数字 | 商品ID：d{8} |
| .? | 非贪婪匹配 |
(.?)
|
DOMDocument+XPath解析
用DOMDocument::loadHTML加载网页后，XPath就像GPS导航系统精确定位元素。//div[@class="price"]能直接锁定价格区域，比正则更抗代码变动。记得先用libxml_use_internal_errors(true)屏蔽HTML格式错误，处理完再libxml_clear_errors()。对于AJAX动态内容，可以结合@符号忽略缺失节点，避免脚本中断。
$dom->loadHTML(''.$html)$base = $xpath->query('//base/@href')->item(0)contains()函数：//a[contains(@href,"download")]CURL高级抓取技巧
当目标网站有反爬机制时，CURL的CURLOPT_HTTPHEADER设置才是王道。模拟Chrome浏览器的完整请求头能让成功率提升60%以上。需要处理302跳转时，开启CURLOPT_FOLLOWLOCATION并设置CURLOPT_MAXREDIRS为5-10次比较安全。对于需要登录的网站，用CURLOPT_COOKIEFILE和CURLOPT_COOKIEJAR自动管理会话。
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0)',
CURLOPT_REFERER => 'https://www.example.com',
CURLOPT_CONNECTTIMEOUT => 15,
CURLOPT_TIMEOUT => 30
]);
遇到验证码或IP封锁时，可以通过CURLOPT_PROXY设置代理IP轮换。 配合curl_multi_init实现多线程抓取，但要注意控制并发数在3-5个之间，避免触发服务器防护机制。对于JavaScript渲染的内容，可以考虑嵌入PhantomJS等无头浏览器方案。
遇到网页编码乱码时，最直接的办法就是在DOMDocument加载HTML内容前硬性插入XML编码声明。具体操作就是在原始HTML字符串前面拼接上这段标记，相当于给解析器一个明确的编码指示。不过要注意，这个方法对GB2312或BIG5等非UTF-8编码的网页可能不太管用，这时候就得先摸清网页的真实编码。
更稳妥的做法是先用mb_detect_encoding函数做个编码探测，这个函数能分析出文本最可能的编码类型，准确率大概在80-90%。拿到实际编码后，再用iconv或者mb_convert_encoding进行转码处理，转成UTF-8这种通用格式。特别提醒下，有些网页会混用多种编码，比如主体是UTF-8但某些区块用GBK，这种情况就得分段处理，不能简单粗暴地整体转码。
常见问题解答
如何解决网页编码乱码问题？
使用DOMDocument加载HTML时，在内容前添加XML声明：$dom->loadHTML(''.$html)。若仍出现乱码，可先用mb_detect_encoding检测原始编码，再用iconv或mb_convert_encoding转换。
正则表达式和XPath哪种方式效率更高？
在简单结构且内容固定的场景下，正则表达式处理速度通常快2-3倍。但对于复杂HTML文档，XPath的稳定性和可维护性更好，特别是当网页结构可能变动时，XPath只需调整查询语句而非重写整个正则模式。
抓取动态加载的内容有哪些方案？
对于AJAX动态内容，常规HTTP请求无法获取，推荐三种方案：1) 分析网站API接口直接请求数据 2) 使用PhantomJS等无头浏览器 3) 设置CURLOPT_TIMEOUT为10-15秒等待异步加载完成。其中方案1效率最高但需要逆向工程，方案3最简单但成功率约60-70%。
如何避免被目标网站封禁IP？
关键控制请求频率， 1) 每个请求间隔3-5秒 2) 使用代理IP池轮换 3) 模拟真实浏览器Header 4) 遵守robots.txt规则。对于重要数据采集， 购买商业代理服务保证IP可用率在95%以上。
处理登录后才能访问的页面要注意什么？
需要维护会话状态：1) 使用CURL的COOKIE文件功能自动管理 2) 提交登录表单时确保携带CSRF token 3) 检查登录后跳转URL 4) 会话过期时自动重新登录。 先用浏览器开发者工具完整记录登录过程的HTTP请求序列。
