把爬虫伪装成浏览器,越相似越容易突破限制。
除了设置UA(UserAgent)外,cookie、referer也是常用的反爬头信息。
从浏览器或者抓包工具如Fiddler中复制cookie、referer。
如果头信息中有不常见的特殊的数据,也可能是用来反爬的。