把爬虫伪装成浏览器，越相似越容易突破限制。

除了设置UA(UserAgent)外，cookie、referer也是常用的反爬头信息。

从浏览器或者抓包工具如Fiddler中复制cookie、referer。

如果头信息中有不常见的特殊的数据，也可能是用来反爬的。