单个回答详细

把爬虫伪装成浏览器,越相似越容易突破限制。

除了设置UA(UserAgent)外,cookie、referer也是常用的反爬头信息。

从浏览器或者抓包工具如Fiddler中复制cookie、referer。

如果头信息中有不常见的特殊的数据,也可能是用来反爬的。