百度Spider蜘蛛升级HTTPS抓取公告

发布日期：2017-08-30

8月份百度Spider升级了对HTTPS数据的抓取力度，HTTPS数据将更快被Spider抓取到。如网站还在做HTTPS的改造，且网站数据未搭建好，建议网站采取以下措施，避免Spider抓取，以免造成网站流量损失

1、把HTTPS的协议封掉，可把443端口关掉；

2、做HTTPS到http的301；

3、建议站点在改HTTPS没改造好之前，不要提供超链接指向，以免被Spider抓到HTTPS。

4、针对一个服务器下有多个域名的情况，建议未做HTTPS的网站，设置HTTPS抓取返回失败码，或将HTTPS站点301/302到HTTP，避免抓取出现问题。