蜘蛛为什么总是爬取用户资料页面

大家应该都看出来了，这又不是蜗牛SEO的原创作品，但是蜗牛手痒啊，怕大家来到本博客满足不了你的学习渴求啊，于是又转载了一篇经典之作。相信大家一样会喜欢的。就是蜘蛛为什么总爬取用户资料页面。怎么才能让蜘蛛更可你的网站。

首先，我们要想弄清楚，蜘蛛为什么总喜欢爬去用户资料也，咱们就必须先得整明白，搜索引擎的工作原理。

第一个：搜索引擎只是为了更好的把收录的内容，展现给用户最相关的信息。所以呢，可以判定，搜索引擎的最终目的，就是为了用户，那么既然一切都是为了用户，这个问题，也就迎刃而解了。

就拿discuz论坛来举例。

搜索引擎的蜘蛛，对一个网页进行了爬取。本着上面我讲到的最终目的，所以，他的出发点，应该是网站的核心，有句话叫“擒贼先擒王”就是这个概念。你的网站是否有价值，你的网站，到底给用户带来了什么，注册你论坛的用户，在注册之后，到底都发表了一些什么，都看了些什么等等，

爬去用户资料页面，是为了更精确的掌握用户行踪

这个问题，我也思考研究了很长时间，甚至有些cms的程序，或者是商城程序类的，一般都是屏蔽掉了用户的抓取，但是为什么蜘蛛还为什么，总是厚着脸皮去抓取呢，下面给大家讲解一下，我最近研究出来的方法

论坛注册的会员，都有会员页面。如果这时候站长把内容页屏蔽掉，那么搜索引擎肯定会对你的网站更严格的审核。用户注册后，每次发帖，蜘蛛都会来看一次，这是我蹲守了好几天，总结出来的经验。

大家都在忙着对蜘蛛进行分析的时候，都喜欢把一大把数据结合起来，哎呀，弄的头很大了，其实蜘蛛没那么可怕，更没那么聪明，爬取用户资料页面，就为一件事情

追踪用户信息

这个注册的用户，发布过什么帖子，看过哪些。在页面停留时间，跳出率等等数据，

对用户行踪做综合评分

我可以很负责任的告诉你，假如你的网站用户注册后，并且都积极发帖，回帖，经常停留在页面，增加粘性，我保证你的网站关键词排名，肯定很棒。

简单的就给大家分析这几点，站长们不要太在意蜘蛛的行踪，咱们努力把网站的内容和信息做好，就不要去管他。搜索引擎的算法更新，三五天一次，咱们永远无法掌握，但是咱们可以判定，蜘蛛的分析算法原理，一切都是为了用户体验。所以站长们也都要本着对用户体验的宗旨出发。

显然，通过上面的文章，大家都清楚了解到了，蜘蛛是希望通过爬取用户资料来获取用户访问网站的目的，喜欢哪些内容，从而给一个网站评分的，那么作为一个站长，我们要做什么呢？