请选择 进入手机版 | 继续访问电脑版
查看: 425|回复: 0

Spider 是什么意思

123

主题

123

帖子

401

积分

中级会员

Rank: 3Rank: 3

积分
401
发表于 2020-3-30 16:47:00 | 显示全部楼层 |阅读模式
Spider就是大家常说的爬虫、蜘蛛或是机器人,是处于整个搜索引擎最上游的一个模块,只有Spider抓取回的页面或者URL才会被索引和参与排名。要注意的一点是:只要是Spider抓到的URL都可能会参与排名,但参与排名的网页并不一定就被Spider抓取到了,比如有些网站屏蔽了Spider。
Spider和普通用户的区别
所有的搜索引擎都表示自己的Spider对网站的抓取行为和普通用户的访问行为没有太大的区别。但是站在站长的角度来说还是一定的区别的。网页上有很多东西普通用户看不到也分辨不清,但是Spider可以;网页上也有很多东西普通用户可以看到并分辨清楚,但是Spider不可以。可以说Spider有着普通用户访问行为的大部分特性,但也有不少差异:
Spider可以很容易地分辨出网页中是否有隐藏内容,是否被挂了黑链等,但是不能完全了解网页中图片的内容,也不能很好的读取javascript、iframe、和flash中的内容,普通用户却可以;
Spider不支持cookie,但是普通用户的浏览器一般是支持的;
Spider不会主动注册登入网站,但是普通用户是可以的,原则上Spider不会抓取和分析网站robots中已经屏蔽的内容,但是普通用户是可以正常访问的;
Spider对于有多个动态参数网站的抓取,可能会陷入死循环,但是普通用户是不会的;
Spider对于列表中前几页的新内容抓取可能不好,但是普通用户可能对感兴趣然后依次浏览;
Spider暂时还不能真正判断文章是不是原创,但是普通用户可以通过很多种方式来确定文章是原创还是采集转载等。
SEO工作都在充分了解到Spider与普通用户的区别后,可以更方便地优化网站,使得网站内容被充分抓取,网站整体在搜索引擎中有良好的表现。
回复

使用道具 举报

企业网站建设最新相关资讯推荐
在深圳网站制作公司如何选择
近来,深圳网站制作公司的搜索量有所上升,但是也有很多人在选择上遇到了一些困惑,因为一搜索出来都会展现出几百家信息,让人一下不知道要如果抉择,下面小编给出几点参考的建议: 1、查看公司资质和经验。 一定要选择正规的公司进行合作,原因我不用再多作解释,有些公司合作到一半就找不到人的事小编遇到了也不只一次

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表