CCbot是什么搜索引擎蜘蛛?

不清楚您的网站流量统计中是不是有出現过一个不太普遍的CC搜索引擎蜘蛛,浏览名字为:CCBot/2.0,下边大家实际来了解一下CCbot是什么搜索引擎蜘蛛?

一. CCbot是什么搜索引擎蜘蛛?

CCbot,全称之为Common Crawl Bot,是一个非盈利性慈善基金会着眼于出示能够被任何人浏览和剖析的Web爬网数据信息的对外开放储存库。

二. 你如何处理CCbot搜索引擎蜘蛛?

方式 1. 应用robots.txt

应用robots.txt文件来容许或严禁搜索引擎蜘蛛页面访问的管理权限。robots.txt是放到网址网站根目录中,搜索引擎蜘蛛来浏览时候先搜索并查询robots.txt文件,并遵循robots协议书来浏览网址上的內容,容许浏览则浏览,不允许浏览搜索引擎蜘蛛则离去。

①. 不允许一切搜索引擎蜘蛛浏览您网站的一切一部分

User-agent:*

Disallow:/

②. 容许一切搜索引擎蜘蛛浏览您网站的一切一部分

User-agent:*

Disallow:

③. 不允许CCbot搜索引擎蜘蛛浏览网址的一切一部分

User-agent:ccbot

Disallow:/

④. 容许CCbot搜索引擎蜘蛛浏览您网站的一切一部分

User-agent:ccbot

Disallow:

⑤. 容许CCbot搜索引擎蜘蛛浏览您网站,但不允许CCbot浏览“wp-admin”文件夹名称

User-agent:ccbot

Disallow:/wp-admin

方式 2. 应用元标识

能够在网页页面中应用元标识来协助操纵百度搜索引擎搜索引擎蜘蛛对您网址的访问限制。假如您为全部网页页面应用模版,则能够在和中间加上元标识, 它将适用应用该模版的全部网页页面。假如要操纵特殊网页页面,能够在和中间的每个网页页面上加上元标识 。

①. 容许全部搜索引擎蜘蛛浏览您的网页页面

②. 容许全部搜索引擎蜘蛛浏览您的网页页面并追踪网页页面上的连接

③. 容许全部搜索引擎蜘蛛浏览您的网页页面,但不允许她们追踪连接

④. 不允许一切搜索引擎蜘蛛浏览您的网页页面

⑤. 容许CCbot浏览您的网页页面

⑥. 不允许CCbot浏览您的网页页面

⑦. 容许CCbot浏览您的网页页面并追踪大量网页页面的连接

假如你一直在网站流量统计中也发觉了CCbot,不必慌乱,你接下去必须做的便是是容许它再次爬取還是严禁爬取?May本人感觉这类搜索引擎蜘蛛沒有多少的实际意义,一旦发觉这类搜索引擎蜘蛛爬取较为经常,最好是的方法便是严禁这种搜索引擎蜘蛛继续访问大家的网址。

原創:MAY的SEOblog https://may90.com/share/ccbot.html 没经容许,切勿转截!

下载提示 1、转载或引用本网站内容须注明原网址,并标明本网站网址90源码网
2、转载或引用本网站中的署名文章,请按规定向原作者支付稿酬
3、对于不当转载或引用本网站内容而引起的民事纷争、行政处理或其他损失,本网站不承担责任
4、对不遵守本声明或其他违法、恶意使用本网站内容者,本网站保留追究其法律责任的权利
5、资源均来自网络,不保证资源的完整性,仅供学习研究,如需运营请购买正版,如有侵权请联系客服删除
6、本站所有资源不带技术支持,下载资源请24小时内删除,如用于违法用途,或者商业用途,一律用于者承担
7、如遇到加密压缩包,默认解压密码为"codes90.com",如遇到无法解压的请联系管理员! 90源码是一个优秀的分享资源站,本站资源均为各位友友分享而来,特殊原创会标明如有侵犯版权等可联系codes90@qq.com删除

发表评论