好客站SEO搜索引擎优化研究中心,专注于各行业搜索优化,提供专业SEO解决方案,从行业竞争和需求分析,一站式解决网站建设SEO布局,解决企业SEO公司排行榜资讯,SEO算法、SEO排名分析并建立SEO论坛技术互动交流.

搜索引擎优化技术robots.txt基本的写法用法

2020-11-26 4条评论 386次阅读 1人点赞 好客站+白帽SEO研究中心

搜索引擎优化技术robots.txt基本的写法用法

robots.txt基本的用法:搜索引擎优化技术robots.txt基本的写法用法

一、禁止所有搜索引擎访问网站的任何部分:
User-agent: *
Disallow: /

二 、允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件:robots.txt

三、禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录)

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

四、禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /

五、只允许某个搜索引擎的访问(下例中的WebCrawler)
User-agent: WebCrawler
Disallow:

1、搜索引擎优化蜘蛛协议robots.txt文件使用说明

“每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。”
关于这一点呢,我个人是不太认可的,这么多年过去了,搜索引擎没理由连这么简单的404都无法分辨出来的, 我并不是在否认这段话。常见搜索引擎机器人Robots名字
google对于一个网站的评价标准有很多, 一个网站是否存在sitemap,必然也是该站是否完整的衡量标准之一(纯属个人猜测),所以,我不认可的只是404。
此外,robots.txt可以有效的节省你的流量。
我相信很多草根站长都是从虚拟空间开始起家的,一开始的流量,带宽都是有限制的,而搜索引擎对网站的抓取必然也是要占用流量的,所以避免搜索引擎“无效的抓取”就显得十分重要了,如,缓存文件,临时文件,上传文件夹,用户中心 等feimlww1027, 屏蔽掉这些文件目录,一方面能降低流量消耗,另一方面偶尔也能保证收录的质量(临时页面如果和实际文件内容类似 搜索引擎会有点迷惑的)。

2、常见搜索引擎机器人Robots名字

名称    搜索引擎蜘蛛

google蜘蛛: googlebot

谷歌的网页抓取机器人,类似于中国的Baiduspider(百度蜘蛛)
Googlebot 和Mediapartners-Google 是非常勤奋的机器人,如果他们影响到你服务器的承受力,你可以通过 robots.txt 文件加以制止。神马搜索引擎蜘蛛YisouSpider

百度蜘蛛:baiduspider

yahoo蜘蛛:slurp

alexa蜘蛛:ia_archiver

altavista蜘蛛:scooter

lycos蜘蛛: lycos_spider_(t-rex)

alltheweb蜘蛛: fast-webcrawler/

inktomi蜘蛛: slurp

msn蜘蛛:msnbot

MSNBot是一个msn机器人控制服务的客户端工具,用户可以通过此msnbot远程控制运行此程序的机器。 无需msnMessager支持。用户还可以上载、下载,运行指定的文件,kill指定的进程,获取远程屏幕等。

神马搜索引擎蜘蛛 :YisouSpider

本页共有 4 条评论

  1. AnWen+SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    神马Spider是神马访问互联网,自动化抓取网页的程序。Spider抓取下网页,建立索引,使用户可通过搜索引擎搜索到互联网上的资源。

  2. AnWen+SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    什么是Spiders?Spiders,指自动抓取网页内容的机器人Robots,是搜索引擎用来访问Internet上网页的自动程序。spiders根据html的语法和格式,对读取的页面进行代码过滤,收入相关的文字内容。搜索引擎无法象人那样去读相应的图片、Flash、影片里面的内容。图片中的文字对Spider来说毫无意义。对于javascript里面的内容,已经有部分网站开始收录。

  3. AnWen+SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    robots书写规则及网站集权处理

  4. 南山南SEO+SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    南山南SEO

    robots设置几天都没生效。修改robots之后多久生效?老域名有6年历史,但是有五年没做站了。修改robots.txt多久生效,robots.txt只是让百度蜘蛛不再抓禁止的页面。
    已经收录的没办法通过robots删除的。

电子邮件地址不会被公开。必填项已用 * 标注!昵称可为公司名称哦!SEO优化、网站诊断分析方案请联系微信/QQ:2690502116。

好客站搜索引擎优化动态