好客站SEO搜索引擎优化研究中心,专注于各行业搜索优化,提供专业SEO解决方案,从行业竞争和需求分析,一站式解决网站建设SEO布局,解决企业SEO公司排行榜资讯,SEO算法、SEO排名分析并建立SEO论坛技术互动交流.

虚拟主机被搜索引擎爬虫访问耗费大量流量解决方法

虚拟主机robots文件设置问题
当客户使用虚拟主机,网站被搜索引擎爬虫访问耗费大量流量和带宽,如何处理?
可以通过在站点根目录下创建 Robots.txt,Robots.txt 文件是网站的一个文件,搜索引擎蜘蛛抓取网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。
它能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径。
注:Robot.txt协议不是强制协议,部分搜索引擎或者伪装成搜索引擎的爬虫不会遵守该协议,对于不遵守该协议的情况,以下方法无效。

1. 首先,先了解一下目前搜索引擎和其对应的 User-Agent,如下:
搜索引擎 User-Agent

AltaVista Scooter
baidu Baiduspider
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
LooksmartWebPages Slurp

2. Robots.tx t样例代码:
例1. 禁止所有搜索引擎访问网站的任何部分

User-agent:
Disallow: /

例2. 允许所有的搜索引擎访问网站的任何部分

User-agent:
Disallow:

例3. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider
Disallow: /

例4. 仅允许Baiduspider访问您的网站

User-agent: Baiduspider
Disallow:

例5. 禁止spider访问特定目录

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/

注意事项:
三个目录要分别写。
请注意最后要带斜杠。
带斜杠与不带斜杠的区别。
重点:对于Disallow与目录tmp中间的冒号是英文状态的,这点一定要注意。即写为 Disallow: /tmp/ 而不是 Disallow /tmp/
例6. 允许访问特定目录中的部分url
实现a目录下只有b.htm允许访问

User-agent: *
Allow: /a/b.htm
Disallow: /a/

本页共有 5 条评论

  1. SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    robots写法;网站robots文件怎么写?规范的robots文件写法。
    Robots协议,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,更好的保护用户的隐私和版权信息。

  2. SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    搜索引擎爬虫 (又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

  3. SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    服务器影响SEO吗?请在本站进行搜索查看好客站SEO的分析,以下不代表好客站所有SEO观点,请理性阅读!
    1、服务器必须稳定性高、速度快 在选择服务器的时候,一定要选择稳定性高、速度快的。如果服务器不稳定速度慢,不仅会影响用户体验,还会影响搜索引擎的收录,从而导致网站权重下降、网站排名下降等等。
    2.根据网站实际需求来选择空间大小 在选择空间大小的时候一定要根据实际需求来选择,空间太大会浪费,空间太小不够用。
    3.选择正规服务器空间商 在选择服务器空间商的时候,一定要选择正规的。
    移动搜索量已经超越PC搜索。移动网站优化是SEO们的必学新技术。目前Google和百度移动端SEO都是基于桌面搜索优化,再加上移动友好性指标。

  4. SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    服务器的叫法有很多,如常见的虚拟主机,VPS,空间,云主机,独立服务器等。服务器选择的好与坏,直接关系到网站seo结果,是做seo的必要硬件。

  5. SEO排名+企业搜索引擎优化服务中心+国际搜索引擎优化排名

    AnWen

    互联网站优化推广团队分析,网站访问人数越多,对服务器的负载量就会越大。因此网站经历了几次服务器更换。因为服务器的变动,如果处理不好,对SEO流量会有不同程度的影响。避免遇见服务器变动类的问题不清楚如何处理,搜罗了一下资料,并结合自己的一些经验来谈谈服务器对SEO的影响,以及在服务器出现变动时,SEO方面的应对办法应该如何处理。

电子邮件地址不会被公开。必填项已用 * 标注!昵称可为公司名称哦!SEO优化、网站诊断分析方案请联系微信/QQ:2690502116。

SEO优化技术指南推荐

    2020搜索引擎流量排名情况-十大排行推荐 SEO综合型人才具备有怎样的条件?如何锻炼成为SEO高手? robots规范命令-Robots.txt使用指南与搜索引擎对话 SEO外贸推广-Google搜索引擎优化排名技巧 2021年外贸谷歌SEO工具汇总-搜索引擎优化数据分析研究中心 关于Google搜索引擎搜索结果-全球最强搜索技术介绍 2021年SEO的机遇有哪些?-搜索引擎公司排行榜 2021-2022年SEO行业发展前景几大趋势+SEO对行业冲击 国内搜索引擎排行榜+市场推广渠道汇总 SEO面试题-个人站长搜索引擎热门话题-seo零经验面试 2021年做SEO优化还有市场吗-搜索引擎优化现状如何 SEO技术培训-关键词快速排名技术文章 seo+竞争对手分析+策划书 整站代码加密https域名访问对SEO影响-SSL安全协议 SEO效果不稳定问题-如何解决排名波动大

好客站搜索引擎优化动态