企业SEO之网站在线调试屏蔽搜索引擎抓取

2020-08-14 9条评论 141次阅读 0人点赞 AnWen

今天讲讲一个特别现实的真实例子，企业SEO之网站在线调试屏蔽搜索引擎抓取。就在前两天，遇见一个企业站，网站上线了三个月多一点，收录了7条，而网站的已收录的都成了死链！！！这就是企业站。

这个企业站从设计视觉效果方面来看，是很不错的，也很高大上！可惜始终是做给自己看的。网站在开发调试中，而搜索引擎就已经收录了，并且收录的都成了死链接；这些死链接没做提交，网站没有做任何搜索引擎的屏蔽。因为开发的根本不懂这一套！老板更不懂！！！

这是我见过最一塌糊涂的企业站；不能再垃圾了！听他说网站没做优化，在我看来，就算你做了优化网站也废了一半。网站开发中就上线是SEO大忌！！！

最重要是没有做屏蔽搜索引擎抓取；而导致收录了一些页面，成了死链接，也并未提交这些死链接。

新站上线，就是SEO 基础运营的第二步。第一步就是网站开发建设，这一步包括了很多，包括SEO优化布局、栏目策划、标题/关键词/描述定位、如何做设计导航；如何做好企业seo这也是基本的、必须要做的，在做这些时方法略微不一样，需根据具体情况。

看似很基础，很多人也就只能看表面；因为他根本不懂SEO；就知道发发外链，搞搞站群、网页/快照劫持等。有很多人以为这东西来得快；没想到死得也快。

为什么很多人都说那是SEO基本的呢？第一他没了解搜索引擎最新的算法策略，当然他是外行人；就不用说懂不懂了。

很多企业网站SEO都在走向专一化；而有的还在用黑帽SEO手法；只能说是没前途和发展。

那么现在我们来讲讲企业SEO之网站在线调试屏蔽搜索引擎抓取，为何要屏蔽搜索引擎抓取呢？

大家做seo都是在千方百计的让搜索引擎抓取和收录，但是其实很多情况下我们还需要禁止搜索引擎抓取和收录；殊不知收录不等于排名。比如，公司内部测试的网站，或者内部网，或者后台登录的页面，肯定不希望被外面的人搜索到，所以要禁止搜索引擎抓取。

企业SEO禁止搜索引擎抓取

那禁止搜索引擎抓取后会有什么效果呢？

大家可以看到，描述没有被抓取到，而是有一句提示：由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。企业SEO之网站在线调试屏蔽搜索引擎抓取

所以禁止搜索引擎收录其实是通过robots.txt文件来控制的

百度官方对robots.txt的解释是这样的：

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

百度robots协议的含义；如您的网站未设置robots协议，百度搜索对网站视频URL的收录将包含视频播放页URL，及页面中的视频文件、视频周边文本等信息，搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外，综艺影视类长视频，搜索引擎仅收录页面URL。

通过上面的话我们能得到2条结论：

1、robots.txt 不要也行

2、网站有内容不想让搜索引擎收录，在robots.txt里声明

声明代码如下：

User-Agent: *
Disallow: /

这个robots.txt对seo优化其实也很重要，因为搜索引擎第一个访问的文件就是robots.txt。比如你网站新搭建了一个栏目，想快速被搜索引擎发现，那就直接把栏目链接添加到robots.txt里就可以了，下次搜索引擎爬取你的网站，肯定会发现。所以，网站地图文件一般会加在robots.txt文件里。企业SEO之屏蔽搜索引擎抓取

其实robots.txt文件主要有2种功能：

1、限制抓取 2、声明网站地图。

第一种：robots.txt方法站点根目录中有个robots.txt，没有的话可以新建一个上传；关于robots协议。

User-agent: *
Disallow: /

robots文件怎么书写？robots书写规则；禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /css/
Disallow: /admin/

禁止所有搜索引擎访问css 和admin 目录，将CSS或admin目录修改为你指定的文件目录或文件即可。第二种：网页代码方法<head>与</head>之间，加入

<meta name="robots" content="noarchive">

代码，此标记禁止搜索引擎抓取网站并显示网页快照。

本页共有 9 条评论

AnWen

严格来讲,seo抓取规则是病句,应该是做seo的过程中爬虫也可称为蜘蛛的抓取规则。为什么做seo需要来讲搜索引擎蜘蛛爬取规则?原因在于收录决定索引,索引决定排名。

2021-01-28 03:19 回复
AnWen

企业seo如何做？
1.确定网站主关键词及长尾关键词。
2.根据主关键词,从企业产品出发,合理布局关键词。
3.根据网站目标关键词,选取适合以列表形式展示内容的关键词来建立文章栏目。
4.发布的文章中要包含对企业有高价值的长尾关键词。
5.根据文章的长尾关键词,在内容页面上进行相关的内容显示和链接。
经典的、深奥的SEO解决方案这里就不讲了；请联系好客站！为你定制搜索引擎方案

2021-01-05 17:36 回复
1. AnWen
  
  @AnWen 企业网站SEO推广不仅可以推广产品和企业信息,而且有助于提升企业品牌形象,扩大企业品牌在行业中的影响力。
  
  2021-01-05 17:38 回复
AnWen

Robots各大搜索引擎都明确规定要遵守的，虽然360以用户内容为公开协议赢了官司，但是个人或者公司内容，任然有私隐权，robots还是要遵守的。
可能是搜索引擎的缓存行为导致你把bbs/放到robots任然还在抓取，给点时间搜索引擎做更新调整吧！
robots如果一直不行，可以试试【noindex和Nofollow】结合使用在网站中，对应bbs/这个URL的标签处。可以禁止站内对于bbs/ 这个文件夹的索引和传递。但是如果站外任然有链接入口指向bbs/。那很有可能还是无法做到全面屏蔽。
总得来说，如果robots无法做到屏蔽索引，就几乎没有任何办法了！

2021-01-05 17:32 回复
AnWen

搜索引擎优化技术博客

2021-01-02 09:47 回复
AnWen

如何做网站SEO分析诊断报告?

2020-08-29 19:35 回复
1. AnWen
  
  @AnWen 常见的网站seo诊断方法：
  1、在百度的网页收录情况，以及网站的权重，关键词等排名情况等等，这里推荐站长工具或者爱站工具，都可以分析。
  2、网站的结构情况，首先查看的是网站是否符合搜索引擎优化SEO优化的要求，网站的内容是否丰富，原创度是不是很高，内容是否围绕网站的关键词在写等等。
  3、分析网站的meta标签的写法，查看网站关键词密度关系。
  4、查看网站的标题是否合理，简单方法是：查看网页标签或者查看页面源代码等，对于网站的标题，有几点要求的，一般中文网站的标题字数，保持在30个字以内，标题不要重复。
  5、面包屑导航对于SEO的重要性。网站的面包屑导航，不仅可以提升网站首页的权重，也可以增加内链。一般分析网站的的面包屑导航是否符合要求。
  
  2020-08-29 19:36 回复
AnWen

什么是搜索引擎最佳优化？搜索引擎最佳化，即指搜索引擎优化的最好实现，通过合理的方式方法，让网站变得对搜索引擎更加友好，进而提高网站被各个搜索引擎抓取并实现更好的排名。

2020-08-25 01:35 回复
AnWen

最近一周收录贼异常！除了自身有问题！搜索引擎也是一个大问题！问题从来不是单一存在的！比如不知道SEO是什么然后就整天发外链、上快手?

2020-08-14 16:26 回复