网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。在搜索引擎优化技术中，网络爬虫就是搜索引擎发现和抓取文档的自动化程序。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
互联网信息大爆炸，人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西，为了满足不同的人的不同需求，于是出现了网络爬虫。
搜索引擎架构的两个目标是效果和效率，这同样也是对网络爬虫提出的要求。面对亿级网页数量，重复内容很高，在SEO行业重复率可能在50%以上，网络爬虫面临的问题是为了提高效率和效果，就需要在一定的时间内获得更多有高质量页面，摒弃那些原创度低、复制内容、拼接内容等页面。
企业如何做好搜索引擎优化（SEO）？
一般企业网站的流量最开始大部分来自搜索引擎，所以我们推广的第一步就是搜索引擎的优化，也就是大家常说的SEO。结合网站的本身和相关的行业，选取合适的关键词，针对搜索引擎进行适当的优化，当你的网站排在搜索引擎前面的时候，你还愁没有客户找不到你嘛，这样网站就可以慢慢的宣传出去了。
① 通用网络爬虫
通用网络爬虫，又称为“全网爬虫”，从一些种子网站开始爬行，逐步扩展到整个互联网。
通用网络爬虫策略：深度优先策略和广度优先策略。
② 聚焦网络爬虫
聚焦网络爬虫，又称为“主题网络爬虫”，预先选择一个（或几个）相关主题，仅爬行并抓取这一类的相关页面。
聚焦网络爬虫策略：聚焦网络爬虫增加了链接和内容评价模块，所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。
③ 增量式网络爬虫
增量式网络爬虫，是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。
增量式网络爬虫策略：广度优先策略和PageRank优先策略等。
④ Deep Web爬虫
搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”，某些不能通过静态链接获得的页面称之为“深层网页”，Deep Web爬虫就是抓取深层网页的爬虫体系。