公司网站制作怎样做好和搜寻引擎的友爱沟通
让我对“怎样和蜘蛛对话 ”这个课题有了一些思索，下面归纳的主要用于逢迎上面提到的蜘蛛“抓取战略”。
1、通过 robots.txt 和蜘蛛对话：搜寻引擎发明一个新站，准则上第一个访问的就是 robots.txt 文件，可以通过 allow/disallow 语法告诉搜寻引擎那些文件目录可以被抓取和不可以被抓取。
2、通过 meta tag 和蜘蛛对话：比方有的时候我们但愿网站列表页不被搜寻引擎收录但是又但愿搜寻引擎抓取，那么可以通过 ＜meta name=”robots” content=”noindex,follow”＞ 告诉蜘蛛，其他常见的还有 noarchive，nosnippet，noodp 等。
对于 meta tag 的更多介绍：
3、通过 rel=”nofollow” 和蜘蛛对话。
4、通过 rel=”canonical” 和蜘蛛对话.
5、通过网站地图和蜘蛛对话：比拼常见的是 xml 格局 sitemap 和 html 格局 sitemap，xml 格局 sitemap 可以分割处置或者紧缩紧缩，另外，sitemap 的地址可以写入到 robots.txt 文件。
6、通过网站治理员工具和搜寻引擎对话：我们接触最多的就是谷歌网站治理员工具，可以设定 googlebot 抓取的频率，屏蔽不想被抓取的链接，控制 sitelinks 等，另外，Bing 和 Yahoo 也都有治理员工具，百度有一个百度站长平台，内测一年多了仍旧在内测，没有约请码没法注册。
另外，做网站这里面还衍生出一个概念，就是我不断比拼注重的网站收录比，所谓网站收录比=网站在搜寻引擎的收录数/网站真实数据量，网站收录比越高，注明搜寻引擎对网站的抓取越顺利。
做网站抓取战略：那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义分明之后，能节俭许多无谓的爬取。
更新战略：监控列表页来发明新的页面；按期check 页面是否逾期等等。
抽取战略：我们应当怎样的从网页中抽取我们想要的内容，不仅仅包含终究的指标内容，还有下一步要抓取的url。
做网站抓取频率：我们需要合理的去下载一个网站，却又不失效率。
