网站优化怎样优化单页面网站搜寻引擎?
发布时间：06/10 来源：未知 浏览：
关键词：
在本文中，我们将主要关注Google，不过其它大型搜寻引擎如Yahoo！和Bing都支撑雷同的机制。
Google是怎样抓取单页网站的
当Google索引一个传统网站的时候，它的网络爬虫（称之为Googlebot）首先会扫描并检索顶层URL内容。一旦这一步骤完成，网络爬虫就会跟踪网页上的所有链接，同时还会给那些网页编写索引。接着就是反复性步骤——继续跟踪后续网页，终究会给此网页上和相干领域内的所有内容编写索引。
当Google试图检索一个单页网站的时候，它所看到的只是一个单一的HTML空容器（平常状况下是一个空的div或body tag），所以基本没有东西可以检索，也没有链接可以抓取，更没方法索引响应的网站。
不过这尚无完毕，值得庆幸的是，Google和其它搜寻引擎已经意识到单页网站的重要性，同时为开发者供给工具——为网络爬虫供给搜寻信息，这可能是比传统网站优胜的地方。
如何制作一个可抓取的单页网站
制作一个可抓取的单页网站的要害第一步就是必须意识到：要是一个网络爬虫或者一个运用Web阅读器的会员提出需求的时候，网站的服务器必须给出响应的回复。关于个别的访客只需要给出正常的回复即可；但是关于一个网络爬虫，就需要回到优化过的网页，向网络爬虫展现访客想要晓得的内容，同时还要将格局设置为网络爬虫轻易就能够读出的格局。
那么一个优化过后、防网络爬虫的网站主页看上去像什么模样呢？有可能网站Logo或者其它的主要图片会涌现在搜寻效果里，一些SEO优化的文本可以解释你所搜寻的网站是做什么的，当然了，Google最佳是把网页上的HTML链接编入检索比拼好。
不过网页上没有任何CSS样式或复杂的HTML构造，也没有任何JavaScript，或者是我们不但愿谷歌索引连贯到网站区域。下图所显示的就是阅读器（左）和网络爬虫（右）看的网页的情景。
为网络爬虫自定义内容
平常，单页网站链接到不一样的内容会运用符号(# !)。另外，这些链接在看待访客和网络爬虫的时候不会遵循一样的方式。
案例：在单页网站上链接到会员页面看上去就像/index.htm#!page=user:id,123，网络爬虫可能会看到#!并探求带有URL /index.htm?_escaped_fragment_=page=user:id,123的网页。因为网络爬虫会遵循这一模式并探求URL，所以开发者可以给服务器编写程序以回复带有HTML快照的页面需求，这在阅读器里也可以很正常的通过JavaScript来进行渲染。
这些快照可能会被Google索引，但是在Google搜寻效果里的任何人点击清单都将被送往/index.htm#!page=user:id,123。在单页网站里JavaScript也将从那里开端接管并按照规划渲染网页。这为单页网站开发者供给了专门为谷歌和专门为会员进行调整网站的时机，而无须编写访客易读的、网络爬虫易于了解的文本，页面可认为访客和爬虫进行优化，除此以外不用担忧其它内容。
网络爬虫通过网站的途径是可以被控制的，开发者可以引导访客从Google搜寻效果到一个指定的主页面。这可能需要在开发历程里破费更多的工作，但是在搜寻效果位置和客户保存方面可以得到庞大的回报。
检测谷歌的网络爬虫
检测网络爬虫这可能需要一些下令行，但运用Chrome Developer Tools就能将这一检测变得相当容易，只有点击按钮、检查工具框：
- 打开Chrome Developer Tools，点击Google Toolbar右侧的带有三条水平线的按钮，然后从菜单当选择Tools，再点击Developer Tools。
- 在屏幕右下角是一个齿轮图标：点击进去就能看到一些高级开发者选项，例如禁用缓存，打开XMLHttpRequest记载。
- 第二个标签标志为Overrides，点击User Agent标签周边的复选框，再从Chrome到Firefox、IE、iPads的下拉菜单里选中任何数目的会员代理，Googlebot的代理不是默许选项。为了运用它，选中其他复制并粘贴会员代理字符串到输入框里。
- 此刻，该选项卡自身是当作Googlebot的，当我们在网站上打开任何URL的时候，应当能看到网络爬虫页面。
