这是来自Google Webmaster Central博客上的一篇文章,现在官方已正式证实,网络爬虫Googlebot已扩大到覆盖JavaScript中的部分内容。如果不将一些基本规则纳入考虑的话,这一改变将对搜索结果产生一些负面影响。
并且Google推荐的做法是在robots.txt中开放对JavaScript和CSS文件的访问,这与移动站点的关系尤为密切,因为JavaScript和CSS文件将允许Google算法了解该页面是针对移动端优化的。
几乎所有的站都在用JavaScript技术,之前百度也给出了如下建议: