高端网站建设资讯

上海seo讲解robots.txt文件的写法

时间: 2018-01-29 分类: 网站改版注意事项 浏览次数: 1717 作者:蔚派 来源:原创
分享到:

robots.txt文件相信各位站长并不陌生,但是谈到如何去写相信有一部分站长是不会的,网站中出现死链的几率很大,所以robots.txt文件写法作为个人站长的必须掌握的技能之一,其用途也是非常广泛的,今天上海seo小编就为大家讲解robots.txt文件常用的写法。

 


假设网站做了伪静态或者url静态化,不想让搜索引擎抓取网站中所有动态url的写法。因为大家都知道网站静态的和伪静态的url对搜索引擎爬虫是友好的,所以大家网站一般都做了静态或伪静态,既然做了静态化处理当然就动态url就不想让蜘蛛抓取了。如果都让蜘蛛抓就会产生大量的重复页面。那么我们如何改写?如图所示


以上是上海seo优化小编针对网站robots.txt文件的写法,相信会对seo新手有一定的帮助。

文章分类

热门文章