网络推广
当前位置: 首页 > 网络推广 >
怎么设置robots.txt文件
发布日期:2016-04-21 阅读次数:100 字体大小:
  robots.txt的文件,格式如下:
  User-agent: *
  Allow: /
  Disallow: /admin
  Sitemap:http://www.jnwltg.com/sitemap.xml

  其中:User-agent:* 是指针对据有搜索引擎,Allow:/ 是允许访问根目录,Disallow:/admin是指不允许访问网站的admin这个文件夹内的文件,即不允许访问我们的后台文件。这样设计搜索引擎是不会访问这个admin文件夹内的东西的,就不会收录这个路径下的链接。如果你不想让搜索引擎收录哪个网址,直接写成Disallow:url。不想访问哪个路径下的所有文件,就直接把这个路径添加到禁止访问这一行里。

  最下面一行,表示你的网站地图放在哪个位置,一般都是放在网站的根目录下。

  设置好了,还要先设计好网站地图,再上传。关于网站地图的设置,请参阅:网站地图制作