标签: robots

  • 多域名共用和Robots指定主域名

    太阳底下无新事,企业把多个域名绑定同一服务器,指向同一个网站。派代网就这么干过,老大觉得咱有很多NB的域名,闲 […]

  • 如何使用robots.txt

    robots.txt 文件对抓取网络的搜索引擎漫游器(称为漫游器)进行限制。这些漫游器是自动的,在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话,robots.txt 是一个简单有效的工具。这里简单介绍一下怎么使用它。

    如何放置 Robots.txt 文件

    robots.txt 自身是一个文本文件。它必须位于域名的根目录中并 被命名为”robots.txt”。位于子目录中的 robots.txt 文件无效,因为漫游器只在域名的根目录中查找此文件。例如,http://www.example.com/robots.txt 是有效位置,http://www.example.com/mysite/robots.txt 则不是。

    这里举一个robots.txt的例子:

    User-agent: *

    Disallow: /cgi-bin/