教新手如何创建Robots.txt文件，在高手面前班门弄斧，罪过

如何创建 robots.txt 文件？ 您可以在任何文本编辑器中创建此文件。该文件应为 ASCII 编码的文本文件，而非 HTML 文件。文件名应使用小写字母。 最简单的 robots.txt 文件使用两条规则： (1)User-Agent: 适用下列规则的漫游器 (2)Disallow: 要拦截的网页 这两行被视为文件中的一个条目。您可根据需要包含任意多个条目。您可在一个条目中包含多个...