标签：禁止搜索引擎抓取内容

2019-11-06代码小白阅读(3338)

这其实不只是针对于discuz这个程序建的网站，针对所有的网站都有效。网站的根目录有一个robots.txt文件。这个就相当于一个协议。它告诉搜索引擎，你可以抓取我网站里的哪些内容。所以，想要禁止搜索引擎抓取网站内容，就得在这个文件里进行操...