网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，robots默认都是放在网站根目录。刚建好的WordPress网站，打开robots.txt是能访问的，但是在网站目录却找不到任何robots.txt文件，其实默认的robots文件放在wp-includes/functions.php中，通过搜索robots大概在1641行可进行修改
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，robots默认都是放在网站根目录。刚建好的WordPress网站，打开robots.txt是能访问的，但是在网站目录却找不到任何robots.txt文件，其实默认的robots文件放在wp-includes/functions.php中，通过搜索robots大概在1641行可进行修改
