Z-blog PHP版本robots.txt的正确写法

发布时间:2020年09月11日 23:49:10 阅读:65 次 作者:佛说

zblog robots.txt的正确写法,php版本,robots.txt作为网站的蜘蛛抓取遵循法则,里面可以自定义需要禁止的目录,以及sitemap的附属链接都可以添加


效果:


User-agent: *


Disallow: /zb_users/


Disallow: /zb_system/


Disallow: /MemberCenter


Sitemap:meishi/sitemap_index.xml


Sitemap:xx/sitemap.xml


语法就不多说Disallow 禁止,Allow 允许,Sitemap:地图


代码:




header("Content-type: text/plain");


header('HTTP/1.1 200 OK');


$str = 'User-agent: *


Disallow: /zb_users/


Disallow: /zb_system/


Disallow: /MemberCenter


';


$str .= 'Sitemap:http://' . $_SERVER['SERVER_NAME'] . '/sitemap_index.xml


';


$str .= 'Sitemap:http://' . $_SERVER['SERVER_NAME'] . '/sitemap.xml';


echo $str;


nginx 重定向配置


rewrite ^/robots.txt$ /robots.php last;



Tag:Z-blog 博客 个人网站 网站程序 网站源码 robots.txt
相关阅读

发表评论: