介绍:robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
网站主机支持伪静态的Robots规则 如下:(所给出的robots规则,都是经过百度robots.txt工具验证通过下发布的)
# # robots.txt for hadsky # User-agent: * Disallow: /admin/ Disallow: /install/ Disallow: /template/ Disallow: /phpscript/ Disallow: /puyuetian/ Disallow: /uploadfiles/ Disallow: /index.php?c=list&* Disallow: /index.php?c=read&* Disallow: /index.php?c=edit&* Disallow: /index.php?c=plug&* Disallow: /index.php?c=zone*
网站主机 不 支 持 伪静态的Robots规则 如下:
# # robots.txt for hadsky # User-agent: * Disallow: /admin/ Disallow: /install/ Disallow: /template/ Disallow: /phpscript/ Disallow: /puyuetian/ Disallow: /uploadfiles/
使用 百度SEO插件 的Robots规则 如下:(只需要在其后面添加)不管是有、无伪静态的做法也是一样的
Allow: /phpscript/plug/puyuetian_baiduseo/
解释:允许访问特定中目录的部分链接(加这个目录,是为了让蜘蛛访问该目录下的sitemao.txt的)
下面附上本站的Robots写法(伪静态下)
请求资源或报告无效资源,请点击[反馈中心]