- 一月23日
-
1.robots.txt文件当允许和不允许矛盾时,优先级考虑允许状况
2、robots.txt文件当允许.html后缀是指包含就可以了,不需要完全匹配。
3、是不是我问的robots.txt屏蔽了A链接,里面有B和C链接,也能够抓取B和C
重庆网站优化-免费seo诊断
1.robots.txt文件当允许和不允许矛盾时,优先级考虑允许状况
2、robots.txt文件当允许.html后缀是指包含就可以了,不需要完全匹配。
3、是不是我问的robots.txt屏蔽了A链接,里面有B和C链接,也能够抓取B和C