还是弄个合适RaveList的robots.txt吧

从一开始上线活动日历页面看了RaveList的接口请求日志就发现一直会有日历列表getList的请求,通过Nginx的日志发现是Googlebot一直在抓取。知道不是被人恶意请求后就没理了。
最近使用Google Search Console后发现日历页面的链接抓取没1w也有7、8k页面了,而且每隔几天都去抓取,这样子可不行,这简直是在互相伤害啊。
想了想,还是弄个合适RaveList的robots.txt吧!
RaveList上日历界面有两种链接形式https://jjboom.net/calendarhttps://jjboom.net/calendar/2019-03-19,
前者是当天的,后者是指定某一天的,只对后者的情况进行拦截。

User-agent: *
Disallow: /calendar/
Sitemap: https://jjboom.net/sitemap.xml

标签: none

添加新评论