robots

不再关注网络安全

360违反robots协议或将引发行业大乱

　　对于近日奇虎360综合搜索被爆出无视国际通行的Ｒｏｂｅｒｔｓ协议，抓取百度、Ｇｏｏｇｌｅ等搜索引擎内容，导致众多网站出于安全和隐私考虑不允许搜索引...

wordpress的robots分享

对一个问题纠结了好久，就是我的URL结构现在越来越不喜欢了，但考虑到现在搜索收录又不敢随意改变结构，而我用GG管理员查看的时候发现重复收录页过多，并且有...

30天最热文章