robots.txt屏蔽

之前说我屏蔽了几个搜索引擎蜘蛛。Ahrefs蜘蛛(AhrefsBot)、俄罗斯蜘蛛(YandexBot)、华为蜘蛛(petalbot)

我通过插件统计,发现更多需要屏蔽的蜘蛛。

图片在搬家过程好像丢失了?

我屏蔽了画横线的这几个。解封了前面的华为蜘蛛(petalbot)。

并把规则同步到我所有的WordPress网站下使用。