自己瞎折腾,这些年做网站白做了!

/ 12评 / 0

整理回顾下最近几天过山车一般的事情:(都是手贱+没技术的锅)

(不作一下我不开心)

1、24号流量暴增翻倍,导致服务器频繁宕机。(其实24号以前就已经出现过了)于是乎开始折腾七牛云存储插件。发现里面需要修改robots.txt,我就阴差阳错的把屏蔽的语句填写到了网站下的robots里面,而不是七牛云的空间里面!(后来搞明白了,是应该放七牛云上屏蔽蜘蛛重复抓取七牛云上的数据,避免造成七牛的流量浪费)也就是这个误操作导致后面的失误。

2、第二天起来25号,发现还是CPU使用率过高,还有也问了几位大佬,让我给服务器PHP添加了几个加速和缓冲的组件。“opcache”用于PHP加速;“memcached ”用于内容缓存;然后在看php-fpm的CPU使用率单个从12%降到5-7%左右,降低了一倍!

我在25号还上了360CDN,因为上面是带WAF防火墙。然后就看到每天上千拦截!大喜过望啊!

3、然而26号我就发现百度站长工具上的索引,怎么24号到25号从1400+的索引降低到50的索引??大惊失色!不知所措中,又去问大佬是怎么回事啊怎么办啊?大佬表示自己也用360CDN没遇到索引降低啊,让我好好查询下是不是是不是其他地方的问题?

我就排查,一开始以为是360CDN上有个搜索引擎优化功能(蜘蛛爬行自动回源的功能),WWW这个解析的域名我没有开。以为是这个原因,26号开启了发现索引量并没有提升啊。(其实不是这个导致就是一开始说的robots协议写错了屏蔽了。)

4、在27号,最后只好彻底换回了原来的DNS,不用360CDN加速了。还在网络上找到一篇写《史上最全的百度索引量下降原因分析及解决方案》的文章~根据里面一条一条排查,才终于发现是robots协议写错了。导致屏蔽百度抓取全站内容,那当然索引就一落千丈了。

 

在26号的时候,我就好奇了,同样一个服务器,前后脚(间隔几十分钟)一起加入360CDN的两个网站。另一个的抓取索引就正常的。为什么就只有这一个出问题了?当时已经慌了手脚大脑基本上无法正常思考所以没第一时间发现问题所在。

12条回应:“自己瞎折腾,这些年做网站白做了!”

  1. 你现在网站已经回访了嘛?我的网站还是cpu 过高,你是wp程序吧

  2. 梁兴健说道:

    哈哈哈,皮一下你很开心

  3. 橙子VIP视频说道:

    robots放错位置不太要紧,写错规则麻烦就大了。

  4. 哈哈哈,不要折腾,安心写文章就好···千算万算,一折腾就出问题

  5. 手赚吧说道:

    貌似不要robots.txt也没什么影响

  6. 笛声说道:

    我的图片放在子域,所以这个robots写错也不会影响主站

  7. YoungFree说道:

    我也是掉进了 robots 的坑了,屏蔽了百度抓取图片,导致博客被百度抛弃,一年了,还没恢复。

发表评论

电子邮件地址不会被公开。 必填项已用*标注