安全修复对搜索引擎索引效果的影响分析

　　去年六月那波安全修复，现在想起来还头疼——当时前端埋点被扒出来有XSS漏洞，后端紧急切了所有动态渲染，结果第二天产品就冲过来喊“首页在百度搜不到了”！我原以为改个渲染方式顶多影响点性能，结果索引直接掉了一半，那会儿正赶上编译进度条卡在百分之九十七，群里还有人发了个“裂开”的表情包，我盯着屏幕直骂街。

　　安全组的同学当时特硬气，说“所有动态参数必须转义，不然审计过不了”，后端更绝，直接把所有用户输入全当字符串处理——结果呢？原本能被搜索引擎抓取的动态URL全变成了静态页面，爬虫根本识别不了参数，索引直接清零。我让测试同学用curl模拟爬虫抓了下，返回的HTML里连meta标签都被转义成实体字符了，搜索引擎能认才怪。

　　外卖到了，先吃两口——对了，那会儿设计还在群里吐槽新版的404页面太丑，我回了句“现在连404都搜不到了还管丑不丑”，结果产品经理直接@我：“用户搜不到内容，再好看有个屁用”。

　　后来发现最坑的是CSRF Token的生成逻辑，安全修复要求所有表单必须带动态Token，但爬虫访问页面时根本不会触发JavaScript，导致所有带表单的页面都被判为“无效内容”。我让后端改了个白名单，把搜索引擎的User-Agent放进去，结果安全组又跳出来说“这属于逻辑绕过，审计要扣分”，两边扯了三天，最后折中方案是给爬虫返回静态表单，用户访问还是动态Token——那会儿灰度环境都搭了三版，每次发布都得手动改Nginx配置，熬到凌晨四点的时候，窗外雨下得跟漏了似的。

　　但说回来，这波修复也不是全没好处——那些靠黑帽SEO刷流量的垃圾页面，直接被安全策略干掉了。比如之前有个竞品用动态参数伪造大量虚假页面，修复后他们的索引量暴跌百分之八十，我们虽然掉了点，但剩下的全是高质量内容，反而排名涨了。我后来跟产品说，这叫“优胜劣汰”，搜索引擎现在越来越聪明，你玩花活它分得清，老老实实做内容反而能活。

　　不过有个细节我到现在都没搞明白——为什么同样的安全策略，在谷歌的索引恢复得比百度快？测试同学说可能是谷歌的爬虫更激进，会主动尝试解析动态内容，而百度还是保守策略，只认静态标签。后端同学插了句：“要不下次给百度爬虫单独做个API？”被安全组当场否了，说“这属于接口暴露，风险太大”。

文章配图，仅供参考

　　对了，上周招聘面了个前端，问他“如何平衡安全与SEO”，他居然说“用iframe隔离动态内容”——我差点笑出声，这方案十年前就被淘汰了，现在爬虫对iframe的解析率低得可怜，用这招等于主动放弃索引。最后没要他，不是方案不行，是这哥们连基本的“优胜劣汰”逻辑都没搞明白，安全修复不是堵漏洞，是逼着你把垃圾内容筛掉，留下真正有价值的东西。

　　现在灰度环境还在跑新方案，把动态参数全改成URL哈希值，既满足安全转义要求，又能让爬虫识别参数变化——不过后端说这方案性能损耗有点大，得再优化优化。我倒觉得无所谓，反正索引量已经涨回来了，剩下的就是慢慢调参数的事。就是旁边工位的风扇声太吵，等会儿得让行政换个静音的。

（编辑：我爱资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!