阿里云的服务器, Gooele 爬虫访问好像有点问题
事情是这样的,帮朋友公司挂的个公司首页,挂了三个月了想检查一下搜索引擎索引。百度、Bing 都正常,唯独发现 Google 的索引没了。上 Gooele Search Console 一看,robots 和 sitemap 都抓不到了,网址检查还是抓不到。
然后就上服务器开访问日志测试,发现做抓取测试时 bing 、baidu 等的爬虫的访问日志都有,唯独 Google 啥也没有。
再然后用海外的抓取工具测试,也 OK 。
也不知道再之后怎么排查了,流量可能都没到我机器上。我的前面也没我知道的其它安全设备了。
机器是阿里云成都的轻量应用服务器,现在就尬住。
难道要开个 CDN 做全球加速? 刚刚抓包看了下,GoogleBot 的机器是有来尝试请求连接,发了 SYN ,我方机器也回了 SYN-ACK ,但是后续没有收到 GoogleBot 的 ACK 了,即 TCP 握手失败。
把抓包证据给阿里云提工单了。 阿里云工单回复:属于跨境链路不稳定导致的,建议将站点搬到海外,或使用全球加速。
页:
[1]