在这些年的SEO诊断中,我这里发现不低于20%的网站都存在着一个严重的抓取问题,但是奇怪的是,却始终得不到大多数人的重视。而研究透彻并分享这个问题的人,更是没有发现。今天这篇文章,我们就来看一下这个问题。
什么问题呢?
连接超时,或者抓取超时,如果你的网站出现过这个问题,至今没有处理到位的,就把这篇文章转载一下吧。
很多人说,不就是几十次的超时吗?有什么大不了的,如果这样认为,那么真的是活该网站做不好了,正常的网站是什么样的呢?我们来举个例子:
这是一个权重4的站点,哪怕十多万次的抓取,却仍旧没有出现过一次的抓取错误!如果你的每日抓取错误量超过10次(十天半个月就出现一次错误,或者连续多天出现的),就真的应该严肃处理一下这个问题了,因为当前问题的存在,已经长期的制约了网站的发展上限,甚至因为这个问题,诱发网站的降权,都一点不奇怪。
为什么会出错?
有人说,不用理会,这就是一个BUG,因为我在网站的LOG日志中,并没有发现这个问题。之前在百度站长的VIP群里,有人这样解释过。但是我想说的是:百度无法抓取到网站,你的网站LOG日志,能统计到这样的错误吗?所以,上述解释是完全说不过去的。
那么,为什么会出现这样的错误呢?
A,DNS问题,无论是蜘蛛还是用户访问网站,首先就需要域名的DNS做了正确的解析,然而解析是解析了,你能确定DNS真的稳定吗?不少站点的错误,正是因为DNS不稳定而造成的。尤其是那些又做域名注册,又搞‘域名抢注’的平台,这样的平台,更容易出现DNS解析不稳定的情况,尤其是在抢注高峰期。具体哪些品牌,这个就不点名了,如果你的域名在这些平台中,贺贵江强烈建议你将其转出。
B,页面太大,有一些网站的部分页面达到了四五六七八兆的情况,甚至还见过极少的网站出现过一个页面有10MB大小。这样的页面,更容易出现链接超时。正常情况,并不建议网站的页面大小超过3MB,同时建议网站服务器启用GZIP压缩。
C,带宽不足,这是一个很常见的情况,不少站点出现链接超时都是因为带宽不足而引发的。我们知道1M的带宽峰值下载是128KB,如果网站是1M接入,页面大小是256KB,如果同时2个人在打开页面,那么就需要4秒才可以下载完毕。如果带宽是2MB,页面大小是1024KB,一个人打开网站需要8秒,可如果是10个人同时打开呢?所以带宽这里,一定要做足。站长或者企业都应当观察一下站点的平均带宽,以及峰值带宽情况,如果经常出现‘带宽峰值’类型的访问,那么就一定要升级带宽了。
D,首字节时间,可能很多同学没有听说过这个问题,它指的是从发送请求到WEB服务器的时间+WEB服务器处理请求并生成响应花费的时间。有一些站点,首字节时间居然都可以达到5MS,这样的情况,网站还能正常吗?
1、对于首字节时间这里,我们应当注意:避免网站与其他网站共享同一个服务器其他网站会占用自身网站服务器处理时间。
2、CDN减少内容和访问者之间的“距离”将静态内容分发到CDN,CDN的内容自动复制到各个位置,在地理上更接近用户,从而减少TTFB的时间。注意的是,已定要设置‘缓存时间’针对于网站访问较慢的页面或栏目。
3、避免网站使用虚拟主机系统如网站在一段时间未有流量产生,系统会推迟或暂停虚拟服务器,当新访客进入时,将重新进行服务器备份处理(10s或更长时间);
4、后端优化软件性能减少服务器生成的响应到浏览器的时间,比如:操作码缓存、服务器端缓存、本地缓存、W3总缓存等。
最后,我们总结一下:
首先是为网站找一家靠谱的DNS服务商,我们建议是阿里云,其次是稳定的CDN服务商,阿里、百度智能云、腾讯云,都可以。最后就是网站服务器,尽量不要选择使用虚拟主机,且尽量避免多个站点使用相同服务器。
- 2022-02-25 百度翻译app最新版2022下载 百度翻译app下载
- 2022-02-12 百度地图丁真语音包APP安卓版下载 百度地图丁真语音包APP官方最新下载
- 2022-02-04 百度输入法app下载 百度输入法下载安装
- 2022-01-23 百度文库app下载 百度文库官方下载
- 2022-01-20 短视频带货之2022实战爆单(25节 550M大小) 百度网盘打包分享
- 2022-01-05 百度网盘客户端电脑下载安装,百度网盘7.11.0绿色精简版
- 2021-12-31 百度网盘手机APP安卓下载安装,百度网盘1.0.2青春不限速版
- 2021-12-30 百度网盘青春版已正式上线了,下载速度很香!
- 2021-12-25 百度网盘电脑安装下载,百度网盘7.10.2.8PC绿色精简版
- 2021-12-21 百度网盘青春版来了!不限速真的香吗
- 10-17XXXXXL19高清版
- 10-17有人有在线观看的片吗www最新破解版
- 10-17一个人看的WWW片免费高清中文最新版
- 10-17bgmbgmbgm欧美xx手机版
- 10-17国产69精品久久久久9999不卡福利版
- 10-17凌晨三点日本无吗在线版
- 10-17欧洲vodafonewifi18√k破解版
- 10-17一区二三区国产好的精华液无限版
- 10-17欧洲vodafonewifi18大豆行情中文版
- 10-1718 19macbook airhd破解版
- 219408℃全国新型肺炎疫情实时动态分享
- 3751℃快手网红沫沫换衣事件 网友你怎么看?
- 592℃百度网盘“出事了” 网友可以看看
- 564℃诛仙北冥有声小说
- 529℃武汉野味商铺闭店,千万记住别什么都吃
- 494℃今日头条推荐机制你了解多少?小道活动网带你详解
- 364℃执播电影《庆余年》全集资源遭泄露是怎么回事 官方称已报案
- 315℃香港大学专家袁国勇:已研发出新型肺炎病毒疫苗种子
- 291℃新型肺炎病来袭 如何做好自我防护
- 270℃应对新型冠状病毒 多家超市及便利店打响“口罩保供战”
- 10-20支付宝新上线晚点付功能 芝麻分700以上可以开通
- 10-16淘宝宣布退出并下架台湾市场 这是怎么了?
- 10-13腾讯虎牙斗鱼合并 成为直播界大赢家
- 10-10阿里云网盘公测预约开始了 下载不限速很香
- 10-07百度总裁李彦宏批评内容推荐算法
- 10-02百度网盘普通用户内存即将由2T降至100G
- 10-02腾讯35亿美元收购搜狗 搜狗改姓马
- 09-30微信v3.0.0PC版新功能 小编为你详解
- 09-30腾讯微信视频号助手全面开放使用 来试试看看效果如何
- 05-14国家认证的新兴职业“互联网营销师” 快来看看
- 相关文章
-
- 05-21PS三大影像创意方法 学会成大神
- 02-14OD体操运动app官方版下载 OD体操运动app安卓版
- 04-24PDF Shaper v10.0 绿色版 多功能PDF文档处理工具
- 08-15黑客网络中文汉化版v5.069
- 03-03QQ表情包 恐龙小MO系列表情 微信通用
- 01-03录屏大师app下载 安卓超级录屏APKv4.3绿化版
- 10-13安卓猎豹清理大师v7.3.1,VIP优化版
- 06-20模拟游戏 拉什拉力赛3 蓝化无限金币版
- 07-22腾讯微保免费领四份大礼包
- 11-26唧唧Down电脑安装包下载,唧唧Down(B站视频下载器)1.229.1最新版