最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务派出爬虫四处抓取网站内容,给中小网站主们造成了很大的损失和困扰,影响了网站正常的用户访问。
该站长表示,今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。
该站长顺着该爬虫的IP地址查询,证实,该爬虫就是字节跳动的搜索爬虫。
并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做搜索之后,其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音,遭受字节跳动的搜索爬虫暴力抓取的不是个例,很多小网站他们也没放过。
有小网站主抱怨表示:字节跳动的爬虫“一上午对网站发出46万次请求”,网站都瘫痪了,百度也没有这么折腾的!
最后,该站长表示,像我们这样做SEO的人来说,主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置,“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非常欢迎的,但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了,不仅没给网站带来流量,还影响了正常的用户访问,这就很不“讲究”了。
但是对此,字节跳动的搜索部经理表示:文章所述今年七八月份头条搜索出现的爬虫问题,目前已经进行了优化升级,并且对抓取压力做了更有效的控制,头条搜索一直在关注站长及专业人员反馈的抓取问题,联系了部分发帖/文档反馈的网站及个人,我们分析了原因并对系统进行了迭代改进。目前看反馈已经有效改善。会持续关注反馈继续改进。
所以通过头条搜索爬虫暴力抓取网站内容来看,磊哥个人觉得,字节跳动入局全网搜索搅动搜素市场是好事,国内的搜索公司也该活动活动了,但是搜索引擎的索引数据这种东西是靠点滴积累起来的,百度、搜狗.360经历了那么多年的发展积累才走到今天,头条搜索想在这方面赶超还有很长一段路要走!
- 上一篇:百度文库推出“文源计划” 扶持原创
- 下一篇:百度开始打击快排:个别网站关键词清零
- 2022-02-07 小嘀咕官方网站电视剧下载 小嘀咕官网最新版本下载
- 2022-01-28 小嘀咕影视剧官方下载 小嘀咕官方网站2022版下载
- 2021-11-23 音乐平台网站源码分享 游牛音乐源码出品
- 2021-10-29 易优cms文章资讯网站模板 适合做博客
- 2021-10-27 404网站维护页面源码分享
- 2021-10-18 漫画分享网站源码 帝国CMS7.5开源
- 2021-10-12 爱Q游戏网-纯净游戏分享下载网站
- 2021-10-11 wordpress线报网站主题模板
- 2021-09-26 豌豆资源网-资源网站分享,搜索资源方便
- 2021-09-16 Python爬虫零基础速成课程
- 09-26头条搜索商业战术 上线搜索竞价广告
- 02-29字节跳动推出“头条搜索”独立App 百度又多了个对手
- 01-19头条搜索爬虫暴力抓取网站内容
- 01-17头条搜索上线官网认证功能
- 10-13今日头条搜索有礼抽红包
- 219408℃全国新型肺炎疫情实时动态分享
- 3751℃快手网红沫沫换衣事件 网友你怎么看?
- 592℃百度网盘“出事了” 网友可以看看
- 564℃诛仙北冥有声小说
- 529℃武汉野味商铺闭店,千万记住别什么都吃
- 494℃今日头条推荐机制你了解多少?小道活动网带你详解
- 364℃执播电影《庆余年》全集资源遭泄露是怎么回事 官方称已报案
- 315℃香港大学专家袁国勇:已研发出新型肺炎病毒疫苗种子
- 291℃新型肺炎病来袭 如何做好自我防护
- 270℃应对新型冠状病毒 多家超市及便利店打响“口罩保供战”
- 10-20支付宝新上线晚点付功能 芝麻分700以上可以开通
- 10-16淘宝宣布退出并下架台湾市场 这是怎么了?
- 10-13腾讯虎牙斗鱼合并 成为直播界大赢家
- 10-10阿里云网盘公测预约开始了 下载不限速很香
- 10-07百度总裁李彦宏批评内容推荐算法
- 10-02百度网盘普通用户内存即将由2T降至100G
- 10-02腾讯35亿美元收购搜狗 搜狗改姓马
- 09-30微信v3.0.0PC版新功能 小编为你详解
- 09-30腾讯微信视频号助手全面开放使用 来试试看看效果如何
- 05-14国家认证的新兴职业“互联网营销师” 快来看看
- 相关文章
-
- 01-17头条搜索上线官网认证功能
- 01-19头条搜索爬虫暴力抓取网站内容
- 02-29字节跳动推出“头条搜索”独立App 百度又多了个对手
- 10-13今日头条搜索有礼抽红包
- 09-26头条搜索商业战术 上线搜索竞价广告