头条搜索Bytespider开始大规模抓取

编辑:麦格网络-

广告

今日头条做搜索已经不是一天两天的事情,最近开始大量的检测到关于头条搜索抓取及相关蜘蛛,其抓取频率可以说是火力全开,甚至看到有些站长朋友在吐槽自己虚拟主机的网站流量月初就没有了,看了字节跳动想要一口吃个大胖子。

头条搜索抓取

头条搜索(https://m.toutiao.com/search)目前只有移动端版本,似乎也就间接意味着头条搜索是一个移动搜索引擎,官方有时也叫做字节跳动搜索。从以前的“Bytespider”改变为“Bytespider;bytespider@bytedance.com”,添加了一个邮箱,我在想是不是可以通过邮箱联系到官方呢?


目前通过抓取记录获取查看到有几组头条搜索的 UA:

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.6462.1049 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.3320.1410 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

通过抓取的 UA 基本可以完整的判断都是属于移动端或者手机设备的抓取,同时为了方面查下抓取的服务器 IP 是否真实为头条搜索,还可以通过 IP 反查服务器名称,如果主机名为:bytespider-220-243-135-89.crawl.bytedance.com,那么这就是标准的头条搜索 IP 蜘蛛的服务器啦。

对于想要屏蔽头条搜索的,最简单粗暴的就是判断 UA,想要准备的就是直接通过 IP 来屏蔽,都需要通过服务器来操作。

另外,其实个人认为如果站长们的服务器完全能够承受头条搜索的抓取,那么就不要去屏蔽了,虽然从目前的观察来看,网站通过头条搜索的流量少得可怜,但是其头条搜索的收录和展现来看还是非常客观的,至少我们的表现还不错。

所以对于头条搜索就目前而言,谈不上好也谈不上坏,只是可能头条搜索的抓取来的有些猛烈而导致一些小网站无法承受,如果头条搜索也能够官方推出一个站长平台,或者是抓取频率设定的工具,相信能够得到不少小站长的亲睐,当然凭借经验分析不可否认的是搜索引擎还是比较喜欢大站,毕竟内容足够多啊,哈哈哈。

来源:,欢迎分享本文!

本文链接:https://www.029ppyy.com/zhanzhangxinwen/49.html

你会喜欢下面的文章? You'll like the following article.