DomainStatsBot是什么蜘蛛?

allowblank 2020-06-15

今天打开NGINX的log文件,查看百度爬虫记录的时候,发现一个奇怪的蜘蛛,DomainStatsBot。

蜘蛛记录如下:

136.243.222.140 - - [15/Jun/2020:17:33:59 +0800] "GET /?pn=3 HTTP/1.1" 200 7405 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.17.142 - - [15/Jun/2020:17:35:14 +0800] "GET /?pn=4 HTTP/1.1" 200 7715 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.59.237 - - [15/Jun/2020:17:36:27 +0800] "GET /p/237 HTTP/1.1" 200 14447 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.17.142 - - [15/Jun/2020:17:36:39 +0800] "GET /p/234 HTTP/1.1" 200 18154 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.17.142 - - [15/Jun/2020:17:39:10 +0800] "GET /p/238 HTTP/1.1" 200 13292 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.17.142 - - [15/Jun/2020:17:41:17 +0800] "GET /p/233 HTTP/1.1" 200 16765 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.222.140 - - [15/Jun/2020:17:41:29 +0800] "GET /p/222 HTTP/1.1" 200 20795 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.222.140 - - [15/Jun/2020:17:43:57 +0800] "GET /p/218 HTTP/1.1" 200 12768 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"
136.243.59.237 - - [15/Jun/2020:17:44:26 +0800] "GET /p/216 HTTP/1.1" 200 12596 "-" "DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)" "-"

虽然比较奇怪,但在决定要不要对其屏蔽的时候,我看了下这个蜘蛛来爬取的时间间隔。

15/Jun/2020:17:33:59

15/Jun/2020:17:35:14

15/Jun/2020:17:36:27

15/Jun/2020:17:36:39

15/Jun/2020:17:39:10

15/Jun/2020:17:41:17

15/Jun/2020:17:41:29

15/Jun/2020:17:43:57

15/Jun/2020:17:44:26


基本上,来访的时间间隔是一分钟,并非那种恶性蜘蛛,大规模的并发导致网站突发性的访问高涨,所以在安全范围内。

然后又访问了下domainstats.com,结果页面出现Sorry but we are currently blocking china,好吧,用代理翻墙看看到底是啥东西?官网标题是:Domainstats.com: Data, backlinks and metrics for domains。

看样子是一个域名的数据分析工具。

功能包括:

  1. 快速查看重要的反向链接;
  2. 对域名的价值估算;
  3. 还提供了api供第三方使用;
  4. 查看站点的特定问题,包括IP屏蔽,和垃圾邮件标志;
  5. 查看并且搜集跟域名有关联的有价值的数据和指标;
  6. 查看跟该域名共享的IP、adsense或analytics;
  7. 追踪Google搜索结果中,该域名的关键词权重指标;
  8. 还有其他的一些工具集的,包括Local Search,Link Intersection,Natural Languange Categories,Site Crawler,Broken Links,Check Keyword,Keyword Suggest,Bulk Domain Lookup,Bulk DomainScore Lookup,Bulk Backlinks Countries Lookup,Bulk Domains to IP Lookup,Bulk IP Lookup,DMCA Lookup,Bulk Analytics and Adsense Code Lookup。

总的来说,是一个国外的站长工具,良性,遵循robots协议,对网站友好。

【罗德纹章】蜘蛛新生
蜘蛛终于有消息了,和之前预计一样。。。蜘蛛简单加强,新生幅度有限,但不管怎么样也算变强了,反正无氪人手一只,氪金个个九合,祝大家好运。 技能: 冥府邪法:体技,己方全体(除蜘蛛自己以外)解除执念...
蜘蛛之战
对抗。这个被称为阿兹欧-奈幽的古老的地下王国由一个残忍的类人蜘蛛种族建立的,他们派出精锐部队袭击了寒冰皇冠,并使耐祖奥打消了征服他们的疯狂念头。耐祖奥沮丧地发现这些奈幽虫族对他的心灵控制完全免疫...
购买或者交换友情链接需注意,什么样的友情链接才好的?
,360,搜狗,bing,神马均有收录,甚至有排名。   补充解释下。 什么建站历史长?我为何不说域名历史长? 当然,建站历史长的前提,肯定域名历史长,但域名历史长,却不一定有着很长的建站历史。一个建站...
qqkongj摘抄的写心情美文佳句:只有人的怀里,才温暖的永动机
。 大概自高中始我变得害怕冬天。 即使这句话说出口皆不可理喻。 我承认自己很敏感,但我不承认自己很胆小的人,至少不害怕大多数女生害怕的东西,比如可以帮朋友赶走蜘蛛和蟑螂,在街上看见老鼠也脸不红心不跳...
呀卖呆什么意思啊?
呀卖呆的意思 在看同人小说的时候,经常会出现呀卖呆这个用语,一开始觉得奇怪,还以为某个地方的方言,后来上网查了查,才知道日文的音译,相当于中文里的住手或者不要的意思。 比方公司里,老板对女员工...
nginx什么(nginx和tengine哪个好)
有做网站开发,或者网站维护的朋友,或多或少都会听说过NGINX这个东西,NGINX不但市场占据的规模庞大,用户数量超多,而且极其的稳定,那么NGINX什么东东呢?   1、NGINX高性能的...
女生说薛定谔的处女什么意思?
会知道粒子有没有衰变,也不知道猫有没有被毒死,一个科学模型。要试过才知道。 有一个称为薛定谔处女的著名理想实验。一个美女和一个男人被置于一个密室中,这个女人处的概率为百分之五十 人们开启房门,就会...
pv什么意思(提升pv的4种方法)
来说,pv值很重要的,不仅仅对于网站,任何方面,包括实体店,pv这个概念一样的通用,pv的值越高,代表盈利的转化率越高。因此,努力的提升pv必要的,毕竟,不管什么产品,最终的目的,都为的赚钱。...
什么凝聚力(提升团队凝聚力的6个方法)
如果在一家老牌的公司里面,内部成员没有凝聚力,其实并不算太危险,但如果一个初创公司,亦或者一个创业团队,凝聚力一个要命的东西。那么什么凝聚力?又该如何提高团队的凝聚力呢?   1、凝聚力什么...
网站后台的tag什么意思啊?有什么作用吗?
在许多的建站CMS中,后台都有tag的功能,这tag什么意思呢?其实tag的意思,就标签的意思,亦或者,你可以理解成分类的意思,但跟传统的分类不同,tag更加的灵活,可拓展性强,而tag的功能...
【JOJO乙女】有一个人形坦克的男朋友什么感觉
原作者:还行吧   有一个人形坦克的男朋友什么感觉   *感觉光看标题就知道哪几个人了www   *按F键进入坦克(多老的梗了你还玩)   乔纳森ver.   嗯,你在家里经常能听见碰撞声甚至...
草根站长杂谈:什么催生了广告屏蔽插件adblock的流行?
没那么夸张没错,可是你保持沉默,却造成了整个圈子的集体衰败。 就如同开源这个圈子,难道这个圈子一开始就流行的?不许许多多的开源爱好者,共同维护的。 但是许许多多的站长们,他们做什么了呢?他们...