add netcraft user agent and alt mj12bot matcher
This commit is contained in:
parent
4d45fb8710
commit
49a3837621
|
@ -617,14 +617,17 @@ var agentMapEnum = map[string]int{
|
||||||
"ahrefs": 43,
|
"ahrefs": 43,
|
||||||
"proximic": 44,
|
"proximic": 44,
|
||||||
"majestic": 45,
|
"majestic": 45,
|
||||||
"blexbot": 46,
|
"netcraft": 46,
|
||||||
"aspiegel": 47,
|
"blexbot": 47,
|
||||||
"mail_ru": 48,
|
"burf": 48,
|
||||||
"ccbot": 49,
|
"aspiegel": 49,
|
||||||
"zgrab": 50,
|
"mail_ru": 50,
|
||||||
"curl": 51,
|
"ccbot": 51,
|
||||||
"python": 52,
|
"zgrab": 52,
|
||||||
"go": 53,
|
"cloudsystemnetworks": 53,
|
||||||
|
"curl": 54,
|
||||||
|
"python": 55,
|
||||||
|
"go": 56,
|
||||||
}
|
}
|
||||||
var reverseAgentMapEnum = map[int]string{
|
var reverseAgentMapEnum = map[int]string{
|
||||||
0: "unknown",
|
0: "unknown",
|
||||||
|
@ -673,14 +676,17 @@ var reverseAgentMapEnum = map[int]string{
|
||||||
43: "ahrefs",
|
43: "ahrefs",
|
||||||
44: "proximic",
|
44: "proximic",
|
||||||
45: "majestic",
|
45: "majestic",
|
||||||
46: "blexbot",
|
46: "netcraft",
|
||||||
47: "aspiegel",
|
47: "blexbot",
|
||||||
48: "mail_ru",
|
48: "burf",
|
||||||
49: "ccbot",
|
49: "aspiegel",
|
||||||
50: "zgrab",
|
50: "mail_ru",
|
||||||
51: "curl",
|
51: "ccbot",
|
||||||
52: "python",
|
52: "zgrab",
|
||||||
53: "go",
|
53: "cloudsystemnetworks",
|
||||||
|
54: "curl",
|
||||||
|
55: "python",
|
||||||
|
56: "go",
|
||||||
}
|
}
|
||||||
var markToAgent = map[string]string{
|
var markToAgent = map[string]string{
|
||||||
"OPR": "opera",
|
"OPR": "opera",
|
||||||
|
@ -729,11 +735,15 @@ var markToAgent = map[string]string{
|
||||||
"AhrefsBot": "ahrefs",
|
"AhrefsBot": "ahrefs",
|
||||||
"proximic": "proximic",
|
"proximic": "proximic",
|
||||||
"MJ12bot": "majestic",
|
"MJ12bot": "majestic",
|
||||||
|
"mj12bot": "majestic",
|
||||||
|
"NetcraftSurveyAgent": "netcraft",
|
||||||
"BLEXBot": "blexbot",
|
"BLEXBot": "blexbot",
|
||||||
|
"Burf": "burf",
|
||||||
"AspiegelBot": "aspiegel",
|
"AspiegelBot": "aspiegel",
|
||||||
"RU_Bot": "mail_ru",
|
"RU_Bot": "mail_ru",
|
||||||
"CCBot": "ccbot",
|
"CCBot": "ccbot",
|
||||||
"zgrab": "zgrab",
|
"zgrab": "zgrab",
|
||||||
|
"Nimbostratus": "cloudsystemnetworks",
|
||||||
"curl": "curl",
|
"curl": "curl",
|
||||||
"python": "python",
|
"python": "python",
|
||||||
"Go": "go",
|
"Go": "go",
|
||||||
|
@ -785,14 +795,18 @@ var markToID = map[string]int{
|
||||||
"AhrefsBot": 43,
|
"AhrefsBot": 43,
|
||||||
"proximic": 44,
|
"proximic": 44,
|
||||||
"MJ12bot": 45,
|
"MJ12bot": 45,
|
||||||
"BLEXBot": 46,
|
"mj12bot": 45,
|
||||||
"AspiegelBot": 47,
|
"NetcraftSurveyAgent": 46,
|
||||||
"RU_Bot": 48,
|
"BLEXBot": 47,
|
||||||
"CCBot": 49,
|
"Burf": 48,
|
||||||
"zgrab": 50,
|
"AspiegelBot": 49,
|
||||||
"curl": 51,
|
"RU_Bot": 50,
|
||||||
"python": 52,
|
"CCBot": 51,
|
||||||
"Go": 53,
|
"zgrab": 52,
|
||||||
|
"Nimbostratus": 53,
|
||||||
|
"curl": 54,
|
||||||
|
"python": 55,
|
||||||
|
"Go": 56,
|
||||||
}
|
}
|
||||||
/*var agentRank = map[string]int{
|
/*var agentRank = map[string]int{
|
||||||
"opera":9,
|
"opera":9,
|
||||||
|
@ -1164,7 +1178,7 @@ func (r *GenRouter) ServeHTTP(w http.ResponseWriter, req *http.Request) {
|
||||||
if strings.Contains(ua,"rv:11") {
|
if strings.Contains(ua,"rv:11") {
|
||||||
agent = 6
|
agent = 6
|
||||||
}
|
}
|
||||||
case 50:
|
case 52:
|
||||||
r.SuspiciousRequest(req,"Vulnerability Scanner")
|
r.SuspiciousRequest(req,"Vulnerability Scanner")
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
|
@ -229,6 +229,7 @@
|
||||||
"ahrefs":"Ahrefs",
|
"ahrefs":"Ahrefs",
|
||||||
"proximic":"Comscore",
|
"proximic":"Comscore",
|
||||||
"majestic":"MJ12bot",
|
"majestic":"MJ12bot",
|
||||||
|
"netcraft":"Netcraft",
|
||||||
"blexbot":"BLEXBot",
|
"blexbot":"BLEXBot",
|
||||||
"burf":"Burf.co",
|
"burf":"Burf.co",
|
||||||
"aspiegel":"Aspiegel",
|
"aspiegel":"Aspiegel",
|
||||||
|
|
|
@ -277,6 +277,7 @@ func main() {
|
||||||
"ahrefs",
|
"ahrefs",
|
||||||
"proximic",
|
"proximic",
|
||||||
"majestic",
|
"majestic",
|
||||||
|
"netcraft",
|
||||||
"blexbot",
|
"blexbot",
|
||||||
"burf",
|
"burf",
|
||||||
"aspiegel",
|
"aspiegel",
|
||||||
|
@ -343,6 +344,8 @@ func main() {
|
||||||
"AhrefsBot",
|
"AhrefsBot",
|
||||||
"proximic",
|
"proximic",
|
||||||
"MJ12bot",
|
"MJ12bot",
|
||||||
|
"mj12bot",
|
||||||
|
"NetcraftSurveyAgent",
|
||||||
"BLEXBot",
|
"BLEXBot",
|
||||||
"Burf",
|
"Burf",
|
||||||
"AspiegelBot",
|
"AspiegelBot",
|
||||||
|
@ -399,21 +402,23 @@ func main() {
|
||||||
"mattermost": "mattermost",
|
"mattermost": "mattermost",
|
||||||
"ia_archiver": "alexa",
|
"ia_archiver": "alexa",
|
||||||
|
|
||||||
"SemrushBot": "semrush",
|
"SemrushBot": "semrush",
|
||||||
"DotBot": "dotbot",
|
"DotBot": "dotbot",
|
||||||
"AhrefsBot": "ahrefs",
|
"AhrefsBot": "ahrefs",
|
||||||
"proximic": "proximic",
|
"proximic": "proximic",
|
||||||
"MJ12bot": "majestic",
|
"MJ12bot": "majestic",
|
||||||
"BLEXBot": "blexbot",
|
"mj12bot": "majestic",
|
||||||
"Burf": "burf",
|
"NetcraftSurveyAgent": "netcraft",
|
||||||
"AspiegelBot": "aspiegel",
|
"BLEXBot": "blexbot",
|
||||||
"RU_Bot": "mail_ru", // Mail.RU_Bot
|
"Burf": "burf",
|
||||||
"CCBot": "ccbot",
|
"AspiegelBot": "aspiegel",
|
||||||
"zgrab": "zgrab",
|
"RU_Bot": "mail_ru", // Mail.RU_Bot
|
||||||
"Nimbostratus": "cloudsystemnetworks",
|
"CCBot": "ccbot",
|
||||||
"curl": "curl",
|
"zgrab": "zgrab",
|
||||||
"python": "python",
|
"Nimbostratus": "cloudsystemnetworks",
|
||||||
"Go": "go",
|
"curl": "curl",
|
||||||
|
"python": "python",
|
||||||
|
"Go": "go",
|
||||||
}
|
}
|
||||||
|
|
||||||
tmplVars.AllAgentMarkIDs = make(map[string]int)
|
tmplVars.AllAgentMarkIDs = make(map[string]int)
|
||||||
|
|
Loading…
Reference in New Issue