xref: /plugin/statistics/vendor/matomo/device-detector/regexes/bots.yml (revision d5ef99ddb7dfb0cfae33e9257bd1d788f682c50f) 
1*d5ef99ddSAndreas Gohr###############
2*d5ef99ddSAndreas Gohr# Device Detector - The Universal Device Detection library for parsing User Agents
3*d5ef99ddSAndreas Gohr#
4*d5ef99ddSAndreas Gohr# @link https://matomo.org
5*d5ef99ddSAndreas Gohr# @license http://www.gnu.org/licenses/lgpl.html LGPL v3 or later
6*d5ef99ddSAndreas Gohr###############
7*d5ef99ddSAndreas Gohr
8*d5ef99ddSAndreas Gohr- regex: 'WireReaderBot'
9*d5ef99ddSAndreas Gohr  name: 'WireReaderBot'
10*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
11*d5ef99ddSAndreas Gohr  url: 'https://wirereader.app/'
12*d5ef99ddSAndreas Gohr
13*d5ef99ddSAndreas Gohr- regex: 'monitoring360bot'
14*d5ef99ddSAndreas Gohr  name: '360 Monitoring'
15*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
16*d5ef99ddSAndreas Gohr  url: 'https://www.360monitoring.io'
17*d5ef99ddSAndreas Gohr  producer:
18*d5ef99ddSAndreas Gohr    name: 'Plesk International GmbH'
19*d5ef99ddSAndreas Gohr    url: 'https://www.plesk.com'
20*d5ef99ddSAndreas Gohr
21*d5ef99ddSAndreas Gohr- regex: 'Cloudflare-Healthchecks'
22*d5ef99ddSAndreas Gohr  name: 'Cloudflare Health Checks'
23*d5ef99ddSAndreas Gohr  category: 'Service Agent'
24*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/health-checks/'
25*d5ef99ddSAndreas Gohr  producer:
26*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
27*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
28*d5ef99ddSAndreas Gohr
29*d5ef99ddSAndreas Gohr- regex: '360Spider'
30*d5ef99ddSAndreas Gohr  name: '360Spider'
31*d5ef99ddSAndreas Gohr  category: 'Search bot'
32*d5ef99ddSAndreas Gohr  url: 'https://www.so.com/help/help_3_2.html'
33*d5ef99ddSAndreas Gohr  producer:
34*d5ef99ddSAndreas Gohr    name: 'Online Media Group, Inc.'
35*d5ef99ddSAndreas Gohr    url: ''
36*d5ef99ddSAndreas Gohr
37*d5ef99ddSAndreas Gohr- regex: 'Aboundex'
38*d5ef99ddSAndreas Gohr  name: 'Aboundexbot'
39*d5ef99ddSAndreas Gohr  category: 'Search bot'
40*d5ef99ddSAndreas Gohr  url: 'http://www.aboundex.com/crawler/'
41*d5ef99ddSAndreas Gohr  producer:
42*d5ef99ddSAndreas Gohr    name: 'Aboundex.com'
43*d5ef99ddSAndreas Gohr    url: 'http://www.aboundex.com'
44*d5ef99ddSAndreas Gohr
45*d5ef99ddSAndreas Gohr- regex: 'AcoonBot'
46*d5ef99ddSAndreas Gohr  name: 'Acoon'
47*d5ef99ddSAndreas Gohr  category: 'Search bot'
48*d5ef99ddSAndreas Gohr  url: 'http://www.acoon.de/robot.asp'
49*d5ef99ddSAndreas Gohr  producer:
50*d5ef99ddSAndreas Gohr    name: 'Acoon GmbH'
51*d5ef99ddSAndreas Gohr    url: 'http://www.acoon.de'
52*d5ef99ddSAndreas Gohr
53*d5ef99ddSAndreas Gohr- regex: 'AddThis\.com'
54*d5ef99ddSAndreas Gohr  name: 'AddThis.com'
55*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
56*d5ef99ddSAndreas Gohr  url: ''
57*d5ef99ddSAndreas Gohr  producer:
58*d5ef99ddSAndreas Gohr    name: 'Clearspring Technologies, Inc.'
59*d5ef99ddSAndreas Gohr    url: 'http://www.clearspring.com'
60*d5ef99ddSAndreas Gohr
61*d5ef99ddSAndreas Gohr- regex: 'AhrefsBot'
62*d5ef99ddSAndreas Gohr  name: 'aHrefs Bot'
63*d5ef99ddSAndreas Gohr  category: 'Crawler'
64*d5ef99ddSAndreas Gohr  url: 'https://ahrefs.com/robot'
65*d5ef99ddSAndreas Gohr  producer:
66*d5ef99ddSAndreas Gohr    name: 'Ahrefs Pte Ltd'
67*d5ef99ddSAndreas Gohr    url: 'https://ahrefs.com/robot'
68*d5ef99ddSAndreas Gohr
69*d5ef99ddSAndreas Gohr- regex: 'AhrefsSiteAudit'
70*d5ef99ddSAndreas Gohr  name: 'AhrefsSiteAudit'
71*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
72*d5ef99ddSAndreas Gohr  url: 'https://ahrefs.com/robot/site-audit'
73*d5ef99ddSAndreas Gohr  producer:
74*d5ef99ddSAndreas Gohr    name: 'Ahrefs Pte Ltd'
75*d5ef99ddSAndreas Gohr    url: 'https://ahrefs.com/'
76*d5ef99ddSAndreas Gohr
77*d5ef99ddSAndreas Gohr- regex: 'ia_archiver|alexabot|verifybot'
78*d5ef99ddSAndreas Gohr  name: 'Alexa Crawler'
79*d5ef99ddSAndreas Gohr  category: 'Search bot'
80*d5ef99ddSAndreas Gohr  url: 'https://support.alexa.com/hc/en-us/sections/200100794-Crawlers'
81*d5ef99ddSAndreas Gohr  producer:
82*d5ef99ddSAndreas Gohr    name: 'Alexa Internet'
83*d5ef99ddSAndreas Gohr    url: 'https://www.alexa.com'
84*d5ef99ddSAndreas Gohr
85*d5ef99ddSAndreas Gohr- regex: 'alexa site audit'
86*d5ef99ddSAndreas Gohr  name: 'Alexa Site Audit'
87*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
88*d5ef99ddSAndreas Gohr  url: 'https://support.alexa.com/hc/en-us/articles/200450194'
89*d5ef99ddSAndreas Gohr  producer:
90*d5ef99ddSAndreas Gohr    name: 'Alexa Internet'
91*d5ef99ddSAndreas Gohr    url: 'https://www.alexa.com'
92*d5ef99ddSAndreas Gohr
93*d5ef99ddSAndreas Gohr- regex: 'Amazonbot'
94*d5ef99ddSAndreas Gohr  name: 'Amazon Bot'
95*d5ef99ddSAndreas Gohr  category: 'Crawler'
96*d5ef99ddSAndreas Gohr  url: 'https://developer.amazon.com/support/amazonbot'
97*d5ef99ddSAndreas Gohr  producer:
98*d5ef99ddSAndreas Gohr    name: 'Amazon.com, Inc.'
99*d5ef99ddSAndreas Gohr    url: 'https://www.amazon.com/'
100*d5ef99ddSAndreas Gohr
101*d5ef99ddSAndreas Gohr- regex: 'AmazonAdBot'
102*d5ef99ddSAndreas Gohr  name: 'Amazon AdBot'
103*d5ef99ddSAndreas Gohr  category: 'Crawler'
104*d5ef99ddSAndreas Gohr  url: 'https://adbot.amazon.com/'
105*d5ef99ddSAndreas Gohr  producer:
106*d5ef99ddSAndreas Gohr    name: 'Amazon.com, Inc.'
107*d5ef99ddSAndreas Gohr    url: 'https://www.amazon.com/'
108*d5ef99ddSAndreas Gohr
109*d5ef99ddSAndreas Gohr- regex: 'Amazon[ -]Route ?53[ -]Health[ -]Check[ -]Service'
110*d5ef99ddSAndreas Gohr  name: 'Amazon Route53 Health Check'
111*d5ef99ddSAndreas Gohr  category: 'Service Agent'
112*d5ef99ddSAndreas Gohr  producer:
113*d5ef99ddSAndreas Gohr    name: 'Amazon Web Services'
114*d5ef99ddSAndreas Gohr    url: 'https://aws.amazon.com/'
115*d5ef99ddSAndreas Gohr
116*d5ef99ddSAndreas Gohr- regex: 'AmorankSpider'
117*d5ef99ddSAndreas Gohr  name: 'Amorank Spider'
118*d5ef99ddSAndreas Gohr  category: 'Crawler'
119*d5ef99ddSAndreas Gohr  url: 'http://amorank.com/webcrawler.html'
120*d5ef99ddSAndreas Gohr  producer:
121*d5ef99ddSAndreas Gohr    name: 'Amorank'
122*d5ef99ddSAndreas Gohr    url: 'http://www.amorank.com'
123*d5ef99ddSAndreas Gohr
124*d5ef99ddSAndreas Gohr- regex: 'ApacheBench'
125*d5ef99ddSAndreas Gohr  name: 'ApacheBench'
126*d5ef99ddSAndreas Gohr  category: 'Benchmark'
127*d5ef99ddSAndreas Gohr  url: 'https://httpd.apache.org/docs/2.4/programs/ab.html'
128*d5ef99ddSAndreas Gohr  producer:
129*d5ef99ddSAndreas Gohr    name: 'The Apache Software Foundation'
130*d5ef99ddSAndreas Gohr    url: 'https://www.apache.org/foundation/'
131*d5ef99ddSAndreas Gohr
132*d5ef99ddSAndreas Gohr- regex: 'Applebot'
133*d5ef99ddSAndreas Gohr  name: 'Applebot'
134*d5ef99ddSAndreas Gohr  category: 'Crawler'
135*d5ef99ddSAndreas Gohr  url: 'https://support.apple.com/en-us/119829'
136*d5ef99ddSAndreas Gohr  producer:
137*d5ef99ddSAndreas Gohr    name: 'Apple Inc'
138*d5ef99ddSAndreas Gohr    url: 'https://www.apple.com/'
139*d5ef99ddSAndreas Gohr
140*d5ef99ddSAndreas Gohr- regex: 'iTMS'
141*d5ef99ddSAndreas Gohr  name: 'iTMS'
142*d5ef99ddSAndreas Gohr  category: 'Crawler'
143*d5ef99ddSAndreas Gohr  url: 'https://support.apple.com/en-us/119829'
144*d5ef99ddSAndreas Gohr  producer:
145*d5ef99ddSAndreas Gohr    name: 'Apple Inc'
146*d5ef99ddSAndreas Gohr    url: 'https://www.apple.com/'
147*d5ef99ddSAndreas Gohr
148*d5ef99ddSAndreas Gohr- regex: 'AppSignalBot'
149*d5ef99ddSAndreas Gohr  name: 'AppSignalBot'
150*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
151*d5ef99ddSAndreas Gohr  url: 'https://docs.appsignal.com/uptime-monitoring/'
152*d5ef99ddSAndreas Gohr  producer:
153*d5ef99ddSAndreas Gohr    name: 'AppSignal'
154*d5ef99ddSAndreas Gohr    url: 'https://appsignal.com/'
155*d5ef99ddSAndreas Gohr
156*d5ef99ddSAndreas Gohr- regex: 'Arachni'
157*d5ef99ddSAndreas Gohr  name: 'Arachni'
158*d5ef99ddSAndreas Gohr  category: 'Security Checker'
159*d5ef99ddSAndreas Gohr  url: 'https://www.arachni-scanner.com/'
160*d5ef99ddSAndreas Gohr  producer:
161*d5ef99ddSAndreas Gohr    name: 'Sarosys LLC'
162*d5ef99ddSAndreas Gohr    url: 'https://www.sarosys.com/'
163*d5ef99ddSAndreas Gohr
164*d5ef99ddSAndreas Gohr- regex: 'AspiegelBot'
165*d5ef99ddSAndreas Gohr  name: 'AspiegelBot'
166*d5ef99ddSAndreas Gohr  category: 'Crawler'
167*d5ef99ddSAndreas Gohr  url: 'https://aspiegel.com/'
168*d5ef99ddSAndreas Gohr  producer:
169*d5ef99ddSAndreas Gohr    name: 'Huawei'
170*d5ef99ddSAndreas Gohr    url: 'https://www.huawei.com/'
171*d5ef99ddSAndreas Gohr
172*d5ef99ddSAndreas Gohr- regex: 'Castro 2, Episode Duration Lookup'
173*d5ef99ddSAndreas Gohr  name: 'Castro 2'
174*d5ef99ddSAndreas Gohr  category: 'Service Agent'
175*d5ef99ddSAndreas Gohr  url: 'http://supertop.co/castro/'
176*d5ef99ddSAndreas Gohr  producer:
177*d5ef99ddSAndreas Gohr    name: 'Supertop'
178*d5ef99ddSAndreas Gohr    url: 'http://supertop.co'
179*d5ef99ddSAndreas Gohr
180*d5ef99ddSAndreas Gohr- regex: 'Curious George'
181*d5ef99ddSAndreas Gohr  name: 'Analytics SEO Crawler'
182*d5ef99ddSAndreas Gohr  category: 'Crawler'
183*d5ef99ddSAndreas Gohr  url: 'http://www.analyticsseo.com/crawler'
184*d5ef99ddSAndreas Gohr  producer:
185*d5ef99ddSAndreas Gohr    name: 'Analytics SEO'
186*d5ef99ddSAndreas Gohr    url: 'http://www.analyticsseo.com'
187*d5ef99ddSAndreas Gohr
188*d5ef99ddSAndreas Gohr- regex: 'archive\.org_bot|special_archiver'
189*d5ef99ddSAndreas Gohr  name: 'archive.org bot'
190*d5ef99ddSAndreas Gohr  category: 'Crawler'
191*d5ef99ddSAndreas Gohr  url: 'https://archive.org/details/archive.org_bot'
192*d5ef99ddSAndreas Gohr  producer:
193*d5ef99ddSAndreas Gohr    name: 'The Internet Archive'
194*d5ef99ddSAndreas Gohr    url: 'https://archive.org'
195*d5ef99ddSAndreas Gohr
196*d5ef99ddSAndreas Gohr- regex: 'Ask Jeeves/Teoma'
197*d5ef99ddSAndreas Gohr  name: 'Ask Jeeves'
198*d5ef99ddSAndreas Gohr  category: 'Search bot'
199*d5ef99ddSAndreas Gohr  url: ''
200*d5ef99ddSAndreas Gohr  producer:
201*d5ef99ddSAndreas Gohr    name: 'Ask Jeeves Inc.'
202*d5ef99ddSAndreas Gohr    url: 'http://www.ask.com'
203*d5ef99ddSAndreas Gohr
204*d5ef99ddSAndreas Gohr- regex: 'Backlink-Check\.de'
205*d5ef99ddSAndreas Gohr  name: 'Backlink-Check.de'
206*d5ef99ddSAndreas Gohr  category: 'Crawler'
207*d5ef99ddSAndreas Gohr  url: 'http://www.backlink-check.de/bot.html'
208*d5ef99ddSAndreas Gohr  producer:
209*d5ef99ddSAndreas Gohr    name: 'Mediagreen Medienservice'
210*d5ef99ddSAndreas Gohr    url: 'http://www.backlink-check.de'
211*d5ef99ddSAndreas Gohr
212*d5ef99ddSAndreas Gohr- regex: 'BacklinkCrawler'
213*d5ef99ddSAndreas Gohr  name: 'BacklinkCrawler'
214*d5ef99ddSAndreas Gohr  category: 'Crawler'
215*d5ef99ddSAndreas Gohr  url: 'http://www.backlinktest.com/crawler.html'
216*d5ef99ddSAndreas Gohr  producer:
217*d5ef99ddSAndreas Gohr    name: '2.0Promotion GbR'
218*d5ef99ddSAndreas Gohr    url: 'http://www.backlinktest.com'
219*d5ef99ddSAndreas Gohr
220*d5ef99ddSAndreas Gohr- regex: 'Baidu.*spider|baidu Transcoder'
221*d5ef99ddSAndreas Gohr  name: 'Baidu Spider'
222*d5ef99ddSAndreas Gohr  category: 'Search bot'
223*d5ef99ddSAndreas Gohr  url: 'http://www.baidu.com/search/spider.htm'
224*d5ef99ddSAndreas Gohr  producer:
225*d5ef99ddSAndreas Gohr    name: 'Baidu'
226*d5ef99ddSAndreas Gohr    url: 'http://www.baidu.com'
227*d5ef99ddSAndreas Gohr
228*d5ef99ddSAndreas Gohr- regex: 'BazQux'
229*d5ef99ddSAndreas Gohr  name: 'BazQux Reader'
230*d5ef99ddSAndreas Gohr  url: 'https://bazqux.com/fetcher'
231*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
232*d5ef99ddSAndreas Gohr  producer:
233*d5ef99ddSAndreas Gohr    name: ''
234*d5ef99ddSAndreas Gohr    url: ''
235*d5ef99ddSAndreas Gohr
236*d5ef99ddSAndreas Gohr- regex: 'Better Uptime Bot'
237*d5ef99ddSAndreas Gohr  name: 'Better Uptime Bot'
238*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
239*d5ef99ddSAndreas Gohr  url: 'https://betteruptime.com/faq'
240*d5ef99ddSAndreas Gohr  producer:
241*d5ef99ddSAndreas Gohr    name: 'Better Uptime'
242*d5ef99ddSAndreas Gohr    url: 'https://betteruptime.com/'
243*d5ef99ddSAndreas Gohr
244*d5ef99ddSAndreas Gohr- regex: 'MSNBot|msrbot|bingbot|bingadsbot|BingPreview|msnbot-(UDiscovery|NewsBlogs)|adidxbot'
245*d5ef99ddSAndreas Gohr  name: 'BingBot'
246*d5ef99ddSAndreas Gohr  category: 'Search bot'
247*d5ef99ddSAndreas Gohr  url: 'http://search.msn.com/msnbot.htmn'
248*d5ef99ddSAndreas Gohr  producer:
249*d5ef99ddSAndreas Gohr    name: 'Microsoft Corporation'
250*d5ef99ddSAndreas Gohr    url: 'http://www.microsoft.com'
251*d5ef99ddSAndreas Gohr
252*d5ef99ddSAndreas Gohr- regex: 'Blackbox Exporter'
253*d5ef99ddSAndreas Gohr  name: 'Blackbox Exporter'
254*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
255*d5ef99ddSAndreas Gohr  url: 'https://github.com/prometheus/blackbox_exporter'
256*d5ef99ddSAndreas Gohr  producer:
257*d5ef99ddSAndreas Gohr    name: 'Prometheus'
258*d5ef99ddSAndreas Gohr    url: 'https://prometheus.io/'
259*d5ef99ddSAndreas Gohr
260*d5ef99ddSAndreas Gohr- regex: 'Blekkobot'
261*d5ef99ddSAndreas Gohr  name: 'Blekkobot'
262*d5ef99ddSAndreas Gohr  category: 'Search bot'
263*d5ef99ddSAndreas Gohr  url: 'http://blekko.com/about/blekkobot'
264*d5ef99ddSAndreas Gohr  producer:
265*d5ef99ddSAndreas Gohr    name: 'Blekko'
266*d5ef99ddSAndreas Gohr    url: 'http://blekko.com'
267*d5ef99ddSAndreas Gohr
268*d5ef99ddSAndreas Gohr- regex: 'BLEXBot'
269*d5ef99ddSAndreas Gohr  name: 'BLEXBot Crawler'
270*d5ef99ddSAndreas Gohr  category: 'Crawler'
271*d5ef99ddSAndreas Gohr  url: 'http://webmeup-crawler.com'
272*d5ef99ddSAndreas Gohr  producer:
273*d5ef99ddSAndreas Gohr    name: 'WebMeUp'
274*d5ef99ddSAndreas Gohr    url: 'http://webmeup.com'
275*d5ef99ddSAndreas Gohr
276*d5ef99ddSAndreas Gohr- regex: 'Bloglovin'
277*d5ef99ddSAndreas Gohr  name: 'Bloglovin'
278*d5ef99ddSAndreas Gohr  url: 'http://www.bloglovin.com'
279*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
280*d5ef99ddSAndreas Gohr  producer:
281*d5ef99ddSAndreas Gohr    name: ''
282*d5ef99ddSAndreas Gohr    url: ''
283*d5ef99ddSAndreas Gohr
284*d5ef99ddSAndreas Gohr- regex: 'Blogtrottr'
285*d5ef99ddSAndreas Gohr  name: 'Blogtrottr'
286*d5ef99ddSAndreas Gohr  url: ''
287*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
288*d5ef99ddSAndreas Gohr  producer:
289*d5ef99ddSAndreas Gohr    name: 'Blogtrottr Ltd'
290*d5ef99ddSAndreas Gohr    url: 'https://blogtrottr.com/'
291*d5ef99ddSAndreas Gohr
292*d5ef99ddSAndreas Gohr- regex: 'BoardReader Blog Indexer'
293*d5ef99ddSAndreas Gohr  name: 'BoardReader Blog Indexer'
294*d5ef99ddSAndreas Gohr  category: 'Crawler'
295*d5ef99ddSAndreas Gohr  producer:
296*d5ef99ddSAndreas Gohr    name: 'BoardReader'
297*d5ef99ddSAndreas Gohr    url: 'https://boardreader.com/'
298*d5ef99ddSAndreas Gohr
299*d5ef99ddSAndreas Gohr- regex: 'BountiiBot'
300*d5ef99ddSAndreas Gohr  name: 'Bountii Bot'
301*d5ef99ddSAndreas Gohr  category: 'Search bot'
302*d5ef99ddSAndreas Gohr  url: 'http://bountii.com/contact.php'
303*d5ef99ddSAndreas Gohr  producer:
304*d5ef99ddSAndreas Gohr    name: 'Bountii Inc.'
305*d5ef99ddSAndreas Gohr    url: 'http://bountii.com'
306*d5ef99ddSAndreas Gohr
307*d5ef99ddSAndreas Gohr- regex: 'Browsershots'
308*d5ef99ddSAndreas Gohr  name: 'Browsershots'
309*d5ef99ddSAndreas Gohr  category: 'Service Agent'
310*d5ef99ddSAndreas Gohr  url: 'http://browsershots.org/faq'
311*d5ef99ddSAndreas Gohr  producer:
312*d5ef99ddSAndreas Gohr    name: 'Browsershots.org'
313*d5ef99ddSAndreas Gohr    url: 'http://browsershots.org'
314*d5ef99ddSAndreas Gohr
315*d5ef99ddSAndreas Gohr- regex: 'BUbiNG'
316*d5ef99ddSAndreas Gohr  name: 'BUbiNG'
317*d5ef99ddSAndreas Gohr  category: 'Crawler'
318*d5ef99ddSAndreas Gohr  url: 'http://law.di.unimi.it/BUbiNG.html'
319*d5ef99ddSAndreas Gohr  producer:
320*d5ef99ddSAndreas Gohr    name: 'The Laboratory for Web Algorithmics (LAW)'
321*d5ef99ddSAndreas Gohr    url: 'http://law.di.unimi.it/software.php#buging'
322*d5ef99ddSAndreas Gohr
323*d5ef99ddSAndreas Gohr- regex: '(?<!HTC)[ _]Butterfly/'
324*d5ef99ddSAndreas Gohr  name: 'Butterfly Robot'
325*d5ef99ddSAndreas Gohr  category: 'Search bot'
326*d5ef99ddSAndreas Gohr  url: 'http://labs.topsy.com/butterfly'
327*d5ef99ddSAndreas Gohr  producer:
328*d5ef99ddSAndreas Gohr    name: 'Topsy Labs'
329*d5ef99ddSAndreas Gohr    url: 'http://labs.topsy.com'
330*d5ef99ddSAndreas Gohr
331*d5ef99ddSAndreas Gohr- regex: 'CareerBot'
332*d5ef99ddSAndreas Gohr  name: 'CareerBot'
333*d5ef99ddSAndreas Gohr  category: 'Crawler'
334*d5ef99ddSAndreas Gohr  url: 'http://www.career-x.de/bot.html'
335*d5ef99ddSAndreas Gohr  producer:
336*d5ef99ddSAndreas Gohr    name: 'career-x GmbH'
337*d5ef99ddSAndreas Gohr    url: 'http://www.career-x.de'
338*d5ef99ddSAndreas Gohr
339*d5ef99ddSAndreas Gohr- regex: 'CCBot'
340*d5ef99ddSAndreas Gohr  name: 'ccBot crawler'
341*d5ef99ddSAndreas Gohr  category: 'Crawler'
342*d5ef99ddSAndreas Gohr  url: 'http://commoncrawl.org/faq/'
343*d5ef99ddSAndreas Gohr  producer:
344*d5ef99ddSAndreas Gohr    name: 'reddit inc.'
345*d5ef99ddSAndreas Gohr    url: 'http://www.reddit.com'
346*d5ef99ddSAndreas Gohr
347*d5ef99ddSAndreas Gohr- regex: 'Cliqzbot'
348*d5ef99ddSAndreas Gohr  name: 'Cliqzbot'
349*d5ef99ddSAndreas Gohr  category: 'Crawler'
350*d5ef99ddSAndreas Gohr  url: 'http://cliqz.com/company/cliqzbot'
351*d5ef99ddSAndreas Gohr  producer:
352*d5ef99ddSAndreas Gohr    name: '10betterpages GmbH'
353*d5ef99ddSAndreas Gohr    url: 'http://cliqz.com'
354*d5ef99ddSAndreas Gohr
355*d5ef99ddSAndreas Gohr- regex: 'Cloudflare-AMP'
356*d5ef99ddSAndreas Gohr  name: 'CloudFlare AMP Fetcher'
357*d5ef99ddSAndreas Gohr  category: 'Crawler'
358*d5ef99ddSAndreas Gohr  url: 'https://amp.cloudflare.com/doc/fetcher.html'
359*d5ef99ddSAndreas Gohr  producer:
360*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
361*d5ef99ddSAndreas Gohr    url: 'http://www.cloudflare.com'
362*d5ef99ddSAndreas Gohr
363*d5ef99ddSAndreas Gohr- regex: 'Cloudflare-?Diagnostics'
364*d5ef99ddSAndreas Gohr  name: 'Cloudflare Diagnostics'
365*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
366*d5ef99ddSAndreas Gohr  url: 'https://www.cloudflare.com/'
367*d5ef99ddSAndreas Gohr  producer:
368*d5ef99ddSAndreas Gohr    name: 'Cloudflare'
369*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
370*d5ef99ddSAndreas Gohr
371*d5ef99ddSAndreas Gohr- regex: 'CloudFlare-AlwaysOnline'
372*d5ef99ddSAndreas Gohr  name: 'CloudFlare Always Online'
373*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
374*d5ef99ddSAndreas Gohr  url: 'https://www.cloudflare.com/always-online'
375*d5ef99ddSAndreas Gohr  producer:
376*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
377*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
378*d5ef99ddSAndreas Gohr
379*d5ef99ddSAndreas Gohr- regex: 'Cloudflare-SSLDetector'
380*d5ef99ddSAndreas Gohr  name: 'Cloudflare SSL Detector'
381*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
382*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/fundamentals/reference/cloudflare-site-crawling/'
383*d5ef99ddSAndreas Gohr  producer:
384*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
385*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
386*d5ef99ddSAndreas Gohr
387*d5ef99ddSAndreas Gohr- regex: 'Cloudflare Custom Hostname Verification'
388*d5ef99ddSAndreas Gohr  name: 'Cloudflare Custom Hostname Verification'
389*d5ef99ddSAndreas Gohr  category: 'Service Agent'
390*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/fundamentals/reference/cloudflare-site-crawling/'
391*d5ef99ddSAndreas Gohr  producer:
392*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
393*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
394*d5ef99ddSAndreas Gohr
395*d5ef99ddSAndreas Gohr- regex: 'Cloudflare-Traffic-Manager'
396*d5ef99ddSAndreas Gohr  name: 'Cloudflare Traffic Manager'
397*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
398*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/fundamentals/reference/cloudflare-site-crawling/'
399*d5ef99ddSAndreas Gohr  producer:
400*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
401*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
402*d5ef99ddSAndreas Gohr
403*d5ef99ddSAndreas Gohr- regex: 'Cloudflare-Smart-Transit'
404*d5ef99ddSAndreas Gohr  name: 'Cloudflare Smart Transit'
405*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
406*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/fundamentals/reference/cloudflare-site-crawling/'
407*d5ef99ddSAndreas Gohr  producer:
408*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
409*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
410*d5ef99ddSAndreas Gohr
411*d5ef99ddSAndreas Gohr- regex: 'CloudflareObservatory'
412*d5ef99ddSAndreas Gohr  name: 'Cloudflare Observatory'
413*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
414*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/speed/speed-test/run-speed-test'
415*d5ef99ddSAndreas Gohr  producer:
416*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
417*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
418*d5ef99ddSAndreas Gohr
419*d5ef99ddSAndreas Gohr- regex: 'https://developers\.cloudflare\.com/security-center/'
420*d5ef99ddSAndreas Gohr  name: 'Cloudflare Security Insights'
421*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
422*d5ef99ddSAndreas Gohr  url: 'https://developers.cloudflare.com/fundamentals/reference/cloudflare-site-crawling/'
423*d5ef99ddSAndreas Gohr  producer:
424*d5ef99ddSAndreas Gohr    name: 'CloudFlare'
425*d5ef99ddSAndreas Gohr    url: 'https://www.cloudflare.com/'
426*d5ef99ddSAndreas Gohr
427*d5ef99ddSAndreas Gohr- regex: 'coccoc\.com'
428*d5ef99ddSAndreas Gohr  name: 'Cốc Cốc Bot'
429*d5ef99ddSAndreas Gohr  url: 'https://help.coccoc.com/en/search-engine/coccoc-robots'
430*d5ef99ddSAndreas Gohr  category: 'Search bot'
431*d5ef99ddSAndreas Gohr  producer:
432*d5ef99ddSAndreas Gohr    name: 'Cốc Cốc'
433*d5ef99ddSAndreas Gohr    url: 'https://coccoc.com/'
434*d5ef99ddSAndreas Gohr
435*d5ef99ddSAndreas Gohr- regex: 'collectd'
436*d5ef99ddSAndreas Gohr  name: 'Collectd'
437*d5ef99ddSAndreas Gohr  url: 'https://collectd.org/'
438*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
439*d5ef99ddSAndreas Gohr  producer:
440*d5ef99ddSAndreas Gohr    name: 'Collectd'
441*d5ef99ddSAndreas Gohr    url: 'https://collectd.org/'
442*d5ef99ddSAndreas Gohr
443*d5ef99ddSAndreas Gohr- regex: 'CommaFeed'
444*d5ef99ddSAndreas Gohr  name: 'CommaFeed'
445*d5ef99ddSAndreas Gohr  url: 'http://www.commafeed.com'
446*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
447*d5ef99ddSAndreas Gohr  producer:
448*d5ef99ddSAndreas Gohr    name: ''
449*d5ef99ddSAndreas Gohr    url: ''
450*d5ef99ddSAndreas Gohr
451*d5ef99ddSAndreas Gohr- regex: 'CSS Certificate Spider'
452*d5ef99ddSAndreas Gohr  name: 'CSS Certificate Spider'
453*d5ef99ddSAndreas Gohr  category: 'Crawler'
454*d5ef99ddSAndreas Gohr  url: 'http://www.css-security.com/certificatespider/'
455*d5ef99ddSAndreas Gohr  producer:
456*d5ef99ddSAndreas Gohr    name: 'Certified Security Solutions'
457*d5ef99ddSAndreas Gohr    url: 'https://www.css-security.com/company/about-us/'
458*d5ef99ddSAndreas Gohr
459*d5ef99ddSAndreas Gohr- regex: 'Datadog Agent|Datadog/?Synthetics'
460*d5ef99ddSAndreas Gohr  name: 'Datadog Agent'
461*d5ef99ddSAndreas Gohr  url: 'https://github.com/DataDog/dd-agent'
462*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
463*d5ef99ddSAndreas Gohr  producer:
464*d5ef99ddSAndreas Gohr    name: 'Datadog'
465*d5ef99ddSAndreas Gohr    url: 'https://www.datadoghq.com/'
466*d5ef99ddSAndreas Gohr
467*d5ef99ddSAndreas Gohr- regex: 'Datanyze'
468*d5ef99ddSAndreas Gohr  name: 'Datanyze'
469*d5ef99ddSAndreas Gohr  url: ''
470*d5ef99ddSAndreas Gohr  category: 'Crawler'
471*d5ef99ddSAndreas Gohr  producer:
472*d5ef99ddSAndreas Gohr    name: 'Datanyze'
473*d5ef99ddSAndreas Gohr    url: 'https://www.datanyze.com'
474*d5ef99ddSAndreas Gohr
475*d5ef99ddSAndreas Gohr- regex: 'Dataprovider'
476*d5ef99ddSAndreas Gohr  name: 'Dataprovider'
477*d5ef99ddSAndreas Gohr  category: 'Crawler'
478*d5ef99ddSAndreas Gohr  url: ''
479*d5ef99ddSAndreas Gohr  producer:
480*d5ef99ddSAndreas Gohr    name: 'Dataprovider B.V.'
481*d5ef99ddSAndreas Gohr    url: 'https://www.dataprovider.com/'
482*d5ef99ddSAndreas Gohr
483*d5ef99ddSAndreas Gohr- regex: 'Daum(?!(?:Apps|Device))'
484*d5ef99ddSAndreas Gohr  name: 'Daum'
485*d5ef99ddSAndreas Gohr  category: 'Search bot'
486*d5ef99ddSAndreas Gohr  url: 'http://tab.search.daum.net/aboutWebSearch_en.html'
487*d5ef99ddSAndreas Gohr  producer:
488*d5ef99ddSAndreas Gohr    name: 'Daum Communications Corp.'
489*d5ef99ddSAndreas Gohr    url: 'http://www.kakaocorp.com/main'
490*d5ef99ddSAndreas Gohr
491*d5ef99ddSAndreas Gohr- regex: 'Dazoobot'
492*d5ef99ddSAndreas Gohr  name: 'Dazoobot'
493*d5ef99ddSAndreas Gohr  category: 'Search bot'
494*d5ef99ddSAndreas Gohr  url: ''
495*d5ef99ddSAndreas Gohr  producer:
496*d5ef99ddSAndreas Gohr    name: 'DAZOO.FR'
497*d5ef99ddSAndreas Gohr    url: 'http://dazoo.fr'
498*d5ef99ddSAndreas Gohr
499*d5ef99ddSAndreas Gohr- regex: 'discobot'
500*d5ef99ddSAndreas Gohr  name: 'Discobot'
501*d5ef99ddSAndreas Gohr  category: 'Search bot'
502*d5ef99ddSAndreas Gohr  url: 'http://discoveryengine.com/discobot.html'
503*d5ef99ddSAndreas Gohr  producer:
504*d5ef99ddSAndreas Gohr    name: 'Discovery Engine'
505*d5ef99ddSAndreas Gohr    url: 'http://discoveryengine.com'
506*d5ef99ddSAndreas Gohr
507*d5ef99ddSAndreas Gohr- regex: 'Domain Re-Animator Bot|support@domainreanimator\.com'
508*d5ef99ddSAndreas Gohr  name: 'Domain Re-Animator Bot'
509*d5ef99ddSAndreas Gohr  category: 'Crawler'
510*d5ef99ddSAndreas Gohr  url: ''
511*d5ef99ddSAndreas Gohr  producer:
512*d5ef99ddSAndreas Gohr    name: 'Domain Re-Animator, LLC'
513*d5ef99ddSAndreas Gohr    url: 'http://domainreanimator.com'
514*d5ef99ddSAndreas Gohr
515*d5ef99ddSAndreas Gohr- regex: 'DotBot'
516*d5ef99ddSAndreas Gohr  name: 'DotBot'
517*d5ef99ddSAndreas Gohr  category: 'Crawler'
518*d5ef99ddSAndreas Gohr  url: 'http://www.opensiteexplorer.org/dotbot'
519*d5ef99ddSAndreas Gohr  producer:
520*d5ef99ddSAndreas Gohr    name: 'SEOmoz, Inc.'
521*d5ef99ddSAndreas Gohr    url: 'http://moz.com/'
522*d5ef99ddSAndreas Gohr
523*d5ef99ddSAndreas Gohr- regex: 'DuckDuck(?:Go-Favicons-)?Bot'
524*d5ef99ddSAndreas Gohr  name: 'DuckDuckBot'
525*d5ef99ddSAndreas Gohr  category: 'Search bot'
526*d5ef99ddSAndreas Gohr  url: 'https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/'
527*d5ef99ddSAndreas Gohr  producer:
528*d5ef99ddSAndreas Gohr    name: 'DuckDuckGo'
529*d5ef99ddSAndreas Gohr    url: 'https://duckduckgo.com/'
530*d5ef99ddSAndreas Gohr
531*d5ef99ddSAndreas Gohr- regex: 'DuckAssistBot'
532*d5ef99ddSAndreas Gohr  name: 'DuckAssistBot'
533*d5ef99ddSAndreas Gohr  category: 'Search bot'
534*d5ef99ddSAndreas Gohr  url: 'https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot/'
535*d5ef99ddSAndreas Gohr  producer:
536*d5ef99ddSAndreas Gohr    name: 'DuckDuckGo'
537*d5ef99ddSAndreas Gohr    url: 'https://duckduckgo.com/'
538*d5ef99ddSAndreas Gohr
539*d5ef99ddSAndreas Gohr- regex: 'EasouSpider'
540*d5ef99ddSAndreas Gohr  name: 'Easou Spider'
541*d5ef99ddSAndreas Gohr  category: 'Search bot'
542*d5ef99ddSAndreas Gohr  url: 'http://www.easou.com/search/spider.html'
543*d5ef99ddSAndreas Gohr  producer:
544*d5ef99ddSAndreas Gohr    name: 'easou ICP'
545*d5ef99ddSAndreas Gohr    url: 'http://www.easou.com'
546*d5ef99ddSAndreas Gohr
547*d5ef99ddSAndreas Gohr- regex: 'eCairn-Grabber'
548*d5ef99ddSAndreas Gohr  name: 'eCairn-Grabber'
549*d5ef99ddSAndreas Gohr  category: 'Crawler'
550*d5ef99ddSAndreas Gohr  producer:
551*d5ef99ddSAndreas Gohr    name: 'eCairn'
552*d5ef99ddSAndreas Gohr    url: 'https://ecairn.com'
553*d5ef99ddSAndreas Gohr
554*d5ef99ddSAndreas Gohr- regex: 'EMail Exractor'
555*d5ef99ddSAndreas Gohr  name: 'EMail Exractor'
556*d5ef99ddSAndreas Gohr  category: 'Crawler'
557*d5ef99ddSAndreas Gohr  url: ''
558*d5ef99ddSAndreas Gohr  producer:
559*d5ef99ddSAndreas Gohr    name: ''
560*d5ef99ddSAndreas Gohr    url: ''
561*d5ef99ddSAndreas Gohr
562*d5ef99ddSAndreas Gohr- regex: 'evc-batch'
563*d5ef99ddSAndreas Gohr  name: 'evc-batch'
564*d5ef99ddSAndreas Gohr  category: 'Crawler'
565*d5ef99ddSAndreas Gohr  url: ''
566*d5ef99ddSAndreas Gohr  producer:
567*d5ef99ddSAndreas Gohr    name: 'eVenture Capital Partners II, LLC'
568*d5ef99ddSAndreas Gohr    url: 'http://www.eventures.vc/'
569*d5ef99ddSAndreas Gohr
570*d5ef99ddSAndreas Gohr- regex: 'Exabot|ExaleadCloudview'
571*d5ef99ddSAndreas Gohr  name: 'ExaBot'
572*d5ef99ddSAndreas Gohr  category: 'Crawler'
573*d5ef99ddSAndreas Gohr  url: 'http://www.exabot.com/go/robot'
574*d5ef99ddSAndreas Gohr  producer:
575*d5ef99ddSAndreas Gohr    name: 'Dassault Systèmes'
576*d5ef99ddSAndreas Gohr    url: 'http://www.3ds.com'
577*d5ef99ddSAndreas Gohr
578*d5ef99ddSAndreas Gohr- regex: 'ExactSeek Crawler'
579*d5ef99ddSAndreas Gohr  name: 'ExactSeek Crawler'
580*d5ef99ddSAndreas Gohr  category: 'Search bot'
581*d5ef99ddSAndreas Gohr  url: 'http://www.exactseek.com'
582*d5ef99ddSAndreas Gohr  producer:
583*d5ef99ddSAndreas Gohr    name: 'Jayde Online, Inc.'
584*d5ef99ddSAndreas Gohr    url: 'http://www.jaydeonlineinc.com'
585*d5ef99ddSAndreas Gohr
586*d5ef99ddSAndreas Gohr- regex: 'Ezooms'
587*d5ef99ddSAndreas Gohr  name: 'Ezooms'
588*d5ef99ddSAndreas Gohr  category: 'Crawler'
589*d5ef99ddSAndreas Gohr  url: ''
590*d5ef99ddSAndreas Gohr  producer:
591*d5ef99ddSAndreas Gohr    name: 'SEOmoz, Inc.'
592*d5ef99ddSAndreas Gohr    url: 'http://moz.com/'
593*d5ef99ddSAndreas Gohr
594*d5ef99ddSAndreas Gohr- regex: 'facebook(?:catalog|externalhit|externalua|platform|scraper)'
595*d5ef99ddSAndreas Gohr  name: 'Facebook Crawler'
596*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
597*d5ef99ddSAndreas Gohr  url: 'https://developers.facebook.com/docs/sharing/webmasters/web-crawlers'
598*d5ef99ddSAndreas Gohr  producer:
599*d5ef99ddSAndreas Gohr    name: 'Meta Platforms, Inc.'
600*d5ef99ddSAndreas Gohr    url: 'https://www.meta.com/'
601*d5ef99ddSAndreas Gohr
602*d5ef99ddSAndreas Gohr- regex: 'meta-externalagent'
603*d5ef99ddSAndreas Gohr  name: 'Meta-ExternalAgent'
604*d5ef99ddSAndreas Gohr  category: 'Crawler'
605*d5ef99ddSAndreas Gohr  url: 'https://developers.facebook.com/docs/sharing/webmasters/web-crawlers'
606*d5ef99ddSAndreas Gohr  producer:
607*d5ef99ddSAndreas Gohr    name: 'Meta Platforms, Inc.'
608*d5ef99ddSAndreas Gohr    url: 'https://www.meta.com/'
609*d5ef99ddSAndreas Gohr
610*d5ef99ddSAndreas Gohr- regex: 'meta-externalfetcher'
611*d5ef99ddSAndreas Gohr  name: 'Meta-ExternalFetcher'
612*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
613*d5ef99ddSAndreas Gohr  url: 'https://developers.facebook.com/docs/sharing/webmasters/web-crawlers'
614*d5ef99ddSAndreas Gohr  producer:
615*d5ef99ddSAndreas Gohr    name: 'Meta Platforms, Inc.'
616*d5ef99ddSAndreas Gohr    url: 'https://www.meta.com/'
617*d5ef99ddSAndreas Gohr
618*d5ef99ddSAndreas Gohr- regex: 'FacebookBot'
619*d5ef99ddSAndreas Gohr  name: 'FacebookBot'
620*d5ef99ddSAndreas Gohr  category: 'Crawler'
621*d5ef99ddSAndreas Gohr  url: 'https://developers.facebook.com/docs/sharing/bot'
622*d5ef99ddSAndreas Gohr  producer:
623*d5ef99ddSAndreas Gohr    name: 'Meta Platforms, Inc.'
624*d5ef99ddSAndreas Gohr    url: 'https://www.meta.com/'
625*d5ef99ddSAndreas Gohr
626*d5ef99ddSAndreas Gohr- regex: 'Feedbin'
627*d5ef99ddSAndreas Gohr  name: 'Feedbin'
628*d5ef99ddSAndreas Gohr  url: 'http://feedbin.com/'
629*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
630*d5ef99ddSAndreas Gohr  producer:
631*d5ef99ddSAndreas Gohr    name: ''
632*d5ef99ddSAndreas Gohr    url: ''
633*d5ef99ddSAndreas Gohr
634*d5ef99ddSAndreas Gohr- regex: 'FeedBurner'
635*d5ef99ddSAndreas Gohr  name: 'FeedBurner'
636*d5ef99ddSAndreas Gohr  url: 'http://www.feedburner.com'
637*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
638*d5ef99ddSAndreas Gohr  producer:
639*d5ef99ddSAndreas Gohr    name: ''
640*d5ef99ddSAndreas Gohr    url: ''
641*d5ef99ddSAndreas Gohr
642*d5ef99ddSAndreas Gohr- regex: 'Feed Wrangler'
643*d5ef99ddSAndreas Gohr  name: 'Feed Wrangler'
644*d5ef99ddSAndreas Gohr  url: 'https://feedwrangler.net/'
645*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
646*d5ef99ddSAndreas Gohr  producer:
647*d5ef99ddSAndreas Gohr    name: 'David Smith & Developing Perspective, LLC'
648*d5ef99ddSAndreas Gohr    url: 'https://david-smith.org'
649*d5ef99ddSAndreas Gohr
650*d5ef99ddSAndreas Gohr- regex: 'Feedly'
651*d5ef99ddSAndreas Gohr  name: 'Feedly'
652*d5ef99ddSAndreas Gohr  url: 'http://www.feedly.com'
653*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
654*d5ef99ddSAndreas Gohr  producer:
655*d5ef99ddSAndreas Gohr    name: ''
656*d5ef99ddSAndreas Gohr    url: ''
657*d5ef99ddSAndreas Gohr
658*d5ef99ddSAndreas Gohr- regex: 'Feedspot'
659*d5ef99ddSAndreas Gohr  name: 'Feedspot'
660*d5ef99ddSAndreas Gohr  url: 'http://www.feedspot.com'
661*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
662*d5ef99ddSAndreas Gohr  producer:
663*d5ef99ddSAndreas Gohr    name: ''
664*d5ef99ddSAndreas Gohr    url: ''
665*d5ef99ddSAndreas Gohr
666*d5ef99ddSAndreas Gohr- regex: 'Fever/'
667*d5ef99ddSAndreas Gohr  name: 'Fever'
668*d5ef99ddSAndreas Gohr  url: 'http://feedafever.com/'
669*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
670*d5ef99ddSAndreas Gohr  producer:
671*d5ef99ddSAndreas Gohr    name: ''
672*d5ef99ddSAndreas Gohr    url: ''
673*d5ef99ddSAndreas Gohr
674*d5ef99ddSAndreas Gohr- regex: 'FlipboardProxy|FlipboardRSS'
675*d5ef99ddSAndreas Gohr  name: 'Flipboard'
676*d5ef99ddSAndreas Gohr  url: 'http://flipboard.com/browserproxy'
677*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
678*d5ef99ddSAndreas Gohr  producer:
679*d5ef99ddSAndreas Gohr    name: 'Flipboard'
680*d5ef99ddSAndreas Gohr    url: 'http://flipboard.com/'
681*d5ef99ddSAndreas Gohr
682*d5ef99ddSAndreas Gohr- regex: 'Findxbot'
683*d5ef99ddSAndreas Gohr  name: 'Findxbot'
684*d5ef99ddSAndreas Gohr  category: 'Crawler'
685*d5ef99ddSAndreas Gohr  url: 'http://www.findxbot.com'
686*d5ef99ddSAndreas Gohr
687*d5ef99ddSAndreas Gohr- regex: 'FreshRSS'
688*d5ef99ddSAndreas Gohr  name: 'FreshRSS'
689*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
690*d5ef99ddSAndreas Gohr  url: 'https://freshrss.org/'
691*d5ef99ddSAndreas Gohr
692*d5ef99ddSAndreas Gohr- regex: 'Genieo'
693*d5ef99ddSAndreas Gohr  name: 'Genieo Web filter'
694*d5ef99ddSAndreas Gohr  category: ''
695*d5ef99ddSAndreas Gohr  url: 'http://www.genieo.com/webfilter.html'
696*d5ef99ddSAndreas Gohr  producer:
697*d5ef99ddSAndreas Gohr    name: 'Genieo'
698*d5ef99ddSAndreas Gohr    url: 'http://www.genieo.com'
699*d5ef99ddSAndreas Gohr
700*d5ef99ddSAndreas Gohr- regex: 'GigablastOpenSource'
701*d5ef99ddSAndreas Gohr  name: 'Gigablast'
702*d5ef99ddSAndreas Gohr  category: 'Search bot'
703*d5ef99ddSAndreas Gohr  url: 'https://github.com/gigablast/open-source-search-engine'
704*d5ef99ddSAndreas Gohr  producer:
705*d5ef99ddSAndreas Gohr    name: 'Matt Wells'
706*d5ef99ddSAndreas Gohr    url: 'http://www.gigablast.com/faq.html'
707*d5ef99ddSAndreas Gohr
708*d5ef99ddSAndreas Gohr- regex: 'Gluten Free Crawler'
709*d5ef99ddSAndreas Gohr  name: 'Gluten Free Crawler'
710*d5ef99ddSAndreas Gohr  category: 'Crawler'
711*d5ef99ddSAndreas Gohr  url: 'http://glutenfreepleasure.com/'
712*d5ef99ddSAndreas Gohr  producer:
713*d5ef99ddSAndreas Gohr    name: ''
714*d5ef99ddSAndreas Gohr    url: ''
715*d5ef99ddSAndreas Gohr
716*d5ef99ddSAndreas Gohr- regex: 'gobuster'
717*d5ef99ddSAndreas Gohr  name: 'Gobuster'
718*d5ef99ddSAndreas Gohr  url: 'https://github.com/OJ/gobuster'
719*d5ef99ddSAndreas Gohr
720*d5ef99ddSAndreas Gohr- regex: 'ichiro/mobile goo'
721*d5ef99ddSAndreas Gohr  name: 'Goo'
722*d5ef99ddSAndreas Gohr  category: 'Search bot'
723*d5ef99ddSAndreas Gohr  url: 'http://search.goo.ne.jp/option/use/sub4/sub4-1'
724*d5ef99ddSAndreas Gohr  producer:
725*d5ef99ddSAndreas Gohr    name: 'NTT Resonant'
726*d5ef99ddSAndreas Gohr    url: 'http://goo.ne.jp'
727*d5ef99ddSAndreas Gohr
728*d5ef99ddSAndreas Gohr- regex: 'Storebot-Google'
729*d5ef99ddSAndreas Gohr  name: 'Google StoreBot'
730*d5ef99ddSAndreas Gohr  category: 'Crawler'
731*d5ef99ddSAndreas Gohr
732*d5ef99ddSAndreas Gohr- regex: 'Google Favicon'
733*d5ef99ddSAndreas Gohr  name: 'Google Favicon'
734*d5ef99ddSAndreas Gohr  category: 'Crawler'
735*d5ef99ddSAndreas Gohr
736*d5ef99ddSAndreas Gohr- regex: 'Google Search Console'
737*d5ef99ddSAndreas Gohr  name: 'Google Search Console'
738*d5ef99ddSAndreas Gohr  category: 'Crawler'
739*d5ef99ddSAndreas Gohr  url: 'https://search.google.com/search-console/about'
740*d5ef99ddSAndreas Gohr  producer:
741*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
742*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
743*d5ef99ddSAndreas Gohr
744*d5ef99ddSAndreas Gohr- regex: 'Google Page Speed Insights'
745*d5ef99ddSAndreas Gohr  name: 'Google PageSpeed Insights'
746*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
747*d5ef99ddSAndreas Gohr  url: 'http://developers.google.com/speed/pagespeed/insights/'
748*d5ef99ddSAndreas Gohr  producer:
749*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
750*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
751*d5ef99ddSAndreas Gohr
752*d5ef99ddSAndreas Gohr- regex: 'google_partner_monitoring'
753*d5ef99ddSAndreas Gohr  name: 'Google Partner Monitoring'
754*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
755*d5ef99ddSAndreas Gohr  url: ''
756*d5ef99ddSAndreas Gohr  producer:
757*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
758*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
759*d5ef99ddSAndreas Gohr
760*d5ef99ddSAndreas Gohr- regex: 'Google-Cloud-Scheduler'
761*d5ef99ddSAndreas Gohr  name: 'Google Cloud Scheduler'
762*d5ef99ddSAndreas Gohr  category: 'Crawler'
763*d5ef99ddSAndreas Gohr  url: 'https://cloud.google.com/scheduler'
764*d5ef99ddSAndreas Gohr  producer:
765*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
766*d5ef99ddSAndreas Gohr    url: 'https://www.google.com'
767*d5ef99ddSAndreas Gohr
768*d5ef99ddSAndreas Gohr- regex: 'Google-Structured-Data-Testing-Tool'
769*d5ef99ddSAndreas Gohr  name: 'Google Structured Data Testing Tool'
770*d5ef99ddSAndreas Gohr  category: 'Validator'
771*d5ef99ddSAndreas Gohr  url: 'https://search.google.com/structured-data/testing-tool'
772*d5ef99ddSAndreas Gohr  producer:
773*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
774*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
775*d5ef99ddSAndreas Gohr
776*d5ef99ddSAndreas Gohr- regex: 'GoogleStackdriverMonitoring'
777*d5ef99ddSAndreas Gohr  name: 'Google Stackdriver Monitoring'
778*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
779*d5ef99ddSAndreas Gohr  url: 'https://cloud.google.com/monitoring'
780*d5ef99ddSAndreas Gohr  producer:
781*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
782*d5ef99ddSAndreas Gohr    url: 'https://www.google.com'
783*d5ef99ddSAndreas Gohr
784*d5ef99ddSAndreas Gohr- regex: 'Google-Transparency-Report'
785*d5ef99ddSAndreas Gohr  name: 'Google Transparency Report'
786*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
787*d5ef99ddSAndreas Gohr  url: 'https://transparencyreport.google.com/'
788*d5ef99ddSAndreas Gohr  producer:
789*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
790*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
791*d5ef99ddSAndreas Gohr
792*d5ef99ddSAndreas Gohr- regex: 'Google-CloudVertexBot'
793*d5ef99ddSAndreas Gohr  name: 'Google-CloudVertexBot'
794*d5ef99ddSAndreas Gohr  category: 'Crawler'
795*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers#google-cloudvertexbot'
796*d5ef99ddSAndreas Gohr  producer:
797*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
798*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
799*d5ef99ddSAndreas Gohr
800*d5ef99ddSAndreas Gohr- regex: 'via ggpht\.com GoogleImageProxy'
801*d5ef99ddSAndreas Gohr  name: 'Gmail Image Proxy'
802*d5ef99ddSAndreas Gohr  category: 'Crawler'
803*d5ef99ddSAndreas Gohr  url: ''
804*d5ef99ddSAndreas Gohr  producer:
805*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
806*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
807*d5ef99ddSAndreas Gohr
808*d5ef99ddSAndreas Gohr- regex: 'Google-Document-Conversion'
809*d5ef99ddSAndreas Gohr  name: 'Google-Document-Conversion'
810*d5ef99ddSAndreas Gohr  category: 'Service Agent'
811*d5ef99ddSAndreas Gohr  url: 'https://support.google.com/drive/answer/176692?hl=en'
812*d5ef99ddSAndreas Gohr  producer:
813*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
814*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
815*d5ef99ddSAndreas Gohr
816*d5ef99ddSAndreas Gohr- regex: 'GoogleDocs; apps-spreadsheets'
817*d5ef99ddSAndreas Gohr  name: 'Google Sheets'
818*d5ef99ddSAndreas Gohr  category: 'Service Agent'
819*d5ef99ddSAndreas Gohr  url: 'https://workspace.google.com/products/sheets/'
820*d5ef99ddSAndreas Gohr  producer:
821*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
822*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
823*d5ef99ddSAndreas Gohr
824*d5ef99ddSAndreas Gohr- regex: 'GoogleDocs; apps-presentations'
825*d5ef99ddSAndreas Gohr  name: 'Google Slides'
826*d5ef99ddSAndreas Gohr  category: 'Service Agent'
827*d5ef99ddSAndreas Gohr  url: 'https://workspace.google.com/products/slides/'
828*d5ef99ddSAndreas Gohr  producer:
829*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
830*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
831*d5ef99ddSAndreas Gohr
832*d5ef99ddSAndreas Gohr- regex: 'GoogleDocs;'
833*d5ef99ddSAndreas Gohr  name: 'Google Docs'
834*d5ef99ddSAndreas Gohr  category: 'Service Agent'
835*d5ef99ddSAndreas Gohr  url: 'https://docs.google.com/'
836*d5ef99ddSAndreas Gohr  producer:
837*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
838*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
839*d5ef99ddSAndreas Gohr
840*d5ef99ddSAndreas Gohr- regex: 'SeznamEmailProxy'
841*d5ef99ddSAndreas Gohr  name: 'Seznam Email Proxy'
842*d5ef99ddSAndreas Gohr  category: 'Crawler'
843*d5ef99ddSAndreas Gohr  url: ''
844*d5ef99ddSAndreas Gohr  producer:
845*d5ef99ddSAndreas Gohr    name: 'Seznam.cz, a.s.'
846*d5ef99ddSAndreas Gohr    url: 'http://www.seznam.cz/'
847*d5ef99ddSAndreas Gohr
848*d5ef99ddSAndreas Gohr- regex: 'Seznam-Zbozi-robot'
849*d5ef99ddSAndreas Gohr  name: 'Seznam Zbozi.cz'
850*d5ef99ddSAndreas Gohr  category: 'Crawler'
851*d5ef99ddSAndreas Gohr  url: ''
852*d5ef99ddSAndreas Gohr  producer:
853*d5ef99ddSAndreas Gohr    name: 'Seznam.cz, a.s.'
854*d5ef99ddSAndreas Gohr    url: 'https://www.zbozi.cz/'
855*d5ef99ddSAndreas Gohr
856*d5ef99ddSAndreas Gohr- regex: 'Heurekabot-Feed'
857*d5ef99ddSAndreas Gohr  name: 'Heureka Feed'
858*d5ef99ddSAndreas Gohr  category: 'Crawler'
859*d5ef99ddSAndreas Gohr  url: 'https://sluzby.heureka.cz/napoveda/heurekabot/'
860*d5ef99ddSAndreas Gohr  producer:
861*d5ef99ddSAndreas Gohr    name: 'Heureka.cz, a.s.'
862*d5ef99ddSAndreas Gohr    url: 'https://www.heureka.cz/'
863*d5ef99ddSAndreas Gohr
864*d5ef99ddSAndreas Gohr- regex: 'ShopAlike'
865*d5ef99ddSAndreas Gohr  name: 'ShopAlike'
866*d5ef99ddSAndreas Gohr  category: 'Crawler'
867*d5ef99ddSAndreas Gohr  url: ''
868*d5ef99ddSAndreas Gohr  producer:
869*d5ef99ddSAndreas Gohr    name: 'Visual Meta'
870*d5ef99ddSAndreas Gohr    url: 'https://www.shopalike.cz/'
871*d5ef99ddSAndreas Gohr
872*d5ef99ddSAndreas Gohr- regex: 'deepcrawl\.com'
873*d5ef99ddSAndreas Gohr  name: 'Lumar'
874*d5ef99ddSAndreas Gohr  category: 'Crawler'
875*d5ef99ddSAndreas Gohr  url: 'https://deepcrawl.com/bot'
876*d5ef99ddSAndreas Gohr  producer:
877*d5ef99ddSAndreas Gohr    name: 'Lumar'
878*d5ef99ddSAndreas Gohr    url: 'https://www.lumar.io/'
879*d5ef99ddSAndreas Gohr
880*d5ef99ddSAndreas Gohr- regex: 'Googlebot-News'
881*d5ef99ddSAndreas Gohr  name: 'Googlebot News'
882*d5ef99ddSAndreas Gohr  category: 'Search bot'
883*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers'
884*d5ef99ddSAndreas Gohr  producer:
885*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
886*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
887*d5ef99ddSAndreas Gohr
888*d5ef99ddSAndreas Gohr- regex: 'Adwords-(?:DisplayAds|Express|Instant)|Google Web Preview|Google[ -]Publisher[ -]Plugin|Google-(?:adstxt|Ads-Conversions|Ads-Qualify|Adwords|AMPHTML|Assess|Extended|HotelAdsVerifier|InspectionTool|Lens|PageRenderer|Read-Aloud|Shopping-Quality|Site-Verification|Sites-Thumbnails|speakr|Stale-Content-Probe|Test|Youtube-Links)|(?:AdsBot|APIs|Feedfetcher|Mediapartners)-Google(?:-Mobile)?|Google(?:AdSenseInfeed|AssociationService|bot|Other|Prober|Producer|Sites)|Google.*/\+/web/snippet'
889*d5ef99ddSAndreas Gohr  name: 'Googlebot'
890*d5ef99ddSAndreas Gohr  category: 'Search bot'
891*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers'
892*d5ef99ddSAndreas Gohr  producer:
893*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
894*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
895*d5ef99ddSAndreas Gohr
896*d5ef99ddSAndreas Gohr- regex: '^Google$'
897*d5ef99ddSAndreas Gohr  name: 'Googlebot'
898*d5ef99ddSAndreas Gohr  category: 'Search bot'
899*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers'
900*d5ef99ddSAndreas Gohr  producer:
901*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
902*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
903*d5ef99ddSAndreas Gohr
904*d5ef99ddSAndreas Gohr- regex: 'Google-Safety'
905*d5ef99ddSAndreas Gohr  name: 'Google-Safety'
906*d5ef99ddSAndreas Gohr  category: 'Crawler'
907*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/search/docs/crawling-indexing/google-special-case-crawlers'
908*d5ef99ddSAndreas Gohr  producer:
909*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
910*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
911*d5ef99ddSAndreas Gohr
912*d5ef99ddSAndreas Gohr- regex: 'DuplexWeb-Google'
913*d5ef99ddSAndreas Gohr  name: 'DuplexWeb-Google'
914*d5ef99ddSAndreas Gohr  category: 'Crawler'
915*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/search/docs/crawling-indexing/google-special-case-crawlers'
916*d5ef99ddSAndreas Gohr  producer:
917*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
918*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
919*d5ef99ddSAndreas Gohr
920*d5ef99ddSAndreas Gohr- regex: 'Google-Area120-PrivacyPolicyFetcher'
921*d5ef99ddSAndreas Gohr  name: 'Google Area 120 Privacy Policy Fetcher'
922*d5ef99ddSAndreas Gohr  category: 'Crawler'
923*d5ef99ddSAndreas Gohr  url: 'https://area120.google.com/'
924*d5ef99ddSAndreas Gohr  producer:
925*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
926*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
927*d5ef99ddSAndreas Gohr
928*d5ef99ddSAndreas Gohr- regex: 'HubSpot '
929*d5ef99ddSAndreas Gohr  name: 'HubSpot'
930*d5ef99ddSAndreas Gohr  category: 'Crawler'
931*d5ef99ddSAndreas Gohr  producer:
932*d5ef99ddSAndreas Gohr    name: 'HubSpot Inc.'
933*d5ef99ddSAndreas Gohr    url: 'https://www.hubspot.com'
934*d5ef99ddSAndreas Gohr
935*d5ef99ddSAndreas Gohr- regex: 'vuhuv(?:Bot|RBT)'
936*d5ef99ddSAndreas Gohr  name: 'vuhuvBot'
937*d5ef99ddSAndreas Gohr  category: 'Search bot'
938*d5ef99ddSAndreas Gohr  url: 'https://vuhuv.com/bot.html'
939*d5ef99ddSAndreas Gohr
940*d5ef99ddSAndreas Gohr- regex: 'HTTPMon'
941*d5ef99ddSAndreas Gohr  name: 'HTTPMon'
942*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
943*d5ef99ddSAndreas Gohr  url: 'http://www.httpmon.com'
944*d5ef99ddSAndreas Gohr  producer:
945*d5ef99ddSAndreas Gohr    name: 'towards GmbH'
946*d5ef99ddSAndreas Gohr    url: 'http://www.towards.ch/'
947*d5ef99ddSAndreas Gohr
948*d5ef99ddSAndreas Gohr- regex: 'ICC-Crawler'
949*d5ef99ddSAndreas Gohr  name: 'ICC-Crawler'
950*d5ef99ddSAndreas Gohr  category: 'Crawler'
951*d5ef99ddSAndreas Gohr  url: 'http://www.nict.go.jp/en/univ-com/plan/crawl.html'
952*d5ef99ddSAndreas Gohr  producer:
953*d5ef99ddSAndreas Gohr    name: ''
954*d5ef99ddSAndreas Gohr    url: ''
955*d5ef99ddSAndreas Gohr
956*d5ef99ddSAndreas Gohr- regex: 'inoreader\.com'
957*d5ef99ddSAndreas Gohr  name: 'inoreader'
958*d5ef99ddSAndreas Gohr  category: 'Feed Reader'
959*d5ef99ddSAndreas Gohr  url: 'https://www.inoreader.com'
960*d5ef99ddSAndreas Gohr
961*d5ef99ddSAndreas Gohr- regex: 'iisbot'
962*d5ef99ddSAndreas Gohr  name: 'IIS Site Analysis'
963*d5ef99ddSAndreas Gohr  category: 'Crawler'
964*d5ef99ddSAndreas Gohr  url: 'http://www.iis.net/iisbot.html'
965*d5ef99ddSAndreas Gohr  producer:
966*d5ef99ddSAndreas Gohr    name: 'Microsoft Corporation'
967*d5ef99ddSAndreas Gohr    url: 'http://www.microsoft.com'
968*d5ef99ddSAndreas Gohr
969*d5ef99ddSAndreas Gohr- regex: 'ips-agent'
970*d5ef99ddSAndreas Gohr  name: 'IPS Agent'
971*d5ef99ddSAndreas Gohr  category: 'Crawler'
972*d5ef99ddSAndreas Gohr  producer:
973*d5ef99ddSAndreas Gohr    name: 'VeriSign, Inc'
974*d5ef99ddSAndreas Gohr    url: 'http://www.verisign.com/'
975*d5ef99ddSAndreas Gohr
976*d5ef99ddSAndreas Gohr- regex: 'IP-Guide\.com'
977*d5ef99ddSAndreas Gohr  name: 'IP-Guide Crawler'
978*d5ef99ddSAndreas Gohr  category: 'Crawler'
979*d5ef99ddSAndreas Gohr  url: ''
980*d5ef99ddSAndreas Gohr  producer:
981*d5ef99ddSAndreas Gohr    name: ''
982*d5ef99ddSAndreas Gohr    url: 'https://ip-guide.com'
983*d5ef99ddSAndreas Gohr
984*d5ef99ddSAndreas Gohr- regex: 'k6/'
985*d5ef99ddSAndreas Gohr  name: 'K6'
986*d5ef99ddSAndreas Gohr  url: 'https://k6.io/'
987*d5ef99ddSAndreas Gohr
988*d5ef99ddSAndreas Gohr- regex: 'kouio'
989*d5ef99ddSAndreas Gohr  name: 'Kouio'
990*d5ef99ddSAndreas Gohr  url: 'http://kouio.com/'
991*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
992*d5ef99ddSAndreas Gohr  producer:
993*d5ef99ddSAndreas Gohr    name: ''
994*d5ef99ddSAndreas Gohr    url: ''
995*d5ef99ddSAndreas Gohr
996*d5ef99ddSAndreas Gohr- regex: 'larbin'
997*d5ef99ddSAndreas Gohr  name: 'Larbin web crawler'
998*d5ef99ddSAndreas Gohr  category: 'Crawler'
999*d5ef99ddSAndreas Gohr  url: 'http://larbin.sourceforge.net'
1000*d5ef99ddSAndreas Gohr  producer:
1001*d5ef99ddSAndreas Gohr    name: ''
1002*d5ef99ddSAndreas Gohr    url: ''
1003*d5ef99ddSAndreas Gohr
1004*d5ef99ddSAndreas Gohr- regex: '[A-z0-9]*-Lighthouse'
1005*d5ef99ddSAndreas Gohr  name: 'Lighthouse'
1006*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1007*d5ef99ddSAndreas Gohr  url: 'https://developers.google.com/web/tools/lighthouse'
1008*d5ef99ddSAndreas Gohr  producer:
1009*d5ef99ddSAndreas Gohr    name: 'Lighthouse'
1010*d5ef99ddSAndreas Gohr    url: 'https://developers.google.com/web/tools/lighthouse'
1011*d5ef99ddSAndreas Gohr
1012*d5ef99ddSAndreas Gohr- regex: 'last-modified\.com'
1013*d5ef99ddSAndreas Gohr  name: 'LastMod Bot'
1014*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1015*d5ef99ddSAndreas Gohr  url: 'https://last-modified.com/en/about'
1016*d5ef99ddSAndreas Gohr  producer:
1017*d5ef99ddSAndreas Gohr    name: ''
1018*d5ef99ddSAndreas Gohr    url: 'https://last-modified.com/en'
1019*d5ef99ddSAndreas Gohr
1020*d5ef99ddSAndreas Gohr- regex: 'linkdexbot|linkdex\.com'
1021*d5ef99ddSAndreas Gohr  name: 'Linkdex Bot'
1022*d5ef99ddSAndreas Gohr  category: 'Search bot'
1023*d5ef99ddSAndreas Gohr  url: 'http://www.linkdex.com/bots'
1024*d5ef99ddSAndreas Gohr  producer:
1025*d5ef99ddSAndreas Gohr    name: 'Mojeek Ltd.'
1026*d5ef99ddSAndreas Gohr    url: 'http://www.mojeek.com'
1027*d5ef99ddSAndreas Gohr
1028*d5ef99ddSAndreas Gohr- regex: 'LinkedInBot'
1029*d5ef99ddSAndreas Gohr  name: 'LinkedIn Bot'
1030*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
1031*d5ef99ddSAndreas Gohr  url: 'http://www.linkedin.com'
1032*d5ef99ddSAndreas Gohr  producer:
1033*d5ef99ddSAndreas Gohr    name: 'LinkedIn'
1034*d5ef99ddSAndreas Gohr    url: 'http://www.linkedin.com'
1035*d5ef99ddSAndreas Gohr
1036*d5ef99ddSAndreas Gohr- regex: 'ltx71'
1037*d5ef99ddSAndreas Gohr  name: 'LTX71'
1038*d5ef99ddSAndreas Gohr  category: 'Security Checker'
1039*d5ef99ddSAndreas Gohr  url: 'https://ltx71.com/'
1040*d5ef99ddSAndreas Gohr  producer:
1041*d5ef99ddSAndreas Gohr    name: ''
1042*d5ef99ddSAndreas Gohr    url: ''
1043*d5ef99ddSAndreas Gohr
1044*d5ef99ddSAndreas Gohr- regex: 'Mail\.RU'
1045*d5ef99ddSAndreas Gohr  name: 'Mail.Ru Bot'
1046*d5ef99ddSAndreas Gohr  category: 'Search bot'
1047*d5ef99ddSAndreas Gohr  url: 'http://help.mail.ru/webmaster/indexing/robots/types_robots'
1048*d5ef99ddSAndreas Gohr  producer:
1049*d5ef99ddSAndreas Gohr    name: 'Mail.Ru Group'
1050*d5ef99ddSAndreas Gohr    url: 'http://corp.mail.ru'
1051*d5ef99ddSAndreas Gohr
1052*d5ef99ddSAndreas Gohr- regex: 'magpie-crawler'
1053*d5ef99ddSAndreas Gohr  name: 'Magpie-Crawler'
1054*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
1055*d5ef99ddSAndreas Gohr  url: 'http://www.brandwatch.com/magpie-crawler/'
1056*d5ef99ddSAndreas Gohr  producer:
1057*d5ef99ddSAndreas Gohr    name: 'Brandwatch'
1058*d5ef99ddSAndreas Gohr    url: 'http://www.brandwatch.com'
1059*d5ef99ddSAndreas Gohr
1060*d5ef99ddSAndreas Gohr- regex: 'MagpieRSS'
1061*d5ef99ddSAndreas Gohr  name: 'MagpieRSS'
1062*d5ef99ddSAndreas Gohr  url: 'http://magpierss.sourceforge.net/'
1063*d5ef99ddSAndreas Gohr  category: 'Feed Parser'
1064*d5ef99ddSAndreas Gohr  producer:
1065*d5ef99ddSAndreas Gohr    name: ''
1066*d5ef99ddSAndreas Gohr    url: ''
1067*d5ef99ddSAndreas Gohr
1068*d5ef99ddSAndreas Gohr- regex: 'masscan-ng'
1069*d5ef99ddSAndreas Gohr  name: 'masscan-ng'
1070*d5ef99ddSAndreas Gohr  url: 'https://github.com/bi-zone/masscan-ng'
1071*d5ef99ddSAndreas Gohr  category: 'Crawler'
1072*d5ef99ddSAndreas Gohr  producer:
1073*d5ef99ddSAndreas Gohr    name: 'BIZON, OOO'
1074*d5ef99ddSAndreas Gohr    url: 'https://bi.zone/'
1075*d5ef99ddSAndreas Gohr
1076*d5ef99ddSAndreas Gohr- regex: '.*masscan'
1077*d5ef99ddSAndreas Gohr  name: 'masscan'
1078*d5ef99ddSAndreas Gohr  url: 'https://github.com/robertdavidgraham/masscan'
1079*d5ef99ddSAndreas Gohr  category: 'Crawler'
1080*d5ef99ddSAndreas Gohr  producer:
1081*d5ef99ddSAndreas Gohr    name: 'Robert Graham'
1082*d5ef99ddSAndreas Gohr    url: 'https://github.com/robertdavidgraham'
1083*d5ef99ddSAndreas Gohr
1084*d5ef99ddSAndreas Gohr- regex: 'Mastodon/'
1085*d5ef99ddSAndreas Gohr  name: 'Mastodon Bot'
1086*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
1087*d5ef99ddSAndreas Gohr
1088*d5ef99ddSAndreas Gohr- regex: 'meanpathbot'
1089*d5ef99ddSAndreas Gohr  name: 'Meanpath Bot'
1090*d5ef99ddSAndreas Gohr  category: 'Search bot'
1091*d5ef99ddSAndreas Gohr  url: 'http://www.meanpath.com/meanpathbot.html'
1092*d5ef99ddSAndreas Gohr  producer:
1093*d5ef99ddSAndreas Gohr    name: 'Meanpath'
1094*d5ef99ddSAndreas Gohr    url: 'http://www.meanpath.com'
1095*d5ef99ddSAndreas Gohr
1096*d5ef99ddSAndreas Gohr- regex: 'MetaJobBot'
1097*d5ef99ddSAndreas Gohr  name: 'MetaJobBot'
1098*d5ef99ddSAndreas Gohr  category: 'Crawler'
1099*d5ef99ddSAndreas Gohr  url: 'http://www.metajob.at/the/crawler'
1100*d5ef99ddSAndreas Gohr  producer:
1101*d5ef99ddSAndreas Gohr    name: 'MetaJob'
1102*d5ef99ddSAndreas Gohr    url: 'http://www.metajob.at'
1103*d5ef99ddSAndreas Gohr
1104*d5ef99ddSAndreas Gohr- regex: 'MetaInspector'
1105*d5ef99ddSAndreas Gohr  name: 'MetaInspector'
1106*d5ef99ddSAndreas Gohr  category: 'Crawler'
1107*d5ef99ddSAndreas Gohr  url: 'https://github.com/jaimeiniesta/metainspector'
1108*d5ef99ddSAndreas Gohr
1109*d5ef99ddSAndreas Gohr- regex: 'MixrankBot'
1110*d5ef99ddSAndreas Gohr  name: 'Mixrank Bot'
1111*d5ef99ddSAndreas Gohr  category: 'Crawler'
1112*d5ef99ddSAndreas Gohr  url: 'http://mixrank.com'
1113*d5ef99ddSAndreas Gohr  producer:
1114*d5ef99ddSAndreas Gohr    name: 'Online Media Group, Inc.'
1115*d5ef99ddSAndreas Gohr    url: ''
1116*d5ef99ddSAndreas Gohr
1117*d5ef99ddSAndreas Gohr- regex: 'MJ12bot'
1118*d5ef99ddSAndreas Gohr  name: 'MJ12 Bot'
1119*d5ef99ddSAndreas Gohr  category: 'Search bot'
1120*d5ef99ddSAndreas Gohr  url: 'http://majestic12.co.uk/bot.php'
1121*d5ef99ddSAndreas Gohr  producer:
1122*d5ef99ddSAndreas Gohr    name: 'Majestic-12'
1123*d5ef99ddSAndreas Gohr    url: 'http://majestic12.co.uk'
1124*d5ef99ddSAndreas Gohr
1125*d5ef99ddSAndreas Gohr- regex: 'Mnogosearch'
1126*d5ef99ddSAndreas Gohr  name: 'Mnogosearch'
1127*d5ef99ddSAndreas Gohr  category: 'Search bot'
1128*d5ef99ddSAndreas Gohr  url: 'http://www.mnogosearch.org/'
1129*d5ef99ddSAndreas Gohr  producer:
1130*d5ef99ddSAndreas Gohr    name: 'Lavtech.Com Corp.'
1131*d5ef99ddSAndreas Gohr    url: ''
1132*d5ef99ddSAndreas Gohr- regex: 'MojeekBot'
1133*d5ef99ddSAndreas Gohr  name: 'MojeekBot'
1134*d5ef99ddSAndreas Gohr  category: 'Search bot'
1135*d5ef99ddSAndreas Gohr  url: 'http://www.mojeek.com/bot.html'
1136*d5ef99ddSAndreas Gohr  producer:
1137*d5ef99ddSAndreas Gohr    name: 'Mojeek Ltd.'
1138*d5ef99ddSAndreas Gohr    url: 'http://www.mojeek.com'
1139*d5ef99ddSAndreas Gohr
1140*d5ef99ddSAndreas Gohr- regex: 'munin'
1141*d5ef99ddSAndreas Gohr  name: 'Munin'
1142*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1143*d5ef99ddSAndreas Gohr  url: 'http://munin-monitoring.org/'
1144*d5ef99ddSAndreas Gohr  producer:
1145*d5ef99ddSAndreas Gohr    name: 'Munin'
1146*d5ef99ddSAndreas Gohr    url: 'http://munin-monitoring.org/'
1147*d5ef99ddSAndreas Gohr
1148*d5ef99ddSAndreas Gohr- regex: 'NalezenCzBot'
1149*d5ef99ddSAndreas Gohr  name: 'NalezenCzBot'
1150*d5ef99ddSAndreas Gohr  category: 'Crawler'
1151*d5ef99ddSAndreas Gohr  url: 'http://www.nalezen.cz/about-crawler'
1152*d5ef99ddSAndreas Gohr  producer:
1153*d5ef99ddSAndreas Gohr    name: 'Jaroslav Kuboš'
1154*d5ef99ddSAndreas Gohr    url: ''
1155*d5ef99ddSAndreas Gohr
1156*d5ef99ddSAndreas Gohr- regex: 'check_http/v'
1157*d5ef99ddSAndreas Gohr  name: 'Nagios check_http'
1158*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1159*d5ef99ddSAndreas Gohr  url: 'https://nagios.org'
1160*d5ef99ddSAndreas Gohr  producer:
1161*d5ef99ddSAndreas Gohr    name: 'Nagios Plugins Development Team'
1162*d5ef99ddSAndreas Gohr    url: 'https://nagios.org'
1163*d5ef99ddSAndreas Gohr
1164*d5ef99ddSAndreas Gohr- regex: 'nbertaupete95\(at\)gmail\.com'
1165*d5ef99ddSAndreas Gohr  name: 'nbertaupete95'
1166*d5ef99ddSAndreas Gohr  category: 'Crawler'
1167*d5ef99ddSAndreas Gohr
1168*d5ef99ddSAndreas Gohr- regex: 'Netcraft(?: Web Server Survey| SSL Server Survey|SurveyAgent)'
1169*d5ef99ddSAndreas Gohr  name: 'Netcraft Survey Bot'
1170*d5ef99ddSAndreas Gohr  category: 'Search bot'
1171*d5ef99ddSAndreas Gohr  url: ''
1172*d5ef99ddSAndreas Gohr  producer:
1173*d5ef99ddSAndreas Gohr    name: 'Netcraft'
1174*d5ef99ddSAndreas Gohr    url: 'http://www.netcraft.com'
1175*d5ef99ddSAndreas Gohr
1176*d5ef99ddSAndreas Gohr- regex: 'netEstate NE Crawler'
1177*d5ef99ddSAndreas Gohr  name: 'netEstate'
1178*d5ef99ddSAndreas Gohr  category: 'Crawler'
1179*d5ef99ddSAndreas Gohr  url: 'http://www.website-datenbank.de/Impressum'
1180*d5ef99ddSAndreas Gohr  producer:
1181*d5ef99ddSAndreas Gohr    name: 'netEstate GmbH'
1182*d5ef99ddSAndreas Gohr    url: 'https://www.netestate.de/en/'
1183*d5ef99ddSAndreas Gohr
1184*d5ef99ddSAndreas Gohr- regex: 'Netvibes'
1185*d5ef99ddSAndreas Gohr  name: 'Netvibes'
1186*d5ef99ddSAndreas Gohr  url: 'http://www.netvibes.com/'
1187*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1188*d5ef99ddSAndreas Gohr  producer:
1189*d5ef99ddSAndreas Gohr    name: ''
1190*d5ef99ddSAndreas Gohr    url: ''
1191*d5ef99ddSAndreas Gohr
1192*d5ef99ddSAndreas Gohr- regex: 'NewsBlur .*(?:Fetcher|Finder)'
1193*d5ef99ddSAndreas Gohr  name: 'NewsBlur'
1194*d5ef99ddSAndreas Gohr  url: 'http://www.newsblur.com'
1195*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1196*d5ef99ddSAndreas Gohr  producer:
1197*d5ef99ddSAndreas Gohr    name: ''
1198*d5ef99ddSAndreas Gohr    url: ''
1199*d5ef99ddSAndreas Gohr
1200*d5ef99ddSAndreas Gohr- regex: 'NewsGatorOnline'
1201*d5ef99ddSAndreas Gohr  name: 'NewsGator'
1202*d5ef99ddSAndreas Gohr  url: 'http://www.newsgator.com'
1203*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1204*d5ef99ddSAndreas Gohr  producer:
1205*d5ef99ddSAndreas Gohr    name: ''
1206*d5ef99ddSAndreas Gohr    url: ''
1207*d5ef99ddSAndreas Gohr
1208*d5ef99ddSAndreas Gohr- regex: 'nlcrawler'
1209*d5ef99ddSAndreas Gohr  name: 'NLCrawler'
1210*d5ef99ddSAndreas Gohr  category: 'Crawler'
1211*d5ef99ddSAndreas Gohr  url: ''
1212*d5ef99ddSAndreas Gohr  producer:
1213*d5ef99ddSAndreas Gohr    name: 'Northern Light'
1214*d5ef99ddSAndreas Gohr    url: 'http://northernlight.com'
1215*d5ef99ddSAndreas Gohr
1216*d5ef99ddSAndreas Gohr- regex: 'Nmap Scripting Engine'
1217*d5ef99ddSAndreas Gohr  name: 'Nmap'
1218*d5ef99ddSAndreas Gohr  category: 'Security Checker'
1219*d5ef99ddSAndreas Gohr  url: 'https://nmap.org/book/nse.html'
1220*d5ef99ddSAndreas Gohr  producer:
1221*d5ef99ddSAndreas Gohr    name: 'Nmap'
1222*d5ef99ddSAndreas Gohr    url: 'https://nmap.org/'
1223*d5ef99ddSAndreas Gohr
1224*d5ef99ddSAndreas Gohr- regex: 'Nuzzel'
1225*d5ef99ddSAndreas Gohr  name: 'Nuzzel'
1226*d5ef99ddSAndreas Gohr  category: 'Crawler'
1227*d5ef99ddSAndreas Gohr  producer:
1228*d5ef99ddSAndreas Gohr    name: 'Nuzzel'
1229*d5ef99ddSAndreas Gohr    url: 'https://www.nuzzel.com/'
1230*d5ef99ddSAndreas Gohr
1231*d5ef99ddSAndreas Gohr- regex: 'NodePing'
1232*d5ef99ddSAndreas Gohr  name: 'NodePing'
1233*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1234*d5ef99ddSAndreas Gohr  url: 'https://nodeping.com'
1235*d5ef99ddSAndreas Gohr  producer:
1236*d5ef99ddSAndreas Gohr    name: 'NodePing'
1237*d5ef99ddSAndreas Gohr    url: 'https://nodeping.com'
1238*d5ef99ddSAndreas Gohr
1239*d5ef99ddSAndreas Gohr- regex: 'Octopus [\d.]+'
1240*d5ef99ddSAndreas Gohr  name: 'Octopus'
1241*d5ef99ddSAndreas Gohr
1242*d5ef99ddSAndreas Gohr- regex: 'OnlineOrNot\.com_bot'
1243*d5ef99ddSAndreas Gohr  name: 'OnlineOrNot Bot'
1244*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1245*d5ef99ddSAndreas Gohr  url: 'https://onlineornot.com/website-monitoring'
1246*d5ef99ddSAndreas Gohr  producer:
1247*d5ef99ddSAndreas Gohr    name: 'OnlineOrNot'
1248*d5ef99ddSAndreas Gohr    url: 'https://onlineornot.com'
1249*d5ef99ddSAndreas Gohr
1250*d5ef99ddSAndreas Gohr- regex: 'omgili'
1251*d5ef99ddSAndreas Gohr  name: 'Omgili bot'
1252*d5ef99ddSAndreas Gohr  category: 'Search bot'
1253*d5ef99ddSAndreas Gohr  url: 'http://www.omgili.com/Crawler.html'
1254*d5ef99ddSAndreas Gohr  producer:
1255*d5ef99ddSAndreas Gohr    name: 'Omgili'
1256*d5ef99ddSAndreas Gohr    url: 'http://www.omgili.com'
1257*d5ef99ddSAndreas Gohr
1258*d5ef99ddSAndreas Gohr- regex: 'OpenindexSpider'
1259*d5ef99ddSAndreas Gohr  name: 'Openindex Spider'
1260*d5ef99ddSAndreas Gohr  category: 'Search bot'
1261*d5ef99ddSAndreas Gohr  url: 'http://www.openindex.io/en/webmasters/spider.html'
1262*d5ef99ddSAndreas Gohr  producer:
1263*d5ef99ddSAndreas Gohr    name: 'Openindex B.V.'
1264*d5ef99ddSAndreas Gohr    url: 'http://www.openindex.io'
1265*d5ef99ddSAndreas Gohr
1266*d5ef99ddSAndreas Gohr- regex: 'spbot'
1267*d5ef99ddSAndreas Gohr  name: 'OpenLinkProfiler'
1268*d5ef99ddSAndreas Gohr  category: 'Crawler'
1269*d5ef99ddSAndreas Gohr  url: 'http://openlinkprofiler.org/bot'
1270*d5ef99ddSAndreas Gohr  producer:
1271*d5ef99ddSAndreas Gohr    name: 'Axandra GmbH'
1272*d5ef99ddSAndreas Gohr    url: 'http://www.axandra.com'
1273*d5ef99ddSAndreas Gohr
1274*d5ef99ddSAndreas Gohr- regex: 'OpenWebSpider'
1275*d5ef99ddSAndreas Gohr  name: 'OpenWebSpider'
1276*d5ef99ddSAndreas Gohr  category: 'Crawler'
1277*d5ef99ddSAndreas Gohr  url: 'http://www.openwebspider.org'
1278*d5ef99ddSAndreas Gohr  producer:
1279*d5ef99ddSAndreas Gohr    name: 'OpenWebSpider Lab'
1280*d5ef99ddSAndreas Gohr    url: 'http://lab.openwebspider.org'
1281*d5ef99ddSAndreas Gohr
1282*d5ef99ddSAndreas Gohr- regex: 'OrangeBot|VoilaBot'
1283*d5ef99ddSAndreas Gohr  name: 'Orange Bot'
1284*d5ef99ddSAndreas Gohr  category: 'Search bot'
1285*d5ef99ddSAndreas Gohr  url: 'http://lemoteur.orange.fr'
1286*d5ef99ddSAndreas Gohr  producer:
1287*d5ef99ddSAndreas Gohr    name: 'Orange'
1288*d5ef99ddSAndreas Gohr    url: 'http://www.orange.fr'
1289*d5ef99ddSAndreas Gohr
1290*d5ef99ddSAndreas Gohr- regex: 'PaperLiBot'
1291*d5ef99ddSAndreas Gohr  name: 'PaperLiBot'
1292*d5ef99ddSAndreas Gohr  category: 'Search bot'
1293*d5ef99ddSAndreas Gohr  url: 'http://support.paper.li/entries/20023257-what-is-paper-li'
1294*d5ef99ddSAndreas Gohr  producer:
1295*d5ef99ddSAndreas Gohr    name: 'Smallrivers SA'
1296*d5ef99ddSAndreas Gohr    url: 'http://www.paper.li'
1297*d5ef99ddSAndreas Gohr
1298*d5ef99ddSAndreas Gohr- regex: 'phantomas/'
1299*d5ef99ddSAndreas Gohr  name: 'Phantomas'
1300*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1301*d5ef99ddSAndreas Gohr  url: 'https://github.com/macbre/phantomas'
1302*d5ef99ddSAndreas Gohr
1303*d5ef99ddSAndreas Gohr- regex: 'phpservermon'
1304*d5ef99ddSAndreas Gohr  name: 'PHP Server Monitor'
1305*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1306*d5ef99ddSAndreas Gohr  url: 'https://github.com/phpservermon/phpservermon'
1307*d5ef99ddSAndreas Gohr  producer:
1308*d5ef99ddSAndreas Gohr    name: 'PHP Server Monitor'
1309*d5ef99ddSAndreas Gohr    url: 'http://www.phpservermonitor.org/'
1310*d5ef99ddSAndreas Gohr
1311*d5ef99ddSAndreas Gohr- regex: 'Pocket(?:ImageCache|Parser)'
1312*d5ef99ddSAndreas Gohr  name: 'Pocket'
1313*d5ef99ddSAndreas Gohr  category: 'Read-it-later Service'
1314*d5ef99ddSAndreas Gohr  url: 'https://getpocket.com/pocketparser_ua'
1315*d5ef99ddSAndreas Gohr  producer:
1316*d5ef99ddSAndreas Gohr    name: 'Read It Later, Inc.'
1317*d5ef99ddSAndreas Gohr    url: 'https://getpocket.com/'
1318*d5ef99ddSAndreas Gohr
1319*d5ef99ddSAndreas Gohr- regex: 'PritTorrent'
1320*d5ef99ddSAndreas Gohr  name: 'PritTorrent'
1321*d5ef99ddSAndreas Gohr  category: 'Crawler'
1322*d5ef99ddSAndreas Gohr  url: 'https://github.com/astro/prittorrent'
1323*d5ef99ddSAndreas Gohr  producer:
1324*d5ef99ddSAndreas Gohr    name: 'Bitlove'
1325*d5ef99ddSAndreas Gohr    url: 'http://bitlove.org/'
1326*d5ef99ddSAndreas Gohr
1327*d5ef99ddSAndreas Gohr- regex: 'PRTG Network Monitor'
1328*d5ef99ddSAndreas Gohr  name: 'PRTG Network Monitor'
1329*d5ef99ddSAndreas Gohr  category: 'Network Monitor'
1330*d5ef99ddSAndreas Gohr  url: 'https://www.paessler.com/prtg'
1331*d5ef99ddSAndreas Gohr  producer:
1332*d5ef99ddSAndreas Gohr    name: 'Paessler AG'
1333*d5ef99ddSAndreas Gohr    url: 'https://www.paessler.com'
1334*d5ef99ddSAndreas Gohr
1335*d5ef99ddSAndreas Gohr- regex: 'psbot'
1336*d5ef99ddSAndreas Gohr  name: 'Picsearch bot'
1337*d5ef99ddSAndreas Gohr  category: 'Search bot'
1338*d5ef99ddSAndreas Gohr  url: 'http://www.picsearch.com/bot.html'
1339*d5ef99ddSAndreas Gohr  producer:
1340*d5ef99ddSAndreas Gohr    name: 'Picsearch'
1341*d5ef99ddSAndreas Gohr    url: 'http://www.picsearch.com'
1342*d5ef99ddSAndreas Gohr
1343*d5ef99ddSAndreas Gohr- regex: 'Pingdom(?:\.com|TMS)'
1344*d5ef99ddSAndreas Gohr  name: 'Pingdom Bot'
1345*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1346*d5ef99ddSAndreas Gohr  url: ''
1347*d5ef99ddSAndreas Gohr  producer:
1348*d5ef99ddSAndreas Gohr    name: 'Pingdom AB'
1349*d5ef99ddSAndreas Gohr    url: 'https://www.pingdom.com'
1350*d5ef99ddSAndreas Gohr
1351*d5ef99ddSAndreas Gohr- regex: 'Quora Link Preview'
1352*d5ef99ddSAndreas Gohr  name: 'Quora Link Preview'
1353*d5ef99ddSAndreas Gohr  category: 'Crawler'
1354*d5ef99ddSAndreas Gohr  url: ''
1355*d5ef99ddSAndreas Gohr  producer:
1356*d5ef99ddSAndreas Gohr    name: 'Quora'
1357*d5ef99ddSAndreas Gohr    url: 'http://www.quora.com'
1358*d5ef99ddSAndreas Gohr
1359*d5ef99ddSAndreas Gohr- regex: 'Quora-Bot'
1360*d5ef99ddSAndreas Gohr  name: 'Quora Bot'
1361*d5ef99ddSAndreas Gohr  category: 'Crawler'
1362*d5ef99ddSAndreas Gohr  url: ''
1363*d5ef99ddSAndreas Gohr  producer:
1364*d5ef99ddSAndreas Gohr    name: 'Quora'
1365*d5ef99ddSAndreas Gohr    url: 'https://www.quora.com/'
1366*d5ef99ddSAndreas Gohr
1367*d5ef99ddSAndreas Gohr- regex: 'RamblerMail'
1368*d5ef99ddSAndreas Gohr  name: 'RamblerMail Image Proxy'
1369*d5ef99ddSAndreas Gohr  category: 'Crawler'
1370*d5ef99ddSAndreas Gohr  url: ''
1371*d5ef99ddSAndreas Gohr  producer:
1372*d5ef99ddSAndreas Gohr    name: 'Rambler&Co'
1373*d5ef99ddSAndreas Gohr    url: 'https://rambler-co.ru/'
1374*d5ef99ddSAndreas Gohr
1375*d5ef99ddSAndreas Gohr- regex: 'QuerySeekerSpider'
1376*d5ef99ddSAndreas Gohr  name: 'QuerySeekerSpider'
1377*d5ef99ddSAndreas Gohr  category: 'Crawler'
1378*d5ef99ddSAndreas Gohr  url: 'http://queryseeker.com/bot.html'
1379*d5ef99ddSAndreas Gohr  producer:
1380*d5ef99ddSAndreas Gohr    name: 'QueryEye Inc.'
1381*d5ef99ddSAndreas Gohr    url: 'http://queryeye.com'
1382*d5ef99ddSAndreas Gohr
1383*d5ef99ddSAndreas Gohr- regex: 'Qwantify|Qwantbot'
1384*d5ef99ddSAndreas Gohr  name: 'Qwantbot'
1385*d5ef99ddSAndreas Gohr  category: 'Crawler'
1386*d5ef99ddSAndreas Gohr  url: 'https://help.qwant.com/bot/'
1387*d5ef99ddSAndreas Gohr  producer:
1388*d5ef99ddSAndreas Gohr    name: 'Qwant Corporation'
1389*d5ef99ddSAndreas Gohr    url: 'https://www.qwant.com/'
1390*d5ef99ddSAndreas Gohr
1391*d5ef99ddSAndreas Gohr- regex: 'Rainmeter'
1392*d5ef99ddSAndreas Gohr  name: 'Rainmeter'
1393*d5ef99ddSAndreas Gohr  category: 'Crawler'
1394*d5ef99ddSAndreas Gohr  url: 'https://www.rainmeter.net'
1395*d5ef99ddSAndreas Gohr
1396*d5ef99ddSAndreas Gohr- regex: 'redditbot'
1397*d5ef99ddSAndreas Gohr  name: 'Reddit Bot'
1398*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
1399*d5ef99ddSAndreas Gohr  url: 'http://www.reddit.com/feedback'
1400*d5ef99ddSAndreas Gohr  producer:
1401*d5ef99ddSAndreas Gohr    name: 'reddit inc.'
1402*d5ef99ddSAndreas Gohr    url: 'http://www.reddit.com'
1403*d5ef99ddSAndreas Gohr
1404*d5ef99ddSAndreas Gohr- regex: 'Riddler'
1405*d5ef99ddSAndreas Gohr  name: 'Riddler'
1406*d5ef99ddSAndreas Gohr  category: 'Security search bot'
1407*d5ef99ddSAndreas Gohr  url: 'https://riddler.io/about'
1408*d5ef99ddSAndreas Gohr  producer:
1409*d5ef99ddSAndreas Gohr    name: 'F-Secure'
1410*d5ef99ddSAndreas Gohr    url: 'https://www.f-secure.com'
1411*d5ef99ddSAndreas Gohr
1412*d5ef99ddSAndreas Gohr- regex: 'rogerbot'
1413*d5ef99ddSAndreas Gohr  name: 'Rogerbot'
1414*d5ef99ddSAndreas Gohr  category: 'Crawler'
1415*d5ef99ddSAndreas Gohr  url: 'http://moz.com/help/pro/what-is-rogerbot-'
1416*d5ef99ddSAndreas Gohr  producer:
1417*d5ef99ddSAndreas Gohr    name: 'SEOmoz, Inc.'
1418*d5ef99ddSAndreas Gohr    url: 'http://moz.com/'
1419*d5ef99ddSAndreas Gohr
1420*d5ef99ddSAndreas Gohr- regex: 'ROI Hunter'
1421*d5ef99ddSAndreas Gohr  name: 'ROI Hunter'
1422*d5ef99ddSAndreas Gohr  category: 'Crawler'
1423*d5ef99ddSAndreas Gohr  url: ''
1424*d5ef99ddSAndreas Gohr  producer:
1425*d5ef99ddSAndreas Gohr    name: 'Roihunter a.s.'
1426*d5ef99ddSAndreas Gohr    url: 'http://roihunter.com/'
1427*d5ef99ddSAndreas Gohr
1428*d5ef99ddSAndreas Gohr- regex: 'SafeDNSBot'
1429*d5ef99ddSAndreas Gohr  name: 'SafeDNSBot'
1430*d5ef99ddSAndreas Gohr  category: 'Crawler'
1431*d5ef99ddSAndreas Gohr  url: 'https://www.safedns.com/searchbot'
1432*d5ef99ddSAndreas Gohr  producer:
1433*d5ef99ddSAndreas Gohr    name: 'SafeDNS, Inc.'
1434*d5ef99ddSAndreas Gohr    url: 'https://www.safedns.com/'
1435*d5ef99ddSAndreas Gohr
1436*d5ef99ddSAndreas Gohr- regex: 'Scrapy'
1437*d5ef99ddSAndreas Gohr  name: 'Scrapy'
1438*d5ef99ddSAndreas Gohr  category: 'Crawler'
1439*d5ef99ddSAndreas Gohr  url: 'http://scrapy.org'
1440*d5ef99ddSAndreas Gohr
1441*d5ef99ddSAndreas Gohr- regex: 'Screaming Frog SEO Spider'
1442*d5ef99ddSAndreas Gohr  name: 'Screaming Frog SEO Spider'
1443*d5ef99ddSAndreas Gohr  category: 'Crawler'
1444*d5ef99ddSAndreas Gohr  url: 'http://www.screamingfrog.co.uk/seo-spider'
1445*d5ef99ddSAndreas Gohr  producer:
1446*d5ef99ddSAndreas Gohr    name: 'Screaming Frog Ltd'
1447*d5ef99ddSAndreas Gohr    url: 'http://www.screamingfrog.co.uk'
1448*d5ef99ddSAndreas Gohr
1449*d5ef99ddSAndreas Gohr- regex: 'ScreenerBot'
1450*d5ef99ddSAndreas Gohr  name: 'ScreenerBot'
1451*d5ef99ddSAndreas Gohr  category: 'Crawler'
1452*d5ef99ddSAndreas Gohr  url: 'http://www.screenerbot.com'
1453*d5ef99ddSAndreas Gohr  producer:
1454*d5ef99ddSAndreas Gohr    name: ''
1455*d5ef99ddSAndreas Gohr    url: ''
1456*d5ef99ddSAndreas Gohr
1457*d5ef99ddSAndreas Gohr- regex: 'SemrushBot'
1458*d5ef99ddSAndreas Gohr  name: 'SemrushBot'
1459*d5ef99ddSAndreas Gohr  category: 'Crawler'
1460*d5ef99ddSAndreas Gohr  url: 'https://www.semrush.com/bot/'
1461*d5ef99ddSAndreas Gohr  producer:
1462*d5ef99ddSAndreas Gohr    name: 'Semrush Inc.'
1463*d5ef99ddSAndreas Gohr    url: 'https://www.semrush.com/'
1464*d5ef99ddSAndreas Gohr
1465*d5ef99ddSAndreas Gohr- regex: 'BacklinksExtendedBot'
1466*d5ef99ddSAndreas Gohr  name: 'BacklinksExtendedBot'
1467*d5ef99ddSAndreas Gohr  category: 'Crawler'
1468*d5ef99ddSAndreas Gohr  url: 'https://www.semrush.com/bot/'
1469*d5ef99ddSAndreas Gohr  producer:
1470*d5ef99ddSAndreas Gohr    name: 'Semrush Inc.'
1471*d5ef99ddSAndreas Gohr    url: 'https://www.semrush.com/'
1472*d5ef99ddSAndreas Gohr
1473*d5ef99ddSAndreas Gohr- regex: 'SerpReputationManagementAgent'
1474*d5ef99ddSAndreas Gohr  name: 'Semrush Reputation Management'
1475*d5ef99ddSAndreas Gohr  category: 'Service Agent'
1476*d5ef99ddSAndreas Gohr  url: 'https://www.semrush.com/bot/'
1477*d5ef99ddSAndreas Gohr  producer:
1478*d5ef99ddSAndreas Gohr    name: 'Semrush Inc.'
1479*d5ef99ddSAndreas Gohr    url: 'https://www.semrush.com/'
1480*d5ef99ddSAndreas Gohr
1481*d5ef99ddSAndreas Gohr- regex: 'SplitSignalBot'
1482*d5ef99ddSAndreas Gohr  name: 'SplitSignalBot'
1483*d5ef99ddSAndreas Gohr  category: 'Crawler'
1484*d5ef99ddSAndreas Gohr  url: 'https://www.semrush.com/bot/'
1485*d5ef99ddSAndreas Gohr  producer:
1486*d5ef99ddSAndreas Gohr    name: 'Semrush Inc.'
1487*d5ef99ddSAndreas Gohr    url: 'https://www.semrush.com/'
1488*d5ef99ddSAndreas Gohr
1489*d5ef99ddSAndreas Gohr- regex: 'SiteAuditBot'
1490*d5ef99ddSAndreas Gohr  name: 'SiteAuditBot'
1491*d5ef99ddSAndreas Gohr  category: 'Crawler'
1492*d5ef99ddSAndreas Gohr  url: 'https://www.semrush.com/bot/'
1493*d5ef99ddSAndreas Gohr  producer:
1494*d5ef99ddSAndreas Gohr    name: 'Semrush Inc.'
1495*d5ef99ddSAndreas Gohr    url: 'https://www.semrush.com/'
1496*d5ef99ddSAndreas Gohr
1497*d5ef99ddSAndreas Gohr- regex: 'SensikaBot'
1498*d5ef99ddSAndreas Gohr  name: 'Sensika Bot'
1499*d5ef99ddSAndreas Gohr  category: ''
1500*d5ef99ddSAndreas Gohr  url: ''
1501*d5ef99ddSAndreas Gohr  producer:
1502*d5ef99ddSAndreas Gohr    name: 'Sensika'
1503*d5ef99ddSAndreas Gohr    url: 'http://sensika.com'
1504*d5ef99ddSAndreas Gohr
1505*d5ef99ddSAndreas Gohr- regex: 'SEOENG(?:World)?Bot'
1506*d5ef99ddSAndreas Gohr  name: 'SEOENGBot'
1507*d5ef99ddSAndreas Gohr  category: 'Crawler'
1508*d5ef99ddSAndreas Gohr  url: 'http://www.seoengine.com/seoengbot.htm'
1509*d5ef99ddSAndreas Gohr  producer:
1510*d5ef99ddSAndreas Gohr    name: 'SEO Engine'
1511*d5ef99ddSAndreas Gohr    url: 'http://www.seoengine.com'
1512*d5ef99ddSAndreas Gohr
1513*d5ef99ddSAndreas Gohr- regex: 'seoscanners\.net'
1514*d5ef99ddSAndreas Gohr  name: 'Seoscanners.net'
1515*d5ef99ddSAndreas Gohr  category: 'Crawler'
1516*d5ef99ddSAndreas Gohr  url: ''
1517*d5ef99ddSAndreas Gohr
1518*d5ef99ddSAndreas Gohr- regex: 'SkypeUriPreview'
1519*d5ef99ddSAndreas Gohr  name: 'Skype URI Preview'
1520*d5ef99ddSAndreas Gohr  category: 'Service Agent'
1521*d5ef99ddSAndreas Gohr  url: ''
1522*d5ef99ddSAndreas Gohr  producer:
1523*d5ef99ddSAndreas Gohr    name: 'Skype Communications S.à.r.l.'
1524*d5ef99ddSAndreas Gohr    url: 'https://www.skype.com'
1525*d5ef99ddSAndreas Gohr
1526*d5ef99ddSAndreas Gohr- regex: 'SeznamBot|SklikBot|Seznam screenshot-generator'
1527*d5ef99ddSAndreas Gohr  name: 'Seznam Bot'
1528*d5ef99ddSAndreas Gohr  category: 'Search bot'
1529*d5ef99ddSAndreas Gohr  url: 'http://www.mapy.cz/cz/seznambot.html'
1530*d5ef99ddSAndreas Gohr  producer:
1531*d5ef99ddSAndreas Gohr    name: 'Seznam.cz, a.s.'
1532*d5ef99ddSAndreas Gohr    url: 'http://www.seznam.cz/'
1533*d5ef99ddSAndreas Gohr
1534*d5ef99ddSAndreas Gohr- regex: 'shopify-partner-homepage-scraper'
1535*d5ef99ddSAndreas Gohr  name: 'Shopify Partner'
1536*d5ef99ddSAndreas Gohr  category: 'Crawler'
1537*d5ef99ddSAndreas Gohr  url: 'https://www.shopify.com/partners'
1538*d5ef99ddSAndreas Gohr  producer:
1539*d5ef99ddSAndreas Gohr    name: 'Shopify'
1540*d5ef99ddSAndreas Gohr    url: 'https://www.shopify.com/'
1541*d5ef99ddSAndreas Gohr
1542*d5ef99ddSAndreas Gohr- regex: 'ShopWiki'
1543*d5ef99ddSAndreas Gohr  name: 'ShopWiki'
1544*d5ef99ddSAndreas Gohr  category: 'Search tools'
1545*d5ef99ddSAndreas Gohr  url: 'http://www.shopwiki.com/wiki/Help:Bot'
1546*d5ef99ddSAndreas Gohr  producer:
1547*d5ef99ddSAndreas Gohr    name: 'ShopWiki Corp.'
1548*d5ef99ddSAndreas Gohr    url: 'http://www.shopwiki.com'
1549*d5ef99ddSAndreas Gohr
1550*d5ef99ddSAndreas Gohr- regex: 'SilverReader'
1551*d5ef99ddSAndreas Gohr  name: 'SilverReader'
1552*d5ef99ddSAndreas Gohr  url: 'http://silverreader.com'
1553*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1554*d5ef99ddSAndreas Gohr  producer:
1555*d5ef99ddSAndreas Gohr    name: ''
1556*d5ef99ddSAndreas Gohr    url: ''
1557*d5ef99ddSAndreas Gohr
1558*d5ef99ddSAndreas Gohr- regex: 'SimplePie'
1559*d5ef99ddSAndreas Gohr  name: 'SimplePie'
1560*d5ef99ddSAndreas Gohr  url: 'http://www.simplepie.org'
1561*d5ef99ddSAndreas Gohr  category: 'Feed Parser'
1562*d5ef99ddSAndreas Gohr  producer:
1563*d5ef99ddSAndreas Gohr    name: ''
1564*d5ef99ddSAndreas Gohr    url: ''
1565*d5ef99ddSAndreas Gohr
1566*d5ef99ddSAndreas Gohr- regex: 'SISTRIX Crawler'
1567*d5ef99ddSAndreas Gohr  name: 'SISTRIX Crawler'
1568*d5ef99ddSAndreas Gohr  category: 'Crawler'
1569*d5ef99ddSAndreas Gohr  url: 'http://crawler.sistrix.net'
1570*d5ef99ddSAndreas Gohr  producer:
1571*d5ef99ddSAndreas Gohr    name: 'SISTRIX GmbH'
1572*d5ef99ddSAndreas Gohr    url: 'http://www.sistrix.de'
1573*d5ef99ddSAndreas Gohr
1574*d5ef99ddSAndreas Gohr- regex: 'compatible; (?:SISTRIX )?Optimizer'
1575*d5ef99ddSAndreas Gohr  name: 'SISTRIX Optimizer'
1576*d5ef99ddSAndreas Gohr  category: 'Crawler'
1577*d5ef99ddSAndreas Gohr  url: 'https://optimizer.sistrix.com'
1578*d5ef99ddSAndreas Gohr  producer:
1579*d5ef99ddSAndreas Gohr    name: 'SISTRIX GmbH'
1580*d5ef99ddSAndreas Gohr    url: 'http://www.sistrix.de'
1581*d5ef99ddSAndreas Gohr
1582*d5ef99ddSAndreas Gohr- regex: 'SiteSucker'
1583*d5ef99ddSAndreas Gohr  name: 'SiteSucker'
1584*d5ef99ddSAndreas Gohr  category: 'Crawler'
1585*d5ef99ddSAndreas Gohr  url: 'http://ricks-apps.com/osx/sitesucker/'
1586*d5ef99ddSAndreas Gohr
1587*d5ef99ddSAndreas Gohr- regex: 'sixy\.ch'
1588*d5ef99ddSAndreas Gohr  name: 'Sixy.ch'
1589*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1590*d5ef99ddSAndreas Gohr  url: 'http://sixy.ch'
1591*d5ef99ddSAndreas Gohr  producer:
1592*d5ef99ddSAndreas Gohr    name: 'Manuel Kasper'
1593*d5ef99ddSAndreas Gohr    url: 'https://neon1.net/'
1594*d5ef99ddSAndreas Gohr
1595*d5ef99ddSAndreas Gohr- regex: 'Slackbot|Slack-ImgProxy'
1596*d5ef99ddSAndreas Gohr  name: 'Slackbot'
1597*d5ef99ddSAndreas Gohr  category: 'Crawler'
1598*d5ef99ddSAndreas Gohr  url: 'https://api.slack.com/robots'
1599*d5ef99ddSAndreas Gohr  producer:
1600*d5ef99ddSAndreas Gohr    name: 'Slack Technologies'
1601*d5ef99ddSAndreas Gohr    url: 'http://slack.com'
1602*d5ef99ddSAndreas Gohr
1603*d5ef99ddSAndreas Gohr- regex: 'Sogou[ -](?:head|inst|Orion|Pic|Test|web)[ -]spider|New-Sogou-Spider'
1604*d5ef99ddSAndreas Gohr  name: 'Sogou Spider'
1605*d5ef99ddSAndreas Gohr  category: 'Search bot'
1606*d5ef99ddSAndreas Gohr  url: 'http://www.sogou.com/docs/help/webmasters.htm'
1607*d5ef99ddSAndreas Gohr  producer:
1608*d5ef99ddSAndreas Gohr    name: 'Sohu, Inc.'
1609*d5ef99ddSAndreas Gohr    url: 'http://www.sogou.com'
1610*d5ef99ddSAndreas Gohr
1611*d5ef99ddSAndreas Gohr- regex: 'Sosospider|Sosoimagespider'
1612*d5ef99ddSAndreas Gohr  name: 'Soso Spider'
1613*d5ef99ddSAndreas Gohr  category: 'Search bot'
1614*d5ef99ddSAndreas Gohr  url: 'http://help.soso.com/webspider.htm'
1615*d5ef99ddSAndreas Gohr  producer:
1616*d5ef99ddSAndreas Gohr    name: 'Tencent Holdings'
1617*d5ef99ddSAndreas Gohr    url: 'http://www.soso.com'
1618*d5ef99ddSAndreas Gohr
1619*d5ef99ddSAndreas Gohr- regex: 'Sprinklr'
1620*d5ef99ddSAndreas Gohr  name: 'Sprinklr'
1621*d5ef99ddSAndreas Gohr  category: 'Crawler'
1622*d5ef99ddSAndreas Gohr  url: ''
1623*d5ef99ddSAndreas Gohr  producer:
1624*d5ef99ddSAndreas Gohr    name: 'Sprinklr, Inc.'
1625*d5ef99ddSAndreas Gohr    url: 'https://www.sprinklr.com/'
1626*d5ef99ddSAndreas Gohr
1627*d5ef99ddSAndreas Gohr- regex: 'SSL Labs'
1628*d5ef99ddSAndreas Gohr  name: 'SSL Labs'
1629*d5ef99ddSAndreas Gohr  category: 'Validator'
1630*d5ef99ddSAndreas Gohr  url: 'https://www.ssllabs.com/about/assessment.html'
1631*d5ef99ddSAndreas Gohr  producer:
1632*d5ef99ddSAndreas Gohr    name: 'SSL Labs'
1633*d5ef99ddSAndreas Gohr    url: 'https://www.ssllabs.com/about/assessment.html'
1634*d5ef99ddSAndreas Gohr
1635*d5ef99ddSAndreas Gohr- regex: 'StatusCake'
1636*d5ef99ddSAndreas Gohr  name: 'StatusCake'
1637*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1638*d5ef99ddSAndreas Gohr  url: 'https://www.statuscake.com'
1639*d5ef99ddSAndreas Gohr  producer:
1640*d5ef99ddSAndreas Gohr    name: 'StatusCake'
1641*d5ef99ddSAndreas Gohr    url: 'https://www.statuscake.com'
1642*d5ef99ddSAndreas Gohr
1643*d5ef99ddSAndreas Gohr- regex: 'Superfeedr bot'
1644*d5ef99ddSAndreas Gohr  name: 'Superfeedr Bot'
1645*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1646*d5ef99ddSAndreas Gohr  url: ''
1647*d5ef99ddSAndreas Gohr  producer:
1648*d5ef99ddSAndreas Gohr    name: 'Superfeedr'
1649*d5ef99ddSAndreas Gohr    url: 'https://superfeedr.com/'
1650*d5ef99ddSAndreas Gohr
1651*d5ef99ddSAndreas Gohr- regex: 'Sparkler'
1652*d5ef99ddSAndreas Gohr  name: 'Sparkler'
1653*d5ef99ddSAndreas Gohr  category: 'Crawler'
1654*d5ef99ddSAndreas Gohr  url: 'https://github.com/USCDataScience/sparkler'
1655*d5ef99ddSAndreas Gohr
1656*d5ef99ddSAndreas Gohr- regex: 'Spinn3r'
1657*d5ef99ddSAndreas Gohr  name: 'Spinn3r'
1658*d5ef99ddSAndreas Gohr  category: 'Crawler'
1659*d5ef99ddSAndreas Gohr  url: 'http://spinn3r.com/robot'
1660*d5ef99ddSAndreas Gohr  producer:
1661*d5ef99ddSAndreas Gohr    name: 'Tailrank Inc'
1662*d5ef99ddSAndreas Gohr    url: 'http://spinn3r.com'
1663*d5ef99ddSAndreas Gohr
1664*d5ef99ddSAndreas Gohr- regex: 'SputnikBot'
1665*d5ef99ddSAndreas Gohr  name: 'Sputnik Bot'
1666*d5ef99ddSAndreas Gohr  category: 'Crawler'
1667*d5ef99ddSAndreas Gohr  url: ''
1668*d5ef99ddSAndreas Gohr
1669*d5ef99ddSAndreas Gohr- regex: 'SputnikFaviconBot'
1670*d5ef99ddSAndreas Gohr  name: 'Sputnik Favicon Bot'
1671*d5ef99ddSAndreas Gohr  category: 'Crawler'
1672*d5ef99ddSAndreas Gohr  url: ''
1673*d5ef99ddSAndreas Gohr
1674*d5ef99ddSAndreas Gohr- regex: 'SputnikImageBot'
1675*d5ef99ddSAndreas Gohr  name: 'Sputnik Image Bot'
1676*d5ef99ddSAndreas Gohr  category: 'Crawler'
1677*d5ef99ddSAndreas Gohr  url: ''
1678*d5ef99ddSAndreas Gohr
1679*d5ef99ddSAndreas Gohr- regex: 'SurveyBot'
1680*d5ef99ddSAndreas Gohr  name: 'Survey Bot'
1681*d5ef99ddSAndreas Gohr  category: 'Search bot'
1682*d5ef99ddSAndreas Gohr  url: 'http://www.domaintools.com/webmasters/surveybot.php'
1683*d5ef99ddSAndreas Gohr  producer:
1684*d5ef99ddSAndreas Gohr    name: 'Domain Tools'
1685*d5ef99ddSAndreas Gohr    url: 'http://www.domaintools.com'
1686*d5ef99ddSAndreas Gohr
1687*d5ef99ddSAndreas Gohr- regex: 'TarmotGezgin'
1688*d5ef99ddSAndreas Gohr  name: 'Tarmot Gezgin'
1689*d5ef99ddSAndreas Gohr  url: 'http://www.tarmot.com/gezgin/'
1690*d5ef99ddSAndreas Gohr  category: 'Search bot'
1691*d5ef99ddSAndreas Gohr
1692*d5ef99ddSAndreas Gohr- regex: 'TelegramBot'
1693*d5ef99ddSAndreas Gohr  name: 'TelegramBot'
1694*d5ef99ddSAndreas Gohr  url: 'https://telegram.org/blog/bot-revolution'
1695*d5ef99ddSAndreas Gohr
1696*d5ef99ddSAndreas Gohr- regex: 'TLSProbe'
1697*d5ef99ddSAndreas Gohr  name: 'TLSProbe'
1698*d5ef99ddSAndreas Gohr  url: 'https://scan.trustnet.venafi.com/'
1699*d5ef99ddSAndreas Gohr  category: 'Security search bot'
1700*d5ef99ddSAndreas Gohr  producer:
1701*d5ef99ddSAndreas Gohr    name: 'Venafi TrustNet'
1702*d5ef99ddSAndreas Gohr    url: 'https://www.venafi.com'
1703*d5ef99ddSAndreas Gohr
1704*d5ef99ddSAndreas Gohr- regex: 'TinEye-bot'
1705*d5ef99ddSAndreas Gohr  name: 'TinEye Crawler'
1706*d5ef99ddSAndreas Gohr  category: 'Search bot'
1707*d5ef99ddSAndreas Gohr  url: 'http://www.tineye.com/crawler.html'
1708*d5ef99ddSAndreas Gohr  producer:
1709*d5ef99ddSAndreas Gohr    name: 'Idée Inc.'
1710*d5ef99ddSAndreas Gohr    url: 'http://ideeinc.com'
1711*d5ef99ddSAndreas Gohr
1712*d5ef99ddSAndreas Gohr- regex: 'Tiny Tiny RSS'
1713*d5ef99ddSAndreas Gohr  name: 'Tiny Tiny RSS'
1714*d5ef99ddSAndreas Gohr  url: 'http://tt-rss.org'
1715*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1716*d5ef99ddSAndreas Gohr  producer:
1717*d5ef99ddSAndreas Gohr    name: ''
1718*d5ef99ddSAndreas Gohr    url: ''
1719*d5ef99ddSAndreas Gohr
1720*d5ef99ddSAndreas Gohr- regex: 'theoldreader\.com'
1721*d5ef99ddSAndreas Gohr  name: 'theoldreader'
1722*d5ef99ddSAndreas Gohr  category: 'Feed Reader'
1723*d5ef99ddSAndreas Gohr  url: 'https://theoldreader.com'
1724*d5ef99ddSAndreas Gohr
1725*d5ef99ddSAndreas Gohr- regex: 'Trackable/0\.1'
1726*d5ef99ddSAndreas Gohr  name: 'Chartable'
1727*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1728*d5ef99ddSAndreas Gohr  url: 'https://help.chartable.com/article/34-what-is-the-trackable-analytics-prefix'
1729*d5ef99ddSAndreas Gohr  producer:
1730*d5ef99ddSAndreas Gohr    name: 'Chartable'
1731*d5ef99ddSAndreas Gohr    url: 'https://chartable.com'
1732*d5ef99ddSAndreas Gohr
1733*d5ef99ddSAndreas Gohr- regex: 'trendictionbot'
1734*d5ef99ddSAndreas Gohr  name: 'Trendiction Bot'
1735*d5ef99ddSAndreas Gohr  category: 'Crawler'
1736*d5ef99ddSAndreas Gohr  url: 'http://www.trendiction.de/bot'
1737*d5ef99ddSAndreas Gohr  producer:
1738*d5ef99ddSAndreas Gohr    name: 'Talkwalker Inc.'
1739*d5ef99ddSAndreas Gohr    url: 'http://www.talkwalker.com'
1740*d5ef99ddSAndreas Gohr
1741*d5ef99ddSAndreas Gohr- regex: 'TurnitinBot'
1742*d5ef99ddSAndreas Gohr  name: 'TurnitinBot'
1743*d5ef99ddSAndreas Gohr  category: 'Crawler'
1744*d5ef99ddSAndreas Gohr  url: 'http://www.turnitin.com/robot/crawlerinfo.html'
1745*d5ef99ddSAndreas Gohr  producer:
1746*d5ef99ddSAndreas Gohr    name: 'iParadigms, LLC.'
1747*d5ef99ddSAndreas Gohr    url: 'http://www.turnitin.com'
1748*d5ef99ddSAndreas Gohr
1749*d5ef99ddSAndreas Gohr- regex: 'TweetedTimes'
1750*d5ef99ddSAndreas Gohr  name: 'TweetedTimes Bot'
1751*d5ef99ddSAndreas Gohr  category: 'Crawler'
1752*d5ef99ddSAndreas Gohr  url: 'https://tweetedtimes.com/'
1753*d5ef99ddSAndreas Gohr  producer:
1754*d5ef99ddSAndreas Gohr    name: 'TweetedTimes'
1755*d5ef99ddSAndreas Gohr    url: 'https://tweetedtimes.com/'
1756*d5ef99ddSAndreas Gohr
1757*d5ef99ddSAndreas Gohr- regex: 'TweetmemeBot'
1758*d5ef99ddSAndreas Gohr  name: 'Tweetmeme Bot'
1759*d5ef99ddSAndreas Gohr  category: 'Crawler'
1760*d5ef99ddSAndreas Gohr  url: 'http://tweetmeme.com/'
1761*d5ef99ddSAndreas Gohr  producer:
1762*d5ef99ddSAndreas Gohr    name: 'Mediasift'
1763*d5ef99ddSAndreas Gohr    url: ''
1764*d5ef99ddSAndreas Gohr
1765*d5ef99ddSAndreas Gohr- regex: 'Twingly Recon'
1766*d5ef99ddSAndreas Gohr  name: 'Twingly Recon'
1767*d5ef99ddSAndreas Gohr  category: 'Crawler'
1768*d5ef99ddSAndreas Gohr  producer:
1769*d5ef99ddSAndreas Gohr    name: 'Twingly'
1770*d5ef99ddSAndreas Gohr    url: 'https://www.twingly.com'
1771*d5ef99ddSAndreas Gohr
1772*d5ef99ddSAndreas Gohr- regex: 'Twitterbot'
1773*d5ef99ddSAndreas Gohr  name: 'Twitterbot'
1774*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
1775*d5ef99ddSAndreas Gohr  url: 'https://dev.twitter.com/docs/cards/getting-started'
1776*d5ef99ddSAndreas Gohr  producer:
1777*d5ef99ddSAndreas Gohr    name: 'Twitter'
1778*d5ef99ddSAndreas Gohr    url: 'http://www.twitter.com'
1779*d5ef99ddSAndreas Gohr
1780*d5ef99ddSAndreas Gohr- regex: 'UniversalFeedParser'
1781*d5ef99ddSAndreas Gohr  name: 'UniversalFeedParser'
1782*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1783*d5ef99ddSAndreas Gohr  url: 'https://github.com/kurtmckee/feedparser'
1784*d5ef99ddSAndreas Gohr  producer:
1785*d5ef99ddSAndreas Gohr    name: 'Kurt McKee'
1786*d5ef99ddSAndreas Gohr    url: 'https://github.com/kurtmckee'
1787*d5ef99ddSAndreas Gohr
1788*d5ef99ddSAndreas Gohr- regex: 'via secureurl\.fwdcdn\.com'
1789*d5ef99ddSAndreas Gohr  name: 'UkrNet Mail Proxy'
1790*d5ef99ddSAndreas Gohr  category: 'Crawler'
1791*d5ef99ddSAndreas Gohr  url: ''
1792*d5ef99ddSAndreas Gohr  producer:
1793*d5ef99ddSAndreas Gohr    name: 'UkrNet Ltd'
1794*d5ef99ddSAndreas Gohr    url: 'https://www.ukr.net/'
1795*d5ef99ddSAndreas Gohr
1796*d5ef99ddSAndreas Gohr- regex: 'Uptime(?:bot)?/'
1797*d5ef99ddSAndreas Gohr  name: 'Uptimebot'
1798*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1799*d5ef99ddSAndreas Gohr  url: 'https://uptime.com/uptime-bot'
1800*d5ef99ddSAndreas Gohr  producer:
1801*d5ef99ddSAndreas Gohr    name: 'Uptime'
1802*d5ef99ddSAndreas Gohr    url: 'https://uptime.com/'
1803*d5ef99ddSAndreas Gohr
1804*d5ef99ddSAndreas Gohr- regex: 'UptimeRobot'
1805*d5ef99ddSAndreas Gohr  name: 'UptimeRobot'
1806*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1807*d5ef99ddSAndreas Gohr  url: 'https://uptimerobot.com/'
1808*d5ef99ddSAndreas Gohr  producer:
1809*d5ef99ddSAndreas Gohr    name: 'Uptime Robot'
1810*d5ef99ddSAndreas Gohr    url: 'https://uptimerobot.com/'
1811*d5ef99ddSAndreas Gohr
1812*d5ef99ddSAndreas Gohr- regex: 'URLAppendBot'
1813*d5ef99ddSAndreas Gohr  name: 'URLAppendBot'
1814*d5ef99ddSAndreas Gohr  category: 'Crawler'
1815*d5ef99ddSAndreas Gohr  url: 'http://www.profound.net/urlappendbot.html'
1816*d5ef99ddSAndreas Gohr  producer:
1817*d5ef99ddSAndreas Gohr    name: 'Profound Networks'
1818*d5ef99ddSAndreas Gohr    url: 'http://www.profound.net'
1819*d5ef99ddSAndreas Gohr
1820*d5ef99ddSAndreas Gohr- regex: 'Vagabondo'
1821*d5ef99ddSAndreas Gohr  name: 'Vagabondo'
1822*d5ef99ddSAndreas Gohr  category: 'Crawler'
1823*d5ef99ddSAndreas Gohr  url: ''
1824*d5ef99ddSAndreas Gohr  producer:
1825*d5ef99ddSAndreas Gohr    name: 'WiseGuys'
1826*d5ef99ddSAndreas Gohr    url: 'http://www.wise-guys.nl/'
1827*d5ef99ddSAndreas Gohr
1828*d5ef99ddSAndreas Gohr- regex: 'vkShare; '
1829*d5ef99ddSAndreas Gohr  name: 'VK Share Button'
1830*d5ef99ddSAndreas Gohr  category: 'Crawler'
1831*d5ef99ddSAndreas Gohr  url: 'https://dev.vk.com/en/widgets/share'
1832*d5ef99ddSAndreas Gohr  producer:
1833*d5ef99ddSAndreas Gohr    name: 'VK'
1834*d5ef99ddSAndreas Gohr    url: 'https://vk.com/'
1835*d5ef99ddSAndreas Gohr
1836*d5ef99ddSAndreas Gohr- regex: 'VKRobot'
1837*d5ef99ddSAndreas Gohr  name: 'VK Robot'
1838*d5ef99ddSAndreas Gohr  category: 'Crawler'
1839*d5ef99ddSAndreas Gohr  url: 'https://dev.vk.com/en/'
1840*d5ef99ddSAndreas Gohr  producer:
1841*d5ef99ddSAndreas Gohr    name: 'VK'
1842*d5ef99ddSAndreas Gohr    url: 'https://vk.com/'
1843*d5ef99ddSAndreas Gohr
1844*d5ef99ddSAndreas Gohr- regex: 'VSMCrawler'
1845*d5ef99ddSAndreas Gohr  name: 'Visual Site Mapper Crawler'
1846*d5ef99ddSAndreas Gohr  category: 'Crawler'
1847*d5ef99ddSAndreas Gohr  url: 'http://www.visualsitemapper.com/crawler'
1848*d5ef99ddSAndreas Gohr  producer:
1849*d5ef99ddSAndreas Gohr    name: 'Alentum Software Ltd.'
1850*d5ef99ddSAndreas Gohr    url: 'http://www.alentum.com'
1851*d5ef99ddSAndreas Gohr
1852*d5ef99ddSAndreas Gohr- regex: 'Jigsaw'
1853*d5ef99ddSAndreas Gohr  name: 'W3C CSS Validator'
1854*d5ef99ddSAndreas Gohr  category: 'Validator'
1855*d5ef99ddSAndreas Gohr  url: 'http://jigsaw.w3.org/css-validator'
1856*d5ef99ddSAndreas Gohr  producer:
1857*d5ef99ddSAndreas Gohr    name: 'W3C'
1858*d5ef99ddSAndreas Gohr    url: 'http://www.w3.org'
1859*d5ef99ddSAndreas Gohr
1860*d5ef99ddSAndreas Gohr- regex: 'W3C_I18n-Checker'
1861*d5ef99ddSAndreas Gohr  name: 'W3C I18N Checker'
1862*d5ef99ddSAndreas Gohr  category: 'Validator'
1863*d5ef99ddSAndreas Gohr  url: 'http://validator.w3.org/i18n-checker'
1864*d5ef99ddSAndreas Gohr  producer:
1865*d5ef99ddSAndreas Gohr    name: 'W3C'
1866*d5ef99ddSAndreas Gohr    url: 'http://www.w3.org'
1867*d5ef99ddSAndreas Gohr
1868*d5ef99ddSAndreas Gohr- regex: 'W3C-checklink'
1869*d5ef99ddSAndreas Gohr  name: 'W3C Link Checker'
1870*d5ef99ddSAndreas Gohr  category: 'Validator'
1871*d5ef99ddSAndreas Gohr  url: 'http://validator.w3.org/checklink'
1872*d5ef99ddSAndreas Gohr  producer:
1873*d5ef99ddSAndreas Gohr    name: 'W3C'
1874*d5ef99ddSAndreas Gohr    url: 'http://www.w3.org'
1875*d5ef99ddSAndreas Gohr
1876*d5ef99ddSAndreas Gohr- regex: 'W3C_Validator|Validator\.nu'
1877*d5ef99ddSAndreas Gohr  name: 'W3C Markup Validation Service'
1878*d5ef99ddSAndreas Gohr  category: 'Validator'
1879*d5ef99ddSAndreas Gohr  url: 'http://validator.w3.org/services'
1880*d5ef99ddSAndreas Gohr  producer:
1881*d5ef99ddSAndreas Gohr    name: 'W3C'
1882*d5ef99ddSAndreas Gohr    url: 'http://www.w3.org'
1883*d5ef99ddSAndreas Gohr
1884*d5ef99ddSAndreas Gohr- regex: 'W3C-mobileOK'
1885*d5ef99ddSAndreas Gohr  name: 'W3C MobileOK Checker'
1886*d5ef99ddSAndreas Gohr  category: 'Validator'
1887*d5ef99ddSAndreas Gohr  url: 'http://validator.w3.org/mobile'
1888*d5ef99ddSAndreas Gohr  producer:
1889*d5ef99ddSAndreas Gohr    name: 'W3C'
1890*d5ef99ddSAndreas Gohr    url: 'http://www.w3.org'
1891*d5ef99ddSAndreas Gohr
1892*d5ef99ddSAndreas Gohr- regex: 'W3C_Unicorn'
1893*d5ef99ddSAndreas Gohr  name: 'W3C Unified Validator'
1894*d5ef99ddSAndreas Gohr  category: 'Validator'
1895*d5ef99ddSAndreas Gohr  url: 'http://validator.w3.org/unicorn'
1896*d5ef99ddSAndreas Gohr  producer:
1897*d5ef99ddSAndreas Gohr    name: 'W3C'
1898*d5ef99ddSAndreas Gohr    url: 'http://www.w3.org'
1899*d5ef99ddSAndreas Gohr
1900*d5ef99ddSAndreas Gohr- regex: 'P3P Validator'
1901*d5ef99ddSAndreas Gohr  name: 'W3C P3P Validator'
1902*d5ef99ddSAndreas Gohr  category: 'Validator'
1903*d5ef99ddSAndreas Gohr  url: 'https://www.w3.org/P3P/validator.html'
1904*d5ef99ddSAndreas Gohr  producer:
1905*d5ef99ddSAndreas Gohr    name: 'W3C'
1906*d5ef99ddSAndreas Gohr    url: 'https://www.w3.org'
1907*d5ef99ddSAndreas Gohr
1908*d5ef99ddSAndreas Gohr- regex: 'Wappalyzer'
1909*d5ef99ddSAndreas Gohr  name: 'Wappalyzer'
1910*d5ef99ddSAndreas Gohr  url: 'https://github.com/AliasIO/Wappalyzer'
1911*d5ef99ddSAndreas Gohr  producer:
1912*d5ef99ddSAndreas Gohr    name: 'AliasIO'
1913*d5ef99ddSAndreas Gohr    url: 'https://github.com/AliasIO'
1914*d5ef99ddSAndreas Gohr
1915*d5ef99ddSAndreas Gohr- regex: 'PTST/'
1916*d5ef99ddSAndreas Gohr  name: 'WebPageTest'
1917*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1918*d5ef99ddSAndreas Gohr  url: 'https://www.webpagetest.org'
1919*d5ef99ddSAndreas Gohr
1920*d5ef99ddSAndreas Gohr- regex: 'WeSEE'
1921*d5ef99ddSAndreas Gohr  name: 'WeSEE:Search'
1922*d5ef99ddSAndreas Gohr  category: 'Search bot'
1923*d5ef99ddSAndreas Gohr  url: 'http://www.wesee.com/bot'
1924*d5ef99ddSAndreas Gohr  producer:
1925*d5ef99ddSAndreas Gohr    name: 'WeSEE Ltd'
1926*d5ef99ddSAndreas Gohr    url: 'http://www.wesee.com'
1927*d5ef99ddSAndreas Gohr
1928*d5ef99ddSAndreas Gohr- regex: 'WebbCrawler'
1929*d5ef99ddSAndreas Gohr  name: 'WebbCrawler'
1930*d5ef99ddSAndreas Gohr  category: 'Crawler'
1931*d5ef99ddSAndreas Gohr  url: 'http://badcheese.com/crawler.html'
1932*d5ef99ddSAndreas Gohr  producer:
1933*d5ef99ddSAndreas Gohr    name: 'Steve Webb'
1934*d5ef99ddSAndreas Gohr    url: 'http://badcheese.com'
1935*d5ef99ddSAndreas Gohr
1936*d5ef99ddSAndreas Gohr- regex: 'websitepulse[+ ]checker'
1937*d5ef99ddSAndreas Gohr  name: 'WebSitePulse'
1938*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
1939*d5ef99ddSAndreas Gohr  url: 'http://badcheese.com/crawler.html'
1940*d5ef99ddSAndreas Gohr  producer:
1941*d5ef99ddSAndreas Gohr    name: 'WebSitePulse'
1942*d5ef99ddSAndreas Gohr    url: 'http://www.websitepulse.com/'
1943*d5ef99ddSAndreas Gohr
1944*d5ef99ddSAndreas Gohr- regex: 'WordPress.+isitwp\.com'
1945*d5ef99ddSAndreas Gohr  name: 'IsItWP'
1946*d5ef99ddSAndreas Gohr  category: 'Crawler'
1947*d5ef99ddSAndreas Gohr  url: 'https://www.isitwp.com/'
1948*d5ef99ddSAndreas Gohr  producer:
1949*d5ef99ddSAndreas Gohr    name: 'WPBeginner, LLC'
1950*d5ef99ddSAndreas Gohr    url: 'https://www.wpbeginner.com/'
1951*d5ef99ddSAndreas Gohr
1952*d5ef99ddSAndreas Gohr- regex: 'Automattic Analytics Crawler'
1953*d5ef99ddSAndreas Gohr  name: 'Automattic Analytics'
1954*d5ef99ddSAndreas Gohr  category: 'Crawler'
1955*d5ef99ddSAndreas Gohr  url: 'https://wordpress.com/crawler/'
1956*d5ef99ddSAndreas Gohr  producer:
1957*d5ef99ddSAndreas Gohr    name: 'Wordpress.org'
1958*d5ef99ddSAndreas Gohr    url: 'https://wordpress.org/'
1959*d5ef99ddSAndreas Gohr
1960*d5ef99ddSAndreas Gohr- regex: 'WordPress\.com mShots'
1961*d5ef99ddSAndreas Gohr  name: 'WordPress.com mShots'
1962*d5ef99ddSAndreas Gohr  category: 'Service Agent'
1963*d5ef99ddSAndreas Gohr  url: 'https://wordpress.org/'
1964*d5ef99ddSAndreas Gohr  producer:
1965*d5ef99ddSAndreas Gohr    name: 'Wordpress.org'
1966*d5ef99ddSAndreas Gohr    url: 'https://wordpress.org/'
1967*d5ef99ddSAndreas Gohr
1968*d5ef99ddSAndreas Gohr- regex: 'wp\.com feedbot'
1969*d5ef99ddSAndreas Gohr  name: 'wp.com feedbot'
1970*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
1971*d5ef99ddSAndreas Gohr  url: 'https://wordpress.com/'
1972*d5ef99ddSAndreas Gohr  producer:
1973*d5ef99ddSAndreas Gohr    name: 'Automattic, Inc.'
1974*d5ef99ddSAndreas Gohr    url: 'https://automattic.com/'
1975*d5ef99ddSAndreas Gohr
1976*d5ef99ddSAndreas Gohr- regex: 'WordPress'
1977*d5ef99ddSAndreas Gohr  name: 'WordPress'
1978*d5ef99ddSAndreas Gohr  category: 'Service Agent'
1979*d5ef99ddSAndreas Gohr  url: 'https://wordpress.org/'
1980*d5ef99ddSAndreas Gohr  producer:
1981*d5ef99ddSAndreas Gohr    name: 'Wordpress.org'
1982*d5ef99ddSAndreas Gohr    url: 'https://wordpress.org/'
1983*d5ef99ddSAndreas Gohr
1984*d5ef99ddSAndreas Gohr- regex: 'Wotbox'
1985*d5ef99ddSAndreas Gohr  name: 'Wotbox'
1986*d5ef99ddSAndreas Gohr  category: 'Search bot'
1987*d5ef99ddSAndreas Gohr  url: 'http://www.wotbox.com/bot/'
1988*d5ef99ddSAndreas Gohr  producer:
1989*d5ef99ddSAndreas Gohr    name: 'Wotbox'
1990*d5ef99ddSAndreas Gohr    url: 'http://www.wotbox.com'
1991*d5ef99ddSAndreas Gohr
1992*d5ef99ddSAndreas Gohr- regex: 'XenForo'
1993*d5ef99ddSAndreas Gohr  name: 'XenForo'
1994*d5ef99ddSAndreas Gohr  category: 'Service Agent'
1995*d5ef99ddSAndreas Gohr  url: 'https://xenforo.com/'
1996*d5ef99ddSAndreas Gohr  producer:
1997*d5ef99ddSAndreas Gohr    name: 'XenForo Ltd.'
1998*d5ef99ddSAndreas Gohr    url: 'https://xenforo.com/'
1999*d5ef99ddSAndreas Gohr
2000*d5ef99ddSAndreas Gohr- regex: 'yacybot'
2001*d5ef99ddSAndreas Gohr  name: 'YaCy'
2002*d5ef99ddSAndreas Gohr  category: 'Search bot'
2003*d5ef99ddSAndreas Gohr  url: 'http://yacy.net/bot.html'
2004*d5ef99ddSAndreas Gohr  producer:
2005*d5ef99ddSAndreas Gohr    name: 'YaCy'
2006*d5ef99ddSAndreas Gohr    url: 'http://yacy.net'
2007*d5ef99ddSAndreas Gohr
2008*d5ef99ddSAndreas Gohr- regex: 'Yahoo! Slurp|Yahoo!-AdCrawler'
2009*d5ef99ddSAndreas Gohr  name: 'Yahoo! Slurp'
2010*d5ef99ddSAndreas Gohr  category: 'Search bot'
2011*d5ef99ddSAndreas Gohr  url: 'http://help.yahoo.com/ysearch/slurp'
2012*d5ef99ddSAndreas Gohr  producer:
2013*d5ef99ddSAndreas Gohr    name: 'Yahoo! Inc.'
2014*d5ef99ddSAndreas Gohr    url: 'http://www.yahoo.com'
2015*d5ef99ddSAndreas Gohr
2016*d5ef99ddSAndreas Gohr- regex: 'Yahoo Link Preview|Yahoo:LinkExpander:Slingstone'
2017*d5ef99ddSAndreas Gohr  name: 'Yahoo! Link Preview'
2018*d5ef99ddSAndreas Gohr  category: 'Crawler'
2019*d5ef99ddSAndreas Gohr  url: 'https://help.yahoo.com/kb/mail/yahoo-link-preview-SLN23615.html'
2020*d5ef99ddSAndreas Gohr  producer:
2021*d5ef99ddSAndreas Gohr    name: 'Yahoo! Inc.'
2022*d5ef99ddSAndreas Gohr    url: 'http://www.yahoo.com'
2023*d5ef99ddSAndreas Gohr
2024*d5ef99ddSAndreas Gohr- regex: 'YahooMailProxy'
2025*d5ef99ddSAndreas Gohr  name: 'Yahoo! Mail Proxy'
2026*d5ef99ddSAndreas Gohr  category: 'Service Agent'
2027*d5ef99ddSAndreas Gohr  url: 'https://help.yahoo.com/kb/yahoo-mail-proxy-SLN28749.html'
2028*d5ef99ddSAndreas Gohr  producer:
2029*d5ef99ddSAndreas Gohr    name: 'Yahoo! Inc.'
2030*d5ef99ddSAndreas Gohr    url: 'http://www.yahoo.com'
2031*d5ef99ddSAndreas Gohr
2032*d5ef99ddSAndreas Gohr- regex: 'YahooCacheSystem'
2033*d5ef99ddSAndreas Gohr  name: 'Yahoo! Cache System'
2034*d5ef99ddSAndreas Gohr  category: 'Crawler'
2035*d5ef99ddSAndreas Gohr  url: ''
2036*d5ef99ddSAndreas Gohr  producer:
2037*d5ef99ddSAndreas Gohr    name: 'Yahoo! Inc.'
2038*d5ef99ddSAndreas Gohr    url: 'http://www.yahoo.com'
2039*d5ef99ddSAndreas Gohr
2040*d5ef99ddSAndreas Gohr- regex: 'Y!J-BRW'
2041*d5ef99ddSAndreas Gohr  name: 'Yahoo! Japan BRW'
2042*d5ef99ddSAndreas Gohr  category: 'Crawler'
2043*d5ef99ddSAndreas Gohr  url: 'https://support.yahoo-net.jp/PccSearch/s/article/H000007955'
2044*d5ef99ddSAndreas Gohr  producer:
2045*d5ef99ddSAndreas Gohr    name: 'Yahoo! Japan Corp.'
2046*d5ef99ddSAndreas Gohr    url: 'https://www.yahoo.co.jp/'
2047*d5ef99ddSAndreas Gohr
2048*d5ef99ddSAndreas Gohr- regex: 'Y!J-WSC'
2049*d5ef99ddSAndreas Gohr  name: 'Yahoo! Japan WSC'
2050*d5ef99ddSAndreas Gohr  category: 'Crawler'
2051*d5ef99ddSAndreas Gohr  url: 'https://support.yahoo-net.jp/PccSearch/s/article/H000007955'
2052*d5ef99ddSAndreas Gohr  producer:
2053*d5ef99ddSAndreas Gohr    name: 'Yahoo! Japan Corp.'
2054*d5ef99ddSAndreas Gohr    url: 'https://www.yahoo.co.jp/'
2055*d5ef99ddSAndreas Gohr
2056*d5ef99ddSAndreas Gohr- regex: 'Y!J-ASR'
2057*d5ef99ddSAndreas Gohr  name: 'Yahoo! Japan ASR'
2058*d5ef99ddSAndreas Gohr  category: 'Crawler'
2059*d5ef99ddSAndreas Gohr  url: 'https://support.yahoo-net.jp/PccSearch/s/article/H000007955'
2060*d5ef99ddSAndreas Gohr  producer:
2061*d5ef99ddSAndreas Gohr    name: 'Yahoo! Japan Corp.'
2062*d5ef99ddSAndreas Gohr    url: 'https://www.yahoo.co.jp/'
2063*d5ef99ddSAndreas Gohr
2064*d5ef99ddSAndreas Gohr- regex: '^Y!J'
2065*d5ef99ddSAndreas Gohr  name: 'Yahoo! Japan'
2066*d5ef99ddSAndreas Gohr  category: 'Crawler'
2067*d5ef99ddSAndreas Gohr  url: 'https://support.yahoo-net.jp/PccSearch/s/article/H000007955'
2068*d5ef99ddSAndreas Gohr  producer:
2069*d5ef99ddSAndreas Gohr    name: 'Yahoo! Japan Corp.'
2070*d5ef99ddSAndreas Gohr    url: 'https://www.yahoo.co.jp/'
2071*d5ef99ddSAndreas Gohr
2072*d5ef99ddSAndreas Gohr- regex: 'Yandex(?:(?:\.Gazeta |Accessibility|Mobile|MobileScreenShot|RenderResources|Screenshot|Sprav)?Bot|(?:AdNet|Antivirus|Blogs|Calendar|Catalog|Direct|Favicons|ForDomain|ImageResizer|Images|Market|Media|Metrika|News|OntoDB(?:API)?|Pagechecker|Partner|RCA|SearchShop|(?:News|Site)links|Tracker|Turbo|Userproxy|Verticals|Vertis|Video|Webmaster))|YaDirectFetcher'
2073*d5ef99ddSAndreas Gohr  name: 'Yandex Bot'
2074*d5ef99ddSAndreas Gohr  category: 'Search bot'
2075*d5ef99ddSAndreas Gohr  url: 'https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html'
2076*d5ef99ddSAndreas Gohr  producer:
2077*d5ef99ddSAndreas Gohr    name: 'Yandex LLC'
2078*d5ef99ddSAndreas Gohr    url: 'https://yandex.com/company/'
2079*d5ef99ddSAndreas Gohr
2080*d5ef99ddSAndreas Gohr- regex: 'Yeti|NaverJapan|AdsBot-Naver'
2081*d5ef99ddSAndreas Gohr  name: 'Yeti/Naverbot'
2082*d5ef99ddSAndreas Gohr  category: 'Search bot'
2083*d5ef99ddSAndreas Gohr  url: 'http://help.naver.com/robots/'
2084*d5ef99ddSAndreas Gohr  producer:
2085*d5ef99ddSAndreas Gohr    name: 'Naver'
2086*d5ef99ddSAndreas Gohr    url: 'http://www.naver.com'
2087*d5ef99ddSAndreas Gohr
2088*d5ef99ddSAndreas Gohr- regex: 'YoudaoBot'
2089*d5ef99ddSAndreas Gohr  name: 'Youdao Bot'
2090*d5ef99ddSAndreas Gohr  category: 'Search bot'
2091*d5ef99ddSAndreas Gohr  url: 'http://www.youdao.com/help/webmaster/spider'
2092*d5ef99ddSAndreas Gohr  producer:
2093*d5ef99ddSAndreas Gohr    name: 'NetEase, Inc.'
2094*d5ef99ddSAndreas Gohr    url: 'http://corp.163.com'
2095*d5ef99ddSAndreas Gohr
2096*d5ef99ddSAndreas Gohr- regex: 'YOURLS'
2097*d5ef99ddSAndreas Gohr  name: 'Yourls'
2098*d5ef99ddSAndreas Gohr  category: 'Crawler'
2099*d5ef99ddSAndreas Gohr  url: 'http://yourls.org'
2100*d5ef99ddSAndreas Gohr
2101*d5ef99ddSAndreas Gohr- regex: 'YRSpider|YYSpider'
2102*d5ef99ddSAndreas Gohr  name: 'Yunyun Bot'
2103*d5ef99ddSAndreas Gohr  category: 'Search bot'
2104*d5ef99ddSAndreas Gohr  url: 'http://www.yunyun.com/SiteInfo.php?r=about'
2105*d5ef99ddSAndreas Gohr  producer:
2106*d5ef99ddSAndreas Gohr    name: 'YunYun'
2107*d5ef99ddSAndreas Gohr    url: 'http://www.yunyun.com'
2108*d5ef99ddSAndreas Gohr
2109*d5ef99ddSAndreas Gohr- regex: 'zgrab'
2110*d5ef99ddSAndreas Gohr  name: 'zgrab'
2111*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2112*d5ef99ddSAndreas Gohr  url: 'https://github.com/zmap/zgrab'
2113*d5ef99ddSAndreas Gohr
2114*d5ef99ddSAndreas Gohr- regex: 'Zookabot'
2115*d5ef99ddSAndreas Gohr  name: 'Zookabot'
2116*d5ef99ddSAndreas Gohr  category: 'Crawler'
2117*d5ef99ddSAndreas Gohr  url: 'http://zookabot.com'
2118*d5ef99ddSAndreas Gohr  producer:
2119*d5ef99ddSAndreas Gohr    name: 'Hwacha ApS'
2120*d5ef99ddSAndreas Gohr    url: 'http://hwacha.dk'
2121*d5ef99ddSAndreas Gohr
2122*d5ef99ddSAndreas Gohr- regex: 'ZumBot'
2123*d5ef99ddSAndreas Gohr  name: 'ZumBot'
2124*d5ef99ddSAndreas Gohr  category: 'Search bot'
2125*d5ef99ddSAndreas Gohr  url: 'http://help.zum.com/inquiry'
2126*d5ef99ddSAndreas Gohr  producer:
2127*d5ef99ddSAndreas Gohr    name: 'ZUM internet'
2128*d5ef99ddSAndreas Gohr    url: 'http://www.zuminternet.com/'
2129*d5ef99ddSAndreas Gohr
2130*d5ef99ddSAndreas Gohr- regex: 'YottaaMonitor'
2131*d5ef99ddSAndreas Gohr  name: 'Yottaa Site Monitor'
2132*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2133*d5ef99ddSAndreas Gohr  url: 'http://www.yottaa.com/products/site-monitor'
2134*d5ef99ddSAndreas Gohr  producer:
2135*d5ef99ddSAndreas Gohr    name: 'Yottaa'
2136*d5ef99ddSAndreas Gohr    url: 'http://www.yottaa.com/'
2137*d5ef99ddSAndreas Gohr
2138*d5ef99ddSAndreas Gohr- regex: 'Yahoo Ad monitoring.*yahoo-ad-monitoring-SLN24857'
2139*d5ef99ddSAndreas Gohr  name: 'Yahoo Gemini'
2140*d5ef99ddSAndreas Gohr  category: 'Crawler'
2141*d5ef99ddSAndreas Gohr  url: 'https://help.yahoo.com/kb/yahoo-ad-monitoring-SLN24857.html'
2142*d5ef99ddSAndreas Gohr  producer:
2143*d5ef99ddSAndreas Gohr    name: 'Yahoo! Inc.'
2144*d5ef99ddSAndreas Gohr    url: 'http://www.yahoo.com'
2145*d5ef99ddSAndreas Gohr
2146*d5ef99ddSAndreas Gohr- regex: '.*Java.*outbrain'
2147*d5ef99ddSAndreas Gohr  name: 'Outbrain'
2148*d5ef99ddSAndreas Gohr  category: 'Crawler'
2149*d5ef99ddSAndreas Gohr  url: ''
2150*d5ef99ddSAndreas Gohr  producer:
2151*d5ef99ddSAndreas Gohr    name: 'Outbrain'
2152*d5ef99ddSAndreas Gohr    url: 'http://www.outbrain.com/'
2153*d5ef99ddSAndreas Gohr
2154*d5ef99ddSAndreas Gohr- regex: 'HubPages.*crawlingpolicy'
2155*d5ef99ddSAndreas Gohr  name: 'HubPages'
2156*d5ef99ddSAndreas Gohr  category: 'Crawler'
2157*d5ef99ddSAndreas Gohr  url: 'https://hubpages.com/help/crawlingpolicy'
2158*d5ef99ddSAndreas Gohr  producer:
2159*d5ef99ddSAndreas Gohr    name: 'HubPages, Inc.'
2160*d5ef99ddSAndreas Gohr    url: 'https://discover.hubpages.com/'
2161*d5ef99ddSAndreas Gohr
2162*d5ef99ddSAndreas Gohr- regex: 'Pinterest(?:bot)?/.*www\.pinterest\.com'
2163*d5ef99ddSAndreas Gohr  name: 'Pinterest'
2164*d5ef99ddSAndreas Gohr  url: 'https://help.pinterest.com/en/business/article/pinterest-crawler'
2165*d5ef99ddSAndreas Gohr  category: 'Crawler'
2166*d5ef99ddSAndreas Gohr  producer:
2167*d5ef99ddSAndreas Gohr    name: 'Pinterest'
2168*d5ef99ddSAndreas Gohr    url: 'https://www.pinterest.com/'
2169*d5ef99ddSAndreas Gohr
2170*d5ef99ddSAndreas Gohr- regex: '.*Site24x7'
2171*d5ef99ddSAndreas Gohr  name: 'Site24x7 Website Monitoring'
2172*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2173*d5ef99ddSAndreas Gohr  url: 'https://www.site24x7.com/site24x7-faq.html'
2174*d5ef99ddSAndreas Gohr  producer:
2175*d5ef99ddSAndreas Gohr    name: 'Site24x7'
2176*d5ef99ddSAndreas Gohr    url: 'https://www.site24x7.com'
2177*d5ef99ddSAndreas Gohr
2178*d5ef99ddSAndreas Gohr- regex: '.* HLB'
2179*d5ef99ddSAndreas Gohr  name: 'Site24x7 Defacement Monitor'
2180*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2181*d5ef99ddSAndreas Gohr  url: 'https://support.site24x7.com/portal/en/kb/articles/default-user-agent-used-in-website-defacement-monitor'
2182*d5ef99ddSAndreas Gohr  producer:
2183*d5ef99ddSAndreas Gohr    name: 'Site24x7'
2184*d5ef99ddSAndreas Gohr    url: 'https://www.site24x7.com/'
2185*d5ef99ddSAndreas Gohr
2186*d5ef99ddSAndreas Gohr- regex: 's~snapchat-proxy'
2187*d5ef99ddSAndreas Gohr  name: 'Snapchat Proxy'
2188*d5ef99ddSAndreas Gohr  category: 'Crawler'
2189*d5ef99ddSAndreas Gohr  url: 'https://www.snapchat.com'
2190*d5ef99ddSAndreas Gohr  producer:
2191*d5ef99ddSAndreas Gohr    name: 'Snapchat Inc.'
2192*d5ef99ddSAndreas Gohr    url: 'https://www.snapchat.com'
2193*d5ef99ddSAndreas Gohr
2194*d5ef99ddSAndreas Gohr- regex: 'Snap URL Preview Service'
2195*d5ef99ddSAndreas Gohr  name: 'Snap URL Preview Service'
2196*d5ef99ddSAndreas Gohr  category: 'Service Agent'
2197*d5ef99ddSAndreas Gohr  url: 'https://developers.snap.com/robots'
2198*d5ef99ddSAndreas Gohr  producer:
2199*d5ef99ddSAndreas Gohr    name: 'Snapchat Inc.'
2200*d5ef99ddSAndreas Gohr    url: 'https://www.snapchat.com/'
2201*d5ef99ddSAndreas Gohr
2202*d5ef99ddSAndreas Gohr- regex: 'SnapchatAds'
2203*d5ef99ddSAndreas Gohr  name: 'Snapchat Ads'
2204*d5ef99ddSAndreas Gohr  category: 'Crawler'
2205*d5ef99ddSAndreas Gohr  url: 'https://businesshelp.snapchat.com/s/article/adsbot-crawler?language=en_US'
2206*d5ef99ddSAndreas Gohr  producer:
2207*d5ef99ddSAndreas Gohr    name: 'Snapchat Inc.'
2208*d5ef99ddSAndreas Gohr    url: 'https://www.snapchat.com/'
2209*d5ef99ddSAndreas Gohr
2210*d5ef99ddSAndreas Gohr- regex: "Let's Encrypt validation server"
2211*d5ef99ddSAndreas Gohr  name: "Let's Encrypt Validation"
2212*d5ef99ddSAndreas Gohr  category: 'Service Agent'
2213*d5ef99ddSAndreas Gohr  url: 'https://letsencrypt.org/how-it-works/'
2214*d5ef99ddSAndreas Gohr  producer:
2215*d5ef99ddSAndreas Gohr    name: "Let's Encrypt"
2216*d5ef99ddSAndreas Gohr    url: 'https://letsencrypt.org'
2217*d5ef99ddSAndreas Gohr
2218*d5ef99ddSAndreas Gohr- regex: 'GrapeshotCrawler'
2219*d5ef99ddSAndreas Gohr  name: 'Grapeshot'
2220*d5ef99ddSAndreas Gohr  category: 'Crawler'
2221*d5ef99ddSAndreas Gohr  url: 'https://www.grapeshot.com/crawler'
2222*d5ef99ddSAndreas Gohr  producer:
2223*d5ef99ddSAndreas Gohr    name: 'Grapeshot'
2224*d5ef99ddSAndreas Gohr    url: 'https://www.grapeshot.com'
2225*d5ef99ddSAndreas Gohr
2226*d5ef99ddSAndreas Gohr- regex: 'www\.monitor\.us'
2227*d5ef99ddSAndreas Gohr  name: 'Monitor.Us'
2228*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2229*d5ef99ddSAndreas Gohr  url: 'http://www.monitor.us'
2230*d5ef99ddSAndreas Gohr  producer:
2231*d5ef99ddSAndreas Gohr    name: 'Monitor.Us'
2232*d5ef99ddSAndreas Gohr    url: 'http://www.monitor.us'
2233*d5ef99ddSAndreas Gohr
2234*d5ef99ddSAndreas Gohr- regex: 'Catchpoint'
2235*d5ef99ddSAndreas Gohr  name: 'Catchpoint'
2236*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2237*d5ef99ddSAndreas Gohr  url: 'https://www.catchpoint.com/'
2238*d5ef99ddSAndreas Gohr  producer:
2239*d5ef99ddSAndreas Gohr    name: 'Catchpoint Systems'
2240*d5ef99ddSAndreas Gohr    url: 'https://www.catchpoint.com/'
2241*d5ef99ddSAndreas Gohr
2242*d5ef99ddSAndreas Gohr- regex: 'bitlybot'
2243*d5ef99ddSAndreas Gohr  name: 'BitlyBot'
2244*d5ef99ddSAndreas Gohr  category: 'Crawler'
2245*d5ef99ddSAndreas Gohr  url: 'https://bitly.com'
2246*d5ef99ddSAndreas Gohr  producer:
2247*d5ef99ddSAndreas Gohr    name: 'Bitly, Inc.'
2248*d5ef99ddSAndreas Gohr    url: 'https://bitly.com'
2249*d5ef99ddSAndreas Gohr
2250*d5ef99ddSAndreas Gohr- regex: 'Zao/'
2251*d5ef99ddSAndreas Gohr  name: 'Zao'
2252*d5ef99ddSAndreas Gohr  category: 'Crawler'
2253*d5ef99ddSAndreas Gohr
2254*d5ef99ddSAndreas Gohr- regex: 'lycos'
2255*d5ef99ddSAndreas Gohr  name: 'Lycos'
2256*d5ef99ddSAndreas Gohr
2257*d5ef99ddSAndreas Gohr- regex: 'Slurp'
2258*d5ef99ddSAndreas Gohr  name: 'Inktomi Slurp'
2259*d5ef99ddSAndreas Gohr
2260*d5ef99ddSAndreas Gohr- regex: 'Speedy Spider'
2261*d5ef99ddSAndreas Gohr  name: 'Speedy'
2262*d5ef99ddSAndreas Gohr
2263*d5ef99ddSAndreas Gohr- regex: 'ScoutJet'
2264*d5ef99ddSAndreas Gohr  name: 'ScoutJet'
2265*d5ef99ddSAndreas Gohr
2266*d5ef99ddSAndreas Gohr- regex: 'nrsbot|netresearch'
2267*d5ef99ddSAndreas Gohr  name: 'NetResearchServer'
2268*d5ef99ddSAndreas Gohr
2269*d5ef99ddSAndreas Gohr- regex: 'scooter'
2270*d5ef99ddSAndreas Gohr  name: 'Scooter'
2271*d5ef99ddSAndreas Gohr
2272*d5ef99ddSAndreas Gohr- regex: 'gigabot'
2273*d5ef99ddSAndreas Gohr  name: 'Gigabot'
2274*d5ef99ddSAndreas Gohr
2275*d5ef99ddSAndreas Gohr- regex: 'charlotte'
2276*d5ef99ddSAndreas Gohr  name: 'Charlotte'
2277*d5ef99ddSAndreas Gohr
2278*d5ef99ddSAndreas Gohr- regex: 'Pompos'
2279*d5ef99ddSAndreas Gohr  name: 'Pompos'
2280*d5ef99ddSAndreas Gohr
2281*d5ef99ddSAndreas Gohr- regex: 'ichiro'
2282*d5ef99ddSAndreas Gohr  name: 'ichiro'
2283*d5ef99ddSAndreas Gohr
2284*d5ef99ddSAndreas Gohr- regex: 'PagePeeker'
2285*d5ef99ddSAndreas Gohr  name: 'PagePeeker'
2286*d5ef99ddSAndreas Gohr  category: 'Crawler'
2287*d5ef99ddSAndreas Gohr  url: 'https://pagepeeker.com/robots/'
2288*d5ef99ddSAndreas Gohr  producer:
2289*d5ef99ddSAndreas Gohr    name: 'PAGEPEEKER SRL'
2290*d5ef99ddSAndreas Gohr    url: 'https://pagepeeker.com/'
2291*d5ef99ddSAndreas Gohr
2292*d5ef99ddSAndreas Gohr- regex: 'WebThumbnail'
2293*d5ef99ddSAndreas Gohr  name: 'WebThumbnail'
2294*d5ef99ddSAndreas Gohr
2295*d5ef99ddSAndreas Gohr- regex: 'Willow Internet Crawler'
2296*d5ef99ddSAndreas Gohr  name: 'Willow Internet Crawler'
2297*d5ef99ddSAndreas Gohr
2298*d5ef99ddSAndreas Gohr- regex: 'EmailWolf'
2299*d5ef99ddSAndreas Gohr  name: 'EmailWolf'
2300*d5ef99ddSAndreas Gohr
2301*d5ef99ddSAndreas Gohr- regex: 'NetLyzer FastProbe'
2302*d5ef99ddSAndreas Gohr  name: 'NetLyzer FastProbe'
2303*d5ef99ddSAndreas Gohr
2304*d5ef99ddSAndreas Gohr- regex: 'AdMantX.*admantx\.com'
2305*d5ef99ddSAndreas Gohr  name: 'ADMantX'
2306*d5ef99ddSAndreas Gohr
2307*d5ef99ddSAndreas Gohr- regex: 'Server Density Service Monitoring'
2308*d5ef99ddSAndreas Gohr  name: 'Server Density'
2309*d5ef99ddSAndreas Gohr
2310*d5ef99ddSAndreas Gohr- regex: 'RSSRadio \(Push Notification Scanner;support@dorada\.co\.uk\)'
2311*d5ef99ddSAndreas Gohr  name: 'RSSRadio Bot'
2312*d5ef99ddSAndreas Gohr
2313*d5ef99ddSAndreas Gohr- regex: '^sentry'
2314*d5ef99ddSAndreas Gohr  name: 'Sentry Bot'
2315*d5ef99ddSAndreas Gohr  producer:
2316*d5ef99ddSAndreas Gohr    name: 'Sentry'
2317*d5ef99ddSAndreas Gohr    url: 'https://sentry.io'
2318*d5ef99ddSAndreas Gohr
2319*d5ef99ddSAndreas Gohr- regex: '^Spotify/[\d.]+$'
2320*d5ef99ddSAndreas Gohr  name: 'Spotify'
2321*d5ef99ddSAndreas Gohr  producer:
2322*d5ef99ddSAndreas Gohr    name: 'Spotify'
2323*d5ef99ddSAndreas Gohr    url: 'https://www.spotify.com'
2324*d5ef99ddSAndreas Gohr
2325*d5ef99ddSAndreas Gohr- regex: 'The Knowledge AI'
2326*d5ef99ddSAndreas Gohr  name: 'The Knowledge AI'
2327*d5ef99ddSAndreas Gohr  category: 'Crawler'
2328*d5ef99ddSAndreas Gohr
2329*d5ef99ddSAndreas Gohr- regex: 'Embedly'
2330*d5ef99ddSAndreas Gohr  name: 'Embedly'
2331*d5ef99ddSAndreas Gohr  category: 'Crawler'
2332*d5ef99ddSAndreas Gohr  url: 'https://support.embed.ly/hc/en-us'
2333*d5ef99ddSAndreas Gohr  producer:
2334*d5ef99ddSAndreas Gohr    name: 'A Medium, Corp.'
2335*d5ef99ddSAndreas Gohr    url: 'https://medium.com/'
2336*d5ef99ddSAndreas Gohr
2337*d5ef99ddSAndreas Gohr- regex: 'BrandVerity'
2338*d5ef99ddSAndreas Gohr  name: 'BrandVerity'
2339*d5ef99ddSAndreas Gohr  category: 'Crawler'
2340*d5ef99ddSAndreas Gohr  url: 'https://www.brandverity.com/why-is-brandverity-visiting-me'
2341*d5ef99ddSAndreas Gohr  producer:
2342*d5ef99ddSAndreas Gohr    name: 'BrandVerity, Inc.'
2343*d5ef99ddSAndreas Gohr    url: 'https://www.brandverity.com/'
2344*d5ef99ddSAndreas Gohr
2345*d5ef99ddSAndreas Gohr- regex: 'Kaspersky Lab CFR link resolver'
2346*d5ef99ddSAndreas Gohr  name: 'Kaspersky'
2347*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2348*d5ef99ddSAndreas Gohr  url: 'https://www.kaspersky.com/'
2349*d5ef99ddSAndreas Gohr  producer:
2350*d5ef99ddSAndreas Gohr    name: 'AO Kaspersky Lab'
2351*d5ef99ddSAndreas Gohr    url: 'https://www.kaspersky.com/'
2352*d5ef99ddSAndreas Gohr
2353*d5ef99ddSAndreas Gohr- regex: 'eZ Publish Link Validator'
2354*d5ef99ddSAndreas Gohr  name: 'eZ Publish Link Validator'
2355*d5ef99ddSAndreas Gohr  category: 'Crawler'
2356*d5ef99ddSAndreas Gohr  url: 'https://ez.no/'
2357*d5ef99ddSAndreas Gohr  producer:
2358*d5ef99ddSAndreas Gohr    name: 'eZ Systems AS'
2359*d5ef99ddSAndreas Gohr    url: 'https://ez.no/'
2360*d5ef99ddSAndreas Gohr
2361*d5ef99ddSAndreas Gohr- regex: 'woorankreview'
2362*d5ef99ddSAndreas Gohr  name: 'WooRank'
2363*d5ef99ddSAndreas Gohr  category: 'Search bot'
2364*d5ef99ddSAndreas Gohr  url: 'https://www.woorank.com/'
2365*d5ef99ddSAndreas Gohr  producer:
2366*d5ef99ddSAndreas Gohr    name: 'WooRank sprl'
2367*d5ef99ddSAndreas Gohr    url: 'https://www.woorank.com/'
2368*d5ef99ddSAndreas Gohr
2369*d5ef99ddSAndreas Gohr- regex: 'Siteimprove'
2370*d5ef99ddSAndreas Gohr  name: 'Siteimprove'
2371*d5ef99ddSAndreas Gohr  category: 'Search bot'
2372*d5ef99ddSAndreas Gohr  url: 'https://siteimprove.com/'
2373*d5ef99ddSAndreas Gohr  producer:
2374*d5ef99ddSAndreas Gohr    name: 'Siteimprove GmbH'
2375*d5ef99ddSAndreas Gohr    url: 'https://siteimprove.com/'
2376*d5ef99ddSAndreas Gohr
2377*d5ef99ddSAndreas Gohr- regex: 'CATExplorador'
2378*d5ef99ddSAndreas Gohr  name: 'CATExplorador'
2379*d5ef99ddSAndreas Gohr  category: 'Search bot'
2380*d5ef99ddSAndreas Gohr  url: 'https://fundacio.cat/ca/domini/'
2381*d5ef99ddSAndreas Gohr  producer:
2382*d5ef99ddSAndreas Gohr    name: 'Fundació puntCAT'
2383*d5ef99ddSAndreas Gohr    url: 'https://fundacio.cat/ca/domini/'
2384*d5ef99ddSAndreas Gohr
2385*d5ef99ddSAndreas Gohr- regex: 'Buck'
2386*d5ef99ddSAndreas Gohr  name: 'Buck'
2387*d5ef99ddSAndreas Gohr  category: 'Search bot'
2388*d5ef99ddSAndreas Gohr  url: 'https://hypefactors.com/'
2389*d5ef99ddSAndreas Gohr  producer:
2390*d5ef99ddSAndreas Gohr    name: 'Hypefactors A/S'
2391*d5ef99ddSAndreas Gohr    url: 'https://hypefactors.com/'
2392*d5ef99ddSAndreas Gohr
2393*d5ef99ddSAndreas Gohr- regex: 'tracemyfile'
2394*d5ef99ddSAndreas Gohr  name: 'TraceMyFile'
2395*d5ef99ddSAndreas Gohr  category: 'Search bot'
2396*d5ef99ddSAndreas Gohr  url: 'https://www.tracemyfile.com/'
2397*d5ef99ddSAndreas Gohr  producer:
2398*d5ef99ddSAndreas Gohr    name: 'Idee Inc.'
2399*d5ef99ddSAndreas Gohr    url: 'http://ideeinc.com/'
2400*d5ef99ddSAndreas Gohr
2401*d5ef99ddSAndreas Gohr- regex: 'zelist\.ro feed parser'
2402*d5ef99ddSAndreas Gohr  name: 'Ze List'
2403*d5ef99ddSAndreas Gohr  url: 'https://www.zelist.ro/'
2404*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
2405*d5ef99ddSAndreas Gohr  producer:
2406*d5ef99ddSAndreas Gohr    name: 'Treeworks SRL'
2407*d5ef99ddSAndreas Gohr    url: 'https://www.tree.ro/'
2408*d5ef99ddSAndreas Gohr
2409*d5ef99ddSAndreas Gohr- regex: 'weborama-fetcher'
2410*d5ef99ddSAndreas Gohr  name: 'Weborama'
2411*d5ef99ddSAndreas Gohr  category: 'Search bot'
2412*d5ef99ddSAndreas Gohr  url: 'https://weborama.com/'
2413*d5ef99ddSAndreas Gohr  producer:
2414*d5ef99ddSAndreas Gohr    name: 'Weborama SA'
2415*d5ef99ddSAndreas Gohr    url: 'https://weborama.com/'
2416*d5ef99ddSAndreas Gohr
2417*d5ef99ddSAndreas Gohr- regex: 'BoardReader Favicon Fetcher'
2418*d5ef99ddSAndreas Gohr  name: 'BoardReader'
2419*d5ef99ddSAndreas Gohr  category: 'Search bot'
2420*d5ef99ddSAndreas Gohr  url: 'https://boardreader.com/'
2421*d5ef99ddSAndreas Gohr  producer:
2422*d5ef99ddSAndreas Gohr    name: 'Effyis Inc'
2423*d5ef99ddSAndreas Gohr    url: 'https://boardreader.com/'
2424*d5ef99ddSAndreas Gohr
2425*d5ef99ddSAndreas Gohr- regex: 'IDG/(?:EU|IT|RU|UK)'
2426*d5ef99ddSAndreas Gohr  name: 'IDG'
2427*d5ef99ddSAndreas Gohr  category: 'Crawler'
2428*d5ef99ddSAndreas Gohr  url: 'https://www.spaziodati.eu/'
2429*d5ef99ddSAndreas Gohr  producer:
2430*d5ef99ddSAndreas Gohr    name: 'SpazioDati S.r.l.'
2431*d5ef99ddSAndreas Gohr    url: 'https://www.spaziodati.eu/'
2432*d5ef99ddSAndreas Gohr
2433*d5ef99ddSAndreas Gohr- regex: 'Bytespider'
2434*d5ef99ddSAndreas Gohr  name: 'Bytespider'
2435*d5ef99ddSAndreas Gohr  category: 'Search bot'
2436*d5ef99ddSAndreas Gohr  url: 'https://bytedance.com/'
2437*d5ef99ddSAndreas Gohr  producer:
2438*d5ef99ddSAndreas Gohr    name: 'ByteDance Ltd.'
2439*d5ef99ddSAndreas Gohr    url: 'https://bytedance.com/'
2440*d5ef99ddSAndreas Gohr
2441*d5ef99ddSAndreas Gohr- regex: 'WikiDo'
2442*d5ef99ddSAndreas Gohr  name: 'WikiDo'
2443*d5ef99ddSAndreas Gohr  category: 'Search bot'
2444*d5ef99ddSAndreas Gohr  url: 'https://www.wikido.com/'
2445*d5ef99ddSAndreas Gohr  producer:
2446*d5ef99ddSAndreas Gohr    name: 'Fotolitografie Fiorentine di Becchi Antonio s.n.c.'
2447*d5ef99ddSAndreas Gohr    url: 'https://www.wikido.com/'
2448*d5ef99ddSAndreas Gohr
2449*d5ef99ddSAndreas Gohr- regex: 'Awario(?:Smart)?Bot'
2450*d5ef99ddSAndreas Gohr  name: 'Awario'
2451*d5ef99ddSAndreas Gohr  category: 'Search bot'
2452*d5ef99ddSAndreas Gohr  url: 'https://awario.com/bots.html'
2453*d5ef99ddSAndreas Gohr  producer:
2454*d5ef99ddSAndreas Gohr    name: 'TechFusion Ltd.'
2455*d5ef99ddSAndreas Gohr    url: 'https://www.techfusion.com.cy/'
2456*d5ef99ddSAndreas Gohr
2457*d5ef99ddSAndreas Gohr- regex: 'AwarioRssBot'
2458*d5ef99ddSAndreas Gohr  name: 'Awario'
2459*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
2460*d5ef99ddSAndreas Gohr  url: 'https://awario.com/bots.html'
2461*d5ef99ddSAndreas Gohr  producer:
2462*d5ef99ddSAndreas Gohr    name: 'TechFusion Ltd.'
2463*d5ef99ddSAndreas Gohr    url: 'https://www.techfusion.com.cy/'
2464*d5ef99ddSAndreas Gohr
2465*d5ef99ddSAndreas Gohr- regex: 'oBot'
2466*d5ef99ddSAndreas Gohr  name: 'oBot'
2467*d5ef99ddSAndreas Gohr  category: 'Search bot'
2468*d5ef99ddSAndreas Gohr  url: 'https://www.xforce-security.com/crawler/'
2469*d5ef99ddSAndreas Gohr  producer:
2470*d5ef99ddSAndreas Gohr    name: 'IBM Germany Research & Development GmbH'
2471*d5ef99ddSAndreas Gohr    url: 'https://exchange.xforce.ibmcloud.com/'
2472*d5ef99ddSAndreas Gohr
2473*d5ef99ddSAndreas Gohr- regex: 'SMTBot'
2474*d5ef99ddSAndreas Gohr  name: 'SMTBot'
2475*d5ef99ddSAndreas Gohr  category: 'Search bot'
2476*d5ef99ddSAndreas Gohr  url: 'https://www.similartech.com/smtbot'
2477*d5ef99ddSAndreas Gohr  producer:
2478*d5ef99ddSAndreas Gohr    name: 'SimilarTech Ltd.'
2479*d5ef99ddSAndreas Gohr    url: 'https://www.similartech.com/'
2480*d5ef99ddSAndreas Gohr
2481*d5ef99ddSAndreas Gohr- regex: 'LCC'
2482*d5ef99ddSAndreas Gohr  name: 'LCC'
2483*d5ef99ddSAndreas Gohr  category: 'Search bot'
2484*d5ef99ddSAndreas Gohr  url: 'https://corpora.uni-leipzig.de/crawler_faq.html'
2485*d5ef99ddSAndreas Gohr  producer:
2486*d5ef99ddSAndreas Gohr    name: 'Universität Leipzig'
2487*d5ef99ddSAndreas Gohr    url: 'https://www.uni-leipzig.de/'
2488*d5ef99ddSAndreas Gohr
2489*d5ef99ddSAndreas Gohr- regex: 'Startpagina-Linkchecker'
2490*d5ef99ddSAndreas Gohr  name: 'Startpagina Linkchecker'
2491*d5ef99ddSAndreas Gohr  category: 'Search bot'
2492*d5ef99ddSAndreas Gohr  url: 'https://www.startpagina.nl/linkchecker'
2493*d5ef99ddSAndreas Gohr  producer:
2494*d5ef99ddSAndreas Gohr    name: 'Startpagina B.V.'
2495*d5ef99ddSAndreas Gohr    url: 'https://www.startpagina.nl/'
2496*d5ef99ddSAndreas Gohr
2497*d5ef99ddSAndreas Gohr- regex: 'MoodleBot-Linkchecker'
2498*d5ef99ddSAndreas Gohr  name: 'MoodleBot Linkchecker'
2499*d5ef99ddSAndreas Gohr  category: 'Search bot'
2500*d5ef99ddSAndreas Gohr  url: 'hhttps://docs.moodle.org/en/Usage'
2501*d5ef99ddSAndreas Gohr  producer:
2502*d5ef99ddSAndreas Gohr    name: 'Moodle Pty Ltd'
2503*d5ef99ddSAndreas Gohr    url: 'https://moodle.org/'
2504*d5ef99ddSAndreas Gohr
2505*d5ef99ddSAndreas Gohr- regex: 'GTmetrix'
2506*d5ef99ddSAndreas Gohr  name: 'GTmetrix'
2507*d5ef99ddSAndreas Gohr  category: 'Crawler'
2508*d5ef99ddSAndreas Gohr  url: 'https://gtmetrix.com/'
2509*d5ef99ddSAndreas Gohr  producer:
2510*d5ef99ddSAndreas Gohr    name: 'Carbon60 Operating Co. Ltd.'
2511*d5ef99ddSAndreas Gohr    url: 'https://www.carbon60.com/'
2512*d5ef99ddSAndreas Gohr
2513*d5ef99ddSAndreas Gohr- regex: 'CyberFind ?Crawler'
2514*d5ef99ddSAndreas Gohr  name: 'CyberFind Crawler'
2515*d5ef99ddSAndreas Gohr  category: 'Crawler'
2516*d5ef99ddSAndreas Gohr  url: 'https://www.cyberfind.net/bot.html'
2517*d5ef99ddSAndreas Gohr  producer:
2518*d5ef99ddSAndreas Gohr    name: 'Find.tf'
2519*d5ef99ddSAndreas Gohr    url: 'https://find.tf/'
2520*d5ef99ddSAndreas Gohr
2521*d5ef99ddSAndreas Gohr- regex: 'Nutch'
2522*d5ef99ddSAndreas Gohr  name: 'Nutch-based Bot'
2523*d5ef99ddSAndreas Gohr  category: 'Crawler'
2524*d5ef99ddSAndreas Gohr  url: 'https://nutch.apache.org'
2525*d5ef99ddSAndreas Gohr  producer:
2526*d5ef99ddSAndreas Gohr    name: 'The Apache Software Foundation'
2527*d5ef99ddSAndreas Gohr    url: 'https://www.apache.org/foundation/'
2528*d5ef99ddSAndreas Gohr
2529*d5ef99ddSAndreas Gohr- regex: 'Seobility'
2530*d5ef99ddSAndreas Gohr  name: 'Seobility'
2531*d5ef99ddSAndreas Gohr  category: 'Crawler'
2532*d5ef99ddSAndreas Gohr  url: 'https://www.seobility.net/en/faq/?category=crawling#!aboutourbot'
2533*d5ef99ddSAndreas Gohr
2534*d5ef99ddSAndreas Gohr- regex: 'Vercelbot'
2535*d5ef99ddSAndreas Gohr  name: 'Vercel Bot'
2536*d5ef99ddSAndreas Gohr  category: 'Service bot'
2537*d5ef99ddSAndreas Gohr  url: 'https://vercel.com'
2538*d5ef99ddSAndreas Gohr
2539*d5ef99ddSAndreas Gohr- regex: 'Grammarly'
2540*d5ef99ddSAndreas Gohr  name: 'Grammarly'
2541*d5ef99ddSAndreas Gohr  category: 'Service bot'
2542*d5ef99ddSAndreas Gohr  url: 'https://www.grammarly.com'
2543*d5ef99ddSAndreas Gohr
2544*d5ef99ddSAndreas Gohr- regex: 'Robozilla'
2545*d5ef99ddSAndreas Gohr  name: 'Robozilla'
2546*d5ef99ddSAndreas Gohr  category: 'Crawler'
2547*d5ef99ddSAndreas Gohr
2548*d5ef99ddSAndreas Gohr- regex: 'Domains Project'
2549*d5ef99ddSAndreas Gohr  name: 'Domains Project'
2550*d5ef99ddSAndreas Gohr  category: 'Crawler'
2551*d5ef99ddSAndreas Gohr  url: 'https://domainsproject.org'
2552*d5ef99ddSAndreas Gohr
2553*d5ef99ddSAndreas Gohr- regex: 'PetalBot'
2554*d5ef99ddSAndreas Gohr  name: 'Petal Bot'
2555*d5ef99ddSAndreas Gohr  category: 'Crawler'
2556*d5ef99ddSAndreas Gohr  url: 'https://aspiegel.com/petalbot'
2557*d5ef99ddSAndreas Gohr
2558*d5ef99ddSAndreas Gohr- regex: 'SerendeputyBot'
2559*d5ef99ddSAndreas Gohr  name: 'Serendeputy Bot'
2560*d5ef99ddSAndreas Gohr  category: 'Crawler'
2561*d5ef99ddSAndreas Gohr  url: 'https://serendeputy.com/about/serendeputy-bot'
2562*d5ef99ddSAndreas Gohr
2563*d5ef99ddSAndreas Gohr- regex: 'ias-(?:va|sg).*admantx.*service-fetcher|admantx\.com.*service-fetcher'
2564*d5ef99ddSAndreas Gohr  name: 'ADmantX Service Fetcher'
2565*d5ef99ddSAndreas Gohr  category: 'Service bot'
2566*d5ef99ddSAndreas Gohr  url: 'https://www.admantx.com/service-fetcher.html'
2567*d5ef99ddSAndreas Gohr
2568*d5ef99ddSAndreas Gohr- regex: 'SemanticScholarBot'
2569*d5ef99ddSAndreas Gohr  name: 'Semantic Scholar Bot'
2570*d5ef99ddSAndreas Gohr  category: 'Crawler'
2571*d5ef99ddSAndreas Gohr  url: 'https://www.semanticscholar.org/crawler'
2572*d5ef99ddSAndreas Gohr
2573*d5ef99ddSAndreas Gohr- regex: 'VelenPublicWebCrawler'
2574*d5ef99ddSAndreas Gohr  name: 'Velen Public Web Crawler'
2575*d5ef99ddSAndreas Gohr  category: 'Crawler'
2576*d5ef99ddSAndreas Gohr  url: 'https://hunter.io/robot'
2577*d5ef99ddSAndreas Gohr
2578*d5ef99ddSAndreas Gohr- regex: 'Barkrowler'
2579*d5ef99ddSAndreas Gohr  name: 'Barkrowler'
2580*d5ef99ddSAndreas Gohr  category: 'Crawler'
2581*d5ef99ddSAndreas Gohr  url: 'http://www.exensa.com/crawl'
2582*d5ef99ddSAndreas Gohr
2583*d5ef99ddSAndreas Gohr- regex: 'BDCbot'
2584*d5ef99ddSAndreas Gohr  name: 'BDCbot'
2585*d5ef99ddSAndreas Gohr  category: 'Crawler'
2586*d5ef99ddSAndreas Gohr  url: 'https://bigweb.bigdatacorp.com.br/pages/faq.aspx'
2587*d5ef99ddSAndreas Gohr  producer:
2588*d5ef99ddSAndreas Gohr    name: 'BIG Data Solucoes Em Tecnologia de Informatica LTDA'
2589*d5ef99ddSAndreas Gohr    url: 'https://bigdatacorp.com.br/'
2590*d5ef99ddSAndreas Gohr
2591*d5ef99ddSAndreas Gohr- regex: 'adbeat'
2592*d5ef99ddSAndreas Gohr  name: 'Adbeat'
2593*d5ef99ddSAndreas Gohr  category: 'Crawler'
2594*d5ef99ddSAndreas Gohr  url: 'https://www.adbeat.com/operation_policy'
2595*d5ef99ddSAndreas Gohr  producer:
2596*d5ef99ddSAndreas Gohr    name: 'PPC Labs LLC'
2597*d5ef99ddSAndreas Gohr    url: 'https://www.adbeat.com/'
2598*d5ef99ddSAndreas Gohr
2599*d5ef99ddSAndreas Gohr- regex: '(?:BuiltWith|BW/)'
2600*d5ef99ddSAndreas Gohr  name: 'BuiltWith'
2601*d5ef99ddSAndreas Gohr  category: 'Crawler'
2602*d5ef99ddSAndreas Gohr  url: 'https://builtwith.com/biup'
2603*d5ef99ddSAndreas Gohr  producer:
2604*d5ef99ddSAndreas Gohr    name: 'BuiltWith Pty Ltd'
2605*d5ef99ddSAndreas Gohr    url: 'https://builtwith.com/'
2606*d5ef99ddSAndreas Gohr
2607*d5ef99ddSAndreas Gohr- regex: 'https://whatis\.contentkingapp\.com'
2608*d5ef99ddSAndreas Gohr  name: 'ContentKing'
2609*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2610*d5ef99ddSAndreas Gohr  url: 'https://whatis.contentkingapp.com/'
2611*d5ef99ddSAndreas Gohr  producer:
2612*d5ef99ddSAndreas Gohr    name: 'ContentKing BV'
2613*d5ef99ddSAndreas Gohr    url: 'https://www.contentkingapp.com/'
2614*d5ef99ddSAndreas Gohr
2615*d5ef99ddSAndreas Gohr- regex: 'MicroAdBot'
2616*d5ef99ddSAndreas Gohr  name: 'MicroAdBot'
2617*d5ef99ddSAndreas Gohr  category: 'Crawler'
2618*d5ef99ddSAndreas Gohr  url: 'https://www.microad.co.jp/'
2619*d5ef99ddSAndreas Gohr  producer:
2620*d5ef99ddSAndreas Gohr    name: 'MicroAd, Inc.'
2621*d5ef99ddSAndreas Gohr    url: 'https://www.microad.co.jp/'
2622*d5ef99ddSAndreas Gohr
2623*d5ef99ddSAndreas Gohr- regex: 'PingAdmin\.Ru'
2624*d5ef99ddSAndreas Gohr  name: 'PingAdmin.Ru'
2625*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2626*d5ef99ddSAndreas Gohr  url: 'https://ping-admin.ru/'
2627*d5ef99ddSAndreas Gohr
2628*d5ef99ddSAndreas Gohr- regex: 'notifyninja.+monitoring'
2629*d5ef99ddSAndreas Gohr  name: 'Notify Ninja'
2630*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2631*d5ef99ddSAndreas Gohr  url: 'http://notifyninja.com'
2632*d5ef99ddSAndreas Gohr
2633*d5ef99ddSAndreas Gohr- regex: 'WebDataStats'
2634*d5ef99ddSAndreas Gohr  name: 'WebDataStats'
2635*d5ef99ddSAndreas Gohr  category: 'Crawler'
2636*d5ef99ddSAndreas Gohr  url: 'https://webdatastats.com/policy.html'
2637*d5ef99ddSAndreas Gohr  producer:
2638*d5ef99ddSAndreas Gohr    name: 'WebTehRazrabotka LLC'
2639*d5ef99ddSAndreas Gohr    url: 'https://webdatastats.com/'
2640*d5ef99ddSAndreas Gohr
2641*d5ef99ddSAndreas Gohr- regex: 'parse\.ly scraper'
2642*d5ef99ddSAndreas Gohr  name: 'parse.ly'
2643*d5ef99ddSAndreas Gohr  category: 'Crawler'
2644*d5ef99ddSAndreas Gohr  url: 'https://www.parse.ly/help/integration/crawler'
2645*d5ef99ddSAndreas Gohr  producer:
2646*d5ef99ddSAndreas Gohr    name: 'Parsely, Inc.'
2647*d5ef99ddSAndreas Gohr    url: 'https://www.parse.ly/'
2648*d5ef99ddSAndreas Gohr
2649*d5ef99ddSAndreas Gohr- regex: 'Nimbostratus-Bot'
2650*d5ef99ddSAndreas Gohr  name: 'Nimbostratus Bot'
2651*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
2652*d5ef99ddSAndreas Gohr  url: 'http://cloudsystemnetworks.com'
2653*d5ef99ddSAndreas Gohr
2654*d5ef99ddSAndreas Gohr- regex: 'HeartRails_Capture'
2655*d5ef99ddSAndreas Gohr  name: 'Heart Rails Capture'
2656*d5ef99ddSAndreas Gohr  category: 'Service Agent'
2657*d5ef99ddSAndreas Gohr  url: 'http://capture.heartrails.com'
2658*d5ef99ddSAndreas Gohr
2659*d5ef99ddSAndreas Gohr- regex: 'Project-Resonance'
2660*d5ef99ddSAndreas Gohr  name: 'Project Resonance'
2661*d5ef99ddSAndreas Gohr  category: 'Crawler'
2662*d5ef99ddSAndreas Gohr  url: 'https://project-resonance.com/'
2663*d5ef99ddSAndreas Gohr  producer:
2664*d5ef99ddSAndreas Gohr    name: 'RedHunt Labs Limited'
2665*d5ef99ddSAndreas Gohr    url: 'https://redhuntlabs.com/'
2666*d5ef99ddSAndreas Gohr
2667*d5ef99ddSAndreas Gohr- regex: 'DataXu'
2668*d5ef99ddSAndreas Gohr  name: 'DataXu'
2669*d5ef99ddSAndreas Gohr  category: 'Service Agent'
2670*d5ef99ddSAndreas Gohr  url: 'https://advertising.roku.com/dataxu'
2671*d5ef99ddSAndreas Gohr  producer:
2672*d5ef99ddSAndreas Gohr    name: 'Roku, Inc.'
2673*d5ef99ddSAndreas Gohr    url: 'https://roku.com'
2674*d5ef99ddSAndreas Gohr
2675*d5ef99ddSAndreas Gohr- regex: 'Cocolyzebot'
2676*d5ef99ddSAndreas Gohr  name: 'Cocolyzebot'
2677*d5ef99ddSAndreas Gohr  category: 'Crawler'
2678*d5ef99ddSAndreas Gohr  url: 'https://cocolyze.com/en/cocolyzebot'
2679*d5ef99ddSAndreas Gohr  producer:
2680*d5ef99ddSAndreas Gohr    name: 'VSI INNOVATION SAS'
2681*d5ef99ddSAndreas Gohr    url: 'https://vsi-innovation.com/'
2682*d5ef99ddSAndreas Gohr
2683*d5ef99ddSAndreas Gohr- regex: 'veryhip'
2684*d5ef99ddSAndreas Gohr  name: 'VeryHip'
2685*d5ef99ddSAndreas Gohr  category: 'Crawler'
2686*d5ef99ddSAndreas Gohr  url: 'https://veryhip.com/'
2687*d5ef99ddSAndreas Gohr  producer:
2688*d5ef99ddSAndreas Gohr    name: 'VeryHip'
2689*d5ef99ddSAndreas Gohr    url: 'https://veryhip.com/'
2690*d5ef99ddSAndreas Gohr
2691*d5ef99ddSAndreas Gohr- regex: 'LinkpadBot'
2692*d5ef99ddSAndreas Gohr  name: 'LinkpadBot'
2693*d5ef99ddSAndreas Gohr  category: 'Crawler'
2694*d5ef99ddSAndreas Gohr  url: 'https://www.linkpad.org/'
2695*d5ef99ddSAndreas Gohr  producer:
2696*d5ef99ddSAndreas Gohr    name: 'Solomono LLC'
2697*d5ef99ddSAndreas Gohr    url: 'https://www.linkpad.org/'
2698*d5ef99ddSAndreas Gohr
2699*d5ef99ddSAndreas Gohr- regex: 'MuscatFerret'
2700*d5ef99ddSAndreas Gohr  name: 'MuscatFerret'
2701*d5ef99ddSAndreas Gohr  category: 'Crawler'
2702*d5ef99ddSAndreas Gohr  url: 'http://www.webtop.com/'
2703*d5ef99ddSAndreas Gohr
2704*d5ef99ddSAndreas Gohr- regex: 'PageThing\.com'
2705*d5ef99ddSAndreas Gohr  name: 'PageThing'
2706*d5ef99ddSAndreas Gohr  category: 'Crawler'
2707*d5ef99ddSAndreas Gohr  url: 'https://www.pagething.com/'
2708*d5ef99ddSAndreas Gohr  producer:
2709*d5ef99ddSAndreas Gohr    name: 'SPECIALNOISE LTD'
2710*d5ef99ddSAndreas Gohr    url: 'https://www.specialnoise.com/'
2711*d5ef99ddSAndreas Gohr
2712*d5ef99ddSAndreas Gohr- regex: 'ArchiveBox'
2713*d5ef99ddSAndreas Gohr  name: 'ArchiveBox'
2714*d5ef99ddSAndreas Gohr  url: 'https://archivebox.io/'
2715*d5ef99ddSAndreas Gohr  category: 'Crawler'
2716*d5ef99ddSAndreas Gohr  producer:
2717*d5ef99ddSAndreas Gohr    name: ''
2718*d5ef99ddSAndreas Gohr    url: ''
2719*d5ef99ddSAndreas Gohr
2720*d5ef99ddSAndreas Gohr- regex: 'Choosito'
2721*d5ef99ddSAndreas Gohr  name: 'Choosito'
2722*d5ef99ddSAndreas Gohr  url: 'https://www.choosito.com/'
2723*d5ef99ddSAndreas Gohr  category: 'Crawler'
2724*d5ef99ddSAndreas Gohr  producer:
2725*d5ef99ddSAndreas Gohr    name: 'Choosito! Inc.'
2726*d5ef99ddSAndreas Gohr    url: 'https://www.choosito.com/'
2727*d5ef99ddSAndreas Gohr
2728*d5ef99ddSAndreas Gohr- regex: 'datagnionbot'
2729*d5ef99ddSAndreas Gohr  name: 'datagnionbot'
2730*d5ef99ddSAndreas Gohr  url: 'https://www.datagnion.com/bot.html'
2731*d5ef99ddSAndreas Gohr  category: 'Crawler'
2732*d5ef99ddSAndreas Gohr  producer:
2733*d5ef99ddSAndreas Gohr    name: 'DATAGNION GMBH'
2734*d5ef99ddSAndreas Gohr    url: 'https://www.datagnion.com/'
2735*d5ef99ddSAndreas Gohr
2736*d5ef99ddSAndreas Gohr- regex: 'WhatCMS'
2737*d5ef99ddSAndreas Gohr  name: 'WhatCMS'
2738*d5ef99ddSAndreas Gohr  url: 'https://whatcms.org/'
2739*d5ef99ddSAndreas Gohr  category: 'Crawler'
2740*d5ef99ddSAndreas Gohr  producer:
2741*d5ef99ddSAndreas Gohr    name: 'Nineteen Ten LLC'
2742*d5ef99ddSAndreas Gohr    url: 'https://whatcms.org/'
2743*d5ef99ddSAndreas Gohr
2744*d5ef99ddSAndreas Gohr- regex: 'httpx'
2745*d5ef99ddSAndreas Gohr  name: 'httpx'
2746*d5ef99ddSAndreas Gohr  url: 'https://github.com/projectdiscovery/httpx'
2747*d5ef99ddSAndreas Gohr  category: 'Crawler'
2748*d5ef99ddSAndreas Gohr  producer:
2749*d5ef99ddSAndreas Gohr    name: 'ProjectDiscovery, Inc.'
2750*d5ef99ddSAndreas Gohr    url: 'https://projectdiscovery.io/'
2751*d5ef99ddSAndreas Gohr
2752*d5ef99ddSAndreas Gohr- regex: '.*\.oast\.'
2753*d5ef99ddSAndreas Gohr  name: 'Interactsh'
2754*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2755*d5ef99ddSAndreas Gohr  url: 'https://github.com/projectdiscovery/interactsh'
2756*d5ef99ddSAndreas Gohr  producer:
2757*d5ef99ddSAndreas Gohr    name: 'ProjectDiscovery, Inc.'
2758*d5ef99ddSAndreas Gohr    url: 'https://projectdiscovery.io/'
2759*d5ef99ddSAndreas Gohr
2760*d5ef99ddSAndreas Gohr- regex: 'scaninfo@(?:expanseinc|paloaltonetworks)\.com'
2761*d5ef99ddSAndreas Gohr  name: 'Expanse'
2762*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2763*d5ef99ddSAndreas Gohr  url: 'https://expanse.co/'
2764*d5ef99ddSAndreas Gohr  producer:
2765*d5ef99ddSAndreas Gohr    name: 'Expanse Inc.'
2766*d5ef99ddSAndreas Gohr    url: 'https://expanse.co/'
2767*d5ef99ddSAndreas Gohr
2768*d5ef99ddSAndreas Gohr- regex: 'HuaweiWebCatBot'
2769*d5ef99ddSAndreas Gohr  name: 'HuaweiWebCatBot'
2770*d5ef99ddSAndreas Gohr  category: 'Crawler'
2771*d5ef99ddSAndreas Gohr  url: 'https://isecurity.huawei.com'
2772*d5ef99ddSAndreas Gohr  producer:
2773*d5ef99ddSAndreas Gohr    name: 'Huawei Technologies Co., Ltd.'
2774*d5ef99ddSAndreas Gohr    url: 'https://huawei.com'
2775*d5ef99ddSAndreas Gohr
2776*d5ef99ddSAndreas Gohr- regex: 'Hatena-Favicon'
2777*d5ef99ddSAndreas Gohr  name: 'Hatena Favicon'
2778*d5ef99ddSAndreas Gohr  category: 'Crawler'
2779*d5ef99ddSAndreas Gohr  url: 'https://www.hatena.ne.jp/faq/'
2780*d5ef99ddSAndreas Gohr  producer:
2781*d5ef99ddSAndreas Gohr    name: 'Hatena Co., Ltd.'
2782*d5ef99ddSAndreas Gohr    url: 'https://www.hatena.ne.jp'
2783*d5ef99ddSAndreas Gohr- regex: 'Hatena-?Bookmark'
2784*d5ef99ddSAndreas Gohr  name: 'Hatena Bookmark'
2785*d5ef99ddSAndreas Gohr  category: 'Crawler'
2786*d5ef99ddSAndreas Gohr  url: 'https://www.hatena.ne.jp/faq/'
2787*d5ef99ddSAndreas Gohr  producer:
2788*d5ef99ddSAndreas Gohr    name: 'Hatena Co., Ltd.'
2789*d5ef99ddSAndreas Gohr    url: 'https://www.hatena.ne.jp'
2790*d5ef99ddSAndreas Gohr
2791*d5ef99ddSAndreas Gohr- regex: 'RyowlEngine'
2792*d5ef99ddSAndreas Gohr  name: 'Ryowl'
2793*d5ef99ddSAndreas Gohr  category: 'Crawler'
2794*d5ef99ddSAndreas Gohr  url: 'https://ryowl.org'
2795*d5ef99ddSAndreas Gohr
2796*d5ef99ddSAndreas Gohr- regex: 'OdklBot'
2797*d5ef99ddSAndreas Gohr  name: 'Odnoklassniki Bot'
2798*d5ef99ddSAndreas Gohr  category: 'Crawler'
2799*d5ef99ddSAndreas Gohr  url: 'https://odnoklassniki.ru'
2800*d5ef99ddSAndreas Gohr
2801*d5ef99ddSAndreas Gohr- regex: 'Mediatoolkitbot'
2802*d5ef99ddSAndreas Gohr  name: 'Mediatoolkit Bot'
2803*d5ef99ddSAndreas Gohr  category: 'Crawler'
2804*d5ef99ddSAndreas Gohr  url: 'https://mediatoolkit.com'
2805*d5ef99ddSAndreas Gohr
2806*d5ef99ddSAndreas Gohr- regex: 'ZoominfoBot'
2807*d5ef99ddSAndreas Gohr  name: 'ZoominfoBot'
2808*d5ef99ddSAndreas Gohr  category: 'Crawler'
2809*d5ef99ddSAndreas Gohr  url: 'https://www.zoominfo.com'
2810*d5ef99ddSAndreas Gohr
2811*d5ef99ddSAndreas Gohr- regex: 'WeViKaBot'
2812*d5ef99ddSAndreas Gohr  name: 'WeViKaBot'
2813*d5ef99ddSAndreas Gohr  category: 'Crawler'
2814*d5ef99ddSAndreas Gohr  url: 'http://www.wevika.de'
2815*d5ef99ddSAndreas Gohr
2816*d5ef99ddSAndreas Gohr- regex: 'SEOkicks'
2817*d5ef99ddSAndreas Gohr  name: 'SEOkicks'
2818*d5ef99ddSAndreas Gohr  category: 'Crawler'
2819*d5ef99ddSAndreas Gohr  url: 'https://www.seokicks.de/robot.html'
2820*d5ef99ddSAndreas Gohr  producer:
2821*d5ef99ddSAndreas Gohr    name: 'SEOkicks'
2822*d5ef99ddSAndreas Gohr    url: 'https://www.seokicks.de/'
2823*d5ef99ddSAndreas Gohr
2824*d5ef99ddSAndreas Gohr- regex: 'Plukkie'
2825*d5ef99ddSAndreas Gohr  name: 'Plukkie'
2826*d5ef99ddSAndreas Gohr  category: 'Crawler'
2827*d5ef99ddSAndreas Gohr  url: 'http://www.botje.com/plukkie.htm'
2828*d5ef99ddSAndreas Gohr
2829*d5ef99ddSAndreas Gohr- regex: 'proximic;'
2830*d5ef99ddSAndreas Gohr  name: 'Comscore'
2831*d5ef99ddSAndreas Gohr  category: 'Crawler'
2832*d5ef99ddSAndreas Gohr  url: 'https://www.comscore.com/Web-Crawler'
2833*d5ef99ddSAndreas Gohr
2834*d5ef99ddSAndreas Gohr- regex: 'SurdotlyBot'
2835*d5ef99ddSAndreas Gohr  name: 'SurdotlyBot'
2836*d5ef99ddSAndreas Gohr  category: 'Crawler'
2837*d5ef99ddSAndreas Gohr  url: 'http://sur.ly/bot.html'
2838*d5ef99ddSAndreas Gohr
2839*d5ef99ddSAndreas Gohr- regex: 'Gowikibot'
2840*d5ef99ddSAndreas Gohr  name: 'Gowikibot'
2841*d5ef99ddSAndreas Gohr  category: 'Crawler'
2842*d5ef99ddSAndreas Gohr  url: 'http:/www.gowikibot.com'
2843*d5ef99ddSAndreas Gohr
2844*d5ef99ddSAndreas Gohr- regex: 'SabsimBot'
2845*d5ef99ddSAndreas Gohr  name: 'SabsimBot'
2846*d5ef99ddSAndreas Gohr  category: 'Crawler'
2847*d5ef99ddSAndreas Gohr  url: 'https://sabsim.com'
2848*d5ef99ddSAndreas Gohr
2849*d5ef99ddSAndreas Gohr- regex: 'LumtelBot'
2850*d5ef99ddSAndreas Gohr  name: 'LumtelBot'
2851*d5ef99ddSAndreas Gohr  category: 'Crawler'
2852*d5ef99ddSAndreas Gohr  url: 'https://umtel.com'
2853*d5ef99ddSAndreas Gohr
2854*d5ef99ddSAndreas Gohr- regex: 'PiplBot'
2855*d5ef99ddSAndreas Gohr  name: 'PiplBot'
2856*d5ef99ddSAndreas Gohr  category: 'Crawler'
2857*d5ef99ddSAndreas Gohr  url: 'http://www.pipl.com/bot'
2858*d5ef99ddSAndreas Gohr
2859*d5ef99ddSAndreas Gohr- regex: 'woobot'
2860*d5ef99ddSAndreas Gohr  name: 'WooRank'
2861*d5ef99ddSAndreas Gohr  category: 'Crawler'
2862*d5ef99ddSAndreas Gohr  url: 'https://www.woorank.com/bot'
2863*d5ef99ddSAndreas Gohr
2864*d5ef99ddSAndreas Gohr- regex: 'Cookiebot'
2865*d5ef99ddSAndreas Gohr  name: 'Cookiebot'
2866*d5ef99ddSAndreas Gohr  category: 'Crawler'
2867*d5ef99ddSAndreas Gohr  url: 'https://support.cookiebot.com/hc/en-us/articles/360014264140-Scanner-User-Agent'
2868*d5ef99ddSAndreas Gohr  producer:
2869*d5ef99ddSAndreas Gohr    name: 'Cybot A/S'
2870*d5ef99ddSAndreas Gohr    url: 'https://www.cybot.com/'
2871*d5ef99ddSAndreas Gohr
2872*d5ef99ddSAndreas Gohr- regex: 'NetSystemsResearch'
2873*d5ef99ddSAndreas Gohr  name: 'NetSystemsResearch'
2874*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2875*d5ef99ddSAndreas Gohr  url: 'https://www.netsystemsresearch.com/'
2876*d5ef99ddSAndreas Gohr  producer:
2877*d5ef99ddSAndreas Gohr    name: 'NET SYSTEMS RESEARCH LLC'
2878*d5ef99ddSAndreas Gohr    url: 'https://www.netsystemsresearch.com/'
2879*d5ef99ddSAndreas Gohr
2880*d5ef99ddSAndreas Gohr- regex: 'CensysInspect'
2881*d5ef99ddSAndreas Gohr  name: 'CensysInspect'
2882*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2883*d5ef99ddSAndreas Gohr  url: 'https://about.censys.io/'
2884*d5ef99ddSAndreas Gohr  producer:
2885*d5ef99ddSAndreas Gohr    name: 'Censys, Inc.'
2886*d5ef99ddSAndreas Gohr    url: 'https://censys.io/'
2887*d5ef99ddSAndreas Gohr
2888*d5ef99ddSAndreas Gohr- regex: 'gdnplus\.com'
2889*d5ef99ddSAndreas Gohr  name: 'GDNP'
2890*d5ef99ddSAndreas Gohr  category: 'Crawler'
2891*d5ef99ddSAndreas Gohr  url: 'https://gdnplus.com/'
2892*d5ef99ddSAndreas Gohr  producer:
2893*d5ef99ddSAndreas Gohr    name: 'Global Digital Network Plus, LLC'
2894*d5ef99ddSAndreas Gohr    url: 'https://gdnplus.com/'
2895*d5ef99ddSAndreas Gohr
2896*d5ef99ddSAndreas Gohr- regex: 'WellKnownBot'
2897*d5ef99ddSAndreas Gohr  name: 'WellKnownBot'
2898*d5ef99ddSAndreas Gohr  category: 'Crawler'
2899*d5ef99ddSAndreas Gohr  url: 'https://well-known.dev'
2900*d5ef99ddSAndreas Gohr
2901*d5ef99ddSAndreas Gohr- regex: 'Adsbot'
2902*d5ef99ddSAndreas Gohr  name: 'Adsbot'
2903*d5ef99ddSAndreas Gohr  category: 'Crawler'
2904*d5ef99ddSAndreas Gohr  url: 'https://seostar.co/robot/'
2905*d5ef99ddSAndreas Gohr
2906*d5ef99ddSAndreas Gohr- regex: 'MTRobot'
2907*d5ef99ddSAndreas Gohr  name: 'MTRobot'
2908*d5ef99ddSAndreas Gohr  category: 'Crawler'
2909*d5ef99ddSAndreas Gohr  url: 'https://metrics-tools.de/robot.html'
2910*d5ef99ddSAndreas Gohr  producer:
2911*d5ef99ddSAndreas Gohr    name: 'Metrics Tools'
2912*d5ef99ddSAndreas Gohr    url: 'https://metrics-tools.de/'
2913*d5ef99ddSAndreas Gohr
2914*d5ef99ddSAndreas Gohr- regex: 'serpstatbot'
2915*d5ef99ddSAndreas Gohr  name: 'serpstatbot'
2916*d5ef99ddSAndreas Gohr  category: 'Crawler'
2917*d5ef99ddSAndreas Gohr  url: 'http://serpstatbot.com/'
2918*d5ef99ddSAndreas Gohr  producer:
2919*d5ef99ddSAndreas Gohr    name: 'Netpeak Ltd'
2920*d5ef99ddSAndreas Gohr    url: 'https://netpeak.net/'
2921*d5ef99ddSAndreas Gohr
2922*d5ef99ddSAndreas Gohr- regex: 'colly'
2923*d5ef99ddSAndreas Gohr  name: 'colly'
2924*d5ef99ddSAndreas Gohr  category: 'Crawler'
2925*d5ef99ddSAndreas Gohr  url: 'https://github.com/gocolly/colly/'
2926*d5ef99ddSAndreas Gohr
2927*d5ef99ddSAndreas Gohr- regex: 'l9tcpid'
2928*d5ef99ddSAndreas Gohr  name: 'l9tcpid'
2929*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2930*d5ef99ddSAndreas Gohr  url: 'https://github.com/LeakIX/l9tcpid'
2931*d5ef99ddSAndreas Gohr
2932*d5ef99ddSAndreas Gohr- regex: 'l9explore'
2933*d5ef99ddSAndreas Gohr  name: 'l9explore'
2934*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2935*d5ef99ddSAndreas Gohr  url: 'https://github.com/LeakIX/l9explore'
2936*d5ef99ddSAndreas Gohr
2937*d5ef99ddSAndreas Gohr- regex: 'l9scan/|^Lkx-.*/'
2938*d5ef99ddSAndreas Gohr  name: 'LeakIX'
2939*d5ef99ddSAndreas Gohr  category: 'Security Checker'
2940*d5ef99ddSAndreas Gohr  url: 'https://leakix.net/'
2941*d5ef99ddSAndreas Gohr  producer:
2942*d5ef99ddSAndreas Gohr    name: 'BaDaaS SRL'
2943*d5ef99ddSAndreas Gohr    url: 'https://leakix.net/'
2944*d5ef99ddSAndreas Gohr
2945*d5ef99ddSAndreas Gohr- regex: 'MegaIndex\.ru'
2946*d5ef99ddSAndreas Gohr  name: 'MegaIndex'
2947*d5ef99ddSAndreas Gohr  category: 'Crawler'
2948*d5ef99ddSAndreas Gohr  url: 'https://megaindex.com/crawler'
2949*d5ef99ddSAndreas Gohr
2950*d5ef99ddSAndreas Gohr- regex: 'Seekport'
2951*d5ef99ddSAndreas Gohr  name: 'Seekport'
2952*d5ef99ddSAndreas Gohr  category: 'Crawler'
2953*d5ef99ddSAndreas Gohr  url: 'https://bot.seekport.com/'
2954*d5ef99ddSAndreas Gohr  producer:
2955*d5ef99ddSAndreas Gohr    name: 'SISTRIX GmbH'
2956*d5ef99ddSAndreas Gohr    url: 'https://www.sistrix.de/'
2957*d5ef99ddSAndreas Gohr
2958*d5ef99ddSAndreas Gohr- regex: 'Seolyt(?:Bot)?'
2959*d5ef99ddSAndreas Gohr  name: 'SeolytBot'
2960*d5ef99ddSAndreas Gohr  category: 'Crawler'
2961*d5ef99ddSAndreas Gohr  url: 'https://seolyt.com/'
2962*d5ef99ddSAndreas Gohr
2963*d5ef99ddSAndreas Gohr- regex: 'YaK/'
2964*d5ef99ddSAndreas Gohr  name: 'YaK'
2965*d5ef99ddSAndreas Gohr  category: 'Crawler'
2966*d5ef99ddSAndreas Gohr  url: 'https://www.linkfluence.com/'
2967*d5ef99ddSAndreas Gohr  producer:
2968*d5ef99ddSAndreas Gohr    name: 'Linkfluence SAS'
2969*d5ef99ddSAndreas Gohr    url: 'https://www.linkfluence.com/'
2970*d5ef99ddSAndreas Gohr
2971*d5ef99ddSAndreas Gohr- regex: 'KomodiaBot'
2972*d5ef99ddSAndreas Gohr  name: 'KomodiaBot'
2973*d5ef99ddSAndreas Gohr  category: 'Crawler'
2974*d5ef99ddSAndreas Gohr  url: 'http://www.komodia.com/newwiki/index.php/URL_server_crawler'
2975*d5ef99ddSAndreas Gohr  producer:
2976*d5ef99ddSAndreas Gohr    name: 'Komodia Inc.'
2977*d5ef99ddSAndreas Gohr    url: 'https://www.komodia.com/'
2978*d5ef99ddSAndreas Gohr
2979*d5ef99ddSAndreas Gohr- regex: 'KStandBot'
2980*d5ef99ddSAndreas Gohr  name: 'KStandBot'
2981*d5ef99ddSAndreas Gohr  category: 'Crawler'
2982*d5ef99ddSAndreas Gohr  url: 'https://url-classification.io/wiki/index.php?title=URL_server_crawler'
2983*d5ef99ddSAndreas Gohr  producer:
2984*d5ef99ddSAndreas Gohr    name: 'Komodia Inc.'
2985*d5ef99ddSAndreas Gohr    url: 'https://www.komodia.com/'
2986*d5ef99ddSAndreas Gohr
2987*d5ef99ddSAndreas Gohr- regex: 'Neevabot'
2988*d5ef99ddSAndreas Gohr  name: 'Neevabot'
2989*d5ef99ddSAndreas Gohr  category: 'Search bot'
2990*d5ef99ddSAndreas Gohr  url: 'https://neeva.com/neevabot'
2991*d5ef99ddSAndreas Gohr  producer:
2992*d5ef99ddSAndreas Gohr    name: 'Neeva Inc.'
2993*d5ef99ddSAndreas Gohr    url: 'https://neeva.com/'
2994*d5ef99ddSAndreas Gohr
2995*d5ef99ddSAndreas Gohr- regex: 'Chatwork LinkPreview'
2996*d5ef99ddSAndreas Gohr  name: 'Chatwork LinkPreview'
2997*d5ef99ddSAndreas Gohr  category: 'Service Agent'
2998*d5ef99ddSAndreas Gohr  url: 'https://go.chatwork.com/en/'
2999*d5ef99ddSAndreas Gohr  producer:
3000*d5ef99ddSAndreas Gohr    name: 'kubell Co., Ltd.'
3001*d5ef99ddSAndreas Gohr    url: 'https://www.kubell.com/en/'
3002*d5ef99ddSAndreas Gohr
3003*d5ef99ddSAndreas Gohr- regex: 'LinkPreview'
3004*d5ef99ddSAndreas Gohr  name: 'LinkPreview'
3005*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3006*d5ef99ddSAndreas Gohr  url: 'https://www.linkpreview.net/'
3007*d5ef99ddSAndreas Gohr
3008*d5ef99ddSAndreas Gohr- regex: 'JungleKeyThumbnail'
3009*d5ef99ddSAndreas Gohr  name: 'JungleKeyThumbnail'
3010*d5ef99ddSAndreas Gohr  category: 'Crawler'
3011*d5ef99ddSAndreas Gohr  url: 'https://junglekey.com/'
3012*d5ef99ddSAndreas Gohr
3013*d5ef99ddSAndreas Gohr- regex: 'rocketmonitor(?:bot)?'
3014*d5ef99ddSAndreas Gohr  name: 'RocketMonitorBot'
3015*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3016*d5ef99ddSAndreas Gohr  url: 'https://www.radiomast.io/docs/stream-monitoring/technical_details.html'
3017*d5ef99ddSAndreas Gohr  producer:
3018*d5ef99ddSAndreas Gohr    name: 'Radio Mast, Inc.'
3019*d5ef99ddSAndreas Gohr    url: 'https://www.radiomast.io/'
3020*d5ef99ddSAndreas Gohr
3021*d5ef99ddSAndreas Gohr- regex: 'SitemapParser-VIPnytt'
3022*d5ef99ddSAndreas Gohr  name: 'SitemapParser-VIPnytt'
3023*d5ef99ddSAndreas Gohr  category: 'Crawler'
3024*d5ef99ddSAndreas Gohr  url: 'https://github.com/VIPnytt/SitemapParser/'
3025*d5ef99ddSAndreas Gohr
3026*d5ef99ddSAndreas Gohr- regex: '^Turnitin'
3027*d5ef99ddSAndreas Gohr  name: 'Turnitin'
3028*d5ef99ddSAndreas Gohr  category: 'Crawler'
3029*d5ef99ddSAndreas Gohr  url: 'https://turnitin.com/robot/crawlerinfo.html'
3030*d5ef99ddSAndreas Gohr
3031*d5ef99ddSAndreas Gohr- regex: 'DMBrowser|DMBrowser-[UB]V'
3032*d5ef99ddSAndreas Gohr  name: 'Dotcom Monitor'
3033*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3034*d5ef99ddSAndreas Gohr  url: 'https://www.dotcom-monitor.com'
3035*d5ef99ddSAndreas Gohr
3036*d5ef99ddSAndreas Gohr- regex: 'ThinkChaos/'
3037*d5ef99ddSAndreas Gohr  name: 'ThinkChaos'
3038*d5ef99ddSAndreas Gohr  category: 'Crawler'
3039*d5ef99ddSAndreas Gohr
3040*d5ef99ddSAndreas Gohr- regex: 'DataForSeoBot'
3041*d5ef99ddSAndreas Gohr  name: 'DataForSeoBot'
3042*d5ef99ddSAndreas Gohr  category: 'Crawler'
3043*d5ef99ddSAndreas Gohr  url: 'https://dataforseo.com/dataforseo-bot'
3044*d5ef99ddSAndreas Gohr
3045*d5ef99ddSAndreas Gohr- regex: 'Discordbot'
3046*d5ef99ddSAndreas Gohr  name: 'Discord Bot'
3047*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3048*d5ef99ddSAndreas Gohr  url: 'https://discordapp.com'
3049*d5ef99ddSAndreas Gohr
3050*d5ef99ddSAndreas Gohr- regex: 'Linespider'
3051*d5ef99ddSAndreas Gohr  name: 'Linespider'
3052*d5ef99ddSAndreas Gohr  category: 'Crawler'
3053*d5ef99ddSAndreas Gohr  url: 'https://lin.ee/4dwXkTH'
3054*d5ef99ddSAndreas Gohr
3055*d5ef99ddSAndreas Gohr- regex: 'Cincraw'
3056*d5ef99ddSAndreas Gohr  name: 'Cincraw'
3057*d5ef99ddSAndreas Gohr  category: 'Crawler'
3058*d5ef99ddSAndreas Gohr  url: 'http://cincrawdata.net/bot/'
3059*d5ef99ddSAndreas Gohr
3060*d5ef99ddSAndreas Gohr- regex: 'CISPA Web Analyzer'
3061*d5ef99ddSAndreas Gohr  name: 'CISPA Web Analyzer'
3062*d5ef99ddSAndreas Gohr  category: 'Crawler'
3063*d5ef99ddSAndreas Gohr  url: 'https://notify.cispa.de/'
3064*d5ef99ddSAndreas Gohr  producer:
3065*d5ef99ddSAndreas Gohr    name: 'CISPA - Helmholtz-Zentrum für Informationssicherheit gGmbH'
3066*d5ef99ddSAndreas Gohr    url: 'https://cispa.de/en'
3067*d5ef99ddSAndreas Gohr
3068*d5ef99ddSAndreas Gohr- regex: 'IonCrawl'
3069*d5ef99ddSAndreas Gohr  name: 'IONOS Crawler'
3070*d5ef99ddSAndreas Gohr  category: 'Crawler'
3071*d5ef99ddSAndreas Gohr  url: 'https://www.ionos.de/terms-gtc/faq-crawler-en/'
3072*d5ef99ddSAndreas Gohr  producer:
3073*d5ef99ddSAndreas Gohr    name: 'IONOS SE'
3074*d5ef99ddSAndreas Gohr    url: 'https://www.ionos.de/'
3075*d5ef99ddSAndreas Gohr
3076*d5ef99ddSAndreas Gohr- regex: 'Crawldad'
3077*d5ef99ddSAndreas Gohr  name: 'Crawldad'
3078*d5ef99ddSAndreas Gohr  category: 'Crawler'
3079*d5ef99ddSAndreas Gohr  url: 'https://gist.github.com/jayhardee9/2f2a2c4dba26564ee040ae32e0dd0972'
3080*d5ef99ddSAndreas Gohr
3081*d5ef99ddSAndreas Gohr- regex: 'https://securitytxt-scan\.cs\.hm\.edu/'
3082*d5ef99ddSAndreas Gohr  name: 'security.txt scanserver'
3083*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3084*d5ef99ddSAndreas Gohr  url: 'https://securitytxt-scan.cs.hm.edu/'
3085*d5ef99ddSAndreas Gohr  producer:
3086*d5ef99ddSAndreas Gohr    name: 'Hochschule für angewandte Wissenschaften München'
3087*d5ef99ddSAndreas Gohr    url: 'https://www.hm.edu/'
3088*d5ef99ddSAndreas Gohr
3089*d5ef99ddSAndreas Gohr- regex: 'TigerBot'
3090*d5ef99ddSAndreas Gohr  name: 'TigerBot'
3091*d5ef99ddSAndreas Gohr  category: 'Crawler'
3092*d5ef99ddSAndreas Gohr  url: 'https://tiger.ch/'
3093*d5ef99ddSAndreas Gohr
3094*d5ef99ddSAndreas Gohr- regex: 'TestCrawler'
3095*d5ef99ddSAndreas Gohr  name: 'TestCrawler'
3096*d5ef99ddSAndreas Gohr  category: 'Crawler'
3097*d5ef99ddSAndreas Gohr  url: 'https://www.comcepta.com/'
3098*d5ef99ddSAndreas Gohr
3099*d5ef99ddSAndreas Gohr- regex: 'CrowdTanglebot'
3100*d5ef99ddSAndreas Gohr  name: 'CrowdTangle'
3101*d5ef99ddSAndreas Gohr  category: 'Crawler'
3102*d5ef99ddSAndreas Gohr  url: 'https://help.crowdtangle.com/en/articles/3009319-crowdtangle-bot'
3103*d5ef99ddSAndreas Gohr  producer:
3104*d5ef99ddSAndreas Gohr    name: 'CrowdTangle, Inc.'
3105*d5ef99ddSAndreas Gohr    url: 'https://www.crowdtangle.com/'
3106*d5ef99ddSAndreas Gohr
3107*d5ef99ddSAndreas Gohr- regex: 'Sellers\.Guide Crawler by Primis'
3108*d5ef99ddSAndreas Gohr  name: 'Sellers.Guide'
3109*d5ef99ddSAndreas Gohr  category: 'Crawler'
3110*d5ef99ddSAndreas Gohr  url: 'https://sellers.guide/'
3111*d5ef99ddSAndreas Gohr  producer:
3112*d5ef99ddSAndreas Gohr    name: 'McCann Disciplines, Ltd.'
3113*d5ef99ddSAndreas Gohr    url: 'https://www.primis.tech/'
3114*d5ef99ddSAndreas Gohr
3115*d5ef99ddSAndreas Gohr- regex: 'OnalyticaBot'
3116*d5ef99ddSAndreas Gohr  name: 'Onalytica'
3117*d5ef99ddSAndreas Gohr  category: 'Crawler'
3118*d5ef99ddSAndreas Gohr  url: 'https://www.airslate.com/bot/explore/onalytica-bot'
3119*d5ef99ddSAndreas Gohr  producer:
3120*d5ef99ddSAndreas Gohr    name: 'airSlate, Inc.'
3121*d5ef99ddSAndreas Gohr    url: 'https://www.airslate.com/'
3122*d5ef99ddSAndreas Gohr
3123*d5ef99ddSAndreas Gohr- regex: 'deepnoc'
3124*d5ef99ddSAndreas Gohr  name: 'deepnoc'
3125*d5ef99ddSAndreas Gohr  category: 'Crawler'
3126*d5ef99ddSAndreas Gohr  url: 'https://deepnoc.com/bot'
3127*d5ef99ddSAndreas Gohr  producer:
3128*d5ef99ddSAndreas Gohr    name: 'deepnoc, GmbH'
3129*d5ef99ddSAndreas Gohr    url: 'https://deepnoc.com/'
3130*d5ef99ddSAndreas Gohr
3131*d5ef99ddSAndreas Gohr- regex: 'Newslitbot'
3132*d5ef99ddSAndreas Gohr  name: 'Newslitbot'
3133*d5ef99ddSAndreas Gohr  category: 'Crawler'
3134*d5ef99ddSAndreas Gohr  url: 'https://www.newslit.co/'
3135*d5ef99ddSAndreas Gohr  producer:
3136*d5ef99ddSAndreas Gohr    name: 'Newslit, LLC.'
3137*d5ef99ddSAndreas Gohr    url: 'https://www.newslit.co/'
3138*d5ef99ddSAndreas Gohr
3139*d5ef99ddSAndreas Gohr- regex: 'um-(?:ANS|CC|FC|IC|LN)'
3140*d5ef99ddSAndreas Gohr  name: 'uMBot'
3141*d5ef99ddSAndreas Gohr  category: 'Crawler'
3142*d5ef99ddSAndreas Gohr  url: 'https://www.ubermetrics-technologies.com/'
3143*d5ef99ddSAndreas Gohr  producer:
3144*d5ef99ddSAndreas Gohr    name: 'Ubermetrics Technologies GmbH'
3145*d5ef99ddSAndreas Gohr    url: 'https://www.ubermetrics-technologies.com/'
3146*d5ef99ddSAndreas Gohr
3147*d5ef99ddSAndreas Gohr- regex: 'Abonti'
3148*d5ef99ddSAndreas Gohr  name: 'Abonti'
3149*d5ef99ddSAndreas Gohr  category: 'Crawler'
3150*d5ef99ddSAndreas Gohr  url: 'http://abonti.com/'
3151*d5ef99ddSAndreas Gohr
3152*d5ef99ddSAndreas Gohr- regex: 'collection@infegy\.com'
3153*d5ef99ddSAndreas Gohr  name: 'Infegy'
3154*d5ef99ddSAndreas Gohr  category: 'Crawler'
3155*d5ef99ddSAndreas Gohr  url: 'https://infegy.com/'
3156*d5ef99ddSAndreas Gohr  producer:
3157*d5ef99ddSAndreas Gohr    name: 'Infegy, Inc.'
3158*d5ef99ddSAndreas Gohr    url: 'https://infegy.com/'
3159*d5ef99ddSAndreas Gohr
3160*d5ef99ddSAndreas Gohr- regex: 'HTTP Banner Detection \(https://security\.ipip\.net\)'
3161*d5ef99ddSAndreas Gohr  name: 'IPIP'
3162*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3163*d5ef99ddSAndreas Gohr  url: 'https://security.ipip.net/'
3164*d5ef99ddSAndreas Gohr  producer:
3165*d5ef99ddSAndreas Gohr    name: 'Beijing Tiantexin Tech. Co., Ltd.'
3166*d5ef99ddSAndreas Gohr    url: 'https://en.ipip.net/'
3167*d5ef99ddSAndreas Gohr
3168*d5ef99ddSAndreas Gohr- regex: 'ev-crawler'
3169*d5ef99ddSAndreas Gohr  name: 'Headline'
3170*d5ef99ddSAndreas Gohr  category: 'Crawler'
3171*d5ef99ddSAndreas Gohr  url: 'https://headline.com/legal/crawler'
3172*d5ef99ddSAndreas Gohr  producer:
3173*d5ef99ddSAndreas Gohr    name: 'e.ventures Managementgesellschaft mbH'
3174*d5ef99ddSAndreas Gohr    url: 'https://headline.com/'
3175*d5ef99ddSAndreas Gohr
3176*d5ef99ddSAndreas Gohr- regex: 'webprosbot'
3177*d5ef99ddSAndreas Gohr  name: 'WebPros'
3178*d5ef99ddSAndreas Gohr  category: 'Crawler'
3179*d5ef99ddSAndreas Gohr  url: 'https://webpros.com/'
3180*d5ef99ddSAndreas Gohr  producer:
3181*d5ef99ddSAndreas Gohr    name: 'WebPros Holdco B.V.'
3182*d5ef99ddSAndreas Gohr    url: 'https://webpros.com/'
3183*d5ef99ddSAndreas Gohr
3184*d5ef99ddSAndreas Gohr- regex: 'ELB-HealthChecker'
3185*d5ef99ddSAndreas Gohr  name: 'Amazon ELB'
3186*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3187*d5ef99ddSAndreas Gohr  url: 'https://aws.amazon.com/elasticloadbalancing/'
3188*d5ef99ddSAndreas Gohr  producer:
3189*d5ef99ddSAndreas Gohr    name: 'Amazon.com, Inc.'
3190*d5ef99ddSAndreas Gohr    url: 'https://www.amazon.com/'
3191*d5ef99ddSAndreas Gohr
3192*d5ef99ddSAndreas Gohr- regex: 'Wheregoes\.com Redirect Checker'
3193*d5ef99ddSAndreas Gohr  name: 'WhereGoes'
3194*d5ef99ddSAndreas Gohr  category: 'Crawler'
3195*d5ef99ddSAndreas Gohr  url: 'https://wheregoes.com/'
3196*d5ef99ddSAndreas Gohr
3197*d5ef99ddSAndreas Gohr- regex: 'project_patchwatch'
3198*d5ef99ddSAndreas Gohr  name: 'Project Patchwatch'
3199*d5ef99ddSAndreas Gohr  category: 'Crawler'
3200*d5ef99ddSAndreas Gohr  url: 'http://66.240.192.82/'
3201*d5ef99ddSAndreas Gohr
3202*d5ef99ddSAndreas Gohr- regex: 'InternetMeasurement'
3203*d5ef99ddSAndreas Gohr  name: 'InternetMeasurement'
3204*d5ef99ddSAndreas Gohr  category: 'Crawler'
3205*d5ef99ddSAndreas Gohr  url: 'https://internet-measurement.com/'
3206*d5ef99ddSAndreas Gohr
3207*d5ef99ddSAndreas Gohr- regex: 'DomainAppender'
3208*d5ef99ddSAndreas Gohr  name: 'DomainAppender'
3209*d5ef99ddSAndreas Gohr  category: 'Crawler'
3210*d5ef99ddSAndreas Gohr  url: 'https://www.profound.net/product/domain_append/'
3211*d5ef99ddSAndreas Gohr  producer:
3212*d5ef99ddSAndreas Gohr    name: 'Profound Networks, LLC'
3213*d5ef99ddSAndreas Gohr    url: 'https://www.profound.net/'
3214*d5ef99ddSAndreas Gohr
3215*d5ef99ddSAndreas Gohr- regex: 'FreeWebMonitoring SiteChecker'
3216*d5ef99ddSAndreas Gohr  name: 'FreeWebMonitoring'
3217*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3218*d5ef99ddSAndreas Gohr  url: 'https://www.freewebmonitoring.com/bot.html'
3219*d5ef99ddSAndreas Gohr  producer:
3220*d5ef99ddSAndreas Gohr    name: 'GreenWave Online, Inc.'
3221*d5ef99ddSAndreas Gohr    url: 'http://www.greenwaveonline.com/'
3222*d5ef99ddSAndreas Gohr
3223*d5ef99ddSAndreas Gohr- regex: 'Page Modified Pinger'
3224*d5ef99ddSAndreas Gohr  name: 'Page Modified Pinger'
3225*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3226*d5ef99ddSAndreas Gohr  url: 'https://www.pagemodified.com/'
3227*d5ef99ddSAndreas Gohr  producer:
3228*d5ef99ddSAndreas Gohr    name: 'Valley Hosting, LLC'
3229*d5ef99ddSAndreas Gohr    url: 'https://www.pagemodified.com/'
3230*d5ef99ddSAndreas Gohr
3231*d5ef99ddSAndreas Gohr- regex: 'adstxtlab\.com'
3232*d5ef99ddSAndreas Gohr  name: 'adstxtlab.com'
3233*d5ef99ddSAndreas Gohr  category: 'Crawler'
3234*d5ef99ddSAndreas Gohr  url: 'https://adstxtlab.com/validator.php'
3235*d5ef99ddSAndreas Gohr  producer:
3236*d5ef99ddSAndreas Gohr    name: 'Jaohawi AB'
3237*d5ef99ddSAndreas Gohr    url: 'https://adstxtlab.com/'
3238*d5ef99ddSAndreas Gohr
3239*d5ef99ddSAndreas Gohr- regex: 'Iframely'
3240*d5ef99ddSAndreas Gohr  name: 'Iframely'
3241*d5ef99ddSAndreas Gohr  category: 'Crawler'
3242*d5ef99ddSAndreas Gohr  url: 'https://iframely.com/'
3243*d5ef99ddSAndreas Gohr  producer:
3244*d5ef99ddSAndreas Gohr    name: 'Itteco Software, Corp.'
3245*d5ef99ddSAndreas Gohr    url: 'https://iframely.com/'
3246*d5ef99ddSAndreas Gohr
3247*d5ef99ddSAndreas Gohr- regex: 'DomainStatsBot'
3248*d5ef99ddSAndreas Gohr  name: 'DomainStatsBot'
3249*d5ef99ddSAndreas Gohr  category: 'Crawler'
3250*d5ef99ddSAndreas Gohr  url: 'https://domainstats.com/pages/our-bot'
3251*d5ef99ddSAndreas Gohr  producer:
3252*d5ef99ddSAndreas Gohr    name: 'Domainstats Ltd'
3253*d5ef99ddSAndreas Gohr    url: 'https://domainstats.com/'
3254*d5ef99ddSAndreas Gohr
3255*d5ef99ddSAndreas Gohr- regex: 'aiHitBot'
3256*d5ef99ddSAndreas Gohr  name: 'aiHitBot'
3257*d5ef99ddSAndreas Gohr  category: 'Crawler'
3258*d5ef99ddSAndreas Gohr  url: 'https://www.aihitdata.com/about'
3259*d5ef99ddSAndreas Gohr
3260*d5ef99ddSAndreas Gohr- regex: 'DomainCrawler/'
3261*d5ef99ddSAndreas Gohr  name: 'DomainCrawler'
3262*d5ef99ddSAndreas Gohr  category: 'Crawler'
3263*d5ef99ddSAndreas Gohr  url: 'https://domaincrawler.com/about-us/'
3264*d5ef99ddSAndreas Gohr
3265*d5ef99ddSAndreas Gohr- regex: 'DNSResearchBot'
3266*d5ef99ddSAndreas Gohr  name: 'DNSResearchBot'
3267*d5ef99ddSAndreas Gohr  category: 'Crawler'
3268*d5ef99ddSAndreas Gohr
3269*d5ef99ddSAndreas Gohr- regex: 'GitCrawlerBot'
3270*d5ef99ddSAndreas Gohr  name: 'GitCrawlerBot'
3271*d5ef99ddSAndreas Gohr  category: 'Crawler'
3272*d5ef99ddSAndreas Gohr
3273*d5ef99ddSAndreas Gohr- regex: 'AdAuth'
3274*d5ef99ddSAndreas Gohr  name: 'AdAuth'
3275*d5ef99ddSAndreas Gohr  category: 'Crawler'
3276*d5ef99ddSAndreas Gohr  url: 'https://www.adauth.com'
3277*d5ef99ddSAndreas Gohr
3278*d5ef99ddSAndreas Gohr- regex: 'faveeo\.com'
3279*d5ef99ddSAndreas Gohr  name: 'Faveeo'
3280*d5ef99ddSAndreas Gohr  category: 'Crawler'
3281*d5ef99ddSAndreas Gohr  url: 'http://www.faveeo.com'
3282*d5ef99ddSAndreas Gohr
3283*d5ef99ddSAndreas Gohr- regex: 'kozmonavt\.'
3284*d5ef99ddSAndreas Gohr  name: 'Kozmonavt'
3285*d5ef99ddSAndreas Gohr  category: 'Crawler'
3286*d5ef99ddSAndreas Gohr  url: 'https://kozmonavt.ml'
3287*d5ef99ddSAndreas Gohr
3288*d5ef99ddSAndreas Gohr- regex: 'CriteoBot/'
3289*d5ef99ddSAndreas Gohr  name: 'CriteoBot'
3290*d5ef99ddSAndreas Gohr  category: 'Crawler'
3291*d5ef99ddSAndreas Gohr  url: 'https://www.criteo.com/criteo-crawler/'
3292*d5ef99ddSAndreas Gohr
3293*d5ef99ddSAndreas Gohr- regex: 'PayPal IPN'
3294*d5ef99ddSAndreas Gohr  name: 'PayPal IPN'
3295*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3296*d5ef99ddSAndreas Gohr  url: 'https://developer.paypal.com/api/nvp-soap/ipn/IPNIntro/'
3297*d5ef99ddSAndreas Gohr  producer:
3298*d5ef99ddSAndreas Gohr    name: 'PayPal, Inc.'
3299*d5ef99ddSAndreas Gohr    url: 'https://www.paypal.com/'
3300*d5ef99ddSAndreas Gohr
3301*d5ef99ddSAndreas Gohr- regex: 'MaCoCu'
3302*d5ef99ddSAndreas Gohr  name: 'MaCoCu'
3303*d5ef99ddSAndreas Gohr  category: 'Crawler'
3304*d5ef99ddSAndreas Gohr  url: 'https://www.clarin.si/info/macocu-massive-collection-and-curation-of-monolingual-and-bilingual-data/'
3305*d5ef99ddSAndreas Gohr  producer:
3306*d5ef99ddSAndreas Gohr    name: 'Jožef Stefan Institute'
3307*d5ef99ddSAndreas Gohr    url: 'https://www.ijs.si/ijsw/JSI'
3308*d5ef99ddSAndreas Gohr
3309*d5ef99ddSAndreas Gohr- regex: 'CLASSLA'
3310*d5ef99ddSAndreas Gohr  name: 'CLASSLA-web'
3311*d5ef99ddSAndreas Gohr  category: 'Crawler'
3312*d5ef99ddSAndreas Gohr  url: 'https://www.clarin.si/info/classla-web-crawler/'
3313*d5ef99ddSAndreas Gohr  producer:
3314*d5ef99ddSAndreas Gohr    name: 'Jožef Stefan Institute'
3315*d5ef99ddSAndreas Gohr    url: 'https://www.ijs.si/ijsw/JSI'
3316*d5ef99ddSAndreas Gohr
3317*d5ef99ddSAndreas Gohr- regex: 'dnt-policy@eff\.org'
3318*d5ef99ddSAndreas Gohr  name: 'EFF Do Not Track Verifier'
3319*d5ef99ddSAndreas Gohr  category: 'Crawler'
3320*d5ef99ddSAndreas Gohr  url: 'https://www.eff.org/issues/do-not-track'
3321*d5ef99ddSAndreas Gohr  producer:
3322*d5ef99ddSAndreas Gohr    name: 'Electronic Frontier Foundation'
3323*d5ef99ddSAndreas Gohr    url: 'https://www.eff.org/'
3324*d5ef99ddSAndreas Gohr
3325*d5ef99ddSAndreas Gohr- regex: 'InfoTigerBot'
3326*d5ef99ddSAndreas Gohr  name: 'InfoTigerBot'
3327*d5ef99ddSAndreas Gohr  category: 'Crawler'
3328*d5ef99ddSAndreas Gohr  url: 'https://infotiger.com/bot'
3329*d5ef99ddSAndreas Gohr  producer:
3330*d5ef99ddSAndreas Gohr    name: 'Infotiger UG'
3331*d5ef99ddSAndreas Gohr    url: 'https://infotiger.com/'
3332*d5ef99ddSAndreas Gohr
3333*d5ef99ddSAndreas Gohr- regex: '(?:Birdcrawlerbot|CrawlaDeBot)'
3334*d5ef99ddSAndreas Gohr  name: 'Birdcrawlerbot'
3335*d5ef99ddSAndreas Gohr  category: 'Crawler'
3336*d5ef99ddSAndreas Gohr  url: 'https://crawla.de/de/index.php'
3337*d5ef99ddSAndreas Gohr  producer:
3338*d5ef99ddSAndreas Gohr    name: 'Swoppen Systems GmbH'
3339*d5ef99ddSAndreas Gohr    url: 'https://www.swoppen.com/de'
3340*d5ef99ddSAndreas Gohr
3341*d5ef99ddSAndreas Gohr- regex: 'ScamadviserExternalHit'
3342*d5ef99ddSAndreas Gohr  name: 'Scamadviser External Hit'
3343*d5ef99ddSAndreas Gohr  category: 'Crawler'
3344*d5ef99ddSAndreas Gohr  url: 'https://www.scamadviser.com/'
3345*d5ef99ddSAndreas Gohr  producer:
3346*d5ef99ddSAndreas Gohr    name: 'Ecommerce Operations B.V.'
3347*d5ef99ddSAndreas Gohr    url: 'https://www.scamadviser.com/'
3348*d5ef99ddSAndreas Gohr
3349*d5ef99ddSAndreas Gohr- regex: 'ZaldamoSearchBot'
3350*d5ef99ddSAndreas Gohr  name: 'Zaldamo'
3351*d5ef99ddSAndreas Gohr  category: 'Crawler'
3352*d5ef99ddSAndreas Gohr  url: 'https://www.zaldamo.com/search.html'
3353*d5ef99ddSAndreas Gohr  producer:
3354*d5ef99ddSAndreas Gohr    name: 'Zaldamo, LLC.'
3355*d5ef99ddSAndreas Gohr    url: 'https://www.zaldamo.com/'
3356*d5ef99ddSAndreas Gohr
3357*d5ef99ddSAndreas Gohr- regex: 'AFB'
3358*d5ef99ddSAndreas Gohr  name: 'Allloadin Favicon Bot'
3359*d5ef99ddSAndreas Gohr  category: 'Crawler'
3360*d5ef99ddSAndreas Gohr  url: 'https://allloadin.com/'
3361*d5ef99ddSAndreas Gohr
3362*d5ef99ddSAndreas Gohr- regex: 'LinkWalker'
3363*d5ef99ddSAndreas Gohr  name: 'LinkWalker'
3364*d5ef99ddSAndreas Gohr  category: 'Crawler'
3365*d5ef99ddSAndreas Gohr  url: 'https://www.phishlabs.com/'
3366*d5ef99ddSAndreas Gohr  producer:
3367*d5ef99ddSAndreas Gohr    name: 'PhishLabs, Inc.'
3368*d5ef99ddSAndreas Gohr    url: 'https://www.phishlabs.com/'
3369*d5ef99ddSAndreas Gohr
3370*d5ef99ddSAndreas Gohr- regex: 'RenovateBot'
3371*d5ef99ddSAndreas Gohr  name: 'RenovateBot'
3372*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3373*d5ef99ddSAndreas Gohr  url: 'https://github.com/renovatebot/renovate'
3374*d5ef99ddSAndreas Gohr  producer:
3375*d5ef99ddSAndreas Gohr    name: 'White Source Ltd.'
3376*d5ef99ddSAndreas Gohr    url: 'https://www.mend.io/free-developer-tools/renovate/'
3377*d5ef99ddSAndreas Gohr
3378*d5ef99ddSAndreas Gohr- regex: 'INETDEX-BOT'
3379*d5ef99ddSAndreas Gohr  name: 'Inetdex Bot'
3380*d5ef99ddSAndreas Gohr  category: 'Crawler'
3381*d5ef99ddSAndreas Gohr  url: 'https://www.inetdex.com/'
3382*d5ef99ddSAndreas Gohr
3383*d5ef99ddSAndreas Gohr- regex: 'NETZZAPPEN'
3384*d5ef99ddSAndreas Gohr  name: 'NETZZAPPEN'
3385*d5ef99ddSAndreas Gohr  category: 'Crawler'
3386*d5ef99ddSAndreas Gohr  url: 'https://www.netzzappen.com/'
3387*d5ef99ddSAndreas Gohr  producer:
3388*d5ef99ddSAndreas Gohr    name: 'Marc Huemer'
3389*d5ef99ddSAndreas Gohr    url: 'https://www.netzzappen.com/'
3390*d5ef99ddSAndreas Gohr
3391*d5ef99ddSAndreas Gohr- regex: 'panscient\.com'
3392*d5ef99ddSAndreas Gohr  name: 'Panscient'
3393*d5ef99ddSAndreas Gohr  category: 'Crawler'
3394*d5ef99ddSAndreas Gohr  url: 'https://www.panscient.com/faq.htm'
3395*d5ef99ddSAndreas Gohr  producer:
3396*d5ef99ddSAndreas Gohr    name: 'Panscient, Inc.'
3397*d5ef99ddSAndreas Gohr    url: 'https://www.panscient.com/'
3398*d5ef99ddSAndreas Gohr
3399*d5ef99ddSAndreas Gohr- regex: 'research@pdrlabs\.net'
3400*d5ef99ddSAndreas Gohr  name: 'PDR Labs'
3401*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3402*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20220420054123/http://www.pdrlabs.net/'
3403*d5ef99ddSAndreas Gohr  producer:
3404*d5ef99ddSAndreas Gohr    name: 'PDR Labs'
3405*d5ef99ddSAndreas Gohr    url: 'https://web.archive.org/web/20220420054123/http://www.pdrlabs.net/'
3406*d5ef99ddSAndreas Gohr
3407*d5ef99ddSAndreas Gohr- regex: 'Nicecrawler'
3408*d5ef99ddSAndreas Gohr  name: 'NiceCrawler'
3409*d5ef99ddSAndreas Gohr  category: 'Crawler'
3410*d5ef99ddSAndreas Gohr  url: 'https://www.nicecrawler.com/'
3411*d5ef99ddSAndreas Gohr  producer:
3412*d5ef99ddSAndreas Gohr    name: 'Intelium Corp.'
3413*d5ef99ddSAndreas Gohr    url: 'https://www.intelium.com/'
3414*d5ef99ddSAndreas Gohr
3415*d5ef99ddSAndreas Gohr- regex: 't3versionsBot'
3416*d5ef99ddSAndreas Gohr  name: 't3versions'
3417*d5ef99ddSAndreas Gohr  category: 'Crawler'
3418*d5ef99ddSAndreas Gohr  url: 'https://www.t3versions.com/bot'
3419*d5ef99ddSAndreas Gohr  producer:
3420*d5ef99ddSAndreas Gohr    name: 'Torben Hansen'
3421*d5ef99ddSAndreas Gohr    url: 'https://www.t3versions.com/'
3422*d5ef99ddSAndreas Gohr
3423*d5ef99ddSAndreas Gohr- regex: 'Crawlson'
3424*d5ef99ddSAndreas Gohr  name: 'Crawlson'
3425*d5ef99ddSAndreas Gohr  category: 'Crawler'
3426*d5ef99ddSAndreas Gohr  url: 'https://www.crawlson.com/about'
3427*d5ef99ddSAndreas Gohr  producer:
3428*d5ef99ddSAndreas Gohr    name: 'Crawlson'
3429*d5ef99ddSAndreas Gohr    url: 'https://www.crawlson.com/'
3430*d5ef99ddSAndreas Gohr
3431*d5ef99ddSAndreas Gohr- regex: 'tchelebi'
3432*d5ef99ddSAndreas Gohr  name: 'tchelebi'
3433*d5ef99ddSAndreas Gohr  category: 'Crawler'
3434*d5ef99ddSAndreas Gohr  url: 'https://tchelebi.io/'
3435*d5ef99ddSAndreas Gohr  producer:
3436*d5ef99ddSAndreas Gohr    name: 'NormShield, Inc.'
3437*d5ef99ddSAndreas Gohr    url: 'https://blackkite.com/'
3438*d5ef99ddSAndreas Gohr
3439*d5ef99ddSAndreas Gohr- regex: 'JobboerseBot'
3440*d5ef99ddSAndreas Gohr  name: 'JobboerseBot'
3441*d5ef99ddSAndreas Gohr  category: 'Crawler'
3442*d5ef99ddSAndreas Gohr  url: 'https://www.xing.com/jobs'
3443*d5ef99ddSAndreas Gohr  producer:
3444*d5ef99ddSAndreas Gohr    name: 'New Work SE'
3445*d5ef99ddSAndreas Gohr    url: 'https://www.xing.com/'
3446*d5ef99ddSAndreas Gohr
3447*d5ef99ddSAndreas Gohr- regex: 'RepoLookoutBot'
3448*d5ef99ddSAndreas Gohr  name: 'Repo Lookout'
3449*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3450*d5ef99ddSAndreas Gohr  url: 'https://www.repo-lookout.org/'
3451*d5ef99ddSAndreas Gohr  producer:
3452*d5ef99ddSAndreas Gohr    name: 'Crissy Field GmbH'
3453*d5ef99ddSAndreas Gohr    url: 'https://www.crissyfield.de/'
3454*d5ef99ddSAndreas Gohr
3455*d5ef99ddSAndreas Gohr- regex: 'PATHspider'
3456*d5ef99ddSAndreas Gohr  name: 'PATHspider'
3457*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3458*d5ef99ddSAndreas Gohr  url: 'https://pathspider.net/'
3459*d5ef99ddSAndreas Gohr  producer:
3460*d5ef99ddSAndreas Gohr    name: 'MAMI Project'
3461*d5ef99ddSAndreas Gohr    url: 'https://mami-project.eu/'
3462*d5ef99ddSAndreas Gohr
3463*d5ef99ddSAndreas Gohr- regex: 'everyfeed-spider'
3464*d5ef99ddSAndreas Gohr  name: 'Everyfeed'
3465*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20050930235914/http://www.everyfeed.com/'
3466*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
3467*d5ef99ddSAndreas Gohr  producer:
3468*d5ef99ddSAndreas Gohr    name: ''
3469*d5ef99ddSAndreas Gohr    url: ''
3470*d5ef99ddSAndreas Gohr
3471*d5ef99ddSAndreas Gohr- regex: 'Exchange check'
3472*d5ef99ddSAndreas Gohr  name: 'Exchange check'
3473*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3474*d5ef99ddSAndreas Gohr  url: 'https://github.com/GossiTheDog/scanning'
3475*d5ef99ddSAndreas Gohr  producer:
3476*d5ef99ddSAndreas Gohr    name: 'Kevin Beaumont'
3477*d5ef99ddSAndreas Gohr    url: 'https://doublepulsar.com/'
3478*d5ef99ddSAndreas Gohr
3479*d5ef99ddSAndreas Gohr- regex: 'Sublinq'
3480*d5ef99ddSAndreas Gohr  name: 'Sublinq'
3481*d5ef99ddSAndreas Gohr  category: 'Crawler'
3482*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20220626191617/https://sublinq.com/'
3483*d5ef99ddSAndreas Gohr  producer:
3484*d5ef99ddSAndreas Gohr    name: ''
3485*d5ef99ddSAndreas Gohr    url: ''
3486*d5ef99ddSAndreas Gohr
3487*d5ef99ddSAndreas Gohr- regex: 'Gregarius'
3488*d5ef99ddSAndreas Gohr  name: 'Gregarius'
3489*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
3490*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20100614011837/http://devlog.gregarius.net/docs/ua/'
3491*d5ef99ddSAndreas Gohr  producer:
3492*d5ef99ddSAndreas Gohr    name: ''
3493*d5ef99ddSAndreas Gohr    url: ''
3494*d5ef99ddSAndreas Gohr
3495*d5ef99ddSAndreas Gohr- regex: 'COMODO DCV'
3496*d5ef99ddSAndreas Gohr  name: 'COMODO DCV'
3497*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3498*d5ef99ddSAndreas Gohr  url: 'https://www.comodo.com/'
3499*d5ef99ddSAndreas Gohr  producer:
3500*d5ef99ddSAndreas Gohr    name: 'Comodo Security Solutions, Inc.'
3501*d5ef99ddSAndreas Gohr    url: 'https://www.comodo.com/'
3502*d5ef99ddSAndreas Gohr
3503*d5ef99ddSAndreas Gohr- regex: 'Sectigo DCV|acme\.sectigo\.com'
3504*d5ef99ddSAndreas Gohr  name: 'Sectigo DCV'
3505*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3506*d5ef99ddSAndreas Gohr  url: 'https://sectigo.com/'
3507*d5ef99ddSAndreas Gohr  producer:
3508*d5ef99ddSAndreas Gohr    name: 'Sectigo Limited'
3509*d5ef99ddSAndreas Gohr    url: 'https://sectigo.com/'
3510*d5ef99ddSAndreas Gohr
3511*d5ef99ddSAndreas Gohr- regex: 'KlarnaBot-(?:DownloadProductImage|EnrichProducts|PriceWatcher)'
3512*d5ef99ddSAndreas Gohr  name: 'KlarnaBot'
3513*d5ef99ddSAndreas Gohr  category: 'Crawler'
3514*d5ef99ddSAndreas Gohr  url: 'https://docs.klarna.com/klarna-bot/'
3515*d5ef99ddSAndreas Gohr  producer:
3516*d5ef99ddSAndreas Gohr    name: 'Klarna Bank AB'
3517*d5ef99ddSAndreas Gohr    url: 'https://www.klarna.com/'
3518*d5ef99ddSAndreas Gohr
3519*d5ef99ddSAndreas Gohr- regex: 'Taboolabot'
3520*d5ef99ddSAndreas Gohr  name: 'Taboolabot'
3521*d5ef99ddSAndreas Gohr  category: 'Crawler'
3522*d5ef99ddSAndreas Gohr  url: 'https://help.taboola.com/hc/en-us/articles/115002347594-The-Taboola-Crawler'
3523*d5ef99ddSAndreas Gohr  producer:
3524*d5ef99ddSAndreas Gohr    name: 'Taboola, Inc.'
3525*d5ef99ddSAndreas Gohr    url: 'https://www.taboola.com/'
3526*d5ef99ddSAndreas Gohr
3527*d5ef99ddSAndreas Gohr- regex: 'Asana'
3528*d5ef99ddSAndreas Gohr  name: 'Asana'
3529*d5ef99ddSAndreas Gohr  category: 'Crawler'
3530*d5ef99ddSAndreas Gohr  url: 'https://asana.com/'
3531*d5ef99ddSAndreas Gohr  producer:
3532*d5ef99ddSAndreas Gohr    name: 'Asana, Inc.'
3533*d5ef99ddSAndreas Gohr    url: 'https://asana.com/'
3534*d5ef99ddSAndreas Gohr
3535*d5ef99ddSAndreas Gohr- regex: 'Chrome Privacy Preserving Prefetch Proxy'
3536*d5ef99ddSAndreas Gohr  name: 'Chrome Privacy Preserving Prefetch Proxy'
3537*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3538*d5ef99ddSAndreas Gohr  url: 'https://developer.chrome.com/blog/private-prefetch-proxy/'
3539*d5ef99ddSAndreas Gohr  producer:
3540*d5ef99ddSAndreas Gohr    name: 'Google Inc.'
3541*d5ef99ddSAndreas Gohr    url: 'https://www.google.com/'
3542*d5ef99ddSAndreas Gohr
3543*d5ef99ddSAndreas Gohr- regex: 'URLinspectorBot'
3544*d5ef99ddSAndreas Gohr  name: 'URLinspector'
3545*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3546*d5ef99ddSAndreas Gohr  url: 'https://www.urlinspector.com/bot/'
3547*d5ef99ddSAndreas Gohr  producer:
3548*d5ef99ddSAndreas Gohr    name: 'LinkResearchTools GmbH'
3549*d5ef99ddSAndreas Gohr    url: 'https://www.linkresearchtools.com/'
3550*d5ef99ddSAndreas Gohr
3551*d5ef99ddSAndreas Gohr- regex: 'EntferBot'
3552*d5ef99ddSAndreas Gohr  name: 'Entfer'
3553*d5ef99ddSAndreas Gohr  category: 'Crawler'
3554*d5ef99ddSAndreas Gohr  url: 'https://entfer.com/'
3555*d5ef99ddSAndreas Gohr  producer:
3556*d5ef99ddSAndreas Gohr    name: 'Entfer Ltd.'
3557*d5ef99ddSAndreas Gohr    url: 'https://entfer.com/'
3558*d5ef99ddSAndreas Gohr
3559*d5ef99ddSAndreas Gohr- regex: 'TagInspector'
3560*d5ef99ddSAndreas Gohr  name: 'Tag Inspector'
3561*d5ef99ddSAndreas Gohr  category: 'Crawler'
3562*d5ef99ddSAndreas Gohr  url: 'https://taginspector.com/'
3563*d5ef99ddSAndreas Gohr  producer:
3564*d5ef99ddSAndreas Gohr    name: 'InfoTrust, LLC'
3565*d5ef99ddSAndreas Gohr    url: 'https://infotrust.com/'
3566*d5ef99ddSAndreas Gohr
3567*d5ef99ddSAndreas Gohr- regex: 'pageburst'
3568*d5ef99ddSAndreas Gohr  name: 'Pageburst'
3569*d5ef99ddSAndreas Gohr  category: 'Crawler'
3570*d5ef99ddSAndreas Gohr  url: 'https://pageburstls.elsevier.com/'
3571*d5ef99ddSAndreas Gohr  producer:
3572*d5ef99ddSAndreas Gohr    name: 'Elsevier Ltd'
3573*d5ef99ddSAndreas Gohr    url: 'https://www.elsevier.com/'
3574*d5ef99ddSAndreas Gohr
3575*d5ef99ddSAndreas Gohr- regex: '.+diffbot'
3576*d5ef99ddSAndreas Gohr  name: 'Diffbot'
3577*d5ef99ddSAndreas Gohr  category: 'Crawler'
3578*d5ef99ddSAndreas Gohr  url: 'https://docs.diffbot.com/docs/getting-started-with-crawl'
3579*d5ef99ddSAndreas Gohr  producer:
3580*d5ef99ddSAndreas Gohr    name: 'Diffbot Technologies Corp.'
3581*d5ef99ddSAndreas Gohr    url: 'https://www.diffbot.com/'
3582*d5ef99ddSAndreas Gohr
3583*d5ef99ddSAndreas Gohr- regex: 'DisqusAdstxtCrawler'
3584*d5ef99ddSAndreas Gohr  name: 'Disqus'
3585*d5ef99ddSAndreas Gohr  category: 'Crawler'
3586*d5ef99ddSAndreas Gohr  url: 'https://help.disqus.com/en/articles/1765357-ads-txt-implementation-guide'
3587*d5ef99ddSAndreas Gohr  producer:
3588*d5ef99ddSAndreas Gohr    name: 'Disqus, Inc.'
3589*d5ef99ddSAndreas Gohr    url: 'https://disqus.com/'
3590*d5ef99ddSAndreas Gohr
3591*d5ef99ddSAndreas Gohr- regex: 'startmebot'
3592*d5ef99ddSAndreas Gohr  name: 'start.me'
3593*d5ef99ddSAndreas Gohr  category: 'Crawler'
3594*d5ef99ddSAndreas Gohr  url: 'https://about.start.me/'
3595*d5ef99ddSAndreas Gohr  producer:
3596*d5ef99ddSAndreas Gohr    name: 'start.me BV'
3597*d5ef99ddSAndreas Gohr    url: 'https://about.start.me/'
3598*d5ef99ddSAndreas Gohr
3599*d5ef99ddSAndreas Gohr- regex: '2ip bot'
3600*d5ef99ddSAndreas Gohr  name: '2ip'
3601*d5ef99ddSAndreas Gohr  category: 'Crawler'
3602*d5ef99ddSAndreas Gohr  url: 'https://2ip.io/'
3603*d5ef99ddSAndreas Gohr
3604*d5ef99ddSAndreas Gohr- regex: 'ReqBin Curl Client'
3605*d5ef99ddSAndreas Gohr  name: 'ReqBin'
3606*d5ef99ddSAndreas Gohr  category: 'Crawler'
3607*d5ef99ddSAndreas Gohr  url: 'https://reqbin.com/curl'
3608*d5ef99ddSAndreas Gohr
3609*d5ef99ddSAndreas Gohr- regex: 'XoviBot'
3610*d5ef99ddSAndreas Gohr  name: 'XoviBot'
3611*d5ef99ddSAndreas Gohr  category: 'Crawler'
3612*d5ef99ddSAndreas Gohr  url: 'https://www.xovibot.net'
3613*d5ef99ddSAndreas Gohr  producer:
3614*d5ef99ddSAndreas Gohr    name: 'Xovi GmbH'
3615*d5ef99ddSAndreas Gohr    url: 'http://www.xovi.de'
3616*d5ef99ddSAndreas Gohr
3617*d5ef99ddSAndreas Gohr- regex: 'Overcast/.+Podcast Sync'
3618*d5ef99ddSAndreas Gohr  name: 'Overcast Podcast Sync'
3619*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3620*d5ef99ddSAndreas Gohr  url: 'https://overcast.fm/podcasterinfo'
3621*d5ef99ddSAndreas Gohr
3622*d5ef99ddSAndreas Gohr- regex: '^Verity'
3623*d5ef99ddSAndreas Gohr  name: 'GumGum Verity'
3624*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3625*d5ef99ddSAndreas Gohr  url: 'https://gumgum.com/verity'
3626*d5ef99ddSAndreas Gohr
3627*d5ef99ddSAndreas Gohr- regex: 'hackermention'
3628*d5ef99ddSAndreas Gohr  name: 'hackermention'
3629*d5ef99ddSAndreas Gohr  category: 'Feed Reader'
3630*d5ef99ddSAndreas Gohr  url: 'https://github.com/snarfed/hackermention'
3631*d5ef99ddSAndreas Gohr
3632*d5ef99ddSAndreas Gohr- regex: 'BitSightBot'
3633*d5ef99ddSAndreas Gohr  name: 'BitSight'
3634*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3635*d5ef99ddSAndreas Gohr  url: 'https://www.bitsight.com/'
3636*d5ef99ddSAndreas Gohr  producer:
3637*d5ef99ddSAndreas Gohr    name: 'BitSight Technologies, Inc.'
3638*d5ef99ddSAndreas Gohr    url: 'https://www.bitsight.com/'
3639*d5ef99ddSAndreas Gohr
3640*d5ef99ddSAndreas Gohr- regex: 'Ezgif'
3641*d5ef99ddSAndreas Gohr  name: 'Ezgif'
3642*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3643*d5ef99ddSAndreas Gohr  url: 'https://ezgif.com/about'
3644*d5ef99ddSAndreas Gohr
3645*d5ef99ddSAndreas Gohr- regex: 'intelx\.io_bot'
3646*d5ef99ddSAndreas Gohr  name: 'Intelligence X'
3647*d5ef99ddSAndreas Gohr  category: 'Crawler'
3648*d5ef99ddSAndreas Gohr  url: 'https://intelx.io/'
3649*d5ef99ddSAndreas Gohr  producer:
3650*d5ef99ddSAndreas Gohr    name: 'Kleissner Investments s.r.o.'
3651*d5ef99ddSAndreas Gohr    url: 'https://intelx.io/'
3652*d5ef99ddSAndreas Gohr
3653*d5ef99ddSAndreas Gohr- regex: 'FemtosearchBot'
3654*d5ef99ddSAndreas Gohr  name: 'Femtosearch'
3655*d5ef99ddSAndreas Gohr  category: 'Crawler'
3656*d5ef99ddSAndreas Gohr  url: 'http://femtosearch.com/'
3657*d5ef99ddSAndreas Gohr  producer:
3658*d5ef99ddSAndreas Gohr    name: 'Grier Forensics, LLC'
3659*d5ef99ddSAndreas Gohr    url: 'https://www.grierforensics.com/'
3660*d5ef99ddSAndreas Gohr
3661*d5ef99ddSAndreas Gohr- regex: 'AdsTxtCrawler/'
3662*d5ef99ddSAndreas Gohr  name: 'AdsTxtCrawler'
3663*d5ef99ddSAndreas Gohr  category: 'Crawler'
3664*d5ef99ddSAndreas Gohr  url: 'https://github.com/InteractiveAdvertisingBureau/adstxtcrawler'
3665*d5ef99ddSAndreas Gohr  producer:
3666*d5ef99ddSAndreas Gohr    name: 'IAB Technology Laboratory, Inc.'
3667*d5ef99ddSAndreas Gohr    url: 'https://iabtechlab.com/'
3668*d5ef99ddSAndreas Gohr
3669*d5ef99ddSAndreas Gohr- regex: 'Morningscore'
3670*d5ef99ddSAndreas Gohr  name: 'Morningscore Bot'
3671*d5ef99ddSAndreas Gohr  category: 'Crawler'
3672*d5ef99ddSAndreas Gohr  url: 'https://morningscore.io/'
3673*d5ef99ddSAndreas Gohr  producer:
3674*d5ef99ddSAndreas Gohr    name: 'Morningscore'
3675*d5ef99ddSAndreas Gohr    url: 'https://morningscore.io/'
3676*d5ef99ddSAndreas Gohr
3677*d5ef99ddSAndreas Gohr- regex: 'Uptime-Kuma'
3678*d5ef99ddSAndreas Gohr  name: 'Uptime-Kuma'
3679*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3680*d5ef99ddSAndreas Gohr  url: 'https://github.com/louislam/uptime-kuma'
3681*d5ef99ddSAndreas Gohr
3682*d5ef99ddSAndreas Gohr- regex: 'OAI-SearchBot'
3683*d5ef99ddSAndreas Gohr  name: 'OAI-SearchBot'
3684*d5ef99ddSAndreas Gohr  category: 'Crawler'
3685*d5ef99ddSAndreas Gohr  url: 'https://platform.openai.com/docs/bots'
3686*d5ef99ddSAndreas Gohr  producer:
3687*d5ef99ddSAndreas Gohr    name: 'OpenAI OpCo, LLC'
3688*d5ef99ddSAndreas Gohr    url: 'https://openai.com/'
3689*d5ef99ddSAndreas Gohr
3690*d5ef99ddSAndreas Gohr- regex: 'GPTBot'
3691*d5ef99ddSAndreas Gohr  name: 'GPTBot'
3692*d5ef99ddSAndreas Gohr  category: 'Crawler'
3693*d5ef99ddSAndreas Gohr  url: 'https://platform.openai.com/docs/bots'
3694*d5ef99ddSAndreas Gohr  producer:
3695*d5ef99ddSAndreas Gohr    name: 'OpenAI OpCo, LLC'
3696*d5ef99ddSAndreas Gohr    url: 'https://openai.com/'
3697*d5ef99ddSAndreas Gohr
3698*d5ef99ddSAndreas Gohr- regex: 'ChatGPT-User'
3699*d5ef99ddSAndreas Gohr  name: 'ChatGPT-User'
3700*d5ef99ddSAndreas Gohr  category: 'Crawler'
3701*d5ef99ddSAndreas Gohr  url: 'https://platform.openai.com/docs/bots'
3702*d5ef99ddSAndreas Gohr  producer:
3703*d5ef99ddSAndreas Gohr    name: 'OpenAI OpCo, LLC'
3704*d5ef99ddSAndreas Gohr    url: 'https://openai.com/'
3705*d5ef99ddSAndreas Gohr
3706*d5ef99ddSAndreas Gohr- regex: 'BrightEdge Crawler'
3707*d5ef99ddSAndreas Gohr  name: 'BrightEdge'
3708*d5ef99ddSAndreas Gohr  category: 'Crawler'
3709*d5ef99ddSAndreas Gohr  url: 'https://www.brightedge.com/'
3710*d5ef99ddSAndreas Gohr  producer:
3711*d5ef99ddSAndreas Gohr    name: 'BrightEdge Technologies, Inc'
3712*d5ef99ddSAndreas Gohr    url: 'https://www.brightedge.com/'
3713*d5ef99ddSAndreas Gohr
3714*d5ef99ddSAndreas Gohr- regex: 'sfFeedReader'
3715*d5ef99ddSAndreas Gohr  name: 'sfFeedReader'
3716*d5ef99ddSAndreas Gohr  url: 'https://github.com/diem-project/sfFeed2Plugin'
3717*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
3718*d5ef99ddSAndreas Gohr
3719*d5ef99ddSAndreas Gohr- regex: 'cyberscan\.io'
3720*d5ef99ddSAndreas Gohr  name: 'Cyberscan'
3721*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3722*d5ef99ddSAndreas Gohr  url: 'https://www.cyberscan.io/'
3723*d5ef99ddSAndreas Gohr  producer:
3724*d5ef99ddSAndreas Gohr    name: 'DGC Verwaltungs GmbH'
3725*d5ef99ddSAndreas Gohr    url: 'https://dgc.org/'
3726*d5ef99ddSAndreas Gohr
3727*d5ef99ddSAndreas Gohr- regex: 'researchscan\.comsys\.rwth-aachen\.de'
3728*d5ef99ddSAndreas Gohr  name: 'Research Scan'
3729*d5ef99ddSAndreas Gohr  category: 'Crawler'
3730*d5ef99ddSAndreas Gohr  url: 'http://researchscan.comsys.rwth-aachen.de/'
3731*d5ef99ddSAndreas Gohr  producer:
3732*d5ef99ddSAndreas Gohr    name: 'RWTH Aachen University'
3733*d5ef99ddSAndreas Gohr    url: 'https://www.comsys.rwth-aachen.de/'
3734*d5ef99ddSAndreas Gohr
3735*d5ef99ddSAndreas Gohr- regex: 'newspaper'
3736*d5ef99ddSAndreas Gohr  name: 'Scraping Robot'
3737*d5ef99ddSAndreas Gohr  category: 'Crawler'
3738*d5ef99ddSAndreas Gohr  url: 'https://scrapingrobot.com/'
3739*d5ef99ddSAndreas Gohr  producer:
3740*d5ef99ddSAndreas Gohr    name: 'Sprious LLC'
3741*d5ef99ddSAndreas Gohr    url: 'https://sprious.com/'
3742*d5ef99ddSAndreas Gohr
3743*d5ef99ddSAndreas Gohr- regex: 'Ant(?:\.com beta|Bot)'
3744*d5ef99ddSAndreas Gohr  name: 'Ant'
3745*d5ef99ddSAndreas Gohr  category: 'Crawler'
3746*d5ef99ddSAndreas Gohr  url: 'https://www.ant.com/'
3747*d5ef99ddSAndreas Gohr  producer:
3748*d5ef99ddSAndreas Gohr    name: 'Ant.com Ltd.'
3749*d5ef99ddSAndreas Gohr    url: 'https://www.ant.com/'
3750*d5ef99ddSAndreas Gohr
3751*d5ef99ddSAndreas Gohr- regex: 'WebwikiBot'
3752*d5ef99ddSAndreas Gohr  name: 'Webwiki'
3753*d5ef99ddSAndreas Gohr  category: 'Crawler'
3754*d5ef99ddSAndreas Gohr  url: 'https://www.webwiki.com/'
3755*d5ef99ddSAndreas Gohr  producer:
3756*d5ef99ddSAndreas Gohr    name: 'webwiki GmbH'
3757*d5ef99ddSAndreas Gohr    url: 'https://www.webwiki.com/'
3758*d5ef99ddSAndreas Gohr
3759*d5ef99ddSAndreas Gohr- regex: 'phpMyAdmin'
3760*d5ef99ddSAndreas Gohr  name: 'phpMyAdmin'
3761*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3762*d5ef99ddSAndreas Gohr  url: 'https://www.phpmyadmin.net/'
3763*d5ef99ddSAndreas Gohr
3764*d5ef99ddSAndreas Gohr- regex: 'Matomo/[\d.]+'
3765*d5ef99ddSAndreas Gohr  name: 'Matomo'
3766*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3767*d5ef99ddSAndreas Gohr  url: 'https://github.com/matomo-org/matomo'
3768*d5ef99ddSAndreas Gohr  producer:
3769*d5ef99ddSAndreas Gohr    name: 'InnoCraft Ltd'
3770*d5ef99ddSAndreas Gohr    url: 'https://matomo.org/'
3771*d5ef99ddSAndreas Gohr
3772*d5ef99ddSAndreas Gohr- regex: 'Prometheus'
3773*d5ef99ddSAndreas Gohr  name: 'Prometheus'
3774*d5ef99ddSAndreas Gohr  category: 'Service Agent'
3775*d5ef99ddSAndreas Gohr  url: 'https://github.com/prometheus/prometheus'
3776*d5ef99ddSAndreas Gohr  producer:
3777*d5ef99ddSAndreas Gohr    name: 'The Linux Foundation'
3778*d5ef99ddSAndreas Gohr    url: 'https://www.cncf.io/'
3779*d5ef99ddSAndreas Gohr
3780*d5ef99ddSAndreas Gohr- regex: 'ArchiveTeam ArchiveBot'
3781*d5ef99ddSAndreas Gohr  name: 'ArchiveBot'
3782*d5ef99ddSAndreas Gohr  category: 'Crawler'
3783*d5ef99ddSAndreas Gohr  url: 'https://wiki.archiveteam.org/index.php?title=ArchiveBot'
3784*d5ef99ddSAndreas Gohr  producer:
3785*d5ef99ddSAndreas Gohr    name: 'ArchiveTeam'
3786*d5ef99ddSAndreas Gohr    url: 'https://wiki.archiveteam.org/'
3787*d5ef99ddSAndreas Gohr
3788*d5ef99ddSAndreas Gohr- regex: 'MADBbot'
3789*d5ef99ddSAndreas Gohr  name: 'MADBbot'
3790*d5ef99ddSAndreas Gohr  category: 'Crawler'
3791*d5ef99ddSAndreas Gohr  url: 'https://madb.zapto.org/bot.html'
3792*d5ef99ddSAndreas Gohr
3793*d5ef99ddSAndreas Gohr- regex: 'MeltwaterNews'
3794*d5ef99ddSAndreas Gohr  name: 'MeltwaterNews'
3795*d5ef99ddSAndreas Gohr  category: 'Crawler'
3796*d5ef99ddSAndreas Gohr  producer:
3797*d5ef99ddSAndreas Gohr    name: 'Meltwater Deutschland GmbH'
3798*d5ef99ddSAndreas Gohr    url: 'https://www.meltwater.com/'
3799*d5ef99ddSAndreas Gohr
3800*d5ef99ddSAndreas Gohr- regex: 'owler'
3801*d5ef99ddSAndreas Gohr  name: 'OWLer'
3802*d5ef99ddSAndreas Gohr  category: 'Crawler'
3803*d5ef99ddSAndreas Gohr  url: 'https://openwebsearch.eu/owler/'
3804*d5ef99ddSAndreas Gohr  producer:
3805*d5ef99ddSAndreas Gohr    name: 'Open Search Foundation e.V.'
3806*d5ef99ddSAndreas Gohr    url: 'https://openwebsearch.eu/'
3807*d5ef99ddSAndreas Gohr
3808*d5ef99ddSAndreas Gohr- regex: 'bbc\.co\.uk/display/men/Page\+Monitor'
3809*d5ef99ddSAndreas Gohr  name: 'BBC Page Monitor'
3810*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3811*d5ef99ddSAndreas Gohr  url: 'https://confluence.dev.bbc.co.uk/display/men/Page+Monitor'
3812*d5ef99ddSAndreas Gohr  producer:
3813*d5ef99ddSAndreas Gohr    name: 'BBC'
3814*d5ef99ddSAndreas Gohr    url: 'https://www.bbc.com/'
3815*d5ef99ddSAndreas Gohr
3816*d5ef99ddSAndreas Gohr- regex: 'BBC-Forge-URL-Monitor-Twisted'
3817*d5ef99ddSAndreas Gohr  name: 'BBC Forge URL Monitor'
3818*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3819*d5ef99ddSAndreas Gohr  url: 'https://www.bbc.com/'
3820*d5ef99ddSAndreas Gohr  producer:
3821*d5ef99ddSAndreas Gohr    name: 'BBC'
3822*d5ef99ddSAndreas Gohr    url: 'https://www.bbc.com/'
3823*d5ef99ddSAndreas Gohr
3824*d5ef99ddSAndreas Gohr- regex: 'ClaudeBot'
3825*d5ef99ddSAndreas Gohr  name: 'ClaudeBot'
3826*d5ef99ddSAndreas Gohr  category: 'Crawler'
3827*d5ef99ddSAndreas Gohr  url: 'https://github.com/ClaudeBot/ClaudeBot'
3828*d5ef99ddSAndreas Gohr
3829*d5ef99ddSAndreas Gohr- regex: 'Imagesift'
3830*d5ef99ddSAndreas Gohr  name: 'ImageSift'
3831*d5ef99ddSAndreas Gohr  category: 'Crawler'
3832*d5ef99ddSAndreas Gohr  url: 'https://imagesift.com/'
3833*d5ef99ddSAndreas Gohr  producer:
3834*d5ef99ddSAndreas Gohr    name: 'Castle Global, Inc.'
3835*d5ef99ddSAndreas Gohr    url: 'https://thehive.ai/'
3836*d5ef99ddSAndreas Gohr
3837*d5ef99ddSAndreas Gohr- regex: 'TactiScout'
3838*d5ef99ddSAndreas Gohr  name: 'TactiScout'
3839*d5ef99ddSAndreas Gohr  category: 'Crawler'
3840*d5ef99ddSAndreas Gohr  url: 'https://find-it.world/TempCrawl/Crawltheque.php'
3841*d5ef99ddSAndreas Gohr  producer:
3842*d5ef99ddSAndreas Gohr    name: 'Tactikast'
3843*d5ef99ddSAndreas Gohr
3844*d5ef99ddSAndreas Gohr- regex: 'Brightbot'
3845*d5ef99ddSAndreas Gohr  name: 'BrightBot'
3846*d5ef99ddSAndreas Gohr  category: 'Crawler'
3847*d5ef99ddSAndreas Gohr  url: 'https://www.brightbot.app/'
3848*d5ef99ddSAndreas Gohr  producer:
3849*d5ef99ddSAndreas Gohr    name: 'Bright Interactive Ltd'
3850*d5ef99ddSAndreas Gohr    url: 'https://www.builtbybright.com/'
3851*d5ef99ddSAndreas Gohr
3852*d5ef99ddSAndreas Gohr- regex: 'DaspeedBot'
3853*d5ef99ddSAndreas Gohr  name: 'DaspeedBot'
3854*d5ef99ddSAndreas Gohr  category: 'Crawler'
3855*d5ef99ddSAndreas Gohr  url: 'https://daspeed.io/'
3856*d5ef99ddSAndreas Gohr  producer:
3857*d5ef99ddSAndreas Gohr    name: 'DAWAP SARL'
3858*d5ef99ddSAndreas Gohr    url: 'https://dawap.fr/'
3859*d5ef99ddSAndreas Gohr
3860*d5ef99ddSAndreas Gohr- regex: 'StractBot'
3861*d5ef99ddSAndreas Gohr  name: 'Stract'
3862*d5ef99ddSAndreas Gohr  category: 'Crawler'
3863*d5ef99ddSAndreas Gohr  url: 'https://stract.com/webmasters'
3864*d5ef99ddSAndreas Gohr  producer:
3865*d5ef99ddSAndreas Gohr    name: 'Stract'
3866*d5ef99ddSAndreas Gohr    url: 'https://github.com/StractOrg/stract/'
3867*d5ef99ddSAndreas Gohr
3868*d5ef99ddSAndreas Gohr- regex: 'GeedoBot'
3869*d5ef99ddSAndreas Gohr  name: 'GeedoBot'
3870*d5ef99ddSAndreas Gohr  category: 'Crawler'
3871*d5ef99ddSAndreas Gohr  url: 'https://geedo.com/bot/'
3872*d5ef99ddSAndreas Gohr
3873*d5ef99ddSAndreas Gohr- regex: 'GeedoProductSearch'
3874*d5ef99ddSAndreas Gohr  name: 'GeedoProductSearch'
3875*d5ef99ddSAndreas Gohr  category: 'Crawler'
3876*d5ef99ddSAndreas Gohr  url: 'https://geedo.com/product-search/'
3877*d5ef99ddSAndreas Gohr
3878*d5ef99ddSAndreas Gohr- regex: 'BackupLand'
3879*d5ef99ddSAndreas Gohr  name: 'BackupLand'
3880*d5ef99ddSAndreas Gohr  category: 'Crawler'
3881*d5ef99ddSAndreas Gohr  url: 'https://go.backupland.com/'
3882*d5ef99ddSAndreas Gohr  producer:
3883*d5ef99ddSAndreas Gohr    name: 'ООО «КВАРТА»'
3884*d5ef99ddSAndreas Gohr    url: 'https://go.backupland.com/'
3885*d5ef99ddSAndreas Gohr
3886*d5ef99ddSAndreas Gohr- regex: 'Konturbot'
3887*d5ef99ddSAndreas Gohr  name: 'Konturbot'
3888*d5ef99ddSAndreas Gohr  category: 'Crawler'
3889*d5ef99ddSAndreas Gohr  url: 'https://kontur.ru/'
3890*d5ef99ddSAndreas Gohr  producer:
3891*d5ef99ddSAndreas Gohr    name: 'АО «ПФ «СКБ Контур»'
3892*d5ef99ddSAndreas Gohr    url: 'https://kontur.ru/'
3893*d5ef99ddSAndreas Gohr
3894*d5ef99ddSAndreas Gohr- regex: 'keys-so-bot'
3895*d5ef99ddSAndreas Gohr  name: 'Keys.so'
3896*d5ef99ddSAndreas Gohr  category: 'Crawler'
3897*d5ef99ddSAndreas Gohr  url: 'https://www.keys.so/'
3898*d5ef99ddSAndreas Gohr  producer:
3899*d5ef99ddSAndreas Gohr    name: 'ООО «МОДЕСКО»'
3900*d5ef99ddSAndreas Gohr    url: 'https://www.modesco.ru/'
3901*d5ef99ddSAndreas Gohr
3902*d5ef99ddSAndreas Gohr- regex: 'LetsearchBot'
3903*d5ef99ddSAndreas Gohr  name: 'LetSearch'
3904*d5ef99ddSAndreas Gohr  category: 'Crawler'
3905*d5ef99ddSAndreas Gohr  url: 'https://letsearch.ru/bots'
3906*d5ef99ddSAndreas Gohr
3907*d5ef99ddSAndreas Gohr- regex: 'Example3'
3908*d5ef99ddSAndreas Gohr  name: 'Example3'
3909*d5ef99ddSAndreas Gohr  category: 'Crawler'
3910*d5ef99ddSAndreas Gohr  url: 'https://www.example3.com/'
3911*d5ef99ddSAndreas Gohr
3912*d5ef99ddSAndreas Gohr- regex: 'StatOnlineRuBot'
3913*d5ef99ddSAndreas Gohr  name: 'StatOnline.ru'
3914*d5ef99ddSAndreas Gohr  category: 'Crawler'
3915*d5ef99ddSAndreas Gohr  url: 'https://statonline.ru/'
3916*d5ef99ddSAndreas Gohr  producer:
3917*d5ef99ddSAndreas Gohr    name: 'ООО «Регистратор доменных имен РЕГ.РУ»'
3918*d5ef99ddSAndreas Gohr    url: 'https://statonline.ru/'
3919*d5ef99ddSAndreas Gohr
3920*d5ef99ddSAndreas Gohr- regex: 'Spawning-AI'
3921*d5ef99ddSAndreas Gohr  name: 'Spawning AI'
3922*d5ef99ddSAndreas Gohr  category: 'Crawler'
3923*d5ef99ddSAndreas Gohr  url: 'https://spawning.ai/'
3924*d5ef99ddSAndreas Gohr  producer:
3925*d5ef99ddSAndreas Gohr    name: 'Spawning, Inc'
3926*d5ef99ddSAndreas Gohr    url: 'https://spawning.ai/'
3927*d5ef99ddSAndreas Gohr
3928*d5ef99ddSAndreas Gohr- regex: 'domain research project'
3929*d5ef99ddSAndreas Gohr  name: 'Domain Research Project'
3930*d5ef99ddSAndreas Gohr  category: 'Crawler'
3931*d5ef99ddSAndreas Gohr  url: 'https://trentwil.es/domains.html'
3932*d5ef99ddSAndreas Gohr  producer:
3933*d5ef99ddSAndreas Gohr    name: 'Trent Wiles'
3934*d5ef99ddSAndreas Gohr    url: 'https://trentwil.es/'
3935*d5ef99ddSAndreas Gohr
3936*d5ef99ddSAndreas Gohr- regex: 'getodin\.com'
3937*d5ef99ddSAndreas Gohr  name: 'Odin'
3938*d5ef99ddSAndreas Gohr  category: 'Security Checker'
3939*d5ef99ddSAndreas Gohr  url: 'https://docs.getodin.com/'
3940*d5ef99ddSAndreas Gohr  producer:
3941*d5ef99ddSAndreas Gohr    name: 'Cyble Inc.'
3942*d5ef99ddSAndreas Gohr    url: 'https://cyble.com/'
3943*d5ef99ddSAndreas Gohr
3944*d5ef99ddSAndreas Gohr- regex: 'YouBot'
3945*d5ef99ddSAndreas Gohr  name: 'YouBot'
3946*d5ef99ddSAndreas Gohr  category: 'Crawler'
3947*d5ef99ddSAndreas Gohr  url: 'https://about.you.com/youbot/'
3948*d5ef99ddSAndreas Gohr  producer:
3949*d5ef99ddSAndreas Gohr    name: 'SuSea, Inc.'
3950*d5ef99ddSAndreas Gohr    url: 'https://you.com/'
3951*d5ef99ddSAndreas Gohr
3952*d5ef99ddSAndreas Gohr- regex: 'SiteScoreBot'
3953*d5ef99ddSAndreas Gohr  name: 'SiteScore'
3954*d5ef99ddSAndreas Gohr  category: 'Crawler'
3955*d5ef99ddSAndreas Gohr  url: 'https://sitescore.ai/'
3956*d5ef99ddSAndreas Gohr
3957*d5ef99ddSAndreas Gohr- regex: 'MBCrawler'
3958*d5ef99ddSAndreas Gohr  name: 'Monitor Backlinks'
3959*d5ef99ddSAndreas Gohr  category: 'Crawler'
3960*d5ef99ddSAndreas Gohr  url: 'https://www.seoptimer.com/monitor-backlinks/'
3961*d5ef99ddSAndreas Gohr  producer:
3962*d5ef99ddSAndreas Gohr    name: 'SEOptimer'
3963*d5ef99ddSAndreas Gohr    url: 'https://www.seoptimer.com/'
3964*d5ef99ddSAndreas Gohr
3965*d5ef99ddSAndreas Gohr- regex: 'mariadb-mysql-kbs-bot'
3966*d5ef99ddSAndreas Gohr  name: 'MariaDB/MySQL Knowledge Base'
3967*d5ef99ddSAndreas Gohr  category: 'Crawler'
3968*d5ef99ddSAndreas Gohr  url: 'https://github.com/williamdes/mariadb-mysql-kbs'
3969*d5ef99ddSAndreas Gohr  producer:
3970*d5ef99ddSAndreas Gohr    name: 'WDES SAS'
3971*d5ef99ddSAndreas Gohr    url: 'https://wdes.fr/en/'
3972*d5ef99ddSAndreas Gohr
3973*d5ef99ddSAndreas Gohr- regex: 'GitHubCopilotChat'
3974*d5ef99ddSAndreas Gohr  name: 'GitHubCopilotChat'
3975*d5ef99ddSAndreas Gohr  category: 'Crawler'
3976*d5ef99ddSAndreas Gohr  url: 'https://github.com/aaamoon/copilot-gpt4-service'
3977*d5ef99ddSAndreas Gohr
3978*d5ef99ddSAndreas Gohr- regex: '^pdrl\.fm'
3979*d5ef99ddSAndreas Gohr  name: 'Podroll Analyzer'
3980*d5ef99ddSAndreas Gohr  category: 'Crawler'
3981*d5ef99ddSAndreas Gohr  url: 'https://podroll.fm'
3982*d5ef99ddSAndreas Gohr
3983*d5ef99ddSAndreas Gohr- regex: 'PodUptime/'
3984*d5ef99ddSAndreas Gohr  name: 'PodUptime'
3985*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
3986*d5ef99ddSAndreas Gohr  url: 'https://poduptime.com'
3987*d5ef99ddSAndreas Gohr
3988*d5ef99ddSAndreas Gohr- regex: 'anthropic-ai'
3989*d5ef99ddSAndreas Gohr  name: 'Anthropic AI'
3990*d5ef99ddSAndreas Gohr  category: 'Crawler'
3991*d5ef99ddSAndreas Gohr  url: 'https://www.anthropic.com/'
3992*d5ef99ddSAndreas Gohr  producer:
3993*d5ef99ddSAndreas Gohr    name: 'Anthropic, PBC'
3994*d5ef99ddSAndreas Gohr    url: 'https://www.anthropic.com/'
3995*d5ef99ddSAndreas Gohr
3996*d5ef99ddSAndreas Gohr- regex: 'NetpeakCheckerBot'
3997*d5ef99ddSAndreas Gohr  name: 'Netpeak Checker'
3998*d5ef99ddSAndreas Gohr  category: 'Crawler'
3999*d5ef99ddSAndreas Gohr  url: 'https://netpeaksoftware.com/checker'
4000*d5ef99ddSAndreas Gohr  producer:
4001*d5ef99ddSAndreas Gohr    name: 'Netpeak LTD'
4002*d5ef99ddSAndreas Gohr    url: 'https://netpeaksoftware.com/'
4003*d5ef99ddSAndreas Gohr
4004*d5ef99ddSAndreas Gohr- regex: 'SandobaCrawler'
4005*d5ef99ddSAndreas Gohr  name: 'Sandoba//Crawler'
4006*d5ef99ddSAndreas Gohr  category: 'Crawler'
4007*d5ef99ddSAndreas Gohr  url: 'https://www.sandoba.com/en/crawler/'
4008*d5ef99ddSAndreas Gohr  producer:
4009*d5ef99ddSAndreas Gohr    name: 'SANDOBA//EBUSINESS SOLUTIONS'
4010*d5ef99ddSAndreas Gohr    url: 'https://www.sandoba.com/'
4011*d5ef99ddSAndreas Gohr
4012*d5ef99ddSAndreas Gohr- regex: 'SirdataBot'
4013*d5ef99ddSAndreas Gohr  name: 'Sirdata'
4014*d5ef99ddSAndreas Gohr  category: 'Crawler'
4015*d5ef99ddSAndreas Gohr  url: 'https://semantic-api.docs.sirdata.net/contextual-api/contextual-api/introduction'
4016*d5ef99ddSAndreas Gohr  producer:
4017*d5ef99ddSAndreas Gohr    name: 'Sirdata SAS'
4018*d5ef99ddSAndreas Gohr    url: 'https://www.sirdata.com/'
4019*d5ef99ddSAndreas Gohr
4020*d5ef99ddSAndreas Gohr- regex: 'CheckMarkNetwork'
4021*d5ef99ddSAndreas Gohr  name: 'CheckMark Network'
4022*d5ef99ddSAndreas Gohr  category: 'Crawler'
4023*d5ef99ddSAndreas Gohr  url: 'https://www.checkmarknetwork.com/spider.html/'
4024*d5ef99ddSAndreas Gohr  producer:
4025*d5ef99ddSAndreas Gohr    name: 'Exipert, Inc.'
4026*d5ef99ddSAndreas Gohr    url: 'https://www.checkmarknetwork.com/'
4027*d5ef99ddSAndreas Gohr
4028*d5ef99ddSAndreas Gohr- regex: 'cohere-ai'
4029*d5ef99ddSAndreas Gohr  name: 'Cohere AI'
4030*d5ef99ddSAndreas Gohr  category: 'Crawler'
4031*d5ef99ddSAndreas Gohr  url: 'https://cohere.com/'
4032*d5ef99ddSAndreas Gohr  producer:
4033*d5ef99ddSAndreas Gohr    name: 'Cohere, Inc.'
4034*d5ef99ddSAndreas Gohr    url: 'https://cohere.com/'
4035*d5ef99ddSAndreas Gohr
4036*d5ef99ddSAndreas Gohr- regex: 'PerplexityBot'
4037*d5ef99ddSAndreas Gohr  name: 'PerplexityBot'
4038*d5ef99ddSAndreas Gohr  category: 'Crawler'
4039*d5ef99ddSAndreas Gohr  url: 'https://docs.perplexity.ai/docs/perplexitybot'
4040*d5ef99ddSAndreas Gohr  producer:
4041*d5ef99ddSAndreas Gohr    name: 'Perplexity AI, Inc.'
4042*d5ef99ddSAndreas Gohr    url: 'https://www.perplexity.ai/'
4043*d5ef99ddSAndreas Gohr
4044*d5ef99ddSAndreas Gohr- regex: 'TTD-Content'
4045*d5ef99ddSAndreas Gohr  name: 'The Trade Desk Content'
4046*d5ef99ddSAndreas Gohr  category: 'Crawler'
4047*d5ef99ddSAndreas Gohr  url: 'https://www.thetradedesk.com/us/ttd-content'
4048*d5ef99ddSAndreas Gohr  producer:
4049*d5ef99ddSAndreas Gohr    name: 'The Trade Desk, Inc.'
4050*d5ef99ddSAndreas Gohr    url: 'https://www.thetradedesk.com/'
4051*d5ef99ddSAndreas Gohr
4052*d5ef99ddSAndreas Gohr- regex: 'montastic-monitor'
4053*d5ef99ddSAndreas Gohr  name: 'Montastic Monitor'
4054*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4055*d5ef99ddSAndreas Gohr  url: 'https://www.montastic.com/'
4056*d5ef99ddSAndreas Gohr  producer:
4057*d5ef99ddSAndreas Gohr    name: 'Metadot, Corp.'
4058*d5ef99ddSAndreas Gohr    url: 'https://www.metadot.com/'
4059*d5ef99ddSAndreas Gohr
4060*d5ef99ddSAndreas Gohr- regex: 'Ruby, Twurly v'
4061*d5ef99ddSAndreas Gohr  name: 'Twurly'
4062*d5ef99ddSAndreas Gohr  category: 'Crawler'
4063*d5ef99ddSAndreas Gohr  url: 'https://twurly.org/'
4064*d5ef99ddSAndreas Gohr
4065*d5ef99ddSAndreas Gohr- regex: 'Mixnode(?:Cache)?'
4066*d5ef99ddSAndreas Gohr  name: 'Mixnode'
4067*d5ef99ddSAndreas Gohr  category: 'Crawler'
4068*d5ef99ddSAndreas Gohr  url: 'https://www.mixnode.com/'
4069*d5ef99ddSAndreas Gohr  producer:
4070*d5ef99ddSAndreas Gohr    name: 'Mixnode Technologies, Inc.'
4071*d5ef99ddSAndreas Gohr    url: 'https://www.mixnode.com/'
4072*d5ef99ddSAndreas Gohr
4073*d5ef99ddSAndreas Gohr- regex: 'CSSCheck'
4074*d5ef99ddSAndreas Gohr  name: 'CSSCheck'
4075*d5ef99ddSAndreas Gohr  category: 'Validator'
4076*d5ef99ddSAndreas Gohr
4077*d5ef99ddSAndreas Gohr- regex: 'MicrosoftPreview'
4078*d5ef99ddSAndreas Gohr  name: 'Microsoft Preview'
4079*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4080*d5ef99ddSAndreas Gohr  url: 'https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0'
4081*d5ef99ddSAndreas Gohr  producer:
4082*d5ef99ddSAndreas Gohr    name: 'Microsoft Corporation'
4083*d5ef99ddSAndreas Gohr    url: 'https://www.microsoft.com/'
4084*d5ef99ddSAndreas Gohr
4085*d5ef99ddSAndreas Gohr- regex: 's~virustotalcloud'
4086*d5ef99ddSAndreas Gohr  name: 'VirusTotal Cloud'
4087*d5ef99ddSAndreas Gohr  category: 'Crawler'
4088*d5ef99ddSAndreas Gohr  url: 'https://www.virustotal.com/'
4089*d5ef99ddSAndreas Gohr  producer:
4090*d5ef99ddSAndreas Gohr    name: 'Chronicle Security Ireland Limited'
4091*d5ef99ddSAndreas Gohr    url: 'https://chronicle.security/'
4092*d5ef99ddSAndreas Gohr
4093*d5ef99ddSAndreas Gohr- regex: 'TinEye'
4094*d5ef99ddSAndreas Gohr  name: 'TinEye'
4095*d5ef99ddSAndreas Gohr  category: 'Crawler'
4096*d5ef99ddSAndreas Gohr  url: 'https://tineye.com/'
4097*d5ef99ddSAndreas Gohr  producer:
4098*d5ef99ddSAndreas Gohr    name: 'Idée, Inc.'
4099*d5ef99ddSAndreas Gohr    url: 'https://tineye.com/'
4100*d5ef99ddSAndreas Gohr
4101*d5ef99ddSAndreas Gohr- regex: 'e~arsnova-filter-system'
4102*d5ef99ddSAndreas Gohr  name: 'ARSNova Filter System'
4103*d5ef99ddSAndreas Gohr  category: 'Crawler'
4104*d5ef99ddSAndreas Gohr  url: 'https://particify.de/en/'
4105*d5ef99ddSAndreas Gohr  producer:
4106*d5ef99ddSAndreas Gohr    name: 'Particify Gerhardt & Weingarten OHG'
4107*d5ef99ddSAndreas Gohr    url: 'https://particify.de/en/'
4108*d5ef99ddSAndreas Gohr
4109*d5ef99ddSAndreas Gohr- regex: 'botify'
4110*d5ef99ddSAndreas Gohr  name: 'Botify'
4111*d5ef99ddSAndreas Gohr  category: 'Crawler'
4112*d5ef99ddSAndreas Gohr  url: 'https://www.botify.com/'
4113*d5ef99ddSAndreas Gohr  producer:
4114*d5ef99ddSAndreas Gohr    name: 'BOTIFY SAS'
4115*d5ef99ddSAndreas Gohr    url: 'https://www.botify.com/'
4116*d5ef99ddSAndreas Gohr
4117*d5ef99ddSAndreas Gohr- regex: 'adscanner'
4118*d5ef99ddSAndreas Gohr  name: 'Adscanner'
4119*d5ef99ddSAndreas Gohr  category: 'Crawler'
4120*d5ef99ddSAndreas Gohr  url: 'https://www.alleyesonscreens.com/'
4121*d5ef99ddSAndreas Gohr  producer:
4122*d5ef99ddSAndreas Gohr    name: 'AdScanner d.o.o'
4123*d5ef99ddSAndreas Gohr    url: 'https://www.alleyesonscreens.com/'
4124*d5ef99ddSAndreas Gohr
4125*d5ef99ddSAndreas Gohr- regex: 'online-webceo-bot'
4126*d5ef99ddSAndreas Gohr  name: 'WebCEO'
4127*d5ef99ddSAndreas Gohr  category: 'Crawler'
4128*d5ef99ddSAndreas Gohr  url: 'https://www.webceo.com/'
4129*d5ef99ddSAndreas Gohr  producer:
4130*d5ef99ddSAndreas Gohr    name: 'WebCEO, LLC'
4131*d5ef99ddSAndreas Gohr    url: 'https://www.webceo.com/'
4132*d5ef99ddSAndreas Gohr
4133*d5ef99ddSAndreas Gohr- regex: 'NetTrack'
4134*d5ef99ddSAndreas Gohr  name: 'NetTrack'
4135*d5ef99ddSAndreas Gohr  category: 'Crawler'
4136*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20160607151934/https://nettrack.info/'
4137*d5ef99ddSAndreas Gohr
4138*d5ef99ddSAndreas Gohr- regex: 'htmlyse'
4139*d5ef99ddSAndreas Gohr  name: 'htmlyse'
4140*d5ef99ddSAndreas Gohr  category: 'Crawler'
4141*d5ef99ddSAndreas Gohr  url: 'https://www.htmlyse.com/'
4142*d5ef99ddSAndreas Gohr  producer:
4143*d5ef99ddSAndreas Gohr    name: 'Vistex LTD'
4144*d5ef99ddSAndreas Gohr    url: 'https://www.htmlyse.com/'
4145*d5ef99ddSAndreas Gohr
4146*d5ef99ddSAndreas Gohr- regex: 'TrendsmapResolver'
4147*d5ef99ddSAndreas Gohr  name: 'Trendsmap'
4148*d5ef99ddSAndreas Gohr  category: 'Crawler'
4149*d5ef99ddSAndreas Gohr  url: 'https://www.trendsmap.com/'
4150*d5ef99ddSAndreas Gohr  producer:
4151*d5ef99ddSAndreas Gohr    name: 'Trendsmap Pty Ltd'
4152*d5ef99ddSAndreas Gohr    url: 'https://www.trendsmap.com/'
4153*d5ef99ddSAndreas Gohr
4154*d5ef99ddSAndreas Gohr- regex: 'Shareaholic(?:bot)?'
4155*d5ef99ddSAndreas Gohr  name: 'Steve Bot'
4156*d5ef99ddSAndreas Gohr  category: 'Crawler'
4157*d5ef99ddSAndreas Gohr  url: 'https://www.shareaholic.com/steve'
4158*d5ef99ddSAndreas Gohr  producer:
4159*d5ef99ddSAndreas Gohr    name: 'Shareaholic, Inc.'
4160*d5ef99ddSAndreas Gohr    url: 'https://www.shareaholic.com/'
4161*d5ef99ddSAndreas Gohr
4162*d5ef99ddSAndreas Gohr- regex: 'keycdn-tools:'
4163*d5ef99ddSAndreas Gohr  name: 'KeyCDN Tools'
4164*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4165*d5ef99ddSAndreas Gohr  url: 'https://tools.keycdn.com/geo'
4166*d5ef99ddSAndreas Gohr
4167*d5ef99ddSAndreas Gohr- regex: 'keycdn-tools/'
4168*d5ef99ddSAndreas Gohr  name: 'KeyCDN Tools'
4169*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4170*d5ef99ddSAndreas Gohr  url: 'https://tools.keycdn.com/'
4171*d5ef99ddSAndreas Gohr  producer:
4172*d5ef99ddSAndreas Gohr    name: 'proinity LLC'
4173*d5ef99ddSAndreas Gohr    url: 'https://www.keycdn.com/'
4174*d5ef99ddSAndreas Gohr
4175*d5ef99ddSAndreas Gohr- regex: 'Arquivo-web-crawler'
4176*d5ef99ddSAndreas Gohr  name: 'Arquivo.pt'
4177*d5ef99ddSAndreas Gohr  category: 'Crawler'
4178*d5ef99ddSAndreas Gohr  url: 'https://sobre.arquivo.pt/en/help/crawling-and-archiving-web-content/'
4179*d5ef99ddSAndreas Gohr  producer:
4180*d5ef99ddSAndreas Gohr    name: 'FCT|FCCN'
4181*d5ef99ddSAndreas Gohr    url: 'https://www.fct.pt/'
4182*d5ef99ddSAndreas Gohr
4183*d5ef99ddSAndreas Gohr- regex: 'WhatsMyIP\.org'
4184*d5ef99ddSAndreas Gohr  name: 'WhatsMyIP.org'
4185*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4186*d5ef99ddSAndreas Gohr  url: 'https://www.whatsmyip.org/ua/'
4187*d5ef99ddSAndreas Gohr
4188*d5ef99ddSAndreas Gohr- regex: 'SenutoBot'
4189*d5ef99ddSAndreas Gohr  name: 'Senuto'
4190*d5ef99ddSAndreas Gohr  category: 'Crawler'
4191*d5ef99ddSAndreas Gohr  url: 'https://www.senuto.com/'
4192*d5ef99ddSAndreas Gohr  producer:
4193*d5ef99ddSAndreas Gohr    name: 'Senuto Sp. z o.o.'
4194*d5ef99ddSAndreas Gohr    url: 'https://www.senuto.com/'
4195*d5ef99ddSAndreas Gohr
4196*d5ef99ddSAndreas Gohr- regex: 'GozleBot'
4197*d5ef99ddSAndreas Gohr  name: 'Gozle'
4198*d5ef99ddSAndreas Gohr  category: 'Crawler'
4199*d5ef99ddSAndreas Gohr  url: 'https://gozle.com.tm/en/blog/post/1'
4200*d5ef99ddSAndreas Gohr  producer:
4201*d5ef99ddSAndreas Gohr    name: 'Doly Horjun HJ'
4202*d5ef99ddSAndreas Gohr    url: 'https://gozle.com.tm/'
4203*d5ef99ddSAndreas Gohr
4204*d5ef99ddSAndreas Gohr- regex: 'Quantcastbot'
4205*d5ef99ddSAndreas Gohr  name: 'Quantcast'
4206*d5ef99ddSAndreas Gohr  category: 'Crawler'
4207*d5ef99ddSAndreas Gohr  url: 'https://www.quantcast.com/bot/'
4208*d5ef99ddSAndreas Gohr  producer:
4209*d5ef99ddSAndreas Gohr    name: 'Quantcast Corp.'
4210*d5ef99ddSAndreas Gohr    url: 'https://www.quantcast.com/'
4211*d5ef99ddSAndreas Gohr
4212*d5ef99ddSAndreas Gohr- regex: 'FontRadar'
4213*d5ef99ddSAndreas Gohr  name: 'FontRadar'
4214*d5ef99ddSAndreas Gohr  category: 'Crawler'
4215*d5ef99ddSAndreas Gohr  url: 'https://www.fontradar.com/'
4216*d5ef99ddSAndreas Gohr  producer:
4217*d5ef99ddSAndreas Gohr    name: 'EMDASH SAS'
4218*d5ef99ddSAndreas Gohr    url: 'https://www.fontradar.com/'
4219*d5ef99ddSAndreas Gohr
4220*d5ef99ddSAndreas Gohr- regex: 'ViberUrlDownloader'
4221*d5ef99ddSAndreas Gohr  name: 'Viber Url Downloader'
4222*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4223*d5ef99ddSAndreas Gohr  url: 'https://www.viber.com/'
4224*d5ef99ddSAndreas Gohr  producer:
4225*d5ef99ddSAndreas Gohr    name: 'Viber Media S.à r.l.'
4226*d5ef99ddSAndreas Gohr    url: 'https://www.viber.com/'
4227*d5ef99ddSAndreas Gohr
4228*d5ef99ddSAndreas Gohr- regex: '^Zeno$'
4229*d5ef99ddSAndreas Gohr  name: 'Zeno'
4230*d5ef99ddSAndreas Gohr  category: 'Crawler'
4231*d5ef99ddSAndreas Gohr  url: 'https://github.com/internetarchive/Zeno'
4232*d5ef99ddSAndreas Gohr  producer:
4233*d5ef99ddSAndreas Gohr    name: 'The Internet Archive'
4234*d5ef99ddSAndreas Gohr    url: 'https://archive.org/'
4235*d5ef99ddSAndreas Gohr
4236*d5ef99ddSAndreas Gohr- regex: 'Barracuda Sentinel'
4237*d5ef99ddSAndreas Gohr  name: 'Barracuda Sentinel'
4238*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4239*d5ef99ddSAndreas Gohr  url: 'https://sentinel.barracudanetworks.com/'
4240*d5ef99ddSAndreas Gohr  producer:
4241*d5ef99ddSAndreas Gohr    name: 'Barracuda Networks, Inc.'
4242*d5ef99ddSAndreas Gohr    url: 'https://www.barracudanetworks.com/'
4243*d5ef99ddSAndreas Gohr
4244*d5ef99ddSAndreas Gohr- regex: 'RuxitSynthetic'
4245*d5ef99ddSAndreas Gohr  name: 'RuxitSynthetic'
4246*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4247*d5ef99ddSAndreas Gohr  url: 'https://community.dynatrace.com/t5/Troubleshooting/Basic-Commands-for-Synthetic/ta-p/198164'
4248*d5ef99ddSAndreas Gohr  producer:
4249*d5ef99ddSAndreas Gohr    name: 'Dynatrace LLC'
4250*d5ef99ddSAndreas Gohr    url: 'https://www.dynatrace.com/'
4251*d5ef99ddSAndreas Gohr
4252*d5ef99ddSAndreas Gohr- regex: 'DynatraceSynthetic'
4253*d5ef99ddSAndreas Gohr  name: 'DynatraceSynthetic'
4254*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4255*d5ef99ddSAndreas Gohr  url: 'https://community.dynatrace.com/t5/Troubleshooting/Basic-Commands-for-Synthetic/ta-p/198164'
4256*d5ef99ddSAndreas Gohr  producer:
4257*d5ef99ddSAndreas Gohr    name: 'Dynatrace LLC'
4258*d5ef99ddSAndreas Gohr    url: 'https://www.dynatrace.com/'
4259*d5ef99ddSAndreas Gohr
4260*d5ef99ddSAndreas Gohr- regex: 'sitebulb'
4261*d5ef99ddSAndreas Gohr  name: 'Sitebulb'
4262*d5ef99ddSAndreas Gohr  category: 'Crawler'
4263*d5ef99ddSAndreas Gohr  url: 'https://sitebulb.com/'
4264*d5ef99ddSAndreas Gohr  producer:
4265*d5ef99ddSAndreas Gohr    name: 'Sitebulb Limited'
4266*d5ef99ddSAndreas Gohr    url: 'https://sitebulb.com/'
4267*d5ef99ddSAndreas Gohr
4268*d5ef99ddSAndreas Gohr- regex: 'Monsidobot'
4269*d5ef99ddSAndreas Gohr  name: 'Monsidobot'
4270*d5ef99ddSAndreas Gohr  category: 'Crawler'
4271*d5ef99ddSAndreas Gohr  url: 'https://monsido.com/bot-html'
4272*d5ef99ddSAndreas Gohr  producer:
4273*d5ef99ddSAndreas Gohr    name: 'Monsido LLC'
4274*d5ef99ddSAndreas Gohr    url: 'https://monsido.com/'
4275*d5ef99ddSAndreas Gohr
4276*d5ef99ddSAndreas Gohr- regex: 'AccompanyBot'
4277*d5ef99ddSAndreas Gohr  name: 'AccompanyBot'
4278*d5ef99ddSAndreas Gohr  category: 'Crawler'
4279*d5ef99ddSAndreas Gohr  url: 'https://www.accompany.com/'
4280*d5ef99ddSAndreas Gohr  producer:
4281*d5ef99ddSAndreas Gohr    name: 'Accompani, Inc'
4282*d5ef99ddSAndreas Gohr    url: 'https://www.accompany.com/'
4283*d5ef99ddSAndreas Gohr
4284*d5ef99ddSAndreas Gohr- regex: 'Ghost Inspector'
4285*d5ef99ddSAndreas Gohr  name: 'Ghost Inspector'
4286*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4287*d5ef99ddSAndreas Gohr  url: 'https://docs.ghostinspector.com/faq/#how-do-i-detect-ghost-inspector-test-runner-traffic-on-my-site'
4288*d5ef99ddSAndreas Gohr  producer:
4289*d5ef99ddSAndreas Gohr    name: 'Ghost Inspector, Inc.'
4290*d5ef99ddSAndreas Gohr    url: 'https://www.ghostinspector.com/'
4291*d5ef99ddSAndreas Gohr
4292*d5ef99ddSAndreas Gohr- regex: 'Google-Apps-Script'
4293*d5ef99ddSAndreas Gohr  name: 'Google Apps Script'
4294*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4295*d5ef99ddSAndreas Gohr  url: 'https://www.google.com/script/start/'
4296*d5ef99ddSAndreas Gohr
4297*d5ef99ddSAndreas Gohr- regex: 'SiteOne-Crawler'
4298*d5ef99ddSAndreas Gohr  name: 'SiteOne Crawler'
4299*d5ef99ddSAndreas Gohr  category: 'Crawler'
4300*d5ef99ddSAndreas Gohr  url: 'https://crawler.siteone.io/bot/'
4301*d5ef99ddSAndreas Gohr  producer:
4302*d5ef99ddSAndreas Gohr    name: 'SiteOne s.r.o.'
4303*d5ef99ddSAndreas Gohr    url: 'https://www.siteone.io/'
4304*d5ef99ddSAndreas Gohr
4305*d5ef99ddSAndreas Gohr- regex: 'Detectify'
4306*d5ef99ddSAndreas Gohr  name: 'Detectify'
4307*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4308*d5ef99ddSAndreas Gohr  url: 'https://support.detectify.com/support/solutions/articles/48001049001-how-to-allow-detectify-to-access-your-site'
4309*d5ef99ddSAndreas Gohr  producer:
4310*d5ef99ddSAndreas Gohr    name: 'Detectify AB'
4311*d5ef99ddSAndreas Gohr    url: 'https://detectify.com/'
4312*d5ef99ddSAndreas Gohr
4313*d5ef99ddSAndreas Gohr- regex: 'DomCopBot'
4314*d5ef99ddSAndreas Gohr  name: 'DomCop Bot'
4315*d5ef99ddSAndreas Gohr  category: 'Crawler'
4316*d5ef99ddSAndreas Gohr  url: 'https://www.domcop.com/bot'
4317*d5ef99ddSAndreas Gohr  producer:
4318*d5ef99ddSAndreas Gohr    name: 'Axeman Technology Solutions LLP'
4319*d5ef99ddSAndreas Gohr    url: 'https://axemantech.com/'
4320*d5ef99ddSAndreas Gohr
4321*d5ef99ddSAndreas Gohr- regex: 'Paqlebot'
4322*d5ef99ddSAndreas Gohr  name: 'Paqlebot'
4323*d5ef99ddSAndreas Gohr  category: 'Crawler'
4324*d5ef99ddSAndreas Gohr  url: 'https://www.paqle.dk/about/paqlebot'
4325*d5ef99ddSAndreas Gohr  producer:
4326*d5ef99ddSAndreas Gohr    name: 'Paqle A/S'
4327*d5ef99ddSAndreas Gohr    url: 'https://www.paqle.dk/'
4328*d5ef99ddSAndreas Gohr
4329*d5ef99ddSAndreas Gohr- regex: 'Wibybot'
4330*d5ef99ddSAndreas Gohr  name: 'Wibybot'
4331*d5ef99ddSAndreas Gohr  category: 'Crawler'
4332*d5ef99ddSAndreas Gohr  url: 'https://www.wiby.me/'
4333*d5ef99ddSAndreas Gohr
4334*d5ef99ddSAndreas Gohr- regex: 'Synapse'
4335*d5ef99ddSAndreas Gohr  name: 'Synapse'
4336*d5ef99ddSAndreas Gohr  category: 'Crawler'
4337*d5ef99ddSAndreas Gohr  url: 'https://github.com/matrix-org/synapse'
4338*d5ef99ddSAndreas Gohr
4339*d5ef99ddSAndreas Gohr- regex: 'OSZKbot'
4340*d5ef99ddSAndreas Gohr  name: 'OSZKbot'
4341*d5ef99ddSAndreas Gohr  category: 'Crawler'
4342*d5ef99ddSAndreas Gohr  url: 'http://mekosztaly.oszk.hu/mia/'
4343*d5ef99ddSAndreas Gohr  producer:
4344*d5ef99ddSAndreas Gohr    name: 'National Szechenyi Library'
4345*d5ef99ddSAndreas Gohr    url: 'https://webarchivum.oszk.hu/'
4346*d5ef99ddSAndreas Gohr
4347*d5ef99ddSAndreas Gohr- regex: 'ZoomBot'
4348*d5ef99ddSAndreas Gohr  name: 'ZoomBot'
4349*d5ef99ddSAndreas Gohr  category: 'Crawler'
4350*d5ef99ddSAndreas Gohr  url: 'https://suite.seozoom.it/bot.html'
4351*d5ef99ddSAndreas Gohr  producer:
4352*d5ef99ddSAndreas Gohr    name: 'SEO Cube S.r.l.'
4353*d5ef99ddSAndreas Gohr    url: 'https://www.seocube.it/'
4354*d5ef99ddSAndreas Gohr
4355*d5ef99ddSAndreas Gohr- regex: 'RavenCrawler'
4356*d5ef99ddSAndreas Gohr  name: 'RavenCrawler'
4357*d5ef99ddSAndreas Gohr  category: 'Crawler'
4358*d5ef99ddSAndreas Gohr  url: 'https://raventools.com/site-auditor/'
4359*d5ef99ddSAndreas Gohr  producer:
4360*d5ef99ddSAndreas Gohr    name: 'TapClicks, Inc.'
4361*d5ef99ddSAndreas Gohr    url: 'https://www.tapclicks.com/'
4362*d5ef99ddSAndreas Gohr
4363*d5ef99ddSAndreas Gohr- regex: 'KadoBot'
4364*d5ef99ddSAndreas Gohr  name: 'KadoBot'
4365*d5ef99ddSAndreas Gohr  category: 'Crawler'
4366*d5ef99ddSAndreas Gohr  url: 'https://www.kadolijst.nl/bot'
4367*d5ef99ddSAndreas Gohr  producer:
4368*d5ef99ddSAndreas Gohr    name: 'Kadolijst'
4369*d5ef99ddSAndreas Gohr    url: 'https://www.kadolijst.nl/'
4370*d5ef99ddSAndreas Gohr
4371*d5ef99ddSAndreas Gohr- regex: 'Dubbotbot'
4372*d5ef99ddSAndreas Gohr  name: 'Dubbotbot'
4373*d5ef99ddSAndreas Gohr  category: 'Crawler'
4374*d5ef99ddSAndreas Gohr  url: 'https://help.dubbot.com/en/articles/6746594-example-custom-user-agent'
4375*d5ef99ddSAndreas Gohr  producer:
4376*d5ef99ddSAndreas Gohr    name: 'DubBot'
4377*d5ef99ddSAndreas Gohr    url: 'https://dubbot.com/'
4378*d5ef99ddSAndreas Gohr
4379*d5ef99ddSAndreas Gohr- regex: 'Swiftbot'
4380*d5ef99ddSAndreas Gohr  name: 'Swiftbot'
4381*d5ef99ddSAndreas Gohr  category: 'Crawler'
4382*d5ef99ddSAndreas Gohr  url: 'https://swiftype.com/swiftbot'
4383*d5ef99ddSAndreas Gohr  producer:
4384*d5ef99ddSAndreas Gohr    name: 'Elasticsearch, B.V.'
4385*d5ef99ddSAndreas Gohr    url: 'https://www.elastic.co/'
4386*d5ef99ddSAndreas Gohr
4387*d5ef99ddSAndreas Gohr- regex: 'EyeMonIT'
4388*d5ef99ddSAndreas Gohr  name: 'EyeMonit'
4389*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4390*d5ef99ddSAndreas Gohr  url: 'https://eyemonit.com/'
4391*d5ef99ddSAndreas Gohr  producer:
4392*d5ef99ddSAndreas Gohr    name: 'EyeMonit'
4393*d5ef99ddSAndreas Gohr    url: 'https://eyemonit.com/'
4394*d5ef99ddSAndreas Gohr
4395*d5ef99ddSAndreas Gohr- regex: 'ThousandEyes'
4396*d5ef99ddSAndreas Gohr  name: 'ThousandEyes'
4397*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4398*d5ef99ddSAndreas Gohr  url: 'https://www.thousandeyes.com/'
4399*d5ef99ddSAndreas Gohr  producer:
4400*d5ef99ddSAndreas Gohr    name: 'Cisco Systems, Inc.'
4401*d5ef99ddSAndreas Gohr    url: 'https://www.cisco.com/'
4402*d5ef99ddSAndreas Gohr
4403*d5ef99ddSAndreas Gohr- regex: 'OmtrBot'
4404*d5ef99ddSAndreas Gohr  name: 'OmtrBot'
4405*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4406*d5ef99ddSAndreas Gohr
4407*d5ef99ddSAndreas Gohr- regex: 'WebMon'
4408*d5ef99ddSAndreas Gohr  name: 'WebMon'
4409*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4410*d5ef99ddSAndreas Gohr
4411*d5ef99ddSAndreas Gohr- regex: 'AdsTxtCrawlerTP'
4412*d5ef99ddSAndreas Gohr  name: 'AdsTxtCrawlerTP'
4413*d5ef99ddSAndreas Gohr  category: 'Crawler'
4414*d5ef99ddSAndreas Gohr
4415*d5ef99ddSAndreas Gohr- regex: 'fragFINN'
4416*d5ef99ddSAndreas Gohr  name: 'fragFINN'
4417*d5ef99ddSAndreas Gohr  category: 'Crawler'
4418*d5ef99ddSAndreas Gohr  url: 'https://www.fragfinn.de/'
4419*d5ef99ddSAndreas Gohr  producer:
4420*d5ef99ddSAndreas Gohr    name: 'fragFINN e.V.'
4421*d5ef99ddSAndreas Gohr    url: 'https://www.fragfinn.de/'
4422*d5ef99ddSAndreas Gohr
4423*d5ef99ddSAndreas Gohr- regex: 'Clickagy'
4424*d5ef99ddSAndreas Gohr  name: 'Clickagy'
4425*d5ef99ddSAndreas Gohr  category: 'Crawler'
4426*d5ef99ddSAndreas Gohr  url: 'https://www.clickagy.com/'
4427*d5ef99ddSAndreas Gohr  producer:
4428*d5ef99ddSAndreas Gohr    name: 'Clickagy, LLC'
4429*d5ef99ddSAndreas Gohr    url: 'https://www.clickagy.com/'
4430*d5ef99ddSAndreas Gohr
4431*d5ef99ddSAndreas Gohr- regex: 'kiwitcms-gitops'
4432*d5ef99ddSAndreas Gohr  name: 'Kiwi TCMS GitOps'
4433*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4434*d5ef99ddSAndreas Gohr  url: 'https://kiwitcms.org'
4435*d5ef99ddSAndreas Gohr  producer:
4436*d5ef99ddSAndreas Gohr    name: 'Open Technologies Bulgaria, Ltd.'
4437*d5ef99ddSAndreas Gohr    url: 'https://kiwitcms.org'
4438*d5ef99ddSAndreas Gohr
4439*d5ef99ddSAndreas Gohr- regex: 'webtru_crawler'
4440*d5ef99ddSAndreas Gohr  name: 'webtru'
4441*d5ef99ddSAndreas Gohr  category: 'Crawler'
4442*d5ef99ddSAndreas Gohr  url: 'https://webtru.io/'
4443*d5ef99ddSAndreas Gohr  producer:
4444*d5ef99ddSAndreas Gohr    name: 'DataSign Inc.'
4445*d5ef99ddSAndreas Gohr    url: 'https://datasign.jp/'
4446*d5ef99ddSAndreas Gohr
4447*d5ef99ddSAndreas Gohr- regex: 'URLSuMaBot'
4448*d5ef99ddSAndreas Gohr  name: 'URLSuMaBot'
4449*d5ef99ddSAndreas Gohr  category: 'Crawler'
4450*d5ef99ddSAndreas Gohr  url: 'https://www.urlsuma.de/'
4451*d5ef99ddSAndreas Gohr
4452*d5ef99ddSAndreas Gohr- regex: '360JK yunjiankong'
4453*d5ef99ddSAndreas Gohr  name: '360JK'
4454*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4455*d5ef99ddSAndreas Gohr  url: 'http://jk.cloud.360.cn/'
4456*d5ef99ddSAndreas Gohr  producer:
4457*d5ef99ddSAndreas Gohr    name: '360 Security Technology Inc.'
4458*d5ef99ddSAndreas Gohr    url: 'https://www.360.cn/'
4459*d5ef99ddSAndreas Gohr
4460*d5ef99ddSAndreas Gohr- regex: 'UCSBNetworkMeasurement'
4461*d5ef99ddSAndreas Gohr  name: 'UCSB Network Measurement'
4462*d5ef99ddSAndreas Gohr  category: 'Crawler'
4463*d5ef99ddSAndreas Gohr  url: 'https://www.it.ucsb.edu/'
4464*d5ef99ddSAndreas Gohr  producer:
4465*d5ef99ddSAndreas Gohr    name: 'University of California, Santa Barbara'
4466*d5ef99ddSAndreas Gohr    url: 'https://www.it.ucsb.edu/'
4467*d5ef99ddSAndreas Gohr
4468*d5ef99ddSAndreas Gohr- regex: 'Plesk screenshot bot'
4469*d5ef99ddSAndreas Gohr  name: 'Plesk Screenshot Service'
4470*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4471*d5ef99ddSAndreas Gohr  url: 'https://support.plesk.com/hc/en-us/articles/13302778306199-What-is-Plesk-Screenshot-Service'
4472*d5ef99ddSAndreas Gohr  producer:
4473*d5ef99ddSAndreas Gohr    name: 'Plesk International GmbH'
4474*d5ef99ddSAndreas Gohr    url: 'https://www.plesk.com/'
4475*d5ef99ddSAndreas Gohr
4476*d5ef99ddSAndreas Gohr- regex: 'Who\.is'
4477*d5ef99ddSAndreas Gohr  name: 'Who.is Bot'
4478*d5ef99ddSAndreas Gohr  category: 'Crawler'
4479*d5ef99ddSAndreas Gohr  url: 'https://who.is/'
4480*d5ef99ddSAndreas Gohr
4481*d5ef99ddSAndreas Gohr- regex: 'Probely'
4482*d5ef99ddSAndreas Gohr  name: 'Probely'
4483*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4484*d5ef99ddSAndreas Gohr  url: 'https://probely.com/sos/'
4485*d5ef99ddSAndreas Gohr  producer:
4486*d5ef99ddSAndreas Gohr    name: 'Probely - Soluções de Cibersegurança, S.A.'
4487*d5ef99ddSAndreas Gohr    url: 'https://probely.com/'
4488*d5ef99ddSAndreas Gohr
4489*d5ef99ddSAndreas Gohr- regex: 'Uptimia'
4490*d5ef99ddSAndreas Gohr  name: 'Uptimia'
4491*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4492*d5ef99ddSAndreas Gohr  url: 'https://www.uptimia.com/'
4493*d5ef99ddSAndreas Gohr  producer:
4494*d5ef99ddSAndreas Gohr    name: 'JJ Online GmbH'
4495*d5ef99ddSAndreas Gohr    url: 'https://www.uptimia.com/'
4496*d5ef99ddSAndreas Gohr
4497*d5ef99ddSAndreas Gohr- regex: '2GDPR'
4498*d5ef99ddSAndreas Gohr  name: '2GDPR'
4499*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4500*d5ef99ddSAndreas Gohr  url: 'https://2gdpr.com/tos'
4501*d5ef99ddSAndreas Gohr  producer:
4502*d5ef99ddSAndreas Gohr    name: '2GDPR'
4503*d5ef99ddSAndreas Gohr    url: 'https://2gdpr.com/'
4504*d5ef99ddSAndreas Gohr
4505*d5ef99ddSAndreas Gohr- regex: 'abuse\.xmco\.fr'
4506*d5ef99ddSAndreas Gohr  name: 'Serenety'
4507*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4508*d5ef99ddSAndreas Gohr  url: 'https://abuse.xmco.fr/'
4509*d5ef99ddSAndreas Gohr  producer:
4510*d5ef99ddSAndreas Gohr    name: 'XMCO, SASU'
4511*d5ef99ddSAndreas Gohr    url: 'https://www.xmco.fr/'
4512*d5ef99ddSAndreas Gohr
4513*d5ef99ddSAndreas Gohr- regex: 'CheckHost'
4514*d5ef99ddSAndreas Gohr  name: 'CheckHost'
4515*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4516*d5ef99ddSAndreas Gohr  url: 'https://check-host.net/'
4517*d5ef99ddSAndreas Gohr  producer:
4518*d5ef99ddSAndreas Gohr    name: 'CheckHost'
4519*d5ef99ddSAndreas Gohr    url: 'https://check-host.net/'
4520*d5ef99ddSAndreas Gohr
4521*d5ef99ddSAndreas Gohr- regex: 'LAC_IAHarvester'
4522*d5ef99ddSAndreas Gohr  name: 'LAC IA Harvester'
4523*d5ef99ddSAndreas Gohr  category: 'Crawler'
4524*d5ef99ddSAndreas Gohr  url: 'https://library-archives.canada.ca/eng/services/government-canada/web-social-media-preservation-program/Pages/web-archive.aspx'
4525*d5ef99ddSAndreas Gohr  producer:
4526*d5ef99ddSAndreas Gohr    name: 'Library and Archives Canada'
4527*d5ef99ddSAndreas Gohr    url: 'https://library-archives.canada.ca/'
4528*d5ef99ddSAndreas Gohr
4529*d5ef99ddSAndreas Gohr- regex: 'InsytfulBot'
4530*d5ef99ddSAndreas Gohr  name: 'InsytfulBot'
4531*d5ef99ddSAndreas Gohr  category: 'Crawler'
4532*d5ef99ddSAndreas Gohr  url: 'https://www.insytful.com/'
4533*d5ef99ddSAndreas Gohr  producer:
4534*d5ef99ddSAndreas Gohr    name: 'Zengenti Limited'
4535*d5ef99ddSAndreas Gohr    url: 'https://www.zengenti.com/'
4536*d5ef99ddSAndreas Gohr
4537*d5ef99ddSAndreas Gohr- regex: 'statista\.com'
4538*d5ef99ddSAndreas Gohr  name: 'Statista'
4539*d5ef99ddSAndreas Gohr  category: 'Crawler'
4540*d5ef99ddSAndreas Gohr  url: 'https://www.statista.com/'
4541*d5ef99ddSAndreas Gohr  producer:
4542*d5ef99ddSAndreas Gohr    name: 'Statista, Inc.'
4543*d5ef99ddSAndreas Gohr    url: 'https://www.statista.com/'
4544*d5ef99ddSAndreas Gohr
4545*d5ef99ddSAndreas Gohr- regex: 'SubstackContentFetch'
4546*d5ef99ddSAndreas Gohr  name: 'Substack Content Fetch'
4547*d5ef99ddSAndreas Gohr  category: 'Crawler'
4548*d5ef99ddSAndreas Gohr  url: 'https://substack.com/'
4549*d5ef99ddSAndreas Gohr  producer:
4550*d5ef99ddSAndreas Gohr    name: 'Substack, Inc.'
4551*d5ef99ddSAndreas Gohr    url: 'https://substack.com/'
4552*d5ef99ddSAndreas Gohr
4553*d5ef99ddSAndreas Gohr- regex: '^ds9'
4554*d5ef99ddSAndreas Gohr  name: 'Deep SEARCH 9'
4555*d5ef99ddSAndreas Gohr  category: 'Crawler'
4556*d5ef99ddSAndreas Gohr  url: 'https://www.copyright.com/blog/ccc-expands-corporate-solutions-offering-with-new-technology/'
4557*d5ef99ddSAndreas Gohr  producer:
4558*d5ef99ddSAndreas Gohr    name: 'Copyright Clearance Center, Inc.'
4559*d5ef99ddSAndreas Gohr    url: 'https://www.copyright.com/'
4560*d5ef99ddSAndreas Gohr
4561*d5ef99ddSAndreas Gohr- regex: 'LiveJournal\.com'
4562*d5ef99ddSAndreas Gohr  name: 'LiveJournal'
4563*d5ef99ddSAndreas Gohr  url: 'https://www.livejournal.com/'
4564*d5ef99ddSAndreas Gohr  category: 'Feed Fetcher'
4565*d5ef99ddSAndreas Gohr  producer:
4566*d5ef99ddSAndreas Gohr    name: 'ООО "СИМ"'
4567*d5ef99ddSAndreas Gohr    url: 'https://www.livejournal.com/'
4568*d5ef99ddSAndreas Gohr
4569*d5ef99ddSAndreas Gohr- regex: 'bitdiscovery'
4570*d5ef99ddSAndreas Gohr  name: 'Tenable.asm'
4571*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4572*d5ef99ddSAndreas Gohr  url: 'https://bitdiscovery.com/'
4573*d5ef99ddSAndreas Gohr  producer:
4574*d5ef99ddSAndreas Gohr    name: 'Tenable, Inc.'
4575*d5ef99ddSAndreas Gohr    url: 'https://www.tenable.com/'
4576*d5ef99ddSAndreas Gohr
4577*d5ef99ddSAndreas Gohr- regex: 'Castopod'
4578*d5ef99ddSAndreas Gohr  name: 'Castopod'
4579*d5ef99ddSAndreas Gohr  category: 'Crawler'
4580*d5ef99ddSAndreas Gohr  url: 'https://www.castopod.org/'
4581*d5ef99ddSAndreas Gohr
4582*d5ef99ddSAndreas Gohr- regex: 'Elastic/Synthetics'
4583*d5ef99ddSAndreas Gohr  name: 'Elastic Synthetics'
4584*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4585*d5ef99ddSAndreas Gohr  url: 'https://github.com/elastic/synthetics'
4586*d5ef99ddSAndreas Gohr  producer:
4587*d5ef99ddSAndreas Gohr    name: 'Elasticsearch B.V.'
4588*d5ef99ddSAndreas Gohr    url: 'https://www.elastic.co/'
4589*d5ef99ddSAndreas Gohr
4590*d5ef99ddSAndreas Gohr- regex: 'WDG_Validator'
4591*d5ef99ddSAndreas Gohr  name: 'WDG HTML Validator'
4592*d5ef99ddSAndreas Gohr  category: 'Validator'
4593*d5ef99ddSAndreas Gohr  url: 'http://www.htmlhelp.com/tools/validator/'
4594*d5ef99ddSAndreas Gohr
4595*d5ef99ddSAndreas Gohr- regex: 'scan@aegis.network'
4596*d5ef99ddSAndreas Gohr  name: 'Aegis'
4597*d5ef99ddSAndreas Gohr  category: 'Crawler'
4598*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20180910002802/http://www.aegis.network/'
4599*d5ef99ddSAndreas Gohr
4600*d5ef99ddSAndreas Gohr- regex: 'CrawlyProjectCrawler'
4601*d5ef99ddSAndreas Gohr  name: 'Crawly Project'
4602*d5ef99ddSAndreas Gohr  category: 'Crawler'
4603*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20240326141952/https://crawlyproject.digitaldragon.dev/'
4604*d5ef99ddSAndreas Gohr
4605*d5ef99ddSAndreas Gohr- regex: 'BDFetch'
4606*d5ef99ddSAndreas Gohr  name: 'BDFetch'
4607*d5ef99ddSAndreas Gohr  category: 'Crawler'
4608*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20130821043949/http://www.branddimensions.com/'
4609*d5ef99ddSAndreas Gohr
4610*d5ef99ddSAndreas Gohr- regex: 'PunkMap'
4611*d5ef99ddSAndreas Gohr  name: 'Punk Map'
4612*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4613*d5ef99ddSAndreas Gohr  url: 'https://github.com/openeasm/punkmap'
4614*d5ef99ddSAndreas Gohr
4615*d5ef99ddSAndreas Gohr- regex: 'GenomeCrawlerd'
4616*d5ef99ddSAndreas Gohr  name: 'Deepfield Genome'
4617*d5ef99ddSAndreas Gohr  category: 'Crawler'
4618*d5ef99ddSAndreas Gohr  url: 'https://www.nokia.com/networks/ip-networks/deepfield/genome/'
4619*d5ef99ddSAndreas Gohr  producer:
4620*d5ef99ddSAndreas Gohr    name: 'Nokia Corporation'
4621*d5ef99ddSAndreas Gohr    url: 'https://www.nokia.com/'
4622*d5ef99ddSAndreas Gohr
4623*d5ef99ddSAndreas Gohr- regex: 'Gaisbot'
4624*d5ef99ddSAndreas Gohr  name: 'Gaisbot'
4625*d5ef99ddSAndreas Gohr  category: 'Crawler'
4626*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20090604121511/https://gais.cs.ccu.edu.tw/robot.php'
4627*d5ef99ddSAndreas Gohr
4628*d5ef99ddSAndreas Gohr- regex: 'FAST-WebCrawler'
4629*d5ef99ddSAndreas Gohr  name: 'AlltheWeb'
4630*d5ef99ddSAndreas Gohr  category: 'Crawler'
4631*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20041020050801/http://www.alltheweb.com/help/webmaster/crawler'
4632*d5ef99ddSAndreas Gohr
4633*d5ef99ddSAndreas Gohr- regex: 'ducks\.party'
4634*d5ef99ddSAndreas Gohr  name: 'ducks.party'
4635*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4636*d5ef99ddSAndreas Gohr  url: 'https://ducks.party/'
4637*d5ef99ddSAndreas Gohr
4638*d5ef99ddSAndreas Gohr- regex: 'DepSpid'
4639*d5ef99ddSAndreas Gohr  name: 'DepSpid'
4640*d5ef99ddSAndreas Gohr  category: 'Crawler'
4641*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20080321224033/http://about.depspid.net/'
4642*d5ef99ddSAndreas Gohr
4643*d5ef99ddSAndreas Gohr- regex: 'Website-info\.net'
4644*d5ef99ddSAndreas Gohr  name: 'Website-info'
4645*d5ef99ddSAndreas Gohr  category: 'Crawler'
4646*d5ef99ddSAndreas Gohr  url: 'https://website-info.net/robot'
4647*d5ef99ddSAndreas Gohr  producer:
4648*d5ef99ddSAndreas Gohr    name: 'Meins und Vogel GmbH'
4649*d5ef99ddSAndreas Gohr    url: 'https://muv.com/'
4650*d5ef99ddSAndreas Gohr
4651*d5ef99ddSAndreas Gohr- regex: 'RedekenBot'
4652*d5ef99ddSAndreas Gohr  name: 'RedekenBot'
4653*d5ef99ddSAndreas Gohr  category: 'Crawler'
4654*d5ef99ddSAndreas Gohr  url: 'https://www.redeken.com/en/help/bot.html'
4655*d5ef99ddSAndreas Gohr  producer:
4656*d5ef99ddSAndreas Gohr    name: 'Redeken'
4657*d5ef99ddSAndreas Gohr    url: 'https://www.redeken.com/'
4658*d5ef99ddSAndreas Gohr
4659*d5ef99ddSAndreas Gohr- regex: 'semaltbot'
4660*d5ef99ddSAndreas Gohr  name: 'semaltbot'
4661*d5ef99ddSAndreas Gohr  category: 'Crawler'
4662*d5ef99ddSAndreas Gohr  url: 'https://semalt.net/'
4663*d5ef99ddSAndreas Gohr  producer:
4664*d5ef99ddSAndreas Gohr    name: 'Semalt LP'
4665*d5ef99ddSAndreas Gohr    url: 'https://semalt.net/'
4666*d5ef99ddSAndreas Gohr
4667*d5ef99ddSAndreas Gohr- regex: 'MakeMerryBot'
4668*d5ef99ddSAndreas Gohr  name: 'MakeMerryBot'
4669*d5ef99ddSAndreas Gohr  category: 'Crawler'
4670*d5ef99ddSAndreas Gohr  url: 'https://makemerry.app/bots'
4671*d5ef99ddSAndreas Gohr
4672*d5ef99ddSAndreas Gohr- regex: 'Timpibot'
4673*d5ef99ddSAndreas Gohr  name: 'Timpibot'
4674*d5ef99ddSAndreas Gohr  category: 'Crawler'
4675*d5ef99ddSAndreas Gohr  url: 'https://timpi.io/'
4676*d5ef99ddSAndreas Gohr  producer:
4677*d5ef99ddSAndreas Gohr    name: 'Timpi Inc.'
4678*d5ef99ddSAndreas Gohr    url: 'https://timpi.io/'
4679*d5ef99ddSAndreas Gohr
4680*d5ef99ddSAndreas Gohr- regex: 'Validbot'
4681*d5ef99ddSAndreas Gohr  name: 'ValidBot'
4682*d5ef99ddSAndreas Gohr  category: 'Crawler'
4683*d5ef99ddSAndreas Gohr  url: 'https://www.validbot.com/'
4684*d5ef99ddSAndreas Gohr  producer:
4685*d5ef99ddSAndreas Gohr    name: 'Jake Olefsky LLC'
4686*d5ef99ddSAndreas Gohr    url: 'https://www.validbot.com/'
4687*d5ef99ddSAndreas Gohr
4688*d5ef99ddSAndreas Gohr- regex: 'NPBot'
4689*d5ef99ddSAndreas Gohr  name: 'NameProtectBot'
4690*d5ef99ddSAndreas Gohr  category: 'Crawler'
4691*d5ef99ddSAndreas Gohr  url: 'https://www.cscglobal.com/cscglobal/home/'
4692*d5ef99ddSAndreas Gohr  producer:
4693*d5ef99ddSAndreas Gohr    name: 'NameProtect, Inc.'
4694*d5ef99ddSAndreas Gohr    url: 'https://www.cscglobal.com/'
4695*d5ef99ddSAndreas Gohr
4696*d5ef99ddSAndreas Gohr- regex: 'domaincodex\.com'
4697*d5ef99ddSAndreas Gohr  name: 'Domain Codex'
4698*d5ef99ddSAndreas Gohr  category: 'Crawler'
4699*d5ef99ddSAndreas Gohr  url: 'https://www.domaincodex.com/'
4700*d5ef99ddSAndreas Gohr  producer:
4701*d5ef99ddSAndreas Gohr    name: 'Erie Data Systems, LLC'
4702*d5ef99ddSAndreas Gohr    url: 'https://www.eriedatasys.com/'
4703*d5ef99ddSAndreas Gohr
4704*d5ef99ddSAndreas Gohr- regex: 'Swisscows Favicons'
4705*d5ef99ddSAndreas Gohr  name: 'Swisscows Favicons'
4706*d5ef99ddSAndreas Gohr  category: 'Crawler'
4707*d5ef99ddSAndreas Gohr  url: 'https://swisscows.com/'
4708*d5ef99ddSAndreas Gohr  producer:
4709*d5ef99ddSAndreas Gohr    name: 'Swisscows AG'
4710*d5ef99ddSAndreas Gohr    url: 'https://swisscows.com/'
4711*d5ef99ddSAndreas Gohr
4712*d5ef99ddSAndreas Gohr- regex: 'leak\.info'
4713*d5ef99ddSAndreas Gohr  name: 'leak.info'
4714*d5ef99ddSAndreas Gohr  category: 'Crawler'
4715*d5ef99ddSAndreas Gohr  url: 'http://www.leak.info/'
4716*d5ef99ddSAndreas Gohr
4717*d5ef99ddSAndreas Gohr- regex: 'workona'
4718*d5ef99ddSAndreas Gohr  name: 'Workona'
4719*d5ef99ddSAndreas Gohr  category: 'Crawler'
4720*d5ef99ddSAndreas Gohr  url: 'https://workona.com/'
4721*d5ef99ddSAndreas Gohr  producer:
4722*d5ef99ddSAndreas Gohr    name: 'Workona, Inc.'
4723*d5ef99ddSAndreas Gohr    url: 'https://workona.com/'
4724*d5ef99ddSAndreas Gohr
4725*d5ef99ddSAndreas Gohr- regex: 'Bloglines'
4726*d5ef99ddSAndreas Gohr  name: 'Bloglines'
4727*d5ef99ddSAndreas Gohr  category: 'Crawler'
4728*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20140309033202/http://www.bloglines.com/'
4729*d5ef99ddSAndreas Gohr  producer:
4730*d5ef99ddSAndreas Gohr    name: 'Reply!, Inc.'
4731*d5ef99ddSAndreas Gohr    url: 'https://www.reply.com/'
4732*d5ef99ddSAndreas Gohr
4733*d5ef99ddSAndreas Gohr- regex: 'heritrix'
4734*d5ef99ddSAndreas Gohr  name: 'Heritrix'
4735*d5ef99ddSAndreas Gohr  category: 'Crawler'
4736*d5ef99ddSAndreas Gohr  url: 'https://webarchive.jira.com/wiki/display/Heritrix/Heritrix'
4737*d5ef99ddSAndreas Gohr  producer:
4738*d5ef99ddSAndreas Gohr    name: 'The Internet Archive'
4739*d5ef99ddSAndreas Gohr    url: 'https://archive.org'
4740*d5ef99ddSAndreas Gohr
4741*d5ef99ddSAndreas Gohr- regex: 'search\.marginalia\.nu'
4742*d5ef99ddSAndreas Gohr  name: 'Marginalia'
4743*d5ef99ddSAndreas Gohr  category: 'Crawler'
4744*d5ef99ddSAndreas Gohr  url: 'https://www.marginalia.nu/marginalia-search/for-webmasters/'
4745*d5ef99ddSAndreas Gohr  producer:
4746*d5ef99ddSAndreas Gohr    name: 'Marginalia'
4747*d5ef99ddSAndreas Gohr    url: 'https://www.marginalia.nu/'
4748*d5ef99ddSAndreas Gohr
4749*d5ef99ddSAndreas Gohr- regex: 'vu-server-health-scanner'
4750*d5ef99ddSAndreas Gohr  name: 'VU Server Health Scanner'
4751*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4752*d5ef99ddSAndreas Gohr  url: 'https://130.37.198.75/index.html'
4753*d5ef99ddSAndreas Gohr  producer:
4754*d5ef99ddSAndreas Gohr    name: 'VU Amsterdam'
4755*d5ef99ddSAndreas Gohr    url: 'https://vu.nl/en'
4756*d5ef99ddSAndreas Gohr
4757*d5ef99ddSAndreas Gohr- regex: 'Functionize'
4758*d5ef99ddSAndreas Gohr  name: 'Functionize'
4759*d5ef99ddSAndreas Gohr  category: 'Crawler'
4760*d5ef99ddSAndreas Gohr  url: 'https://www.functionize.com/'
4761*d5ef99ddSAndreas Gohr  producer:
4762*d5ef99ddSAndreas Gohr    name: 'Functionize, Inc.'
4763*d5ef99ddSAndreas Gohr    url: 'https://www.functionize.com/'
4764*d5ef99ddSAndreas Gohr
4765*d5ef99ddSAndreas Gohr- regex: 'Prerender'
4766*d5ef99ddSAndreas Gohr  name: 'Prerender'
4767*d5ef99ddSAndreas Gohr  category: 'Crawler'
4768*d5ef99ddSAndreas Gohr  url: 'https://docs.prerender.io/docs/33-overview-of-prerender-crawlers'
4769*d5ef99ddSAndreas Gohr  producer:
4770*d5ef99ddSAndreas Gohr    name: 'saas.group Inc.'
4771*d5ef99ddSAndreas Gohr    url: 'https://saas.group/'
4772*d5ef99ddSAndreas Gohr
4773*d5ef99ddSAndreas Gohr- regex: 'bl\.uk_ldfc_bot'
4774*d5ef99ddSAndreas Gohr  name: 'The British Library Legal Deposit Bot'
4775*d5ef99ddSAndreas Gohr  category: 'Crawler'
4776*d5ef99ddSAndreas Gohr  url: 'https://www.bl.uk/'
4777*d5ef99ddSAndreas Gohr  producer:
4778*d5ef99ddSAndreas Gohr    name: 'The British Library'
4779*d5ef99ddSAndreas Gohr    url: 'https://www.bl.uk/'
4780*d5ef99ddSAndreas Gohr
4781*d5ef99ddSAndreas Gohr- regex: 'Miniature\.io'
4782*d5ef99ddSAndreas Gohr  name: 'Miniature.io'
4783*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4784*d5ef99ddSAndreas Gohr  url: 'https://miniature.io/'
4785*d5ef99ddSAndreas Gohr  producer:
4786*d5ef99ddSAndreas Gohr    name: 'LCX Ventures Ltd'
4787*d5ef99ddSAndreas Gohr    url: 'https://www.lcxventures.com/'
4788*d5ef99ddSAndreas Gohr
4789*d5ef99ddSAndreas Gohr- regex: 'Convertify'
4790*d5ef99ddSAndreas Gohr  name: 'Convertify'
4791*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4792*d5ef99ddSAndreas Gohr  url: 'https://www.convertify.app/'
4793*d5ef99ddSAndreas Gohr  producer:
4794*d5ef99ddSAndreas Gohr    name: 'Convertify'
4795*d5ef99ddSAndreas Gohr    url: 'https://www.convertify.app/'
4796*d5ef99ddSAndreas Gohr
4797*d5ef99ddSAndreas Gohr- regex: 'ZoteroTranslationServer'
4798*d5ef99ddSAndreas Gohr  name: 'Zotero Translation Server'
4799*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4800*d5ef99ddSAndreas Gohr  url: 'https://github.com/wikimedia/mediawiki-services-zotero'
4801*d5ef99ddSAndreas Gohr  producer:
4802*d5ef99ddSAndreas Gohr    name: 'The Wikimedia Foundation, Inc.'
4803*d5ef99ddSAndreas Gohr    url: 'https://www.wikimedia.org/'
4804*d5ef99ddSAndreas Gohr
4805*d5ef99ddSAndreas Gohr- regex: 'MuckRack'
4806*d5ef99ddSAndreas Gohr  name: 'MuckRack'
4807*d5ef99ddSAndreas Gohr  category: 'Crawler'
4808*d5ef99ddSAndreas Gohr  url: 'https://muckrack.com/'
4809*d5ef99ddSAndreas Gohr  producer:
4810*d5ef99ddSAndreas Gohr    name: 'Muck Rack, LLC'
4811*d5ef99ddSAndreas Gohr    url: 'https://muckrack.com/'
4812*d5ef99ddSAndreas Gohr
4813*d5ef99ddSAndreas Gohr- regex: 'Golfe'
4814*d5ef99ddSAndreas Gohr  name: 'Golfe'
4815*d5ef99ddSAndreas Gohr  category: 'Crawler'
4816*d5ef99ddSAndreas Gohr  url: 'http://www.goo-olfe.ae/bot.html'
4817*d5ef99ddSAndreas Gohr
4818*d5ef99ddSAndreas Gohr- regex: 'SpiderLing'
4819*d5ef99ddSAndreas Gohr  name: 'SpiderLing'
4820*d5ef99ddSAndreas Gohr  category: 'Crawler'
4821*d5ef99ddSAndreas Gohr  url: 'https://nlp.fi.muni.cz/projects/biwec/'
4822*d5ef99ddSAndreas Gohr  producer:
4823*d5ef99ddSAndreas Gohr    name: 'Natural Language Processing Centre'
4824*d5ef99ddSAndreas Gohr    url: 'https://nlp.fi.muni.cz/'
4825*d5ef99ddSAndreas Gohr
4826*d5ef99ddSAndreas Gohr- regex: 'Bravebot'
4827*d5ef99ddSAndreas Gohr  name: 'Bravebot'
4828*d5ef99ddSAndreas Gohr  category: 'Search bot'
4829*d5ef99ddSAndreas Gohr  url: 'https://search.brave.com/help/brave-search-crawler'
4830*d5ef99ddSAndreas Gohr  producer:
4831*d5ef99ddSAndreas Gohr    name: 'Brave Software, Inc.'
4832*d5ef99ddSAndreas Gohr    url: 'https://brave.com/'
4833*d5ef99ddSAndreas Gohr
4834*d5ef99ddSAndreas Gohr- regex: '1001FirmsBot'
4835*d5ef99ddSAndreas Gohr  name: '1001FirmsBot'
4836*d5ef99ddSAndreas Gohr  category: 'Crawler'
4837*d5ef99ddSAndreas Gohr  url: 'https://www.1001firms.com/1001firmsbot.php'
4838*d5ef99ddSAndreas Gohr
4839*d5ef99ddSAndreas Gohr- regex: 'SteamChatURLLookup'
4840*d5ef99ddSAndreas Gohr  name: 'Steam Chat URL Lookup'
4841*d5ef99ddSAndreas Gohr  category: 'Service Agent'
4842*d5ef99ddSAndreas Gohr  url: 'https://help.steampowered.com/en/faqs/view/595C-42F4-3B66-E02F'
4843*d5ef99ddSAndreas Gohr  producer:
4844*d5ef99ddSAndreas Gohr    name: 'Valve Corporation'
4845*d5ef99ddSAndreas Gohr    url: 'https://www.valvesoftware.com/'
4846*d5ef99ddSAndreas Gohr
4847*d5ef99ddSAndreas Gohr- regex: 'ohdear\.app'
4848*d5ef99ddSAndreas Gohr  name: 'Oh Dear'
4849*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
4850*d5ef99ddSAndreas Gohr  url: 'https://ohdear.app/docs/faq/what-is-the-oh-dear-crawler-doing-in-my-logs'
4851*d5ef99ddSAndreas Gohr  producer:
4852*d5ef99ddSAndreas Gohr    name: 'Immutable, SNC'
4853*d5ef99ddSAndreas Gohr    url: 'https://ohdear.app/'
4854*d5ef99ddSAndreas Gohr
4855*d5ef99ddSAndreas Gohr- regex: 'Inspici'
4856*d5ef99ddSAndreas Gohr  name: 'Inspici'
4857*d5ef99ddSAndreas Gohr  category: 'Crawler'
4858*d5ef99ddSAndreas Gohr  url: 'https://www.inspici.com/'
4859*d5ef99ddSAndreas Gohr  producer:
4860*d5ef99ddSAndreas Gohr    name: 'Inspici, LLC'
4861*d5ef99ddSAndreas Gohr    url: 'https://www.inspici.com/'
4862*d5ef99ddSAndreas Gohr
4863*d5ef99ddSAndreas Gohr- regex: 'peer39_crawler'
4864*d5ef99ddSAndreas Gohr  name: 'Peer39'
4865*d5ef99ddSAndreas Gohr  category: 'Crawler'
4866*d5ef99ddSAndreas Gohr  url: 'https://www.peer39.com/crawler-notice'
4867*d5ef99ddSAndreas Gohr  producer:
4868*d5ef99ddSAndreas Gohr    name: 'Peer39 Tech, LLC'
4869*d5ef99ddSAndreas Gohr    url: 'https://www.peer39.com/'
4870*d5ef99ddSAndreas Gohr
4871*d5ef99ddSAndreas Gohr- regex: 'Pandalytics'
4872*d5ef99ddSAndreas Gohr  name: 'Pandalytics'
4873*d5ef99ddSAndreas Gohr  category: 'Crawler'
4874*d5ef99ddSAndreas Gohr  url: 'https://www.domainsbot.com/business-intelligence/'
4875*d5ef99ddSAndreas Gohr  producer:
4876*d5ef99ddSAndreas Gohr    name: 'DomainsBot, Inc.'
4877*d5ef99ddSAndreas Gohr    url: 'https://www.domainsbot.com/'
4878*d5ef99ddSAndreas Gohr
4879*d5ef99ddSAndreas Gohr- regex: 'CloudServerMarketSpider'
4880*d5ef99ddSAndreas Gohr  name: 'CloudServerMarketSpider'
4881*d5ef99ddSAndreas Gohr  category: 'Crawler'
4882*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20151228225429/https://cloudservermarket.com/spider.html'
4883*d5ef99ddSAndreas Gohr
4884*d5ef99ddSAndreas Gohr- regex: 'Pigafetta'
4885*d5ef99ddSAndreas Gohr  name: 'Pigafetta'
4886*d5ef99ddSAndreas Gohr  category: 'Crawler'
4887*d5ef99ddSAndreas Gohr  url: 'https://visual-seo.com/Pigafetta-Bot'
4888*d5ef99ddSAndreas Gohr  producer:
4889*d5ef99ddSAndreas Gohr    name: 'aStonish Studio Srl'
4890*d5ef99ddSAndreas Gohr    url: 'http://www.astonishstudio.com/'
4891*d5ef99ddSAndreas Gohr
4892*d5ef99ddSAndreas Gohr- regex: 'Cotoyogi'
4893*d5ef99ddSAndreas Gohr  name: 'Cotoyogi'
4894*d5ef99ddSAndreas Gohr  category: 'Crawler'
4895*d5ef99ddSAndreas Gohr  url: 'https://ds.rois.ac.jp/center8/crawler/'
4896*d5ef99ddSAndreas Gohr  producer:
4897*d5ef99ddSAndreas Gohr    name: 'Joint Support-Center for Data Science Research (ROIS-DS)'
4898*d5ef99ddSAndreas Gohr    url: 'https://ds.rois.ac.jp/'
4899*d5ef99ddSAndreas Gohr
4900*d5ef99ddSAndreas Gohr- regex: 'SuggestBot'
4901*d5ef99ddSAndreas Gohr  name: 'SuggestBot'
4902*d5ef99ddSAndreas Gohr  category: 'Crawler'
4903*d5ef99ddSAndreas Gohr  url: 'https://github.com/nettrom/suggestbot'
4904*d5ef99ddSAndreas Gohr
4905*d5ef99ddSAndreas Gohr- regex: 'cms-experiment'
4906*d5ef99ddSAndreas Gohr  name: 'CMS Experiment'
4907*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4908*d5ef99ddSAndreas Gohr  url: 'https://securitee.org/cms-experiment-fall2024/'
4909*d5ef99ddSAndreas Gohr
4910*d5ef99ddSAndreas Gohr- regex: 'SiteCheckerBotCrawler'
4911*d5ef99ddSAndreas Gohr  name: 'SiteCheckerBotCrawler'
4912*d5ef99ddSAndreas Gohr  category: 'Crawler'
4913*d5ef99ddSAndreas Gohr  url: 'https://sitechecker.pro/'
4914*d5ef99ddSAndreas Gohr  producer:
4915*d5ef99ddSAndreas Gohr    name: 'Cyber Circus Limited'
4916*d5ef99ddSAndreas Gohr    url: 'https://sitechecker.pro/'
4917*d5ef99ddSAndreas Gohr
4918*d5ef99ddSAndreas Gohr- regex: 'SBIder'
4919*d5ef99ddSAndreas Gohr  name: 'SBIder'
4920*d5ef99ddSAndreas Gohr  category: 'Crawler'
4921*d5ef99ddSAndreas Gohr  url: 'https://www.sitesell.com/sbider.html'
4922*d5ef99ddSAndreas Gohr  producer:
4923*d5ef99ddSAndreas Gohr    name: 'SiteSell Inc.'
4924*d5ef99ddSAndreas Gohr    url: 'https://www.sitesell.com/'
4925*d5ef99ddSAndreas Gohr
4926*d5ef99ddSAndreas Gohr- regex: 'LightspeedSystemsCrawler'
4927*d5ef99ddSAndreas Gohr  name: 'LightspeedSystemsCrawler'
4928*d5ef99ddSAndreas Gohr  category: 'Crawler'
4929*d5ef99ddSAndreas Gohr  url: 'https://www.lightspeedsystems.com/'
4930*d5ef99ddSAndreas Gohr  producer:
4931*d5ef99ddSAndreas Gohr    name: 'Lightspeed Systems, Inc.'
4932*d5ef99ddSAndreas Gohr    url: 'https://www.lightspeedsystems.com/'
4933*d5ef99ddSAndreas Gohr
4934*d5ef99ddSAndreas Gohr- regex: 'Research JLU'
4935*d5ef99ddSAndreas Gohr  name: 'Research JLU'
4936*d5ef99ddSAndreas Gohr  category: 'Crawler'
4937*d5ef99ddSAndreas Gohr  url: 'https://www.uni-giessen.de/en/research'
4938*d5ef99ddSAndreas Gohr  producer:
4939*d5ef99ddSAndreas Gohr    name: 'Justus Liebig University Giessen'
4940*d5ef99ddSAndreas Gohr    url: 'https://www.uni-giessen.de/en'
4941*d5ef99ddSAndreas Gohr
4942*d5ef99ddSAndreas Gohr- regex: '(?:hgf|OS)AlphaXCrawl'
4943*d5ef99ddSAndreas Gohr  name: 'AlphaXCrawl'
4944*d5ef99ddSAndreas Gohr  category: 'Crawler'
4945*d5ef99ddSAndreas Gohr  url: 'https://www.fim.uni-passau.de/en/data-science/research/open-search'
4946*d5ef99ddSAndreas Gohr  producer:
4947*d5ef99ddSAndreas Gohr    name: 'University of Passau'
4948*d5ef99ddSAndreas Gohr    url: 'https://www.uni-passau.de/en/'
4949*d5ef99ddSAndreas Gohr
4950*d5ef99ddSAndreas Gohr- regex: 'WPMU DEV'
4951*d5ef99ddSAndreas Gohr  name: 'WPMU DEV'
4952*d5ef99ddSAndreas Gohr  category: 'Crawler'
4953*d5ef99ddSAndreas Gohr  url: 'https://wpmudev.com/docs/wpmu-dev-plugins/broken-link-checker/#broken-link-checker-user-agent'
4954*d5ef99ddSAndreas Gohr  producer:
4955*d5ef99ddSAndreas Gohr    name: 'Incsub, LLC.'
4956*d5ef99ddSAndreas Gohr    url: 'https://incsub.com/'
4957*d5ef99ddSAndreas Gohr
4958*d5ef99ddSAndreas Gohr- regex: 'SnoopSecInspect'
4959*d5ef99ddSAndreas Gohr  name: 'SnoopSecInspect'
4960*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4961*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20241206193253/https://snoopsec.us.to/'
4962*d5ef99ddSAndreas Gohr
4963*d5ef99ddSAndreas Gohr- regex: 'ModatScanner'
4964*d5ef99ddSAndreas Gohr  name: 'ModatScanner'
4965*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4966*d5ef99ddSAndreas Gohr  url: 'https://www.modat.io/scanning'
4967*d5ef99ddSAndreas Gohr  producer:
4968*d5ef99ddSAndreas Gohr    name: 'Modat B.V.'
4969*d5ef99ddSAndreas Gohr    url: 'https://www.modat.io/'
4970*d5ef99ddSAndreas Gohr
4971*d5ef99ddSAndreas Gohr- regex: 'researchcyber\.net'
4972*d5ef99ddSAndreas Gohr  name: 'researchcyber.net'
4973*d5ef99ddSAndreas Gohr  category: 'Security Checker'
4974*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20241219082407/https://researchcyber.net/'
4975*d5ef99ddSAndreas Gohr
4976*d5ef99ddSAndreas Gohr- regex: 'CrystalSemanticsBot'
4977*d5ef99ddSAndreas Gohr  name: 'CrystalSemanticsBot'
4978*d5ef99ddSAndreas Gohr  category: 'Crawler'
4979*d5ef99ddSAndreas Gohr  url: 'https://web.archive.org/web/20121230203310/http://www.crystalsemantics.com/user-agent/'
4980*d5ef99ddSAndreas Gohr  producer:
4981*d5ef99ddSAndreas Gohr    name: 'Crystal Semantics Ltd.'
4982*d5ef99ddSAndreas Gohr    url: 'https://web.archive.org/web/20121029062239/http://www.crystalsemantics.com/'
4983*d5ef99ddSAndreas Gohr
4984*d5ef99ddSAndreas Gohr- regex: 'najdu\.s\.holubem\.eu'
4985*d5ef99ddSAndreas Gohr  name: 'najdu.s.holubem.eu'
4986*d5ef99ddSAndreas Gohr  category: 'Crawler'
4987*d5ef99ddSAndreas Gohr  url: 'https://najdu.s.holubem.eu/'
4988*d5ef99ddSAndreas Gohr
4989*d5ef99ddSAndreas Gohr- regex: 'VORTEX/'
4990*d5ef99ddSAndreas Gohr  name: 'VORTEX'
4991*d5ef99ddSAndreas Gohr  category: 'Crawler'
4992*d5ef99ddSAndreas Gohr  url: 'https://marty.anstey.ca/robots/vortex'
4993*d5ef99ddSAndreas Gohr
4994*d5ef99ddSAndreas Gohr- regex: 'xtate/(\d+\.[.\d]+)'
4995*d5ef99ddSAndreas Gohr  name: 'xtate'
4996*d5ef99ddSAndreas Gohr  category: 'Crawler'
4997*d5ef99ddSAndreas Gohr  url: 'https://github.com/babycoff/xtate'
4998*d5ef99ddSAndreas Gohr
4999*d5ef99ddSAndreas Gohr- regex: 'FediList Agent/'
5000*d5ef99ddSAndreas Gohr  name: 'FediList'
5001*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
5002*d5ef99ddSAndreas Gohr  url: 'https://fedilist.com/'
5003*d5ef99ddSAndreas Gohr
5004*d5ef99ddSAndreas Gohr- regex: 'Grafana/(\d+\.[.\d]+)'
5005*d5ef99ddSAndreas Gohr  name: 'Grafana'
5006*d5ef99ddSAndreas Gohr  category: 'Site Monitor'
5007*d5ef99ddSAndreas Gohr  url: 'https://github.com/grafana/grafana'
5008*d5ef99ddSAndreas Gohr  producer:
5009*d5ef99ddSAndreas Gohr    name: 'Grafana Labs'
5010*d5ef99ddSAndreas Gohr    url: 'https://grafana.com/'
5011*d5ef99ddSAndreas Gohr
5012*d5ef99ddSAndreas Gohr- regex: 'github-camo'
5013*d5ef99ddSAndreas Gohr  name: 'Github Camo'
5014*d5ef99ddSAndreas Gohr  category: 'Crawler'
5015*d5ef99ddSAndreas Gohr  url: 'https://github.com/atmos/camo'
5016*d5ef99ddSAndreas Gohr  producer:
5017*d5ef99ddSAndreas Gohr    name: 'Github'
5018*d5ef99ddSAndreas Gohr    url: 'https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/about-anonymized-urls'
5019*d5ef99ddSAndreas Gohr
5020*d5ef99ddSAndreas Gohr- regex: 'Bluesky'
5021*d5ef99ddSAndreas Gohr  name: 'Bluesky'
5022*d5ef99ddSAndreas Gohr  category: 'Social Media Agent'
5023*d5ef99ddSAndreas Gohr  url: 'https://bsky.app'
5024*d5ef99ddSAndreas Gohr  producer:
5025*d5ef99ddSAndreas Gohr    name: 'Bluesky Social PBC'
5026*d5ef99ddSAndreas Gohr    url: 'https://bsky.app'
5027*d5ef99ddSAndreas Gohr
5028*d5ef99ddSAndreas Gohr- regex: 'OpenGraph\.io'
5029*d5ef99ddSAndreas Gohr  name: 'OpenGraph.io'
5030*d5ef99ddSAndreas Gohr  category: 'Crawler'
5031*d5ef99ddSAndreas Gohr  url: 'https://www.opengraph.io'
5032*d5ef99ddSAndreas Gohr  producer:
5033*d5ef99ddSAndreas Gohr    name: 'OpenGraph.io'
5034*d5ef99ddSAndreas Gohr    url: 'https://www.opengraph.io'
5035*d5ef99ddSAndreas Gohr
5036*d5ef99ddSAndreas Gohr# Generic bots
5037*d5ef99ddSAndreas Gohr- regex: 'nuhk|grub-client|Download Demon|SearchExpress|Microsoft URL Control|borg|altavista|dataminr\.com|teoma|oegp|http%20client|htdig|mogimogi|larbin|scrubby|searchsight|semanticdiscovery|snappy|zeal(?!ot)|dataparksearch|findlinks|BrowserMob|URL2PNG|ZooShot|GomezA|Google SketchUp|Read%20Later|7Siters|centuryb\.o\.t9|InterNaetBoten|EasyBib AutoCite|Bidtellect|tomnomnom/meg|cortex|Re-re Studio|adreview|AHC/|NameOfAgent|Request-Promise|ALittle Client|Hello,? world|wp_is_mobile|0xAbyssalDoesntExist|Anarchy99|^revolt|nvd0rz|xfa1|Hakai|gbrmss|fuck-your-hp|IDBTE4M CODE87|Antoine|Insomania|Hells-Net|b3astmode|Linux Gnu \(cow\)|Test Certificate Info|iplabel|Magellan|TheSafex?Internetx?Search|Searcherx?web|kirkland-signature|LinkChain|survey-security-dot-txt|infrawatch|Time/|r00ts3c-owned-you|nvdorz|Root Slut|NiggaBalls|BotPoke|GlobalWebSearch|xx032_bo9vs83_2a|sslshed|geckotrail|Wordup|Keydrop|\(compatible\)|John Recon|SPARK COMMIT|masjesu|Komaru_The_Cat|Jesus Christ of Nazareth is LORD|Kowai|Hakai|LoliSec|LMAO|^xenu|^(?:chrome|firefox|Abcd|Dark|KvshClient|Node.js|Report Runner|url|Zeus|ZmEu)$|OnlyScans|TheInternetSearchx'
5038*d5ef99ddSAndreas Gohr  name: 'Generic Bot'
5039*d5ef99ddSAndreas Gohr
5040*d5ef99ddSAndreas Gohr# Generic detections
5041*d5ef99ddSAndreas Gohr- regex: '[a-z0-9_-]*(?:(?<!cu|power[ _]|m[ _])bot(?![ _]TAB|[ _]?5[0-9]|[ _]Senior|[ _]Junior)|analyzer|appengine|archiver?|checker|collector|crawl|crawler|(?<!node-|uclient-|Mikrotik/\d\.[x\d] |electron-)fetch(?:er)?|indexer|inspector|monitor|(?<!Microsoft |banshee-)project(?!or)|(?<!Google Wap |Blue |SpeedMode; )proxy|(?<!P)research|resolver|robots|(?<!Cam)scanner|scraper|script|searcher|(?<!-)security|spider(?! 8)|study|transcoder|uptime|user[ _]?agent|validator)(?:[^a-z]|$)'
5042*d5ef99ddSAndreas Gohr  name: 'Generic Bot'
5043