Zugriffe von KI-Crawlern: eine Messung über 17 Tage
2026-07-15 bis 2026-07-31 (17 Tage)
Diese Seite veröffentlicht Primärdaten, die TYS Digitale Performance aus den eigenen Serverprotokollen erhoben hat. Der Messzeitraum liegt zwischen dem 2026-07-15 und dem 2026-07-31 und umfasst 17 Tage. In diesem Zeitraum erreichten den Server insgesamt 326.764 Anfragen. Davon entfielen 15.278 auf KI-Crawler und 11.585 auf klassische Suchmaschinen-Crawler. KI-Crawler stellten damit 31.9 Prozent mehr Anfragen als Suchmaschinen-Crawler.
KI-Crawler-Anfragen nach Anbieter
| Anbieter | Crawler | Anfragen | Anteil |
|---|---|---|---|
| Meta | meta-externalagent | 4.673 | 30,6 % |
| Anthropic | ClaudeBot, anthropic-ai | 4.280 | 28 % |
| OpenAI | OAI-SearchBot, GPTBot, ChatGPT-User | 1.949 | 12,8 % |
| ByteDance | Bytespider | 1.745 | 11,4 % |
| Amazon | Amazonbot | 1.404 | 9,2 % |
| Perplexity | PerplexityBot | 896 | 5,9 % |
| Common Crawl | CCBot | 317 | 2,1 % |
| Apple | Applebot-Extended | 14 | 0,1 % |
| Summe | 15.278 | 100 % |
Vergleich: klassische Suchmaschinen-Crawler
| Crawler | Anfragen |
|---|---|
| Googlebot | 7.353 |
| Applebot | 2.720 |
| bingbot | 983 |
| YandexBot | 508 |
| DuckDuckBot | 21 |
| Summe | 11.585 |
HTTP-Statuscodes der KI-Crawler-Anfragen
| Statuscode | Anfragen |
|---|---|
| 200 | 13.787 |
| 301 | 1.003 |
| 404 | 320 |
| 308 | 104 |
| 307 | 34 |
| 206 | 21 |
| 502 | 5 |
| 503 | 2 |
| 400 | 2 |
Methode
- Datenquelle sind die gemeinsamen nginx-Zugriffsprotokolle der Domains tysd.de und tys.net.tr. Die Rohprotokolle liegen auf dem Server und werden 365 Tage aufbewahrt.
- Die Crawler wurden anhand der Kennung im User-Agent-Header klassifiziert. Als KI-Crawler gezählt wurden: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, Google-Extended, PerplexityBot, Amazonbot, Bytespider, CCBot, meta-externalagent, Applebot-Extended. Als klassische Suchmaschinen-Crawler: Googlebot, bingbot, Applebot, YandexBot, DuckDuckBot.
- Jede Anfrage wurde nur einer Kategorie zugerechnet. Passte ein User-Agent auf beide Listen, wurde er als KI-Crawler gezählt; die Zahlen für Suchmaschinen sind daher eine Untergrenze.
- 412 Zeilen (0,13 Prozent der Gesamtmenge) konnten wegen abweichendem Format nicht ausgewertet werden und flossen in keine Summe ein.
- Die Zahlen sind reproduzierbar: dieselben Protokolldateien und dieselbe Klassifikationsliste ergeben dasselbe Ergebnis.
Grenzen dieser Messung
- Es handelt sich um die Daten einer einzigen Website. Gemessen wurde auf der eigenen Seite einer Agentur; eine Verallgemeinerung auf die Branche ist nicht zulässig.
- Die Identifikation der Crawler stützt sich auf den User-Agent-Header. Dieser Header lässt sich fälschen und wurde hier nicht per Reverse-DNS verifiziert.
- Gemessen wurde die Zahl der Anfragen. Dass ein Crawler eine Seite abruft, belegt nicht, dass diese Seite in einer Antwort zitiert wird.
- Das Zeitfenster umfasst 17 Tage. Saisonale Effekte, einmalige Crawl-Wellen und Änderungen an der Website können das Ergebnis beeinflusst haben.
- Der Messzeitraum fällt mit strukturellen Änderungen an der Website zusammen; ein Teil der 1.003 Weiterleitungen und der 320 Nicht-gefunden-Antworten geht darauf zurück.
Was diese Messung nicht zeigt
Diese Zahlen messen die Crawl-Intensität und sind kein Sichtbarkeitsversprechen. Mehr Crawler-Zugriffe erhöhen weder Zitationen noch Platzierungen noch Besucherzahlen. Ein Zusammenhang wurde mit diesen Daten nicht gemessen und wird hier nicht behauptet.