`

Alle nutzen Crawler-Tools. Screaming Frog, Sitebulb, Semrush. Die sind schnell und zeigen bunte Grafiken.

Server-Log-Dateien sehen nach 1995 aus. Endlose Textzeilen mit Timestamps und Statuscodes. Genau deshalb überspringen sie die meisten.

Hier ist der Unterschied: Crawler zeigen dir, wie deine Website theoretisch funktioniert. Logs zeigen dir, was Google wirklich macht.

Beispiel aus letzter Woche: Eine E-Commerce-Site mit 50.000 Produkten. Screaming Frog fand alle Seiten einwandfrei. Die Log-Analyse zeigte: Googlebot ignorierte 30.000 davon komplett. Warum? Ein robots.txt-Parameter, den kein Crawler-Tool erkannte, weil er nur für Google galt.

Zweites Beispiel: Facettierte Navigation. Crawler-Tools zählten 5.000 URL-Varianten. Logs zeigten: Google crawlte nur 200 davon regelmäßig. Der Rest war Crawl-Budget-Verschwendung.

Log-Analyse dauert länger. Du brauchst Zugriff zum Server. Du musst mit Regex-Patterns arbeiten. Aber für Sites über 10.000 Seiten ist es die einzige Methode, die zeigt, wo Google wirklich Zeit verbringt.

Alle anderen Audit-Methoden raten nur.

`