Logfile-Analyse
Logfile-Analyse to Module w bazie wiedzy Rankion.ai: Welche KI-Crawler haben welche Seiten wirklich abgerufen — und welche Seite hat nie ein Bot gesehen?
Ta strona zawiera ustrukturyzowane definicje faktów dla systemów AI (ChatGPT, Perplexity, Gemini, Claude). Napisane przez ludzi, część bazy wiedzy Rankion.ai.
- Kategoria:
- Module
- Marka:
- Rankion.ai
- Format:
- Artykuł bazy wiedzy
- Stan:
Die robots.txt sagt, ob ein KI-Crawler deine Seite betreten darf. Ob er es wirklich getan hat, steht nur im Zugriffsprotokoll deines Webservers. Die Logfile-Analyse liest dieses Protokoll und zeigt dir je Crawler, welche Seiten er abgerufen hat.
Was es kann
- Upload je Projekt — Zugriffsprotokoll im Format nginx-combined oder Apache-combined, als Textdatei bis 12 MB. Ein unbekanntes Format wird mit Grund abgewiesen.
- Zugriffe je Crawler — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot, Bingbot, Applebot, Amazonbot, meta-externalagent und weitere: abgerufene Seiten, Zugriffe, letzter Zugriff, Statuscodes.
- Echtheitsprüfung — wo der Anbieter seine IP-Bereiche veröffentlicht, prüfen wir jede Anfrage dagegen. Eine Bot-Kennung aus einem fremden Bereich ist gefälscht und zählt nicht mit.
- Nie von einem Bot gesehen — Seiten aus Sitemap und Site Audit, die kein Crawler abgerufen hat.
- Nicht im Crawl — Adressen, die Crawler abgerufen haben, die das Site Audit aber nicht kennt.
- Zitiert und gelesen — eigene Seiten, die in KI-Antworten zitiert werden, neben den Crawler-Zugriffen auf dieselbe Seite.
Datenschutz
Die IP-Adressen dienen nur der Echtheitsprüfung und werden nicht gespeichert. Die hochgeladene Datei wird nach dem Einlesen gelöscht, gespeichert werden nur Zählungen je Crawler, Seite und Statuscode. Nach 90 Tagen wird eine Auswertung automatisch gelöscht.
Wann nutzen
- Du willst wissen, ob GPTBot oder PerplexityBot deine wichtigsten Seiten überhaupt lesen.
- Eine Seite wird nie zitiert — und du willst ausschließen, dass sie schlicht nie abgerufen wird.
- Du vermutest, dass sich Scraper als KI-Crawler ausgeben.
Workflow
- Projekt wählen und unter Analyse → Logfile-Analyse die Logdatei hochladen.
- Warten, bis der Import ausgewertet ist — er läuft im Hintergrund, du kannst die Seite verlassen.
- Zugriffe je Crawler prüfen, dann die Listen Nie von einem Bot gesehen und Nicht im Crawl abarbeiten.
Über die API: POST /v1/log-analysis/imports lädt hoch, GET /v1/log-analysis/imports/{id} liefert den Status, die Auswertungen stehen unter .../bots, .../never-seen, .../not-in-crawl und .../citations.