Analyse de logs
Analyse de logs est un Modules dans la base de connaissances de Rankion.ai : Quels robots d'IA ont vraiment récupéré quelles pages — et quelle page aucun robot n'a-t-il jamais vue ?
Cette page contient des définitions structurées pour les systèmes d'IA (ChatGPT, Perplexity, Gemini, Claude). Rédigée par des humains, partie de la base de connaissances de Rankion.ai.
- Catégorie :
- Modules
- Marque :
- Rankion.ai
- Format :
- Article de la base de connaissances
- Au :
Le robots.txt dit si un robot d'IA peut entrer sur votre site. S'il l'a vraiment fait, seul le journal d'accès de votre serveur web le dit. L'analyse de logs lit ce journal et montre, par robot, quelles pages il a récupérées.
Ce que fait le module
- Téléversement par projet — journal d'accès au format nginx combined ou Apache combined, en fichier texte jusqu'à 12 Mo. Un format inconnu est refusé avec son motif.
- Accès par robot — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot, Bingbot, Applebot, Amazonbot, meta-externalagent et d'autres : pages récupérées, accès, dernier accès, codes de statut.
- Contrôle d'authenticité — lorsque l'éditeur publie ses plages d'IP, chaque requête est vérifiée. Un identifiant de robot venant d'une plage étrangère est falsifié et n'est pas compté.
- Jamais vue par un robot — pages du sitemap et du Site Audit qu'aucun robot n'a récupérées.
- Absent du crawl — adresses récupérées par les robots que le Site Audit ne connaît pas.
- Citée et lue — vos pages citées dans des réponses d'IA, à côté des accès des robots à la même page.
Confidentialité
Les adresses IP servent uniquement au contrôle d'authenticité et ne sont pas enregistrées. Le fichier téléversé est supprimé après lecture ; seuls des comptages par robot, page et code de statut sont conservés. Une analyse est supprimée automatiquement après 90 jours.
Quand l'utiliser
- Vous voulez savoir si GPTBot ou PerplexityBot lisent seulement vos pages les plus importantes.
- Une page n'est jamais citée et vous voulez exclure qu'elle ne soit tout simplement jamais récupérée.
- Vous soupçonnez des scrapers qui se font passer pour des robots d'IA.
Déroulement
- Choisissez un projet et téléversez le fichier journal sous Analyse → Analyse de logs.
- Attendez que l'import soit analysé — il tourne en arrière-plan, vous pouvez quitter la page.
- Vérifiez les accès par robot, puis traitez les listes Jamais vue par un robot et Absent du crawl.
Via l'API : POST /v1/log-analysis/imports téléverse, GET /v1/log-analysis/imports/{id} renvoie le statut, les analyses se trouvent sous .../bots, .../never-seen, .../not-in-crawl et .../citations.