Comment repérer les robots, les comportements anormaux et les exclure ?

Notre détection des robots fonctionne de la manière suivante : un organisme recensant tous les robots connus nous transfère une liste (IAB/ABC) à partir de laquelle nous excluons directement le trafic généré par ces robots, trafic qui ne sera pas comptabilisé dans l'interface.

En revanche, il est analysable et quantifiable en se rendant sur l'analyse suivante, depuis Analyzer NX : Trafic > Trafic contrôlé > Robots (hors ligne, indexation ou monitoring).

Les robots de monitoring sont utilisés pour contrôler la viabilité de votre site. En voici une liste non exhaustive : Microsoft System Center Operations Manager, Gomez Agent, Observer, Nagios, etc.

Par défaut ils sont exclus de votre trafic mais vous pouvez les réintégrer en passant par Configuration > Surveillance & Exclusion de trafic > Robots.

Les robots de navigation hors-ligne ne sont pas exclus par défaut, mais vous pouvez les exclure par le biais du même chemin cité ci-dessus. En voici une liste non exhaustive : Download Ninja, Heritrix, Webcopier, PageNest Pro, WebZip, etc.

Ces exclusions de votre trafic se font par le biais des adresses IP ou bien des User Agent des robots présents dans les listes citées ici.

L'IAB ne peut cependant pas recenser tous les robots existants. Certains passent donc le filtre de traitement que nous appliquons, pouvant expliquer certaines données étranges remontées dans vos interfaces.

Quand ils ne sont pas déjà identifiés et exclus par AT Internet, les robots peuvent être reconnus de part les comportements visiteurs, grâce à différents indicateurs, comme par exemple :

  • Temps passé par page : s'il est très court, cela peut indiquer la présence d'un crawler
  • Pages vues par visite : s'il est très élevé, idem
  • URLs (Sites affluents) : un pic de visites de la part d'un domaine inconnu est suspect
  • Pays (Géolocalisation) : un pic de visites venant d'un pays duquel ne proviennent pas ou peu de visites en temps normal est suspect
  • Ville (Géolocalisation) : idem
  • Modèles (OS) : un pic de visites provenant toutes d'un même modèle d'appareil est suspect

Si vous suspectez un trafic anormal, nous vous suggérons de créer un ticket au Centre Support, nous expliquant le contexte. Dans le cas où il s'agit bien d'un robot, nous pourrons l'exclure nous-mêmes de nos propres bases.

Sachez que vous pouvez aussi personnellement et arbitrairement exclure ou surveiller du trafic provenant de certaines IP suspectes sous Configuration > Surveillance & Exclusion de trafic. Nous pourrons, sous certaines conditions, vous fournir des IP identifiées comme suspectes, mais non directement associables à du trafic robot, afin que vous puissiez les contrôler.

Il sera nécessaire que l'administrateur du contrat nous transmette la demande via un ticket comportant les éléments suivants :

  • Votre numéro de client et numéro de site
  • Nom de domaine du site sur lequel le trafic suspect a été observé
  • Demande de communication de l'IP à des fins d'exclusion du trafic
Vous avez d’autres questions ? Envoyer une demande