Le robot
Notre robot, et comment l'éteindre.
Si SeoBoostyBot est apparu dans vos journaux, cette page dit qui le fait tourner et comment l'arrêter. Tout ce qui est affiché ici décrit le robot tel qu'il tourne aujourd'hui.
Identité
Comment le reconnaître.
Deux choses identifient le robot : une chaîne de user agent qui ne change jamais, et une liste publiée des adresses d'où il part. Tout ce qui se présente comme SeoBoostyBot depuis une adresse hors de cette liste ne vient pas de nous.
User agent
SeoBoostyBot/1.0 (+https://seoboosty.com/bot)D'où il vient
Les adresses sont publiées dans un fichier plutôt qu'affichées sur cette page, pour qu'une liste blanche de votre côté lise l'ensemble courant au lieu d'une copie devenue obsolète.
Le fichier fait foi. Si une adresse change un jour, le fichier change avec elle, et rien chez vous n'est à reprendre à la main.
Ce qu'il lit
Il lit des pages et note des liens.
SeoBoosty cherche des domaines expirés vers lesquels des sites établis pointent encore. Pour les trouver, le robot lit des pages publiques et note quelle page pointe vers quel domaine. Le travail s'arrête là.
Ce qu'il fait
- Il demande des pages déjà publiques, comme le ferait un navigateur
- Il lit les liens de la page, avec leur texte d'ancre et leur attribut rel
- Il garde le lien, le texte d'ancre et l'adresse de la page qui le portait
Ce qu'il ne fait jamais
- Envoyer un formulaire
- Tenter une connexion, avec quelque identifiant que ce soit
- Acheter quoi que ce soit ou passer une commande
- Conserver votre texte, vos images ou vos fichiers
Ce que nous gardons, ce sont des liens et des textes d'ancre. Le robot lit votre page une fois pour les trouver, puis jette le texte.
Comment il se comporte
Ce qu'il fait quand votre serveur résiste.
Chaque ligne ci-dessous décrit le robot qui tourne en production aujourd'hui, et les chiffres sortent de ses propres journaux.
01Il lit robots.txt d'abord
Le robot récupère votre robots.txt et applique les règles Disallow avant de demander une page. Sur une fenêtre récente de dix minutes, il a écarté 3 554 URL pour ce seul motif.
02Un 429 le ralentit
Le robot prend un HTTP 429 au pied de la lettre et lève le pied sur cet hôte, au lieu de réessayer au même rythme.
03Un challenge divise son rythme par quatre
Quand une réponse ressemble à un challenge anti-bot ou à un blocage WAF, le robot se ralentit d'un facteur quatre sur cet hôte.
04Il quitte un hôte qui échoue
Un coupe-circuit surveille les erreurs hôte par hôte. Dès qu'il saute, le robot abandonne cet hôte au lieu de s'acharner dessus.
05Des secondes entre les requêtes
Le robot laisse des secondes entre deux requêtes vers le même domaine. Il n'a pas de mode rafale et n'ouvre pas de flot de connexions parallèles contre un seul site.
Comment le contrôler
Des lignes à copier.
Ce que vous mettez dans robots.txt pour SeoBoostyBot prend effet à la visite suivante du robot, et il relit robots.txt régulièrement. Vous n'avez pas à nous écrire d'abord.
Le bloquer entièrement
Une fois que le robot a lu ceci, il ne demande plus rien sur le site.
User-agent: SeoBoostyBot
Disallow: /Le ralentir
Dix secondes entre deux requêtes vers votre site. Mettez le nombre qui convient à votre serveur.
User-agent: SeoBoostyBot
Crawl-delay: 10Bloquer une partie du site
Des règles de chemin ordinaires. Tout ce que vous laissez de côté reste ouvert.
User-agent: SeoBoostyBot
Disallow: /admin/
Disallow: /searchLe bloquer au pare-feu
Pour qui préfère ne pas attendre la prochaine lecture du robots.txt. Récupérez les adresses courantes et passez-les directement à votre pare-feu ou à votre WAF.
curl -s https://seoboosty.com/bot/ips.json | jq -r '.ipv4[]'Écrivez le jeton SeoBoostyBot sur la ligne User-agent, sans version et sans URL derrière.
Contact
Pour le reste, écrivez-nous.
Une seule boîte reçoit tout ce qui concerne le robot, et une personne la lit. Demandez-nous d'arrêter d'explorer votre site et nous arrêtons, sans que vous ayez à vous justifier.
Ouvrir le formulaire de contactQuestions sur le robot
[email protected]
Envoyez le domaine et quelques lignes de journal si vous en avez. Ça suffit en général pour confirmer que le trafic venait de nous et pour dire ce qu'il faisait.