Le Livre d'Argent

🤖
Si les bots écroulent votre site, il y a peut-être une astuce beaucoup plus légère et simple qu'Anubis pour les bloquer.
https://sebsauvage.net/wiki/doku.php?id=stupidantibot

@sebsauvage
J'avais vu une astuce similaire, mais sans le bouton. Juste le JavaScript qui pose le cookie à l'affichage de la page.
À ton avis, ça marche aussi bien ?

À titre d'exemple et pous vous donner une idée, je n'ai pas protéger *tout* mon site, mais juste quelques pages (par exemple la recherche ou le gestionnaire de média de mon DokuWiki).
Voici un échantillon des bots bloqués:
https://privatebin.net/?86c96e87f8c75c90#AA961GCk6NSBuLJxTQdeQAArHH56DWGaVakFrSfZpRRs

On en est à plusieurs requêtes par seconde, et encore je suis un "petit" site.

@sebsauvage c'est quoi ce format de logs ? c'est quel logiciel qui sort ça ?

@sebsauvage @mmu_man Dans les premiers temps de mon blog, ne connaissant pas encore le robots.txt, j'utilisais sur les pages que je ne voulais pas voir indexées un truc un peu similaire, mais sans javascript.

Juste un bête formulaire avec une case à cocher et un bouton de validation, et comme il fallait envoyer des données en POST aucun robot générique ne s'y aventurait. Je ne sais même plus si je mettais un cookie ou s'il fallait repasser par le formulaire à chaque fois (comme ça concernait seulement quelques pages c'était moins pénible que sur tout le site), mais c'était au pire facilement automatisable, juste il fallait un script/bot conçu spécifiquement pour le site pour savoir quoi envoyer comme données en POST. Simple et efficace.
replies
0
announces
0
likes
0

Et dans la série des bots complètement cons:
VKBot qui demande de manière répété un service retiré il y a plusieurs années:
2026-08-14T12:58:16+02:00 ip=95.142.198.131 src=https://sebsauvage.net/rss-bridge/?action=display&bridge=Instagram&h=angarsklife&media_type=all&format=Atom ua=Mozilla/5.0 (compatible; VKRobot/1.0)

(suite)

Il y a aussi le bot d'Amazon qui insiste vraiment *vraiment* beaucoup pour afficher les diff des éditions de mes pages de wiki:
2026-08-14T12:36:13+02:00 ip=44.208.193.63 src=https://sebsauvage.net/wiki/doku.php?difftype=sidebyside&do=diff&id=jeux&rev2[0]=1479974740&rev2[1]=1576184809 ua=Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36

(suite)

Et puis bien sûr il y a le bouffeur de colle, le mauvais élève de la classe, je parle de bien sûr de Microsoft bingbot, qui vient rechercher sur mon vieux blog (pas mis à jour depuis plus de 10 ans) des trucs absurdes:
(non Microsoft, je ne suis pas À CE POINT LÀ une référence)

2026-08-14T13:09:23+02:00 ip=52.167.144.163 src=https://sebsauvage.net/rhaa/?2011/11&rech=TRUYEN+VE+THANH+GIOAN+MARRIA+VIANEY ua=Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

(suite)

@sebsauvage tiens en parlant de seb référence, c'est toi qui a ajouté un !bing duckduckgo pour ton blog ? Parce que c'est bien pratique quand même :)

@songxisto
Alors... petite histoire : J'avais échangé par mail avec Gabriel Weinberg aux débuts de DuckDuckGo (à l'époque où son serveur c'était encore un rack hébergé chez ses parents 😄), et du coup sans que je demande rien il avait ajouté un bang !seb sur DDG.
Ce bang fonctionne encore, d'ailleurs (il pointe toujours sur mon vieux blog, alors je fais une redirection vers shaarli.)

(Et j'ignore pourquoi, mais ce bang marchait aussi chez Qwant. Je ne sais pas s'il marche encore.)