VibekingBot

VibekingBot is de crawler van Vibeking, een dienst die websites controleert op bereikbaarheid, SEO en AI-zichtbaarheid. Hij scant alleen sites die een klant van Vibeking heeft toegevoegd. Wijst een link of doorverwijzing op zo'n site naar een andere site, dan kan hij die pagina ook opvragen om te controleren of ze werkt.

Herkennen

Elk verzoek van VibekingBot heeft deze user agent:

VibekingBot/1.0 (+https://vibekingdevelopment.com/bot)

Een user agent is na te maken. Controleer daarom de handtekening hieronder.

Verificatie

Elk verzoek van VibekingBot draagt Web Bot Auth-headers: Signature-Agent met de waarde "https://vibekingdevelopment.com", Signature-Input en Signature. Elk verzoek, ook elke stap van een doorverwijzing, krijgt een eigen handtekening.

De publieke sleutels staan op:

https://vibekingdevelopment.com/.well-known/http-message-signatures-directory

Site-eigenaren en firewalls kunnen de handtekening controleren in plaats van de user agent te vertrouwen.

Er is nog steeds geen IP-lijst: VibekingBot draait op een cloudnetwerk met wisselende adressen.

Zit je site achter QUIC.cloud? QUIC.cloud zet VibekingBot niet op zijn lijst van goede bots; laat hem toe in je QUIC.cloud-dashboard onder CDN, CDN Config, Security, Access Control, User Agent Allowlist.

Shopify-winkeleigenaren kunnen in hun Shopify-beheer een crawler-handtekening voor VibekingBot aanmaken en die in Vibeking invullen. Verzoeken naar dat domein dragen dan zolang hij geldig is de handtekening van Shopify in plaats van die van Vibeking.

Wat hij opvraagt

Scan: wekelijks op maandag vanaf 02:00 UTC, als een klant een scan start en zodra een klant zijn eerste site toevoegt. VibekingBot leest robots.txt, de sitemap, llms.txt en de pagina's van de site (HTML, tot 2 MB per pagina). Van gelinkte bestanden zoals pdf's en afbeeldingen, van interne links die de scan zelf niet leest en van een steekproef uit de sitemap en uit llms.txt vraagt hij alleen de status op, eerst met HEAD en zo nodig met GET. Hij controleert ook of de http- en de www-variant van de homepage goed doorsturen.
Controle op niet-bestaande pagina's: per scan één verzoek naar een verzonnen adres op de site (bijvoorbeeld /vk-niet-bestaand-…), alleen als robots.txt dat toestaat en met de Crawl-delay ervoor. Zo zien we of de site voor onbekende adressen netjes een 404 geeft.
Bereikbaarheid: elke 5 minuten het adres van de site, met eventuele doorverwijzingen. Alleen de status telt; de inhoud wordt niet gelezen.
Wijzigingen: één keer per dag na elkaar de homepage, robots.txt, sitemap.xml en llms.txt.
PageSpeed: dagelijks voor sites met een betaald abonnement, per gemeten pagina eerst alleen de status. De meting zelf doet Google PageSpeed Insights; die verzoeken komen van Google.
Bewijs na een fix die een klant bestelt: enkele pagina's en bestanden om het resultaat te controleren.

Tempo

Een scan doet één verzoek tegelijk en wacht minstens één seconde tussen twee verzoeken.

Staat er in robots.txt een Crawl-delay in de groep voor VibekingBot, of anders in de groep voor alle bots (*), dan wacht de scan zo lang tussen twee verzoeken. Er is geen maximum. Bij een Crawl-delay van meer dan 60 seconden controleert een scan minder pagina's, zodat hij binnen ongeveer een dag klaar is.

De dagelijkse controle op wijzigingen doet haar vier verzoeken na elkaar, met de Crawl-delay ertussen (minstens één seconde). De andere controles hierboven volgen Crawl-delay niet.

robots.txt

De scan volgt Disallow en Allow voor pagina's en links op de site, uit de groep voor VibekingBot of anders uit de groep voor alle bots (*). Een eigen groep voor VibekingBot vervangt de groep voor alle bots; zet je Disallow-regels er dan ook in.

robots.txt, de sitemap, llms.txt, de homepage (ook de http- en www-variant) en het doel van een doorverwijzing vraagt de scan altijd op. De controles op bereikbaarheid, wijzigingen, PageSpeed en bewijs kijken niet naar robots.txt.

VibekingBot afremmen, met je eigen Disallow-regels erbij:

User-agent: VibekingBot
Crawl-delay: 5
Disallow: /admin/

VibekingBot blokkeren:

User-agent: VibekingBot
Disallow: /

Met Disallow: / slaat de scan alle pagina's over, behalve wat hierboven staat als altijd opgevraagd. Dat geldt ook als de eigenaar van de site zelf klant is.

VibekingRadar

Vibeking volgt ook nieuws en wijzigingen van onder meer Google, OpenAI, Bing en schema.org. VibekingRadar haalt die RSS-feeds en pagina's elke 30 minuten op, met deze user agent:

VibekingRadar/1.0 (+https://vibekingdevelopment.com/bot)

Vragen

Mail naar info@vibekingdevelopment.com.