Maak je website agent-ready: Crawlers, llms.txt, gestructureerde data en commerce-protocollen

De vraag die bedrijven stellen over zichtbaarheid verandert. Vroeger was het: 'Hoe scoren we hoger in Google?' Nu is het vaak: 'Waarom beveelt een AI-assistent onze concurrent aan in plaats van ons?' Voor commerciële sites staan de stakes hoger: een agent kan producten, prijzen, beschikbaarheid, leveringsvoorwaarden en beleid vergelijken voordat een persoon ooit een homepage bezoekt.

Dat maakt traditionele SEO niet overbodig. Het voegt een extra lezer toe aan de website: software die handelt namens een persoon. Een agent geeft niets om een hero-animatie. Het geeft erom of het de pagina kan openen, de gegevens kan begrijpen, de canonieke bron kan identificeren en de gevraagde actie veilig kan uitvoeren.

Er is genoeg hype rond dit onderwerp. Sommige leveranciers reduceren 'agent readiness' tot het publiceren van één tekstbestand. Het echte werk is meer structureel. Een paar aanpassingen zijn nu de moeite waard; andere zijn pas zinvol wanneer agent-gestuurde handel een echte acquisitiekanaal voor het bedrijf is.

Wat 'Agentic' Werkelijk Verandert

Jarenlang was de dominante reis voorspelbaar: een persoon zocht, opende verschillende links, vergeleek de opties en nam een beslissing. De website moest de klik verdienen en de bezoeker overtuigen na aankomst.

Agenten comprimeren die reis. Een persoon kan vragen om 'een VPS onder de dertig dollar per maand, gehost in Europa, met duidelijke back-upvoorwaarden' of 'een condoleanceregeling die vandaag nog geleverd kan worden'. De agent kan meerdere bronnen inspecteren, onvolledige aanbiedingen afwijzen en een shortlist teruggeven. De mens ziet eerst de samenvatting en bezoekt mogelijk alleen de laatste kandidaten.

Dit verandert de optimalisatievraag. Verkeer doet er nog steeds toe, maar ook machineleesbare nauwkeurigheid, bronautoriteit en actiebereidheid. Een pagina die er geweldig uitziet maar de prijs in een afbeelding verbergt, de gestructureerde data tegenspreekt of geen duidelijk leveringsbeleid heeft, is moeilijk te vertrouwen voor zowel agenten als klanten.

Stap één: audit de crawler-toegang correct

Voordat u nieuwe protocollen toevoegt, inspecteer robots.txt, CDN-botcontroles, firewallregels en serverlogs. Een crawler kan geen pagina gebruiken die hij niet kan ophalen. Maar behandel niet elke AI-gerelateerde user-agent alsof deze hetzelfde doel dient.

OpenAI documenteert aparte controles voor OAI-SearchBot en GPTBot. OAI-SearchBot heeft betrekking op het tonen van websites in ChatGPT-zoekopdrachten, terwijl GPTBot het mogelijke gebruik van gecrawlde inhoud voor het trainen van funderingsmodellen regelt. Een site kan de eerste toestaan en de tweede weigeren. Dit zijn onafhankelijke beleidskeuzes.

Ook de Google-Extended-controle van Google vereist zorgvuldige formulering. Het is een robots.txt-controletoken, geen aparte HTTP-crawler-user-agent, en Google stelt dat het geen invloed heeft op opname of ranking in Google Zoeken.

Een bewust beleid kan er als volgt uitzien:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Dat voorbeeld is geen universele aanbeveling. Juridische, licentie-, privacy- en commerciële vereisten verschillen. Het belangrijkste is om de beslissing bewust te nemen in plaats van een oude standaardregel van een beveiligingsplugin over te nemen.

Wat te controleren

• De belangrijke openbare pagina's retourneren 200 zonder dat cookies of JavaScript nodig zijn.
• robots.txt weerspiegelt het daadwerkelijke zoek- en AI-beleid van het bedrijf.
• De CDN daagt legitieme crawlers niet uit met een interactieve CAPTCHA.
• Canonieke URL's zijn crawlbaar en leiden niet om via onnodige trackinglinks.
• Serverlogs bevestigen of de relevante bots de product-, service- en beleidspagina's bereiken.

De Beschrijvingslaag: llms.txt Zonder de Magische Claims

Het llms.txt-voorstel beschrijft een Markdown-bestand in de root van een domein dat taalmodellen een samengestelde kaart van nuttige inhoud biedt. Het kan de organisatie identificeren, uitleggen wat de site biedt en verwijzen naar gezaghebbende documentatie, beleid, producten of API-referenties.

Het is nuttig omdat websites vaak veel pagina's met overlappende boodschappen bevatten. Een beknopte kaart kan een agent naar de bronnen leiden die het bedrijf als canoniek beschouwt. Het is vooral zinvol voor technische producten, documentatie-intensieve diensten en sites met API's.

Het is echter geen bewezen ranking-shortcut voor AI-citaties. Het publiceren van /llms.txt herstelt geen ontoegankelijke pagina's, zwakke productgegevens, tegenstrijdige prijzen of ontbrekende gestructureerde data. Beschouw het als goedkope machinegerichte documentatie, niet als vervanging voor technische SEO.

Een minimaal bestand kan eenvoudig zijn:

# Example Company

> A short, factual description of the business and its market.

## Products
- [Product catalog](https://example.com/products)

## Policies
- [Delivery](https://example.com/delivery)
- [Returns](https://example.com/returns)

## Support
- [Contact](https://example.com/contact)

Schrijf het met de hand of controleer gegenereerde uitvoer zorgvuldig. Een sitemapgenerator weet welke URL's bestaan; hij weet niet welke pagina's commercieel belangrijk, juridisch gezaghebbend of veilig zijn voor een agent om op te vertrouwen.

En wat met agents.md?

agents.md is nuttig in softwarerepositories als conventie om codeeragenten van projectinstructies te voorzien. Op openbare commerciële websites is het geen universeel aanvaarde ontdekkingsstandaard zoals robots.txt of Schema.org.

Een bedrijf kan nog steeds machinegerichte actiedocumentatie publiceren, maar mag er niet van uitgaan dat externe agenten automatisch een root-level /agents.md zullen ontdekken of gehoorzamen. Actiemogelijkheden kunnen beter worden beschreven via het protocol of de API die ze daadwerkelijk blootlegt, met authenticatie, machtigingen en foutgedrag dat daar is gedefinieerd. Als u een agents.md-bestand behoudt, behandel het dan als aanvullende documentatie, niet als de basis van de integratie.

De gegevenslaag: gestructureerde gegevens moeten overeenkomen met de werkelijkheid

De beschrijvingslaag vertelt een machine waar te kijken. Gestructureerde gegevens helpen het te interpreteren wat het vindt. Voor commerciële pagina's betekent dat meestal geschikte Schema.org-typen zoals Product, Offer, AggregateRating en BreadcrumbList, met velden die daadwerkelijk overeenkomen met de weergegeven pagina en de backend-status.

Het sleutelwoord is overeenkomen met de werkelijkheid. Prijs, valuta, beschikbaarheid, staat, leveringsinformatie en beoordelingstotalen mogen niet verschillen tussen zichtbare HTML, JSON-LD, feeds en checkout. Een agent die tegenstrijdige feiten ziet, kan niet betrouwbaar aanbevelen of transacties uitvoeren.

Gestructureerde gegevens zijn ook niet beperkt tot winkels. Dienstverlenende bedrijven kunnen organisatiedetails, servicegebieden, veelgestelde vragen, contactpunten en paginarelaties verduidelijken. Het doel is niet om elke mogelijke eigenschap toe te voegen. Het is om de belangrijke feiten expliciet, actueel en intern consistent te maken.

Een betrouwbare productgegevens-checklist

• Stabiele product-ID's en canonieke URL's
• Huidige prijs en valuta
• Variant-specifieke beschikbaarheid
• Nauwkeurige afbeeldingen en beschrijvende alternatieve tekst
• Leverings-, retour- en annuleringsvoorwaarden
• Aantal beoordelingen dat overeenkomt met zichtbare beoordelingen
• Consistente gegevens in HTML, schema, feeds en API's

De actielaag: MCP, ACP, UCP en AP2

Gestructureerde pagina's helpen een agent een aanbod te begrijpen. Protocollen en API's stellen het in staat gecontroleerde acties uit te voeren. Deze technologieën overlappen elkaar, maar zijn niet uitwisselbaar.

MCP: tools en context, geen op zichzelf staand commercieel systeem

Model Context Protocol is een algemeen protocol voor het verbinden van AI-toepassingen met tools en gegevensbronnen. Een commerciële implementatie kan tools blootleggen voor productzoekopdrachten, voorraadcontroles, winkelwagentjes of ondersteuningsopzoekingen, maar MCP definieert zelf niet de volledige commerciële levenscyclus. Het bedrijf blijft eigenaar van authenticatie, autorisatie, validatie, prijsregels en audittrails.

ACP: commerciële infrastructuur voor ChatGPT

OpenAI beschrijft het Agentic Commerce Protocol als infrastructuur tussen handelaren en shoppers in ChatGPT. Het integratiemodel voor handelaren dekt productontdekking en commerciële stromen, terwijl de handelaar verantwoordelijk blijft voor gezaghebbende catalogusgegevens en orderafhandeling. Het is relevant wanneer ChatGPT een bewust verkoopkanaal is, niet alleen omdat een site in AI-antwoorden wil verschijnen.

UCP: een bredere commerciële levenscyclus

Het Universal Commerce Protocol definieert bouwstenen voor agentische handel, van ontdekking en winkelwagen tot afrekenen, identiteitskoppeling, bestellingen en ondersteuning na aankoop. De specificatie is ontworpen om samen te werken met gevestigde transportprotocollen en gerelateerde standaarden, waaronder MCP en AP2.

Shopify's huidige documentatie over agentische handel beschrijft op UCP gebaseerde ervaringen en UCP-compatibele MCP-servers voor workflows rond ontdekking, winkelwagen, afrekenen en bestellingen. Dat is een platformmogelijkheid, geen toestemming om aan te nemen dat elke winkel automatisch is geconfigureerd, in aanmerking komt en wordt weergegeven in elk agentkanaal. Handelaars moeten nog steeds hun daadwerkelijke opzet en datakwaliteit verifiëren.

AP2: verifieerbare betalingsautorisatie

Het Agent Payments Protocol (AP2) richt zich op de autorisatielaag: hoe een gebruiker een verifieerbare intentie kan geven voor een door een agent bemiddelde betaling. Het vult handelsprotocollen aan; het vervangt niet de afhandeling van de handelaar, fraudebestrijding, betalingsverwerker of bestelsysteem.

Wat is realistisch op Shopify, WooCommerce en maatwerkoplossingen?

Shopify

Shopify beweegt snel op het gebied van agentische handel en biedt gedocumenteerde bouwstenen voor productontdekking en transactiestromen. Handelaars moeten er eerst voor zorgen dat product-, voorraad-, markt-, verzend- en beleidsgegevens in Shopify volledig zijn. Platformondersteuning is alleen waardevol wanneer de onderliggende catalogus betrouwbaar is.

WooCommerce

WooCommerce geeft de site-eigenaar controle over de webroot en REST-infrastructuur, waardoor het publiceren van llms.txt, het verbeteren van schema's of het bouwen van een speciale integratie technisch eenvoudig is. Het lastigere deel is operationeel: plug-inconflicten, caching, beveiligingsregels, variantgegevens en extensies die elk denken dat ze hetzelfde veld bezitten.

Voor een kleine catalogus kunnen correcte crawler-toegang, schema, feeds en beleidspagina's meer waarde opleveren dan een aangepast transactieprotocol. Een aangepast eindpunt wordt pas redelijk wanneer het productvolume, de bestelfrequentie of een strategisch partnerkanaal de onderhoudskosten rechtvaardigt.

Aangepaste platforms

Een aangepaste applicatie biedt de meeste controle: live catalogusquery's, doelgerichte tools, precieze machtigingen en consistente observeerbaarheid. Het creëert ook de meeste verantwoordelijkheid. Elk eindpunt heeft authenticatie, snelheidslimieten, invoervalidatie, idempotentie, audittrails, veilige fouttoestanden en een versiebeleid nodig.

De beste aangepaste architectuur laat een agent niet rechtstreeks naar de database schrijven. Het stelt smalle bedrijfsacties bloot, zoals search_products, check_inventory, create_cart of request_quote, en past dezelfde regels toe als de mensgerichte applicatie.

Een verstandige implementatievolgorde

Als we een bestaande site voorbereiden op agents, zouden we in deze volgorde werken:

1. Toegang controleren. Controleer robots-regels, CDN-challenges, redirects, canonieke pagina's en serverlogs.
2. Corrigeer de brongegevens. Zorg dat prijzen, beschikbaarheid, identificatiegegevens, beleid en contactgegevens consistent zijn.
3. Valideer gerenderde gestructureerde data. Test daadwerkelijke product- en servicepagina's, niet alleen sjablonen.
4. Maak een samengestelde llms.txt. Wijs agents naar gezaghebbende, commercieel belangrijke pagina's.
5. Documenteer acties. Definieer wat een agent mag lezen of doen, inclusief authenticatie en foutafhandeling.
6. Voeg protocollen alleen toe voor een echt kanaal. Bouw ACP, UCP, MCP of betalingsintegraties wanneer de distributiekans productie-eigendom rechtvaardigt.
7. Monitor continu. Houd crawler-toegang, toolfouten, verouderde data, gestaakte acties en voltooide resultaten bij.

Let op wat niet eerst komt: het modieuze bestand of protocol. Agent-gereedheid begint met betrouwbare pagina's en data. De machinegerichte extra's versterken die basis; ze kunnen deze niet vervangen.

Hoe te controleren of het werk loont

Meet succes niet alleen aan het bestaan van /llms.txt. Volg resultaten die implementatiewerk koppelen aan zichtbaarheid en omzet:

• AI-crawlerverzoeken en responstijd in serverlogs
• Vermeldingen en citaten voor representatieve klantvragen
• Verwijzingsverkeer van AI-zoekmachines en assistentproducten
• Productfeedfouten en schema-validatiefouten
• Agent-toolsucces, latentie en afhaakpercentages
• Begeleide leads, winkelwagentjes, bestellingen en omzet
• Onjuiste aanbevelingen door verouderde of dubbelzinnige data

Dit creëert ook een feedbacklus. Als agents herhaaldelijk vragen om informatie die de site niet helder weergeeft, is dat niet alleen een AI-probleem. Menselijke klanten hebben er waarschijnlijk ook moeite mee.

De eerlijke conclusie

Het agentische web is echt, maar de meeste bedrijven hebben vandaag niet elk protocol nodig. Ze hebben wel een website nodig die machines en mensen kunnen vertrouwen: toegankelijke canonieke pagina's, nauwkeurige gestructureerde data, expliciet beleid en consistente backend-feiten.

Begin daar. Voeg llms.txt toe als samengestelde documentatie, niet als belofte van ranking. Behandel agents.md als een optionele conventie, niet als universele webstandaard. Bouw transactie-integraties alleen wanneer er een ondersteund kanaal en een zakelijke case bestaat.

De onglamoureuze basis is wat al het andere mogelijk maakt. Het verbetert tegelijkertijd zoekresultaten, toegankelijkheid, integraties, klantvertrouwen en toekomstige agentworkflows.

Als u wilt zien wat een agent daadwerkelijk kan begrijpen en doen op uw website vandaag, kan DigiForge crawler-toegang, gestructureerde data, machinegerichte documentatie, productfeeds en transactiegereedheid auditen. U krijgt een geprioriteerd implementatieplan in plaats van een bundel modieuze bestanden.

Start een agent-gereedheidsaudit