Het heeft weinig zin om websites voor AI te optimaliseren als de modellen en agents deze niet kunnen vinden. De antwoorden op veel vragen aan AI staan vaak al op een website: zoals een installatiehandleiding die mensen zoeken, of klantervaringen over het gebruik van een product, met details die het verschil maken of iemand het product koopt of niet. Naarmate meer mensen AI om hulp gaan vragen, wordt het belangrijker dat AI-​modellen en ‑agents het juiste antwoord vinden, de informatie nauwkeurig weergeven en geïnteresseerden doorverwijzen. Tevens is het belangrijk om inzicht te krijgen in hoe mensen toegang krijgen tot de gezochte informatie en websites.

Onderzoeksproject

Met de belangen van klanten in gedachten zijn Cloudflare en OpenAI in juli 2026 een pilot gestart. Ze wilden achterhalen of signalen uit Cloudflare’s netwerk gebruikers van ChatGPT konden helpen om op een efficiëntere wijze nieuwe inhoud te ontdekken. In deze publicatie zijn daarvan de eerste resultaten te lezen. Tot nu toe is het antwoord op de onderzoeksvraag een volmondig ja: de pilot heeft veel voorheen onbekende pagina’s aan de zoekindex van OpenAI toegevoegd, waardoor ChatGPT nu meer bronnen heeft om mensen te helpen relevante, actuele informatie te vinden. Gaandeweg het project hebben beide bedrijven ook meer geleerd over wat een pagina de moeite waard maakt om ontdekt te worden en hoe AI-​systemen het web gebruiken.

Meer van het web ontdekken

Het web staat vol met hele specifieke informatie. Iemand die een wasmachine wil repareren, heeft de handleiding voor zijn exacte model nodig. Iemand die een paspoort aanvraagt, heeft de actuele vereisten en tarieven nodig. Iemand die een lokaal restaurant zoekt, heeft het nieuwste menu en de openingstijden nodig. Het vinden van de juiste webpagina kan het verschil maken tussen een verkeerd antwoord en dus een geïrriteerde potentiële klant, of een antwoord dat daadwerkelijk helpt. Elke pagina kan waardevol zijn, zelfs als er maar weinig andere sites naar linken.

In de vorige versie van het web kwam vindbaarheid neer op bovenaan een zoekresultatenpagina komen te staan. Daarna was het aan de bezoeker van een pagina om de waarde van de informatie te bepalen, een tafel te reserveren, of het benodigde paspoort aan te vragen. Nu mensen steeds vaker op AI vertrouwen om informatie te vinden en taken uit te voeren, krijgt vindbaarheid een compleet nieuwe betekenis. AI-​systemen moeten de juiste bronnen vinden, begrijpen wat nuttig is en mensen in contact brengen met relevante informatie. Dat kan via een antwoord, een verwijzing, of een bezoek aan de website zelf.

Het netwerk van Cloudflare levert signalen die de zoekcrawler van OpenAI kunnen helpen om meer nuttige pagina’s op het web te ontdekken en deze aan ChatGPT-​gebruikers te tonen. OpenAI beoordeelt en rangschikt vervolgens zelfstandig hoe die pagina’s worden weergegeven op basis van hun relevantie en bruikbaarheid. Samen zorgt dit voor een feedbackloop die zowel de vindbaarheid als de kwaliteit van de informatie die mensen vinden, kan verbeteren.

Nuttige informatie helpen te vinden

Dankzij dit gezamenlijke onderzoeksproject, waarbij een deel van ongeveer 1% van het totale netwerk van Cloudflare werd ingezet, heeft OpenAI al honderden miljoenen nieuwe webpagina’s kunnen ontdekken en indexeren. Dat helpt mensen meer nuttige informatie te vinden en via ChatGPT antwoorden op hun vragen te krijgen. Door terug te linken naar relevante bronnen biedt ChatGPT Search mensen ook de mogelijkheid om de originele inhoud te verkennen en de websites en uitgevers erachter te ontdekken.

Met GPT‑6 en Intelligent UI maakt OpenAI van ChatGPT sinds kort een nog betere oplossing om te winkelen, te leren en antwoorden te vinden, met meer visuele, interactieve ervaringen die zijn afgestemd op wat mensen nodig hebben. Dit vormt een aanvulling op de ontwikkelingen van ChatGPT om mensen te helpen meer nuttige, actuele informatie overal op het web te ontdekken.

Van ontdekking tot antwoorden

Het vinden van een URL is nog maar het begin. Kunnen mensen die pagina makkelijk bezoeken, heeft de pagina iets bijzonders te bieden en hoe kan deze iemand helpen? In de pilot werd ook duidelijk hoe gemakkelijk geautomatiseerd verkeer een niet-​bestaande pagina interessant kan laten lijken. Bots vragen herhaaldelijk om bestanden die er niet zijn. Sommige sites leiden bijna elk adres om naar hun startpagina. Andere adressen leiden naar kopieën van dezelfde inhoud. Door deze patronen te herkennen, is tijdverspilling te voorkomen voordat een crawler de pagina ophaalt, en de efficiëntie te verbeteren op een manier die ten goede komt aan website-​eigenaren.

Cloudflare en OpenAI testen ook signalen die mogelijk schadelijke pagina’s kunnen identificeren en markeren, om een extra informatielaag toe te voegen voor een veiligere en betrouwbaardere indexering. Een legitieme site kan één gecompromitteerde pagina bevatten, zoals een vals inlogformulier dat door een aanvaller is geplaatst. Door die ene pagina te markeren, in plaats van het hele domein, blijven gebruikers veilig zonder dat de website-​eigenaar wordt benadeeld. De eerste onderzoeksresultaten wijzen erop dat deze signalen kunnen helpen bij het identificeren van pagina’s die uit de index moeten worden geweerd.

Zoeken vereenvoudigen

Naarmate meer mensen AI gebruiken om informatie te vinden, krijgen website-​eigenaren nieuwe mogelijkheden om geïnteresseerde doelgroepen te bereiken. Voor degenen die ervoor kiezen hun content beschikbaar te stellen aan AI-​systemen, maken deze verbeteringen het vinden van informatie eenvoudiger en efficiënter. Het zou voor iedereen duur zijn om elke pagina vaker op te halen om bij te blijven. Voor een site-​eigenaar zorgt een crawler die herhaaldelijk een ongewijzigde pagina downloadt voor extra belasting zonder dat dit enig voordeel oplevert.

De hiervoor genoemde signalen zijn de manier waarop Cloudflare en OpenAI dat voorkomen. Door te filteren houden ze crawlers weg van pagina’s die niet bestaan of alleen maar doorverwijzen. Signalen over inhoudelijke veranderingen geven aan wanneer een pagina een nieuw bezoek waard is, en wanneer niet. Er moet een juiste balans worden gevonden. Het vinden van nieuwe pagina’s kan leiden tot meer crawling, omdat ze worden geëvalueerd en geïndexeerd. Het doel is om nieuwe pagina’s te blijven ontdekken en actueel te blijven, terwijl de benodigde inspanning wordt beperkt. Voor Cloudflare’s klanten betekent dit minder onnodige belasting. Voor OpenAI betekent het dat een groter deel van de zoektools wordt besteed aan informatie die mensen helpt.

Deelname de moeite waard maken

De volgende onderzoeksfase bouwt voort op wat beide bedrijven al hebben geleerd: de selectie van pagina’s verbeteren, snellere en betrouwbaardere wijzigingssignalen testen en meten wat er gebeurt nadat content is ontdekt. Cloudflare blijft met OpenAI samenwerken om meer te leren over hoe een betere website-​ontdekking te vertalen is naar concrete bedrijfsresultaten. De daarbij opgedane kennis wordt aanvullend gedeeld, net als over deze eerste pilot.

De keuzes van domeineigenaren zijn van doorslaggevend belang. Een signaal over een pagina geeft nog geen toestemming om deze te openen. Het onderzoek van Cloudflare en OpenAI maakt gebruik van metadata over het web voor zoek- en ontdekkingsdoeleinden, in plaats van de inhoud van pagina’s te delen voor het trainen van modellen. Geïnteresseerden kunnen Cloudflare’s AI Crawl Control gebruiken om zowel inzicht te krijgen in als controle te houden over de manier waarop AI-​systemen toegang krijgen tot hun website(s).