Slik slipper du AI-søk inn på nettsiden din

Filen heter robots.txt og ligger på adressen dinbedrift.no/robots.txt. Den forteller roboter hva de får lese. De store AI-selskapene sier selv at robotene deres følger den.

Problemet er at mange har kopiert regler som stenger ute «alle AI-roboter». Da stenger de også ute robotene som henter svar til AI-søk. Det betyr at siden ikke kan dukke opp når noen spør ChatGPT eller Perplexity.

To slags AI-roboter

Det finnes roboter som samler data for å trene AI-modeller, og roboter som henter innhold til svarene i AI-søk. De har forskjellige navn, og du kan styre dem hver for seg.

Robotene som henter til søk og svar:

• OAI-SearchBot for søket i ChatGPT
• PerplexityBot for Perplexity
• Claude-SearchBot for søket i Claude
• Applebot for Siri, Spotlight og Safari
• DuckAssistBot for AI-svarene i DuckDuckGo
• MistralAI-User for Le Chat fra Mistral

Robotene som samler treningsdata:

• GPTBot fra OpenAI
• ClaudeBot fra Anthropic
• Google-Extended, som styrer om Google kan bruke innholdet til å trene Gemini
• Applebot-Extended, som styrer om Apple kan bruke innholdet til trening

Du kan si nei til trening og ja til søk

OpenAI skriver at innstillingene er uavhengige av hverandre. Stenger du ute GPTBot, kan siden fortsatt vises i søket i ChatGPT. Stenger du ute OAI-SearchBot, vises den ikke i søkesvarene.

Vil du ikke at innholdet ditt brukes til trening, men fortsatt bli funnet, kan robots.txt se slik ut:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://dinbedrift.no/sitemap.xml

Robotene som ikke er nevnt, følger regelen for alle, og den sier at de får lese siden.

Når noen ber AI-en lese siden

ChatGPT og Perplexity har også roboter som henter en side når noen ber om det i samtalen. De heter ChatGPT-User og Perplexity-User. Begge selskapene skriver at disse som regel ikke følger robots.txt, fordi det er en person som har bedt om siden.

Sjekk din egen fil

Skriv inn adressen din på forsiden. Lesbart leser robots.txt og sier fra hvis noen av søkerobotene er stengt ute.