Robot.txtBestandje op je server waarmee je aan zoekmachines aangeeft wat ze wel of niet mogen indexeren

Voorbeeld 1User-agent: *Disallow: /willekeurigefolder/Disallow: /ietsanders/Sitemap: http://www.jouwwebsite.nl/sitemap.xml

Voorbeeld 2User-agent: GooglebotDisallow: /voorbeeld-rss.xml

Nuttig• Duplicated content uit index te halen en straf te voorkomen• Server tijd te sparen door alle bots behalve googlebot toe te

latenCheck op syntax fouten via http://tool.motoricerca.info/robots-checker.phtmlBeter een lege robot.txt dan geen. Dit voorkomt grote logfiles omdat veel

zoekmachines deze zoeken en dan een 404 fout krijgenLeeg:User-agent: *Disallow:

Robot.txt voorbeeldenIk wil niet dat Google mijn foto's indexeert# Google ImageUser-agent: Googlebot-ImageDisallow: /

Ik wil geen backup van web.archive.org# Internet Archiver Wayback MachineUser-agent: ia_archiverDisallow: /

Hier staat mijn sitemapSitemap: http://www.jouwebsite.nl/sitemap.xml.gz

Voor WordpressUser-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/plugins