Cet outil permet de valider la syntaxe d'un fichier robots.txt. Le fichier robots.txt (et non pas fichier robot.txt) peut être utilisé afin d'indiquer au diverse robots qui enregistrent les pages de votre site web quelle contenu leur est accessible afin de l'inclure dans les moteurs de recherche. Le fichier robots.txt doit être placé dans le répertoire raccine d'un site web. Les fichiers robots.txt placés dans les sous-répertoires d'un site web ne sont pas valides.
En utilisant l'option "Deep check", le validateur essaiera de valider l'existence des valueurs dans sitemap:, allow: et disallow: (utile pour detecter les fautes de frappes, répertoires supprimés ou encore des répertoires non protégés d'accès dans un site web)