Robots.txt – plik zawierający wszystkie polecenia dla robotów wyszukiwarki odwiedzających stronę internetową. Robots.txt zawiera dyrektywy zezwalające i blokujące dostęp do określonych zasobów witryny (plików, folderów, adresów URL).