robots.txt
Techniki optymalizacji

Wszystko, co powinieneś wiedzieć o pliku robots.txt

Czym jest plik robots.txt? Plik robots.txt służy do kontrolowania robotów wyszukiwarek na stronie internetowej. Nie wszystkie rodzaje robotów stosują się do instrukcji zawartych w pliku robots.txt. Szczególnie roboty, które są wykorzystywane przez programy do analizy stron internetowych, umożliwiają pominięcie tego pliku. Ponadto każdy robot inaczej interpretuje składnię pliku robots.txt więc w dalszej części będę odnosił