На любом сайте в интернете должен быть файл robots.txt. Он даёт поисковым системам подсказку, что именно индексировать на сайте, а что – нет.

Этот файл должен находиться в корневой папке сайта.

Зачем нужен

Если утрировать, нужен файл robots.txt для того, чтобы поисковик не показывал в выдаче какие-нибудь системные или закрытые разделы и файлы сайта.

Что должно быть в файле

В robots.txt указывается какой робот и что должен индексировать, а что – игнорировать.

User-agent

После User-agent указывается конкретный поисковый бот, для которого будут правила allow и disallow.

Например:

User-agent: Yandex
User-agent: Googlebot

Allow

После Allow указывается то, что будет индексироваться.

Например:

Allow: /*/style/*.css
Allow: /*/script/*.js

Disallow

После Disallow указывается то, что не должно индексироваться.

Например:

Disallow: /*.xls
Disallow: /*.doc

Подробный гайд по robots.txt

Отличный материал, где расписано всё, что нужно знать о robots.txt: https://medium.com/@fatkhutdinov/kak-sostavit-pravilnij-robots-txt-1b34537bcab4