На любом сайте в интернете должен быть файл robots.txt. Он даёт поисковым системам подсказку, что именно индексировать на сайте, а что – нет.
Где посмотреть топовые российские сайты по тематикам – Яндекс.Радар
Помимо различных топов и рейтингов, есть сервис “Яндекс.Радар” (https://radar.yandex.ru/). Топ формируется исходя из посещаемости. Есть возможность сортировки сайтов по тематикам, типу и медиахолдигу-владельцу.