User-agent: *
Allow: /

# Запрещаем индексацию служебных страниц
Disallow: /admin/
Disallow: /dj-admin/
Disallow: /api/
Disallow: /ckeditor/
Disallow: /search/
Disallow: /feedback/
Disallow: /newsletter/
Disallow: /callback/
Disallow: /partner-request/
Disallow: /calculator/

# Запрещаем индексацию параметров пагинации и фильтров
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*?q=

# Crawl-delay для экономии ресурсов
Crawl-delay: 1

# Sitemap
Sitemap: https://alem.uz/sitemap.xml

# Yandex
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /dj-admin/
Disallow: /api/
Disallow: /ckeditor/
Crawl-delay: 2
Host: https://alem.uz
Sitemap: https://alem.uz/sitemap.xml