# EduNews24 robots.txt
User-agent: *
Allow: /

# Content Signals (contentsignals.org): preferenze d'uso AI dei contenuti
Content-Signal: search=yes, ai-train=no, ai-input=no

# Sitemaps
Sitemap: https://edunews24.it/sitemap-index.xml
Sitemap: https://edunews24.it/sitemap-news.xml
Sitemap: https://edunews24.it/sitemap-articoli.xml
Sitemap: https://edunews24.it/sitemap-video-index.xml
Sitemap: https://edunews24.it/sitemap-categorie.xml
Sitemap: https://edunews24.it/sitemap-pagine.xml
Sitemap: https://edunews24.it/sitemap-pagine-filtro.xml
# Interpelli, selezione personale e bandi sono spezzate in blocchi da 1000 URL
# elencati direttamente in sitemap-index.xml (riga sopra). I vecchi URL
# /sitemap-interpelli.xml, /sitemap-selezione-personale.xml e /sitemap-bandi.xml
# rispondono con un 301 verso l'indice.

# Disallow admin and private areas
Allow: /api/search
# API pubblica /api/v1: i feed sono leggibili dai crawler; il JSON resta escluso da
# Disallow: /api/ e ogni risposta porta X-Robots-Tag: noindex.
Allow: /api/v1/feeds/
Disallow: /admin/
Disallow: /private/
Disallow: /api/
Disallow: /cdn-cgi/

# Crawl delay for heavy bots
User-agent: AhrefsBot
Crawl-delay: 10
Allow: /api/v1/feeds/
Disallow: /api/v1

User-agent: SemrushBot
Crawl-delay: 10
Allow: /api/v1/feeds/
Disallow: /api/v1

User-agent: msnbot
Crawl-delay: 5
Allow: /api/v1/feeds/
Disallow: /api/v1

User-agent: bingbot
Crawl-delay: 5
Allow: /api/v1/feeds/
Disallow: /api/v1