User-agent: *
Sitemap: https://agroamat.ro/sitemap.xml


##############
#   custom   #
##############

##############
#   custom   #
##############

# ═══════════════════════════════════════════════════════════════════
#  CONFIG deltatech_restrict_ip — citit de codul Python (models/ir_http.py)
#  Se parsează DOAR liniile care încep cu "# restrict-ip:".
#  Restul liniilor "#" sunt comentarii (ignorate de modul ȘI de boți).
# ═══════════════════════════════════════════════════════════════════
#
# Boți "buni" (bypass rate-limit + alocație generoasă la ore de vârf):
# restrict-ip: allowed_bot = googlebot, bingbot, applebot, facebookexternalhit, gptbot, oai-searchbot, chatgpt-user, claudebot, claude-web, anthropic-ai, perplexitybot, google-extended, applebot-extended, duckassistbot, youbot, mistral
#
# Boți "răi" (403 imediat, după substring în User-Agent):
# restrict-ip: bad_bot = scrapy, ahrefsbot, semrushbot, mj12bot, dotbot, petalbot, dataforseobot, blexbot, megaindex, serpstatbot, zoominfobot, imagesiftbot, barkrowler
#
# Limite (cereri/minut per IP):
# restrict-ip: rate_limit = 500000000000
# restrict-ip: bot_peak_rate_limit = 1200000000
#
# Anti-spoofing Googlebot (reverse-DNS): 1=activ. Blochează boții care mint că-s Google.
# restrict-ip: verify_google_dns = 1
#
# Blocare surse de scraping (datacenter) — din notele tale:
# restrict-ip: blocked_subnet = 148.251.0.0/16, 23.88.0.0/17, 128.90.0.0/16, 183.207.0.0/16
# restrict-ip: blocked_ip = 91.229.0.19, 176.125.231.122, 89.46.102.66, 139.99.62.128
#
# NU blocăm (IP-uri rezidențiale RO — se rotesc, pot fi clienți reali):
#   81.196.136.187, 46.97.170.41, 46.55.28.83


# ─────────────────────────────────────────────────────────────
#  REGULI PENTRU TOTI BOTII (grupul "User-agent: *" este emis de Odoo
#  chiar deasupra acestui bloc, NU adauga altul aici: ar rupe fisierul)
# ─────────────────────────────────────────────────────────────
Content-Signal: search=yes, ai-train=yes, ai-input=yes

# Lasă randarea paginilor — NU bloca CSS/JS/imaginile
Allow: /web/image
Allow: /web/content
Allow: /web/assets
Allow: /web/static
Allow: /website/image
Allow: /website/social

# Backend / autentificare / API / info
Disallow: /web/
Disallow: /web$
Disallow: /odoo
Disallow: /website/info
Disallow: /agp/

# Zona privată client (portal)
Disallow: /my
Disallow: /my/

# Coș / checkout / plată / wishlist / comparație (fără valoare SEO)
Disallow: /shop/cart
Disallow: /shop/checkout
Disallow: /shop/payment
Disallow: /shop/confirmation
Disallow: /shop/extra_info
Disallow: /shop/address
Disallow: /shop/wishlist
Disallow: /shop/compare

# Capcane de crawl: filtre / sortare / căutare (parametri)
Disallow: /*?*order=
Disallow: /*?*attribute_value=
Disallow: /*?*tags=
Disallow: /*?*search=
Disallow: /*?*ppg=
Disallow: /*?*min_price=
Disallow: /*?*max_price=

# ─────────────────────────────────────────────────────────────
#  GRUPURI PE BOTI ANUME. Obligatoriu DUPA regulile de mai sus:
#  odata inceput un grup nou, nu te mai poti intoarce la "*".
# ─────────────────────────────────────────────────────────────

# --- SEO / audit crawlers nedoriti: interzis ---
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: DataForSeoBot
User-agent: BLEXBot
User-agent: PetalBot
Disallow: /

# --- (OPȚIONAL) AI de căutare/citare — trimit TRAFIC. Momentan PERMIS.
#      Ca să-i blochezi complet, scoate "# " din fața celor 4 linii de mai jos:
# User-agent: OAI-SearchBot
# User-agent: ChatGPT-User
# User-agent: PerplexityBot
# Disallow: /
Sitemap: https://agroamat.ro/sitemap-cataloage.xml