# XtremeOffice - Robots.txt
User-agent: *
Allow: /

# Categoriepagina's (slug-URLs) zijn toegankelijk via Allow: /
# Merkpagina's: expliciet toestaan vóór de filterblokken hieronder
Allow: /*?page=resultaten&merk=

# Productdatabladen (PDF): geen bots (30-10-2026)
Disallow: /data_import/product_pdfs/
Disallow: /data_import/product_pdfs_fr/
Disallow: /datablad.php
Disallow: /datasheet_en.php

# Blokkeer admin/interne pagina's
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php

# ---------------------------------------------------------------
# ZOEKFUNCTIE: VOLLEDIG GEBLOKKEERD
# Reden: elke unieke zoekterm = aparte database-aanvraag (full-text
# search). Oneindige URL-ruimte, geen indexeerbare waarde, zware
# databaselast. Bots mogen categorieën en productpagina's crawlen,
# maar NOOIT zoekresultaten opvragen.
# ---------------------------------------------------------------
Disallow: /*?q=
Disallow: /*&q=

# Blokkeer paginering (voorkomt indexering van pagina 2, 3, ... — dubbele content)
Disallow: /*?pagina=
Disallow: /*&pagina=

# Blokkeer sorteer- en filterparameters die dubbele content geven
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?

# ---------------------------------------------------------------
# PRODUCT-PDF DATABLADEN: UITGESLOTEN VAN CRAWLEN
# Reden: PDFs dupliceren content van productpagina's, hebben geen
# conversiepad (geen winkelwagen) en verspillen crawlbudget.
# De productpagina is de canonical bron (met JSON-LD structured data).
#
# Let op: deze PDFs staan op www.xtremeoffice.nl — als dat een
# aparte document root heeft, zet dan ook een robots.txt op die
# server met deze zelfde Disallow-regel.
# ---------------------------------------------------------------
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/

# Afbeeldingen in data_import/images/ MOETEN crawlbaar zijn voor Google Shopping
Allow: /data_import/images/

# Blokkeer overige data_import scripts (geen publieke inhoud)
Disallow: /data_import/

# ---------------------------------------------------------------
# BYTESPIDER (ByteDance): GEBLOKKEERD
# 10.591 requests/28% van al het verkeer voor 798 afbeeldingen,
# sommige 61x herhaald, 0 bezoekers. Robots.txt is hier vooral
# documentatie — Bytespider staat bekend om robots.txt te negeren,
# de daadwerkelijke handhaving zit op Apache-niveau in .htaccess.
# ---------------------------------------------------------------
User-agent: Bytespider
Disallow: /

# Sitemap locaties
Sitemap: https://xtremeoffice.nl/sitemap.xml

# ---------------------------------------------------------------
# GOOGLEBOT EN GOOGLEBOT-IMAGE: EXPLICIETE TOEGANG
# Googlebot-Image moet productafbeeldingen kunnen crawlen voor
# Google Shopping (Merchant Center kwaliteitscontroles).
# ---------------------------------------------------------------
User-agent: Googlebot
Allow: /
Allow: /*?page=resultaten&merk=
Allow: /data_import/images/
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
# 06-11-2026: PDF-mappen tijdelijk WEL crawlbaar voor Google. Ze staan al in de index; Google moet de X-Robots-Tag: noindex (.htaccess) kunnen zien
# om ze eruit te halen, en dat lukt niet als robots.txt het crawlen verbiedt. Na een paar maanden (site:xtremeoffice.nl/data_import leeg) weer Disallow.
Allow: /data_import/product_pdfs/
Allow: /data_import/product_pdfs_fr/
Allow: /data_import/sdb/
Allow: /data_import/pbs_docs/
Disallow: /data_import/

User-agent: Googlebot-Image
Allow: /
Allow: /images/
Allow: /data_import/images/
Disallow: /admin/

# ---------------------------------------------------------------
# AI-BOTS: EXPLICIETE TOEGANG TOT PUBLIEKE CONTENT
# Belangrijk: robots.txt kent geen overerving tussen secties — een bot
# met een eigen User-agent-blok gebruikt UITSLUITEND dat blok, en valt
# NIET terug op de regels onder "User-agent: *". Elke AI-bot hieronder
# krijgt daarom expliciet dezelfde bescherming als het wildcard-blok
# hierboven (admin/checkout/config uitgesloten, zoekfunctie en
# paginering/sortering/filters uitgesloten wegens dubbele content).
# ---------------------------------------------------------------
User-agent: GPTBot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: ChatGPT-User
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: ClaudeBot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: Claude-User
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: Claude-SearchBot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: Google-Extended
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: PerplexityBot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: OAI-SearchBot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: Amazonbot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: Applebot-Extended
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: MistralAI
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/

User-agent: GeminiBot
Allow: /
Allow: /*?page=resultaten&merk=
Disallow: /admin/
Disallow: /dex_admin.php
Disallow: /order_admin.php
Disallow: /order_admin_api.php
Disallow: /config.php
Disallow: /track_view.php
Disallow: /dex_chat_api.php
Disallow: /customer_auth_api.php
Disallow: /checkout_api.php
Disallow: /mollie_webhook.php
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?pagina=
Disallow: /*&pagina=
Disallow: /*?sorteer=
Disallow: /*&sorteer=
Disallow: /*?voorraad=
Disallow: /*&voorraad=
Disallow: /*?prijs_min=
Disallow: /*&prijs_min=
Disallow: /*?prijs_max=
Disallow: /*&prijs_max=

# Blokkeer login-redirect-URL's (elke productpagina genereert een unieke
# ?page=login&redirect=... link — 13-08-2026 audit: ~40.000 crawls hierop,
# terecht noindex maar verspilt crawlbudget) en de merk/model/type-combinaties
# van de inkt/toner-zoeker (vrijwel oneindige URL-ruimte, zelfde probleem)
Disallow: /*?page=login
Disallow: /*&page=login
Disallow: /*?page=supplies
Disallow: /*&page=supplies
Disallow: /supplies?
Disallow: /data_import/product_pdfs/
Disallow: /data_import/sdb/
Allow: /data_import/images/
Disallow: /data_import/