# robots.txt - HD2.ai
# Purpose: Crawl control & discovery
# Updated: 2026-01-15
# Canonical: https://www.hd2.ai/robots.txt

########################################################################
# 1. DEFAULT RULES
########################################################################

User-agent: *
Allow: /

########################################################################
# 2. RESTRICTED AREAS
########################################################################

# Administrative & internal paths (defensive - even if not present)
Disallow: /admin/
Disallow: /dashboard/
Disallow: /internal/
Disallow: /private/
Disallow: /client/
Disallow: /clients/
Disallow: /api/
Disallow: /api/private/
Disallow: /auth/
Disallow: /login/
Disallow: /wp-admin/
Disallow: /wp-login.php

########################################################################
# 3. AI / LLM DISCLOSURE
########################################################################

# AI systems and LLMs should also consult:
# https://www.hd2.ai/llm.txt

########################################################################
# 4. SITEMAPS
########################################################################

Sitemap: https://www.hd2.ai/sitemap.xml
Sitemap: https://www.hd2.ai/sitemap.txt

########################################################################
# 5. NOTES
########################################################################

# - Public marketing, blog, and legal pages are crawlable
# - Private client infrastructure is intentionally excluded
# - This file works in conjunction with:
#   - llm.txt
#   - security.txt
#   - humans.txt

# End of robots.txt