# User-Agent bezeichnet den Spider.
# Das Sternchen * gilt als Jokerzeichen und bedeutet, 
# daß die folgenden Zeilen für alle Spider gelten. 
# Mit "Disallow" werden bestimmte Verzeichnisse (Ordner) für die 
# Robots gesperrt. Pro Verzeichnis ist eine Zeile notwendig. 
# ******************************
# Alle Roboter ausschließen 
# User-agent: * 
# Disallow: / 
# ******************************
# ******************************
# Alle Roboter einladen. Eine leere Datei erfüllt den gleichen Zweck 
User-agent: *
# Disallow:
# ******************************
# ******************************
# Alle Roboter von bestimmten Verzeichnissen fernhalten
User-agent: *
Disallow: /images/
Disallow: /scripts/
Disallow: /style/
Disallow: /statistik/
Disallow: /_borders/
Disallow: /_themes/
Disallow: /_private
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_pvt
Disallow: /_vti_txt
# ******************************
# ******************************
# Einen bestimmten Robot ausschließen
# User-agent: Sidewinder
# Disallow: /
# ******************************
# ******************************
# Einen bestimmten Robot einladen 
# User-agent: WebCrawler
# Disallow: 
# ******************************
# ******************************
# Mehrere Dateien ausschließen
# Meine Roboter Info
# User-agent: *
# Disallow: /form_mail.htm
# Disallow: /form_ok.htm