#  bse.khd-research.net/robots.txt                K.-H. Dittberner - 10.AUG.2004
#  V04.14       BSE:BSE_robots.txt                P 475/13         - 24.NOV.2009
# 
#  Infos fuer den Gebrauch durch WWW-Suchrobotern im Internet. 
#  
# ==============================================================================
#  1. Roboter, die ausgeschlossen werden: 
# ==============================================================================

#User-agent: *
#Disallow: / 

User-agent: Accoona-AI-Agent/1.1.1
Disallow: / 

User-agent: Mata Hari
Disallow: /

User-agent: Slurp China
Disallow: /

User-agent: Slurp
#Disallow: /
Crawl-delay: 5
# Werte von 1 -- 10 sind moeglich.

User-agent: Microsoft URL Control - 6.00.8862
Disallow: /

User-agent: IWAgent/ 1.0 - www.brandprotect.com
Disallow: /

User-agent: LinkWalker/2.0
Disallow: /

User-agent: libwww-perl
Disallow: /

User-agent: BPImageWalker/2.0 (www.bdbrandprotect.com)
Disallow: /

User-agent: Toplistbot
Disallow: /

User-agent: MSR-ISRCCrawler
Disallow: / 

User-agent: WebAlta Crawler/1.3.34
Disallow: / 

User-agent: WebAlta Crawler/1.3.34 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
Disallow: / 

User-agent: WebAlta Crawler/2.0
Disallow: / 

User-agent: WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)
Disallow: / 

User-agent: Morfeus Fucking Scanner
Disallow: / 

User-agent: msnbot
Disallow: / 

User-agent: Twiceler
Disallow: / 

User-agent: Yandex
Disallow: / 


# ==============================================================================
#  2. Welche Roboter duerfen zugreifen? 
# ==============================================================================

User-agent: *

# ==============================================================================
#  3. Wo ist die Site-map? 
# ==============================================================================

Sitemap:    http://bse.khd-research.net/bse-p.html


# ==============================================================================
#  4. Gesperrte Zugriffe von Verzeichnissen:
# ==============================================================================

Disallow: /Icons/
Disallow: /Images/

# ==============================================================================
#  5. Gesperrte Zugriffe von Einzel-Dateien:
# ==============================================================================

#Disallow: http://userpage.fu-berlin.de/~dittbern/Acrobat.html
#Disallow: http://www.khd-research.net/var/www/html/No_Homepage.html

# ==============================================================================