# robots.txt for http://www.united-internet-team-germany.de/ etc. # Yahoo soll nach 60 Minuten erneut scannen User-agent: Slurp Crawl-delay: 3600 # Zugriff auf alle Dateien erlauben bis auf flash-verzeichnis User-Agent: * Allow: / Disallow: /flash