########################################################
# robots.txt fuer www.deine-tierwelt.de
# [siehe http://selfhtml.teamone.de/diverses/robots.htm]
########################################################
# Verzeichnisse bitte unten eintragen:
########################################################

########################################################
# Allgemein
########################################################
User-agent: *
Allow: /ads.txt
Disallow: /

########################################################
# Speziell
########################################################
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile
User-agent: Googlebot-News
User-agent: Googlebot-Video
User-agent: MediaPartners-Google
User-agent: Mediapartners (Googlebot)
User-agent: Adsbot-Google
User-agent: Feedfetcher-Google
User-agent: ia_archiver
User-agent: bingbot
User-agent: Heritrix
User-agent: msnbot
User-agent: Slurp
User-agent: GumGum
User-agent: TEOMA
User-agent: eBay Relevance Ad Crawler
User-agent: eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de)
User-agent: Browsershots
User-agent: Twitterbot
User-agent: TermLabs
User-agent: AhrefsSiteAudit
User-agent: facebookexternalhit
User-agent: facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
User-agent: facebookexternalhit/1.1
User-agent: facebookcatalog/1.0
Mozilla/5.0 (compatible; FacebookBot/1.0; +https://developers.facebook.com/docs/sharing/webmasters/facebookbot/)
Allow: /
Disallow: /feed/
Disallow: /holder-template/
Disallow: /ajax/

User-agent: grapeshot
Disallow: