# robots.txt zu http://www.tintenexpress.ch/
# Wie veranlasse ich Googlebot, dynamisch erstellte Seiten auf meiner Site nicht zu durchlaufen?
# Dies kann mit hilfe der folgenden robots.txt-Datei erreicht werden. User-agent: Googlebot Disallow: /*?
User-agent: twiceler
Disallow: /

User-agent: googlebot  
Disallow: /*.php? 
Disallow: /*.php$
Allow: /catalog
# Disallow: /*? 
 
User-agent: msnbot     
Disallow: /*.php? 
Disallow: /*.php$
Allow: /catalog.html
Allow: /catalog/
# Disallow: /*? 

User-agent: *
Crawl-delay: 10
Allow: /catalog
Disallow: /*.php? 
Disallow: /*.php$
# Disallow: /*?