# Escludo dall'intero sito Teleport, aggiunto il 21/02/02
User-agent: Teleport
Disallow: /

User-agent: *
Disallow: /mio/


User-agent: googlebot
Disallow: /personale.html



#escludo tutti gli user agent dall'intera directory "amministrazione"
#User-agent: *
#Disallow: /amministrazione/











#Escludo solo Google dal file doorway.htm
#User-agent: googlebot
#Disallow: /doorway.htm

#Solitamente ad essere escluse per prime sono le directory che contengono contenuto che non si vuole rendere pubblico: le #pagine di amministrazione, le pagine ad uso interno ecc. ecc. Se ad esempio vogliamo escludere le directory /cgi-bin/ #/admin/ e /privata/ basterà inserire i seguenti campi: 
#User-agent: *
#Disallow: /cgi-bin/
#Disallow: /admin/
#Disallow: /privata/


#Con questo campo escludiamo dall'intero sito il robot di Google che cerca e indicizza le immagini. 
#Lo escludiamo perché non vogliamo che le nostre immagini siano prese e riadattate da altri.
User-agent: Googlebot-Image
Disallow: /

#Escludiamo anche i robot di Netmechanic, il sito che offre servizi di controllo di siti 
#Web cui non siamo interessati.

User-agent: NetMechanic
Disallow: /


#Escludiamo anche EmailCollector, un software che ricerca sulla rete indirizzi 
#di e-mail per poi utilizzarli nello spam.

User-agent: EmailCollector
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: EmailCollector/1.0
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailWolf 1.00
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: Acoon Robot v1.01 (www.acoon.de)
Disallow: /

User-agent: AltaVista Intranet V1.0 AltaVista Search Intranet PX V1.0 webmaster@messebasel.ch
Disallow: /

User-agent: AltaVista Intranet V1.0 bluewindow.ch webmaster@bluewin.ch
Disallow: /

User-agent: AltaVista Intranet V1.0 pta.at webmaster@pta.at
Disallow: /

User-agent: AltaVista Intranet V1.0 Re-Index webmaster@bluewin.ch
Disallow: /

User-agent: AltaVista Intranet V2.0 pta.at webmaster@pta.at
Disallow: /

User-agent: AltaVista Intranet V2.0 Sear.ch ccc@bluewin.ch
Disallow: /

User-agent: AltaVista Intranet V2.0 www.altavista.de search-support@altavista.de
Disallow: /

User-agent: AnzwersCrawl/2.0 (anzwerscrawl@anzwers.com.au; http://faq.anzwers.com.au/anzwerscrawl.html)
Disallow: /

User-agent: Arachnoidea (arachnoidea@euroseek.com)
Disallow: /

User-agent: ArchitextSpider
Disallow: /

User-agent: fido/1.0 Harvest/1.4.pl2
Disallow: /

User-agent: GAIS Robot/1.0B2
Disallow: /

User-agent: Gulliver/1.2
Disallow: /

User-agent: Infoseek Sidewinder/0.9
Disallow: /

User-agent: KIT_Fireball/2.0
Disallow: /

User-agent: lwp-trivial/1.27
Disallow: /

User-agent: Scooter/1.0
Disallow: /

User-agent: Scooter/1.0 scooter@pa.dec.com
Disallow: /

User-agent: Scooter/2.0 G.R.A.B. X2.0
Disallow: /

User-agent: search.at V1.2
Disallow: /

User-agent: sexsearcher
Disallow: /

User-agent: Slurp/2.0 (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
Disallow: /

User-agent: SwissSearch V1.2
Disallow: /

User-agent: The Informant
Disallow: /

User-agent: Ultraseek
Disallow: /

User-agent: WebCrawler/3.0 Robot libwww/5.0a
Disallow: /

User-agent: WebCrawler-AddURL/2.0
Disallow: /

User-agent: WiseWire
Disallow: /

User-agent: WiseWire-Alpha-1.0
Disallow: /

User-agent: ia_archiver
Disallow: /


User-agent: teoma_agent
Disallow: /