# non voglio che i motori di ricerca ficchino il naso in tutte le mie pagine. # come memo, disallow impedisce al motore di vedere la specificata cartella. # invece, disallow, lo impedirà. # User-agent è il nome dello spider del motore di ricerca. # la sintassi è la seguente # User-agent: motorediricerca # allow: /nomefile.estensione # disallow: /nomefile.estensione # oppure in caso di cartelle # allow: /nomecartella/ # disallow: /nomecartella/ # nel caso di asterisco a user-agent, come di seguente # User-agent: * # si lascia l'accesso libero a tutti gli altri motori di ricerca. User-agent: * Disallow: /video/ # di seguito una breve lista dei motori di ricerca e dei loro motori. # Nome spider Motore di ricerca # # googlebot Google # fast Fast Alltheweb # slurp Inktomi Yahoo! # scooter Altavista # mercator Altavista # Ask Jeeves Ask Jeeves # teoma_agent Teoma # ia_archiver Alexa Internet Archive