* User-Agent: il robot al quale si applica la seguente regola
* Disallow: le pagine che desideri bloccare



User-Agent: *



 * Per bloccare un intero sito, utilizza una barra.  Disallow: /

* Per bloccare una directory e il relativo contenuto, fai seguire il nome della directory da una barra.

*     Disallow: /private_directory/
 * Per bloccare una pagina, indica tale pagina.

     * Disallow: /private_file.html