Seleccionar página

Determina si los rastreadores de los motores de búsqueda pueden visitar las subpáginas del sitio web e incluirlas en su índice y cuándo. Al hacerlo, ciertas subpáginas pueden ser excluidas de los resultados de búsqueda.

Por ejemplo: mediante el uso de archivos robots.txt puede evitar que el archivo del sitio web se incluya en los resultados de búsqueda. Sin embargo, algunos motores de búsqueda optan por ignorar los archivos robots.txt. Si una subpágina realmente necesita ocultarse de los motores de búsqueda, debe estar protegida con contraseña.