Todo lo que deberías saber sobre robots.txt

Robots.txt

Los robots son programas que rastrean automáticamente la Red, así es como los robots de los buscadores encuentran nuevos contenidos para añadir a sus resultados de búsqueda.

Utilizando un archivo robots.txt en nuestro sitio web podemos obtener grandes beneficios de diversa índole, desde posicionamiento hasta seguridad.

Podemos determinar con exactitud las páginas o directorios que pueden visitar y cuales no.

Podemos denegar el acceso a nuestro sitio web a un robot que no sea de nuestra confianza, bien porque consume excesivos recursos, y sobrecarga nuestro servidor, bien porque sepamos que se trata de un robot cuyo propietario no va hacer buen uso de la información que encuentre. Este sería el caso, por ejemplo, de un robot que va buscando sitios webs con vulnerabilidades para inyectar código malicioso.

Este artículo de Emezeta tiene ya su tiempo pero está muy bien explicado, por eso lo recomiendo y pasa a la sección de los mejores enlaces de Todotutoriales. En él aprendereis todo lo que deberíais saber sobre robots.txt. ¡Que lo disfruteis!

Un comentario en “Todo lo que deberías saber sobre robots.txt

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *