robots.txt controla rastreo, no seguridad. Si se usa mal, puede bloquear visibilidad o generar malentendidos técnicos.
¿Qué es robots.txt?
robots.txt es un archivo que indica a los buscadores qué partes del sitio pueden o no pueden rastrear. Es un control de acceso para bots, no una herramienta de seguridad.
Qué puede hacer
Bloquear rutas
Sirve para evitar el rastreo de áreas que no deben descubrirse fácilmente.
Ordenar el acceso
Puede reducir ruido en sitios con muchas URLs internas de bajo valor.
Evitar consumo innecesario
Ayuda a concentrar el rastreo en páginas útiles.
Qué no puede hacer
No elimina URLs del índice por sí solo y no protege contenido privado. Si una URL ya está enlazada o indexada por otros medios, el robots.txt no la borra mágicamente.
Cómo se relaciona con sitemap e indexación
Robots.txt y sitemap.xml se complementan. El primero delimita acceso; el segundo guía descubrimiento. Si quieres ver la lógica completa, revisa qué es sitemap.xml y rastreo e indexación.
Uso correcto
Úsalo para controlar rastreo, no para resolver problemas de indexación o confidencialidad. Para eso hacen falta otras capas técnicas.
¿Quieres aplicar esto en tu sitio?
Podemos ayudarte a ordenar la base técnica y conectar esta pieza con el resto del silo informacional.
Solicitar auditoría →