El robots.txt avanzado para WordPress se escribe por bloques con propósito: las reglas del núcleo que protegen lo administrativo sin bloquear recursos, el control de parámetros que ahorra rastreo desperdiciado, las decisiones sobre los bots de IA que esta era exige tomar explícitas, y los sitemaps declarados completos, la plantilla comentada que esta guía entrega bloque por bloque, con el robots.txt real de kom.pe explicado línea a línea como caso de producción. Esta es la guía avanzada del archivo, distinta del qué es básico: aquí se decide qué rastreadores pasan y a dónde, las reglas que un sitio serio del stack mantiene con criterio, y los errores que el archivo poderoso comete cuando se edita sin entender que una línea equivocada puede sacar el sitio entero del índice.
Tabla de Contenidos
El archivo y su poder: lo que controla y lo que no
El robots.txt es la portería del rastreo: las instrucciones que los bots respetuosos leen antes de recorrer el sitio, qué rutas pueden visitar, cuáles se les piden evitar, el control de tráfico de rastreadores que ahorra presupuesto y protege zonas, y sus límites se entienden antes de usarlo, el archivo no desindexa, la URL bloqueada puede seguir en el índice si tiene enlaces, el noindex es trabajo de las metaetiquetas de esta serie, el archivo no es seguridad, los bots maliciosos lo ignoran y hasta lo usan de mapa, lo privado se protege con autenticación, y el archivo sí es delicado, el bloqueo amplio mal escrito corta el rastreo de lo que importa, el clásico del sitio invisible por una barra de más. El marco vive en la guía maestra de SEO local y el servicio en consultoría SEO: el archivo chico con consecuencias grandes, editado siempre con respaldo y verificación.
Bloque 1: el núcleo de WordPress, proteger sin romper
El bloque del core sigue la regla moderna: el directorio administrativo bloqueado, la ruta de wp-admin cerrada al rastreo con la excepción clásica permitida, el archivo de peticiones asíncronas que algunos temas usan, la línea de allow específica dentro del bloqueo, y los recursos nunca bloqueados, la era de bloquear las carpetas de includes y contenido terminó hace años, los buscadores necesitan el CSS y el JS para renderizar, el bloqueo de recursos que rompe la vista del bot es el error heredado de plantillas viejas que sigue circulando, la revisión que esta guía exige contra los archivos antiguos. Las rutas de archivos adjuntos y subidas se dejan rastreables: las imágenes que deben indexarse viven ahí, el bloqueo de uploads que mata la búsqueda de imágenes, otro clásico heredado, y la plantilla del caso lo muestra limpio, [DATO-KOM: el bloque core del robots.txt real de kom.pe con sus líneas comentadas], el núcleo protegido en tres líneas sin las herencias rotas del pasado.
Bloque 2: los parámetros y las rutas de bajo valor
El control de parámetros ahorra rastreo: las URLs con variables que multiplican versiones, los parámetros de búsqueda interna bloqueados, la ruta de search con sus resultados infinitos cerrada, las combinaciones de filtros donde la tienda los genere sin valor de índice, los patrones con comodines escritos con precisión, el asterisco y el signo de pregunta usados con cuidado quirúrgico, porque el patrón amplio atrapa más de lo que se quiso. Las rutas de bajo valor se evalúan por sitio: los feeds donde no aportan, los trackbacks de la era anterior, las rutas técnicas del stack que cada instalación conoce, la decisión informada contra el copiado ciego de listas ajenas, y la coordinación con las otras capas se respeta, el robots bloquea rastreo y las metaetiquetas controlan índice, la dupla de esta serie, el parámetro bloqueado en robots no puede leer su noindex, la interacción que se decide con criterio, qué se corta en la puerta y qué se deja pasar para etiquetar adentro, [DATO-KOM: el bloque de parámetros del caso real con sus decisiones explicadas].
Bloque 3: los bots de IA, la decisión explícita de esta era
Los rastreadores de IA piden política propia: los bots de los motores conversacionales identificados por sus agentes, los de entrenamiento de modelos separados de los de búsqueda en vivo, las dos familias con implicancias distintas, y la decisión del negocio tomada explícita, el sitio que vive de visibilidad les abre, la estrategia GEO de esta serie que quiere ser citada necesita los bots de respuestas dentro, el contenido rastreable por los sistemas que recomiendan, la posición del stack para los negocios de esta serie, y el control selectivo donde se decida, los bots de entrenamiento bloqueados mientras los de búsqueda pasan, la granularidad que los agentes diferenciados permiten, la política intermedia que medios y sitios de contenido evalúan. La plantilla declara la política del caso: [DATO-KOM: el bloque de bots de IA del robots.txt de kom.pe con la política explicada, qué agentes se permiten y por qué], la decisión documentada en el propio archivo con comentarios, la transparencia que el mantenimiento futuro agradece, y la revisión periódica anotada, los agentes nuevos que aparecen cada trimestre evaluados contra la política, el bloque vivo del archivo en la era que más cambia.
Bloque 4: los sitemaps y la verificación del conjunto
El cierre del archivo declara los mapas: la línea de sitemap con la URL absoluta del índice, los sitemaps multicarpeta donde existan declarados todos, el multilingüe de esta serie con sus mapas por idioma, la declaración que ayuda a los bots que no pasaron por la consola, y la verificación sella cada edición, el probador de robots de las herramientas de búsqueda con las rutas críticas consultadas, la home permitida, el contenido permitido, lo bloqueado efectivamente bloqueado, la prueba de un minuto que evita el desastre de la línea equivocada, más la vigilancia de la consola las semanas siguientes, el informe de rastreo confirmando que nada importante quedó fuera. La operación del archivo cierra con las reglas del stack: el respaldo antes de cada edición, el archivo versionado con sus fechas, los comentarios que explican cada bloque para el que venga después, y la auditoría semestral contra esta plantilla, las herencias rotas cazadas, los bloqueos de recursos viejos retirados, el archivo chico mantenido con el respeto que su poder sobre todo el sitio exige.
Preguntas frecuentes
¿Bloqueo los bots de IA o los dejo pasar?
La decisión es de modelo de negocio: el sitio que quiere ser citado y recomendado les abre, la visibilidad GEO de esta serie depende de que los sistemas lean, y el sitio de contenido que vive de visitas evalúa el matiz, los bots de búsqueda en vivo dentro y los de entrenamiento según su política. Lo único incorrecto es no decidir: la política explícita en el archivo contra el azar del defecto.
¿Por qué no debo bloquear wp-content como antes?
Porque los buscadores renderizan: el CSS y el JS de esa carpeta son necesarios para ver la página como el usuario, el bloqueo los ciega y degrada la evaluación, la advertencia explícita de recursos bloqueados en las herramientas. La regla moderna es mínima: lo administrativo cerrado, los recursos abiertos, y las plantillas viejas que digan otra cosa se corrigen.
¿El robots.txt sirve para sacar una página del índice?
No: el bloqueo impide rastrear pero no desindexa, la URL bloqueada con enlaces puede permanecer listada sin descripción, el resultado feo del malentendido común. La salida del índice es trabajo del noindex o el 410 de esta serie: la página rastreable con su etiqueta, o el código de retiro, las herramientas correctas para ese trabajo.
¿KOM configura el robots.txt en sus proyectos?
Con la plantilla de esta guía adaptada por sitio: los bloques por propósito, la política de bots de IA decidida con el cliente, los sitemaps declarados y la verificación completa, dentro de los proyectos y la consultoría cotizados en el cotizador online con los precios públicos de siempre. El archivo sale comentado y versionado: la portería del rastreo documentada para los años que vivirá.
Tu siguiente paso: lee tu robots.txt actual en su URL y compáralo contra los bloques de esta guía, las herencias rotas, los recursos bloqueados, la política de IA ausente, el diagnóstico de diez minutos. La configuración completa se cotiza en el cotizador online: el archivo más chico de tu sitio decide quién puede leerte, y la plantilla con criterio es la diferencia entre la portería que administra y la que bloquea a ciegas lo que te convenía dejar pasar.
