{"id":1144,"date":"2022-02-19T13:52:26","date_gmt":"2022-02-19T18:52:26","guid":{"rendered":"https:\/\/kom.pe\/posicion-cero\/?p=1144"},"modified":"2026-04-01T01:32:01","modified_gmt":"2026-04-01T06:32:01","slug":"que-es-un-robots-txt","status":"publish","type":"post","link":"https:\/\/kom.pe\/posicion-cero\/que-es-un-robots-txt\/","title":{"rendered":"\u00bfQu\u00e9 es un Robots.txt?"},"content":{"rendered":"

El Robots.txt<\/strong> es un archivo de texto simple ubicado en la ra\u00edz de tu sitio web que le indica a los motores de b\u00fasqueda como Google qu\u00e9 p\u00e1ginas o secciones de tu sitio pueden rastrear y cu\u00e1les no. Funciona como un \u00abguardia de seguridad digital\u00bb que dice a los bots de b\u00fasqueda: \u00abpuedes entrar aqu\u00ed, pero no all\u00e1\u00bb. Es una herramienta fundamental del SEO t\u00e9cnico que todo sitio web profesional debe tener correctamente configurado.<\/p>\n

Para empresas en Lima, un robots.txt bien configurado asegura que Google rastree e indexe las p\u00e1ginas que importan (servicios, blog, productos) y no desperdicie recursos rastreando p\u00e1ginas irrelevantes (admin, carrito vac\u00edo, p\u00e1ginas de login). Un robots.txt mal configurado puede, accidentalmente, bloquear el acceso de Google a tu sitio completo, haci\u00e9ndote invisible en los resultados de b\u00fasqueda.<\/p>\n

\u00bfC\u00f3mo funciona el Robots.txt?<\/h3>\n

El archivo robots.txt se ubica en tudominio.pe\/robots.txt<\/code> y contiene directivas simples:<\/p>\n

User-agent:<\/strong> Especifica a qu\u00e9 bot se aplica la regla. User-agent: *<\/code> aplica a todos los bots. User-agent: Googlebot<\/code> aplica solo al bot de Google.<\/p>\n

Disallow:<\/strong> Indica qu\u00e9 URLs o directorios NO debe rastrear el bot. Disallow: \/wp-admin\/<\/code> bloquea el acceso al panel de administraci\u00f3n de WordPress.<\/p>\n

Allow:<\/strong> Permite el acceso a una URL espec\u00edfica dentro de un directorio bloqueado. Allow: \/wp-admin\/admin-ajax.php<\/code> permite acceso a un archivo espec\u00edfico dentro de wp-admin.<\/p>\n

Sitemap:<\/strong> Indica la ubicaci\u00f3n de tu sitemap XML. Sitemap: https:\/\/tudominio.pe\/sitemap_index.xml<\/code><\/p>\n

Ejemplo de robots.txt t\u00edpico para un sitio WordPress en Lima:<\/p>\n

User-agent: *
Disallow: \/wp-admin\/
Allow: \/wp-admin\/admin-ajax.php
Disallow: \/wp-login.php
Disallow: \/cart\/
Disallow: \/checkout\/
Disallow: \/my-account\/<\/p>\n

Sitemap: https:\/\/tudominio.pe\/sitemap_index.xml<\/code><\/p>\n

\u00bfQu\u00e9 p\u00e1ginas bloquear con Robots.txt?<\/h3>\n

P\u00e1ginas que generalmente debes bloquear para empresas en Lima:<\/p>\n

\u00c1rea de administraci\u00f3n:<\/strong> \/wp-admin\/<\/code> (excepto admin-ajax.php que WordPress necesita), \/wp-login.php<\/code>. No hay raz\u00f3n para que Google indexe tu panel de control.<\/p>\n

P\u00e1ginas de carrito y checkout:<\/strong> \/cart\/<\/code>, \/checkout\/<\/code>. Son p\u00e1ginas din\u00e1micas sin contenido indexable y pueden crear problemas de contenido duplicado.<\/p>\n

P\u00e1ginas de cuenta de usuario:<\/strong> \/my-account\/<\/code>, \/profile\/<\/code>. Contienen informaci\u00f3n personal que no debe indexarse.<\/p>\n

Resultados de b\u00fasqueda interna:<\/strong> \/?s=<\/code>. Las p\u00e1ginas de b\u00fasqueda interna son contenido din\u00e1mico de bajo valor que puede crear infinite crawl loops.<\/p>\n

P\u00e1ginas de agradecimiento:<\/strong> \/gracias\/<\/code>, \/thank-you\/<\/code>. No aportan valor SEO y pueden confundir las m\u00e9tricas de conversi\u00f3n si se indexan.<\/p>\n

Archivos de feeds:<\/strong> \/feed\/<\/code> si no quieres que Google indexe tus feeds RSS.<\/p>\n

\u00bfQu\u00e9 NO bloquear con Robots.txt?<\/h3>\n

Estas p\u00e1ginas NUNCA deben bloquearse:<\/p>\n

P\u00e1ginas principales:<\/strong> Home, servicios, productos, blog, contacto. Estas son las p\u00e1ginas que quieres que Google indexe y muestre en los resultados.<\/p>\n

CSS y JavaScript:<\/strong> Bloquear archivos CSS y JS impide que Google renderice tu p\u00e1gina correctamente, lo que puede perjudicar tu posicionamiento. Google necesita acceder a estos archivos para entender c\u00f3mo se ve tu p\u00e1gina.<\/p>\n

Im\u00e1genes:<\/strong> No bloquees el acceso a tus im\u00e1genes a menos que tengas una raz\u00f3n espec\u00edfica. Las im\u00e1genes indexadas generan tr\u00e1fico desde Google Im\u00e1genes.<\/p>\n

Robots.txt vs Meta Robots vs Noindex<\/h2>\n

Es importante entender la diferencia entre estas herramientas:<\/p>\n

Robots.txt:<\/strong> Controla el RASTREO (si Google puede acceder a la p\u00e1gina). Bloquear una URL en robots.txt no garantiza que no se indexe: Google puede indexar la URL sin rastrearla si otros sitios la enlazan.<\/p>\n

Meta Robots (noindex):<\/strong> Controla la INDEXACI\u00d3N (si Google muestra la p\u00e1gina en resultados). <meta name=\"robots\" content=\"noindex\"><\/code> le dice a Google: \u00abpuedes rastrear esta p\u00e1gina pero no la muestres en los resultados\u00bb.<\/p>\n

Importante:<\/strong> Si quieres que una p\u00e1gina NO aparezca en Google, usa meta noindex, NO robots.txt. Si bloqueas la p\u00e1gina con robots.txt, Google no puede leer la etiqueta noindex, y la URL podr\u00eda seguir apareciendo en los resultados (sin contenido, solo la URL).<\/p>\n

Para empresas en Lima, la regla es: usa robots.txt para controlar el rastreo eficiente de tu sitio, y usa meta noindex para controlar qu\u00e9 p\u00e1ginas aparecen en Google.<\/p>\n

C\u00f3mo configurar Robots.txt en WordPress<\/h2>\n

Para sitios WordPress de empresas en Lima:<\/p>\n

Rank Math:<\/strong> Ve a Rank Math > Configuraci\u00f3n General > Editar robots.txt. Puedes editar el archivo directamente desde el panel de WordPress sin acceder al servidor.<\/p>\n

Yoast SEO:<\/strong> Ve a SEO > Herramientas > Editor de archivos > robots.txt. Similar funcionalidad que Rank Math.<\/p>\n

Manualmente:<\/strong> Crea un archivo llamado \u00abrobots.txt\u00bb y s\u00fabelo a la ra\u00edz de tu hosting (la carpeta donde est\u00e1 el archivo index.php de WordPress) usando FTP o el administrador de archivos de tu hosting.<\/p>\n

WordPress por defecto:<\/strong> Si no creas un robots.txt, WordPress genera uno virtual b\u00e1sico que permite el rastreo de todo el sitio excepto \/wp-admin\/.<\/p>\n

Errores comunes con Robots.txt<\/h2>\n

Estos errores pueden da\u00f1ar seriamente tu SEO:<\/p>\n

Bloquear todo el sitio:<\/strong> Disallow: \/<\/code> bloquea el acceso de Google a TODO tu sitio. Este es el error m\u00e1s grave: tu sitio desaparece completamente de Google. Siempre verifica que no tengas esta directiva por accidente.<\/p>\n

Bloquear CSS y JS:<\/strong> Impide que Google renderice tu p\u00e1gina correctamente. Google puede penalizar sitios cuyo contenido no puede renderizar.<\/p>\n

Usar robots.txt para ocultar contenido sensible:<\/strong> El robots.txt es un archivo p\u00fablico. Cualquiera puede ver qu\u00e9 directorios bloqueas visitando tudominio.pe\/robots.txt<\/code>. No lo uses para \u00abesconder\u00bb p\u00e1ginas confidenciales; usa contrase\u00f1as o autenticaci\u00f3n.<\/p>\n

No incluir referencia al sitemap:<\/strong> Siempre agrega la l\u00ednea Sitemap: https:\/\/tudominio.pe\/sitemap_index.xml<\/code> para que Google descubra tu sitemap f\u00e1cilmente.<\/p>\n

Sintaxis incorrecta:<\/strong> El robots.txt es sensible a la sintaxis. Un espacio extra, una barra faltante o una may\u00fascula incorrecta pueden hacer que la directiva no funcione como esperas.<\/p>\n

C\u00f3mo verificar tu Robots.txt<\/h2>\n

Herramientas para asegurar que tu robots.txt funciona correctamente:<\/p>\n

Google Search Console:<\/strong> La herramienta de prueba de robots.txt de Google te permite verificar si una URL espec\u00edfica est\u00e1 bloqueada o permitida. Tambi\u00e9n muestra errores de sintaxis.<\/p>\n

Verificaci\u00f3n directa:<\/strong> Visita tudominio.pe\/robots.txt<\/code> en tu navegador para ver el archivo actual.<\/p>\n

Screaming Frog:<\/strong> Rastrea tu sitio y muestra qu\u00e9 URLs est\u00e1n bloqueadas por robots.txt, detectando posibles errores de configuraci\u00f3n.<\/p>\n

Preguntas Frecuentes sobre Robots.txt<\/h2>\n
\n
\n\u00bfMi sitio web necesita un archivo Robots.txt?<\/strong><\/p>\n

S\u00ed, es recomendable para cualquier sitio web profesional. Si no tienes uno, Google rastrear\u00e1 todas las p\u00e1ginas de tu sitio sin restricciones, lo cual puede desperdiciar el \u00abcrawl budget\u00bb (presupuesto de rastreo) en p\u00e1ginas irrelevantes. Para sitios WordPress en Lima, plugins como Rank Math y Yoast te permiten crear y editar el robots.txt desde el panel de administraci\u00f3n en minutos.<\/p>\n<\/div>\n

\n\u00bfEl Robots.txt puede hacer que mi sitio desaparezca de Google?<\/strong><\/p>\n

S\u00ed, si lo configuras incorrectamente. La directiva Disallow: \/<\/code> bloquea el acceso de Google a TODO tu sitio, haci\u00e9ndote invisible en los resultados de b\u00fasqueda. Este es el error m\u00e1s peligroso del robots.txt. Siempre verifica tu archivo en tudominio.pe\/robots.txt<\/code> y usa la herramienta de prueba de Google Search Console para confirmar que no est\u00e1s bloqueando p\u00e1ginas importantes.<\/p>\n<\/div>\n

\n\u00bfCu\u00e1l es la diferencia entre Robots.txt y noindex?<\/strong><\/p>\n

Robots.txt controla si Google puede RASTREAR (visitar) una p\u00e1gina. Noindex controla si Google puede INDEXAR (mostrar en resultados) una p\u00e1gina. Si quieres que una p\u00e1gina no aparezca en Google, usa meta noindex, no robots.txt. Si bloqueas con robots.txt, Google no puede leer el noindex y la URL podr\u00eda aparecer en resultados de todas formas. Para empresas en Lima, la regla simple es: robots.txt para eficiencia de rastreo, noindex para controlar qu\u00e9 aparece en Google.<\/p>\n<\/div>\n

\n\u00bfPuedo usar Robots.txt para bloquear el acceso de ChatGPT o Gemini?<\/strong><\/p>\n

S\u00ed, puedes intentar bloquear bots de IA con robots.txt. Por ejemplo: User-agent: GPTBot<\/code> seguido de Disallow: \/<\/code> bloquea el bot de OpenAI. Sin embargo, no todos los bots de IA respetan el robots.txt, y bloquearlos significa que tu contenido no ser\u00e1 citado por estas plataformas. Para empresas en Lima que quieren ser citadas por ChatGPT y Gemini, NO bloquees estos bots: ser referenciado por IA generativa es una nueva forma valiosa de visibilidad.<\/p>\n<\/div>\n

\n\u00bfC\u00f3mo s\u00e9 si algo est\u00e1 mal con mi Robots.txt?<\/strong><\/p>\n

Se\u00f1ales de problemas: ca\u00edda repentina de tr\u00e1fico org\u00e1nico sin raz\u00f3n aparente (podr\u00edas estar bloqueando p\u00e1ginas importantes), Google Search Console muestra errores de rastreo, o cuando buscas site:tudominio.pe<\/code> en Google y faltan p\u00e1ginas que deber\u00edan aparecer. Verifica visitando tudominio.pe\/robots.txt<\/code> directamente y usa la herramienta de prueba en Search Console. Si sospechas un error, consulta con tu agencia web o desarrollador en Lima antes de hacer cambios.<\/p>\n<\/div>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Robots.txt es un archivo de texto almacenado en el servidor de un sitio web que se comunica con los rastreadores de b\u00fasqueda.\u00a0A los robots de indexaci\u00f3n o rastreadores se les \u201cdice\u201d qu\u00e9 archivos y carpetas se pueden ver y qu\u00e9 archivos y carpetas el webmaster no permite ver.<\/p>\n","protected":false},"author":8,"featured_media":4405,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[],"class_list":["post-1144","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-glosario-del-seo"],"_links":{"self":[{"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/posts\/1144","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/comments?post=1144"}],"version-history":[{"count":2,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/posts\/1144\/revisions"}],"predecessor-version":[{"id":8710,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/posts\/1144\/revisions\/8710"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/media\/4405"}],"wp:attachment":[{"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/media?parent=1144"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/categories?post=1144"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/kom.pe\/posicion-cero\/wp-json\/wp\/v2\/tags?post=1144"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}