robots.txt sirve para bloquear el acceso a bots como el google bot. Este año han habido novedades y debes conocerlas, el archivo robots.txt ya no es importante, pero si lo usas mal puede perjudicarte mucho en tus páginas web.
Este es el capítulo 13 del módulo 2 del curso de SEO gratis en youtube, si quieres acceder a toda la parte premium, visita chorri.club