El fichero robots.txt es una elemento fundamental para cualquier sitio web que busca ser bien posicionada por los motores de búsqueda como Google . Sirve como un instructivo para los bots, indicándoles qué secciones de tu sitio pueden están rastreadas y cuáles no . La adecuada configuración de es