El fichero robots.txt es un recurso clave para toda sitio web que desea ser bien posicionada por los buscadores como Chrome . Funciona como una instructivo para los crawlers , indicándoles qué secciones de tu sitio pueden deben indexadas y cuáles no . La adecuada configuración de este fichero ayuda a solucionar problemas de indexación , mejora