Analizando el archivo robots.txt
Qué es el robots.txt El archivo de texto robots.txt según wikipedia es un archivo que suelen tener todas las webs y en concreto todos los CMS donde está escrito en el lo que se quiere ocultar a los buscadores. Por ejemplo si tenemos hecha una web con el gestor de contenidos Wordpress en ese archivo robots.txt vendrá la orden para que Google no rastree la url donde está ubicado el wp-admin ya que a través de ahí accederemos al login de la administración del sitio.