Saltar al contenido

Robots.txt

Recopilación de las mejores recomendaciones sobre Robots.txt para mejorar tu posicionamiento web desde la fuente oficial de Google.

Únicamente directrices sobre Robots.txt proporcionadas por Google en las sesiones de SEO Office Hours.

Índice de navegación rápida

Biblioteca de conocimiento sobre Robots.txt


¿Por qué tengo una URL indexada si la he bloqueado mediante el archivo robots.txt?

Google puede indexar la URL, pero no el contenido, incluso si la URL está bloqueada por robots.txt. Esto sólo ocurre si la URL está altamente solicitada en Internet. Si esto genera inconvenientes, puedes permitir que Google rastree la URL y usar la regla «noindex» para esa URL.

Fecha: Septiembre de 2023

Dificultad SEO: Media

Impacto SEO: Medio

¿Necesitas ayuda? Agenda una consultoría online


¿Cómo puedo crear un buen archivo robots.txt?

No existe un «buen robots.txt» en general, ya que la calidad de dicho archivo depende de las necesidades específicas de cada sitio web. Un buen archivo robots.txt debe adaptarse a las necesidades particulares de cada sitio. Por ejemplo, es posible que desee restringir el rastreo de los resultados de búsqueda internos de su sitio o permitir el rastreo de un archivo JavaScript específico. La configuración del archivo robots.txt debería basarse en las características y la estructura de tu sitio web. Para obtener más información detallada sobre los archivos robots.txt, se puede consultar la documentación disponible en Google.

Fecha: Julio de 2023

Dificultad SEO: Media

Impacto SEO: Medio


¿Necesitas ayuda con el SEO de tu proyecto web?

Reserva una consultoría SEO online de 1 hora de duración con el especialista en posicionamiento web JoseSEO. Resuelve todas tus dudas sobre SEO, descubre nuevas oportunidades para mejorar y detecta errores que impiden que tu proyecto web avance.


¿Cómo puedo evitar que Googlebot llame a una API externa y no pueda renderizar JavaScript en una página?

Si utilizas APIs en tu sitio web y deseas inhabilitarlas para el robot de Google, puedes hacerlo a través del archivo robots.txt. Sin embargo, si tu contenido depende de estas APIs y utilizas el renderizado del lado del cliente, es importante tener en cuenta que el robot de Google necesitará acceder a la API para ver el contenido. De lo contrario, el contenido de tus páginas no estará presente cuando el robot de Google las analice. En el caso de las URLs externas en las que no se puede bloquear el acceso a través del archivo robots.txt, puedes cargar estas APIs de forma condicional en JavaScript y omitirlas cuando el robot de Google solicite la página.

Fecha: Mayo de 2023

Dificultad SEO: Media

Impacto SEO: Bajo


No se puede acceder a robots.txt en Google Search Console. ¿Cuál puede ser la razón?

Si recibes el mensaje de error «Archivo robots.txt inaccesible» en Search Console para tu sitio web, significa que hay un problema con tu servidor o configuración que debe solucionarse para que tu sitio aparezca en los resultados de búsqueda de Google. Desafortunadamente, Google no puede hacer nada para resolverlo. Te recomendaría comenzar revisando las reglas de tu cortafuegos y los archivos de configuración del servidor, en busca de problemas. Si no estás seguro de cómo hacerlo, te sugiero que contactes con tu proveedor de alojamiento para obtener ayuda en la resolución del problema.

Fecha: Mayo de 2023

Dificultad SEO: Media

Impacto SEO: Medio

¿Necesitas ayuda? Agenda una consultoría online


¿Es recomendable utilizar el atributo «nofollow» en los enlaces internos para evitar el rastreo e indexación de URLs?

No tiene mucho sentido hacer eso para los enlaces internos. Lo recomendable es utilizar la etiqueta rel=canonical para apuntar a las URLs que deseas que se indexen. También puedes utilizar la directiva disallow en robots.txt para las URLs que no quieras que se rastreen. Es importante destacar que, si decides utilizar una URL canónica, Google primero necesitará rastrear la página original. Sin embargo, con el tiempo, se centrará principalmente en la URL canónica y la utilizará para rastrear e indexar el contenido.

Fecha: Junio de 2022

Dificultad SEO: Media

Impacto SEO: Medio


¿Afecta el tamaño del archivo «Robots.txt» al SEO de mi sitio web?

El tamaño del archivo robots.txt de un sitio web no tiene un impacto directo en el SEO. Sin embargo, archivos más grandes pueden ser más difíciles de mantener, lo que puede dificultar la detección de errores en un futuro. Por tanto, se recomienda mantener el archivo robots.txt en un tamaño lo más pequeño posible. También es importante destacar que no hay ninguna ventaja de SEO al enlazar el Sitemap desde el archivo robots.txt.

Fecha: Enero de 2022

Dificultad SEO: Media

Impacto SEO: Medio


La mayor biblioteca de contenido sobre Robots.txt de Google SEO Office Hours en español

Recopilamos, traducimos al español y clasificamos todas las preguntas y respuestas que los usuarios hacen a John Mueller y a su equipo de Búsqueda de Google en las sesiones de SEO Office Hours que realizan mensualmente.

John Mueller es una de las principales caras visibles y portavoces de Google. Junto a su equipo en el Centro de Búsqueda de Google, responden preguntas de los usuarios sobre posicionamiento web. Además, ofrecen recomendaciones, normas a seguir en diferentes situaciones y sugerencias para resolver problemas relacionados con el posicionamiento en Google en un proyecto web.

Actualizamos el contenido de forma mensual. Cuando salga la nueva edición del Google SEO Office Hours, recopilaremos todas las respuestas de valor y utilidad para el SEO y las mostraremos ordenadas, cada una en su apartado correspondiente. Consulta tus dudas o simplemente refresca cualquier conocimiento SEO de manera fácil y rápida con BibliadelSEO.com.

manual seo google john mueller

“El rastreo no es garantía de que esté indexado.”