Editar robots.txt.liquid

Los motores de búsqueda, como Google, rastrean internet constantemente en busca de nuevos datos para utilizarlos en sus resultados de búsqueda. El archivo robots.txt les indica a los bots de los motores de búsqueda, conocidos como rastreadores, qué páginas deben solicitar para ver de la tienda online. Todas las tiendas Shopify tienen un archivo robots.txt predeterminado que es óptimo para la optimización de motores de búsqueda (SEO).

Los motores de búsqueda usan el mapa del sitio para incluir la tienda online en los resultados de búsqueda. Aprende a encontrar y enviar el mapa del sitio.

Diferencias entre rastreo e indexación

Cuando trabajas con robots.txt, es importante entender la diferencia entre rastreo e indexación:

• Rastreo: cuando los bots de los motores de búsqueda (como Googlebot) examinan todo el contenido y el código de las páginas y lo analizan
• Indexación: cuando las páginas quedan habilitadas para aparecer en los resultados de los motores de búsqueda

Estos procesos no son excluyentes: los motores de búsqueda pueden indexar una página sin rastrearla si la descubren por otros medios.

Consideraciones

El archivo robots.txt predeterminado funciona para la mayoría de las tiendas. Si quieres personalizar el archivo robots.txt, primero debes agregar un archivo robots.txt.liquid a la carpeta templates del tema en el editor de código y luego personalizar el contenido del archivo. Puedes realizar las siguientes ediciones:

• Permitir o impedir el rastreo de determinadas URL.
• Agregar reglas de crawl-delay para determinados rastreadores.
• Agregar URL adicionales del mapa del sitio.
• Bloquear determinados rastreadores.

El archivo robots.txt se encuentra en el directorio raíz del primary domain name de la tienda Shopify. Por ejemplo: example.com/robots.txt.

Editar robots.txt.liquid

Si quieres editar el archivo robots.txt.liquid, trabaja con un Shopify Partner o asegúrate de tener experiencia en edición de código y SEO.

Puedes usar Liquid para agregar o eliminar directivas de la plantilla robots.txt.liquid. Este método preserva la capacidad de Shopify de mantener el archivo actualizado automáticamente en el futuro y es el recomendado. Para ver una guía completa sobre cómo editar este archivo, consulta la página para desarrolladores de Shopify Customize robots.txt.liquid.

Elimina cualquier personalización o método alternativo previo, como el uso de un servicio externo como Cloudflare, antes de editar el archivo robots.txt.liquid.

Pasos:

1. Desde el panel de control de Shopify, ve a Tienda online > Themes.

2. En el tema correspondiente, haz clic en … > Editar código.

3. Haz clic en Agregar una nueva plantilla y luego selecciona robots.

4. Haz clic en Crear plantilla.

5. Realiza los cambios que quieras en la plantilla predeterminada. Para obtener más información sobre variables de Liquid y casos de uso comunes, consulta la página para desarrolladores de Shopify Customize robots.txt.liquid.

6. Guarda los cambios en el archivo robots.txt.liquid de tu tema publicado.

Los cambios son inmediatos, pero los rastreadores no siempre reaccionan de inmediato. Puedes probarlos con Google's robots.txt Tester.

También puedes eliminar el contenido de la plantilla y reemplazarlo por reglas en texto sin formato. Este método no se recomienda en absoluto, porque las reglas pueden quedar desactualizadas. Si eliges este método, Shopify no puede garantizar que se apliquen las mejores prácticas de SEO a tu robots.txt con el tiempo, ni realizar cambios en el archivo con futuras actualizaciones.

Comprender los mensajes "Indexado, aunque bloqueado"

En Google Search Console, las URL pueden mostrarse como "indexadas, aunque bloqueadas por robots.txt". Es un comportamiento normal y, por lo general, no es motivo de preocupación.

Por qué ocurre

Muchas páginas se bloquean intencionalmente mediante robots.txt para optimizar el SEO. Este mensaje es la forma de Google de avisarte que detectó contenido bloqueado, por si el bloqueo fue involuntario. Todo lo que incluye el archivo robots.txt predeterminado de Shopify tiene un propósito para ayudar a tu SEO.

Si una página normal del sitio (como la página de inicio) aparece como "indexada, aunque bloqueada", por lo general significa que los datos de Google sobre la tienda están desactualizados. Google puede tardar días, semanas o meses en actualizar su base de datos con los cambios más recientes de cualquier sitio web.

Qué hacer

En la mayoría de los casos, no necesitas hacer nada. Este es el comportamiento esperado para páginas que deberían bloquearse para el rastreo pero que aún podrían indexarse por otros métodos de descubrimiento.

Controlar el acceso de los rastreadores de IA

Si vendes a través de tiendas online basadas en agentes como ChatGPT o Microsoft Copilot, los datos de tus productos se distribuyen a esos canales a través de Shopify Catalog, de manera independiente al archivo /robots.txt. Los rastreadores de IA también podrían acceder a tu tienda directamente a través de la web abierta. El acceso de los rastreadores tiene las siguientes dos capas de control:

• Capa de red: la gestión de bots se maneja directamente para las tiendas en Shopify, por lo que no es necesario que realices ninguna acción. Shopify no recomienda usar una configuración de proxy delante de Shopify y tampoco puede ofrecer ayuda al respecto.
• Capa /robots.txt: Puedes permitir o bloquear rastreadores específicos del agente de usuario personalizando la plantilla robots.txt.liquid de tu tienda. Las reglas que estableces en tu archivo /robots.txt son orientativas y de asesoramiento, y no se garantiza que todos los rastreadores las sigan.

Bloquear los rastreadores de IA en el archivo /robots.txt o en la capa de red solo afecta la detectabilidad en la web abierta. Esto no impide que Shopify Catalog envíe los datos de tus productos a las tiendas online agénticas que activaste. Para controlar lo que Shopify Catalog comparte con las tiendas online agénticas, consulta Comprender la configuración de las tiendas online agénticas.

Comprender el robots.txt predeterminado de Shopify

El archivo robots.txt predeterminado de Shopify incluye reglas específicas para optimizar el SEO de la tienda. Esto es lo que hacen algunas entradas clave:

• Disallow: /admin - Impide que se rastreen las páginas del panel de control, ya que los bots no pueden acceder a ellas de todos modos
• Disallow: /cart - Las páginas del carrito no necesitan indexarse porque son únicas para cada cliente
• Disallow: /checkout - Las páginas de pago no necesitan rastrearse ni indexarse
• Disallow: /collections/*+* - Evita que se indexen las páginas de colección filtradas, lo que podría generar problemas de contenido duplicado
• Disallow: /search - No es necesario rastrear las páginas de resultados de búsqueda
• Disallow: /policies/ - Las páginas de políticas generadas automáticamente son similares entre tiendas y no necesitan indexarse

Estas reglas ayudan a que los motores de búsqueda se enfoquen en el contenido único y valioso de la tienda, en lugar de páginas administrativas o duplicadas.

Eliminar personalizaciones de robots.txt.liquid

Si quieres volver a usar el archivo robots.txt predeterminado, puedes eliminar el archivo robots.txt.liquid personalizado.

Pasos:

1. Desde el panel de control de Shopify, ve a Tienda online > Themes.

2. Haz clic en > Editar código.

3. Haz clic derecho en robots.txt.liquid y selecciona Eliminar permanentemente en el menú desplegable.

4. Haz clic en Eliminar.

Siempre podrás editar el archivo robots.txt.liquid más adelante o, si guardaste tus personalizaciones anteriores, volver a aplicar los cambios copiando esas personalizaciones guardadas.