Datei „robots.txt.liquid“ bearbeiten

Bei der Arbeit mit robots.txt ist es wichtig, den Unterschied zwischen Crawling und Indexierung zu verstehen:

• Crawling: Wenn Suchmaschinen-Bots (wie z. B. der Googlebot) alle Inhalte und den gesamten Code auf deinen Seiten untersuchen und analysieren.
• Indexierung: Wenn Seiten für die Anzeige in den Suchergebnissen infrage kommen.

Diese Prozesse schließen sich nicht gegenseitig aus – Suchmaschinen können eine Seite auch indexieren, ohne sie zu crawlen, wenn sie sie auf andere Weise entdecken.

Die standardmäßige robots.txt-Datei funktioniert für die meisten Shops. Wenn du die robots.txt-Datei anpassen möchtest, musst du zuerst im Code-Editor eine robots.txt.liquid-Datei zum Ordner templates deines Themes hinzufügen und dann den Inhalt der Datei anpassen. Du kannst die folgenden Änderungen vornehmen:

• Crawling bestimmter URLs zulassen oder verbieten.
• Crawl-Delay-Regeln für bestimmte Crawler hinzufügen.
• Zusätzliche Sitemap-URLs hinzufügen.
• Bestimmte Crawler blockieren.

Die Datei robots.txt befindet sich im Stammverzeichnis der primären Domain deines Shopify-Shops. Zum Beispiel: example.com/robots.txt.

Wenn du die Datei robots.txt.liquid bearbeiten möchtest, solltest du mit eine:m Shopify-Partner:in zusammenarbeiten oder über Fachkenntnisse in der Code-Bearbeitung und SEO verfügen.

Du kannst Liquid verwenden, um Anweisungen zur Vorlage robots.txt.liquid hinzuzufügen oder daraus zu entfernen. Diese Methode stellt sicher, dass Shopify die Datei auch in Zukunft automatisch aktualisieren kann, und wird daher empfohlen. Eine vollständige Anleitung zur Bearbeitung dieser Datei findest du auf der Entwicklerseite von Shopify unter robots.txt.liquid anpassen.

Entferne alle vorherigen Anpassungen oder Zwischenlösungen, wie z. B. die Nutzung eines Drittanbieter-Dienstes wie Cloudflare, bevor du die Datei robots.txt.liquid bearbeitest.

Schritte:

1. Gehe in deinem Shopify-Adminbereich zu Onlineshop.

2. Klicke beim entsprechenden Theme auf > Code bearbeiten.

3. Klicke auf Neue Vorlage hinzufügen und wähle dann robots aus.

4. Klicke auf Vorlage erstellen.

5. Nimm die gewünschten Änderungen an der Standardvorlage vor. Weitere Informationen zu Liquid-Variablen und häufigen Anwendungsfällen findest du auf der Entwicklerseite von Shopify unter robots.txt.liquid anpassen.

6. Speichere die Änderungen an der Datei robots.txt.liquid in deinem veröffentlichten Theme.

Änderungen werden sofort wirksam, aber Crawler reagieren nicht immer sofort. Du kannst die Änderungen mit dem robots.txt-Tester von Google testen.

Du kannst auch den Inhalt der Vorlage löschen und ihn durch Regeln in einfachem Text ersetzen. Von dieser Methode wird dringend abgeraten, da die Regeln veralten können. Wenn du dich für diese Methode entscheidest, kann Shopify nicht sicherstellen, dass im Laufe der Zeit die SEO Best Practices auf deine robots.txt-Datei angewendet werden oder dass bei zukünftigen Aktualisierungen Änderungen an der Datei vorgenommen werden.

In der Google Search Console werden URLs möglicherweise als „indexed, though blocked by robots.txt“ angezeigt. Dies ist ein normales Verhalten und in der Regel kein Grund zur Sorge.

Warum das passiert

Viele Seiten werden für die SEO-Optimierung absichtlich durch die robots.txt-Datei blockiert. Mit dieser Nachricht teilt dir Google mit, dass blockierte Inhalte entdeckt wurden, für den Fall, dass die Blockierung unbeabsichtigt war. Alles in der standardmäßigen robots.txt-Datei von Shopify hat einen Grund und dient der Verbesserung deiner SEO.

Wenn eine normale Seite auf deiner Website (z. B. deine Startseite) als „Indexed, though blocked“ angezeigt wird, bedeutet dies in der Regel, dass die Daten von Google über deinen Shop veraltet sind. Es kann Tage, Wochen oder Monate dauern, bis Google seine Datenbank mit den neuesten Änderungen einer Website aktualisiert hat.

Was zu tun ist

In den meisten Fällen ist keine Maßnahme erforderlich. Dies ist ein erwartetes Verhalten für Seiten, die vom Crawling ausgeschlossen werden sollen, aber dennoch über andere Erkennungsmethoden indiziert werden könnten.

Wenn du über agentenbasierte Storefronts wie ChatGPT oder Microsoft Copilot verkaufst, werden deine Produktdaten unabhängig von der /robots.txt-Datei über Shopify Catalog an diese Kanäle übertragen. KI-Crawler greifen möglicherweise auch direkt über das offene Web auf deinen Shop zu. Für den Crawler-Zugriff gibt es die folgenden zwei Steuerungsebenen:

• Netzwerkebene: Das Bot-Management wird für Shops auf Shopify direkt verwaltet, sodass du nichts weiter tun musst. Shopify empfiehlt keine Proxy-Konfiguration vor Shopify und kann dafür auch keinen Support anbieten.
• /robots.txt-Ebene: Du kannst bestimmte User-Agent-Crawler zulassen oder blockieren, indem du die robots.txt.liquid-Vorlage deines Shops anpasst. Die in deiner /robots.txt-Datei festgelegten Regeln dienen als Orientierung und Empfehlung. Es gibt keine Garantie dafür, dass alle Crawler diese befolgen.

Das Blockieren von KI-Crawlern in der /robots.txt oder auf Netzwerkebene wirkt sich nur auf die Auffindbarkeit im offenen Web aus. Es verhindert nicht, dass deine Produktdaten durch Shopify Catalog an die von dir aktivierten agentenbasierten Storefronts gesendet werden. Um zu steuern, was Shopify Catalog mit agentenbasierten Storefronts teilt, lies den Abschnitt Informationen zu den Einstellungen für agentenbasierte Storefronts.

Die standardmäßige robots.txt-Datei von Shopify enthält Regeln, die die SEO deines Shops optimieren. Im Folgenden sind einige der wichtigsten Einträge aufgeführt:

• Die Regel Allow: / ermöglicht es Crawlern, deine öffentlichen Inhalte anzufordern, wie zum Beispiel deine Produkt-, Kollektions-, Seiten-, Blog- und Richtlinienseiten.
• Die Regel Disallow: /admin verhindert, dass Seiten des Adminbereichs gecrawlt werden, da Crawler ohnehin nicht auf sie zugreifen können.
• Die Regel Disallow: /cart/ verhindert, dass Warenkorb-Links gecrawlt werden, da sie für jede:n Kund:in individuell sind.
• Die Regeln Disallow: /checkout und Disallow: /checkouts/ verhindern, dass Checkout-Seiten gecrawlt werden.
• Die Regeln Disallow: /account und Disallow: /orders verhindern, dass Konto- und Bestellseiten gecrawlt werden, da sie für eine:n einzelne:n Kund:in spezifisch sind.
• Die Regel Disallow: /collections/*+* verhindert, dass gefilterte Kollektionsseiten gecrawlt werden, da sie Inhalte duplizieren, die sich bereits auf der Kollektionsseite befinden.
• Die Regel Disallow: /collections/*sort_by* verhindert, dass sortierte Kollektionsseiten gecrawlt werden, da sie dieselben Produkte in einer anderen Reihenfolge anzeigen.

Diese Regeln helfen Suchmaschinen dabei, sich auf deine einzigartigen Inhalte zu konzentrieren, anstatt auf administrative oder duplizierte Seiten.

Wenn du die standardmäßige robots.txt-Datei wieder verwenden möchtest, kannst du deine benutzerdefinierte robots.txt.liquid-Datei löschen.

Schritte:

1. Gehe in deinem Shopify-Adminbereich zu Onlineshop.

2. Klicke auf > Code bearbeiten.

3. Klicke mit der rechten Maustaste auf die Datei robots.txt.liquid und wähle im Dropdown-Menü die Option Endgültig löschen aus.

4. Klicke auf Löschen.

Du kannst die Datei robots.txt.liquid jederzeit in der Zukunft bearbeiten. Wenn du deine früheren Anpassungen gespeichert hast, kannst du deine Änderungen auch wiederherstellen, indem du deine gespeicherten früheren Anpassungen übernimmst.