Sitemap: Wissen, welche Seiten erschienen, welche verschwanden und welcher Traffic mit ihnen ging

Seiten verschwinden ständig von Websites. Ein Produkt ist ausverkauft und seine Seite wird depubliziert. Ein Inserat läuft ab. Ein Redesign streicht einen Bereich, den niemand für wichtig hielt. Wochen später ist der organische Traffic gesunken, und niemand kann genau sagen, welche Seiten gegangen sind und wann.

Ihre Sitemap weiß, welche Seiten es jetzt gerade gibt. Sie weiß nicht, welche es letzten Monat gab. Die Sitemap-Verbindung ist jetzt in AI Data Stream verfügbar, in den Pro- und Business-Tarifen, und sie ergänzt, was der Sitemap fehlt: ein Gedächtnis.

Was sie tut

Geben Sie der Verbindung Ihre sitemap.xml oder Ihren Sitemap-Index. Von da an führt AI Data Stream für jede gelistete URL Buch: wann sie zuerst auftauchte, wann sie zuletzt gesehen wurde und wann sie wegfiel. Die Sitemap ist eine öffentliche Datei, also gibt es keine Zugangsdaten einzurichten und kein CMS-Plugin zu installieren. Das funktioniert für statische Builds, Shopify, Headless-CMS, selbstgebaute Frameworks und jede Website, die WordPress-spezifische Werkzeuge nicht erreichen.

Ihre KI erhält vier Tools:

• Statistik: wie viele URLs gelistet sind, wie viele im Laufe der Zeit weggefallen sind, Zugänge und Abgänge der letzten 7 und 30 Tage und die größten Sektionen der Website
• Änderungen: die in einem Zeitraum hinzugefügten, entfernten oder geänderten URLs
• Suche: URLs nach Pfad, Sektion oder lastmod-Zeitraum, einschließlich der verschwundenen
• Aktualisieren: die aktuelle Kopie auf Wunsch abrufen

Die Fragen, die zählen, verbinden das mit Ihren anderen Daten. „Welche Seiten haben wir im September entfernt, und wie viele Klicks bekamen sie davor?“ ist im Chat eine einzige Frage. Die KI holt die entfernten URLs aus der Sitemap-Historie, schlägt jede in der Search Console für die Wochen vor ihrem Verschwinden nach und summiert den Traffic, der mit ihnen gegangen ist. Der neue Skill Sitemap Content Changes führt diese Analyse als Bericht aus.

Ehrlich beim „Wann“

Eine Sitemap sagt nur, was in dem Moment gelistet ist, in dem man sie liest. War eine Seite am 9. da und am 24. weg, kann niemand sagen, an welchem Tag dazwischen sie entfernt wurde. Die meisten Tools würden still einen auswählen. Wir nicht.

Jede Entfernung wird als Zeitfenster angegeben: bei einem Abruf noch gelistet, beim nächsten weg. Liegen die beiden Daten einen Tag auseinander, ist es ein Tag. Liegen sie zwei Wochen auseinander, sehen Sie zwei Wochen, und die KI ist angewiesen, den Zeitraum zu nennen statt ein Datum zu erfinden.

Wie breit diese Fenster werden, bestimmen Sie. Standardmäßig wird die Sitemap nur abgerufen, wenn jemand ein Tool benutzt oder Jetzt aktualisieren drückt. Das kostet nichts, wenn niemand hinschaut, lässt die Lücken aber so lang wie die Stille. Schalten Sie Im Hintergrund aktualisieren ein, und die Sitemap wird in jedem Aktualisierungsintervall geprüft, bis zu zweimal täglich. Die Prüfungen sind bedingt: Meldet Ihr Server, dass sich die Sitemap nicht geändert hat, wird nichts heruntergeladen, und bei einem Sitemap-Index werden nur die Kind-Dateien geholt, deren eigenes lastmod sich bewegt hat. Entfernungsfenster schrumpfen auf einen Tag, ohne Ihren Server oder unseren zu belasten.

Ein Verschwinden datieren oder 404-Fehler sortieren

Zwei Anwendungen fielen fast kostenlos aus der Historie heraus.

Wann ist diese Seite gegangen? Geben Sie der KI eine URL, und sie nennt den letzten Abruf, der sie noch listete, und den ersten, der es nicht mehr tat. Bei einer Seite, die ein Kunde nie gelöscht haben will, ist das eine nützliche Aussage.

Welche 404-Fehler zählen? Übergeben Sie eine Liste von URLs mit Status 404, aus den Crawl-Daten der Search Console oder aus Cloudflare, und die Sitemap-Historie sortiert sie in drei Stapel. Seiten, die gelistet waren und dann entfernt wurden, sind echte Löschungen, die wahrscheinlich eine Weiterleitung brauchen. URLs, die nie in der Sitemap standen, sind alte Links, Scanner-Rauschen und Tippfehler, die Sie ignorieren können. Und Seiten, die noch gelistet sind, aber 404 liefern, sind diejenigen, die Ihr CMS Google aktiv meldet und nicht ausliefern kann: ein Fehler, keine inhaltliche Entscheidung.

Ihr lastmod im Blick

Beim Parsen von Sitemaps sehen wir viele lastmod-Felder, und viele sind wenig wert. Manche Sitemaps lassen das Datum ganz weg. Andere versehen jede URL mit demselben Tag oder mit der Zeit des letzten Builds. Google und Bing haben beide erklärt, dass sie lastmod nur verwenden, wenn es durchgehend korrekt ist, und es ignorieren, sobald das nicht mehr gilt. Eine Sitemap voller falscher Daten hat also einen Crawl-Hinweis für die gesamte Website verschenkt.

Die Verbindung meldet jetzt beide Fälle. Trägt weniger als die Hälfte Ihrer URLs ein Datum, oder tragen fast alle dasselbe, sagen Dashboard und KI das und erklären die Lösung: Das CMS soll das echte Änderungsdatum jeder Seite ausgeben. Das ist ein Hinweis, kein Fehler. Sitemaps ohne lastmod sind gültig, und die Verbindung funktioniert damit einwandfrei. Sie sollten es nur wissen.

Gebaut, um Sie nicht anzulügen

Eine Verbindung, deren ganzer Wert in historischen Daten liegt, hat einen katastrophalen Fehlerfall: Entfernungen aufzuzeichnen, die nie stattgefunden haben. Eine WAF-Challenge-Seite, eine halb geschriebene Sitemap während eines Deployments oder ein Timeout bei einem großen Index können dazu führen, dass ein Abruf nur einen Bruchteil der URLs von gestern zurückliefert. Nimmt man das für wahr, werden Tausende lebende Seiten als entfernt markiert, und die falsche Historie lässt sich nie wieder löschen.

Also verweigert sich die Verbindung. Liefert ein Abruf weniger als die Hälfte der beim letzten Mal gespeicherten URLs, wird nichts als entfernt markiert, die Verbindung zeigt eine Warnung, und Sie werden gebeten, die Sitemap im Browser zu prüfen. Teilabrufe verhalten sich genauso: Ist eine Sitemap größer, als Ihr Tarif speichert (10.000 URLs in Pro, 50.000 in Business), oder als das Größenlimit erlaubt, wird die Kopie als unvollständig gekennzeichnet, und daraus wird nie eine URL als entfernt markiert.

Erste Schritte

Öffnen Sie den Tab Verbindungen einer Property, klicken Sie auf Verbindung hinzufügen und wählen Sie Sitemap. Fügen Sie die Sitemap-URL ein, behalten Sie das Standardintervall von 24 Stunden, entscheiden Sie, ob Sie Hintergrund-Aktualisierungen möchten, und klicken Sie auf Testen. Fragen Sie dann die KI, was sich diesen Monat geändert hat, oder schalten Sie das Dashboard-Widget ein und sehen Sie zu, wie sich Zugänge und Abgänge ansammeln.

Die Einrichtungsanleitung steht in der Dokumentation. Die Verfolgung beginnt mit dem ersten Abruf: Je früher eine Website verbunden ist, desto mehr Historie hat sie, wenn Sie sie brauchen.