Wie ich die Tage bei Sistrix gelesen habe, schaltet Google wohl nach und nach die Supplemental Abfrage ab! Warum diese jedoch extrem wichtig ist, findet man in einem guten Artikel zusammengefasst bei SEOmoz.

Kurz gesagt: Mit der Hilfe der Abfrage site:domain.de *** -asdfg zeigt Google die Unterseiten, die im Laufe der Zeit bspw. zu wenig Links (interne aber auch externe) abbekommen haben und deshalb für normale Suchanfragen mit genügend Treffern im Google Index nicht angezeigt werden. Für das Seitenimpressum ist dieser Zustand im Prinzip egal – für Produktseiten eines Shops aber auf keinen Fall.

Welche Möglichkeit hat man also herauszufinden welche Unterseiten im Google Index vorhanden sind wenn die Supplemental Index Abfrage seitens Google abgeschaltet werden sollte? Mir fällt hierzu folgendes Vorgehen ein:

• 1) Zunächst muss festgestellt werden, aus wie vielen Unterseiten eine Website überhaupt besteht. Bei kleinen statischen Seiten mag das noch durch einfaches zählen funktionieren. Bei größeren dynamischen Seiten benötigt man hier jedoch Hilfe durch ein Tool. Das Mittel meiner Wahl ist hier die kostenfreie Software Xenu`s Link Sleuth, mit welcher es möglich ist, eine Website komplett zu spidern und sich unter anderem auch die Anzahl der Unterseiten als Sitemap in einem Report ausgeben zu lassen
• 2) Nachdem man nun eine Liste aller Unterseiten vorliegen hat, wird anschließend die normale Site-Abfrage für die Domain ausgeführt (site:domain.de). Entspricht die Seitenanzahl der Site-Abfrage der die unser Spider ermittelt hat, kann man nur sagen Glückwunsch – die Seite ist so gut wie komplett im Index. Weichen jedoch die Zahlen stark voneinander ab, kann dies zwei Gründe haben.

  Grund 1: Die Website ist noch nicht komplett von der Suchmaschine indiziert
  Grund 2: Die Seite ist komplett indiziert – jedoch zum Teil im Supplemental Index

  Um dies heraus zu finden, wenden wir uns nun Punkt 3 zu

• 3) Zunächst ist es sinnvoll die Anzahl der indizierten Seiten bei Yahoo mittels des Site Explorers zu überprüfen. Ist hier die Anzahl der indizierten Seiten wesentlich höher als bei der Google Site-Abfrage, ist dies schon mal ein Indiz dafür, dass Google die Website zwar indiziert hat, jedoch einige Ergebnisse im Supplemental Index gelandet sind. Sind die Zahlen in etwa gleich, ist die Seite wohl nicht komplett indiziert. In diesem Fall ist Punkt 4 nicht wichtig, da man zunächst noch ein paar Link setzen und abwarten sollte bis die Seite vollständig indiziert wurde.
• 4) Wie bekommt man nun heraus, welche der Seiten sich im Supplemenatal Index befinden? Im Prinzip ganz einfach. Man nehme die Sitemap die der Spider erzeugt hat und Frage jede einzelne URL mit der Abfrage site:domain.de inurl:alles_hinter_der_Domain ab. Erscheint ein Treffer ist diese Unterseite schon mal im Index. Hat der Treffer dann noch den Zusatz “zusätzliches Ergebnis” befindet sich die Unterseite im Supplemental Index. Dieses Vorgehen hat natürlich zwei Haken:

  Haken 1: Die Abfragen müssen bei größeren Domains automatisieren und die Ergebnisse gescrapt werden
  Haken 2: Google muss weiterhin den Zusatz “zusätzliches Ergebnis” bei der normalen Site-Abfrage mit angeben

Ich habe dieses Vorgehen jetzt zweimal nicht automatisiert mit kleineren Domains durchgeführt. Das Ergebnis war absolut zufrieden stellend und eignet sich also durchaus als Alternative für die Zukunft. Gut, möglicherweise gibt es einfachere Möglichkeiten die Seiten im Supplemental Index zu identifizieren – diese Methode funktioniert aber auf jeden Fall

Gruß
Fabian