Erfahren Sie, wie Sie ganz einfach alle Seiten einer Job-Website durchsuchen können

Eine Website, die sich auf Stellenangebote spezialisiert hat, veröffentlicht und entfernt kontinuierlich Anzeigen. Im Gegensatz zu einer statischen Website, deren Seiten über Monate stabil bleiben, ändert sich der Inhalt eines Jobportals jeden Tag: neue Veröffentlichungen, besetzte Stellen, archivierte Einträge. Um all diese Seiten zu erkunden, ist es notwendig zu verstehen, wie sie organisiert, indexiert und manchmal verborgen sind.

XML-Sitemap auf einer Job-Website: was diese technische Seite wirklich offenbart

Die XML-Sitemap ist eine Datei, die die URLs auflistet, die eine Website für Suchmaschinen sichtbar machen möchte. Auf einem Jobportal spielt diese Datei eine besondere Rolle, da die Anzeigen eine kurze Lebensdauer haben.

Wenn ein Angebot abläuft, muss die entsprechende URL aus der Sitemap entfernt oder einen geeigneten HTTP-Code zurückgeben. Ohne dieses Update indexieren die Suchmaschinen weiterhin veraltete Seiten, was die Benutzererfahrung für die Bewerber verschlechtert.

Auf die Sitemap einer Job-Website zuzugreifen, ermöglicht es, die aktiven Seiten (laufende Angebote, Berufsprofile, Kategorieseiten) schnell von den statischen Seiten (Impressum, Über uns) zu unterscheiden. Um darauf zuzugreifen, fügt man in der Regel einfach /sitemap/ oder /sitemap.xml am Ende des Domainnamens hinzu. Tatsächlich kann man durch das Konsultieren solcher Seiten alle Seiten von Tous un Job sehen und das tatsächliche Ausmaß des angebotenen Stellenkatalogs messen.

Indexing API und strukturierte Daten JobPosting: der Mechanismus für Stellenangebote

Google empfiehlt Websites, die Stellenangebote veröffentlichen, die Indexing API zu verwenden, anstatt auf den klassischen Besuch von Googlebot zu warten. Dieser Mechanismus ermöglicht es, Google direkt zu informieren, dass eine Seite veröffentlicht, geändert oder gelöscht wurde.

Der Vorteil ist offensichtlich: Eine Anzeige, die am Montagmorgen online geht, kann viel schneller in den Suchergebnissen erscheinen als mit einer einfachen Sitemap. Die Sitemap bleibt jedoch notwendig, um die gesamte Website abzudecken.

Die konkreten Grenzen der Indexing API

Die API sieht ein anfängliches Kontingent für Tests und Integration vor. Für eine großflächige Nutzung ist eine zusätzliche Genehmigung erforderlich. Laut Search Engine Journal (September 2026) haben mehrere Job-Websites von Verzögerungen oder einer fehlenden Antwort bezüglich dieser Anfragen zur Erhöhung des Kontingents berichtet.

Diese Diskrepanz zwischen der offiziellen Empfehlung von Google und der operativen Realität schafft eine frustrierende Situation für kleine oder mittelgroße Verlage. Große Portale verfügen über die technischen Ressourcen, um mit diesen Einschränkungen umzugehen, während kleinere Websites weiterhin auf das klassische Crawling angewiesen sind.

Im Bereich der strukturierten Daten ermöglicht das Markup JobPosting (schema.org) den Suchmaschinen, den Titel der Stelle, den Ort, das Gehalt und das Veröffentlichungsdatum direkt im Code der Seite zu identifizieren. Dieses Markup speist die “Stellenangebote”-Boxen, die in den Google-Suchergebnissen erscheinen.

Verwaiste Seiten und abgelaufene Anzeigen: die unsichtbaren Bereiche einer Job-Website

Auf einer aktiven Job-Website ist ein erheblicher Anteil der Seiten weder über das Hauptmenü noch über die internen Suchergebnisse zugänglich. Diese verwaisten Seiten existieren technisch, sind jedoch mit keiner anderen Seite der Website verlinkt.

Sie erscheinen typischerweise in drei Fällen:

• Ein Angebot wurde aus der Hauptliste entfernt, aber die URL bleibt aktiv, ohne Weiterleitung oder Code 410 (Gone)
• Eine Kategorieseite wurde umbenannt oder umstrukturiert, wodurch alte URLs ohne eingehende Links zurückbleiben
• Ein Bewerbungsformular oder eine Bestätigungsseite bleibt nach Abschluss der Rekrutierung bestehen

Warum das einfache noindex nicht immer ausreicht

Das Hinzufügen eines noindex-Tags verhindert, dass die Seite in den Suchergebnissen erscheint, sie bleibt jedoch physisch auf dem Server vorhanden. Google kann weiterhin darauf zugreifen, ohne sie zu indexieren, was das Crawling-Budget verbraucht.

Für abgelaufene Angebote bleibt die endgültige Entfernung mit einem Code 410 oder eine 301-Weiterleitung zu einer Seite mit ähnlichen Angeboten die sauberste Methode. Ein Code 410 zeigt ausdrücklich an, dass die Ressource nicht mehr existiert, was die Bereinigung des Index beschleunigt.

Werkzeuge zur Erkundung aller Seiten einer Job-Website online

Mehrere Ansätze ermöglichen es, ein vollständiges Inventar der URLs eines Jobportals zu erstellen, jeder mit seinen Stärken und Schwächen.

• Der Suchoperator site: in Google (zum Beispiel site:beispiel.de) zeigt die indexierten Seiten an, ignoriert jedoch die, die durch die robots.txt-Datei blockiert oder mit noindex markiert sind
• Die robots.txt-Datei, die im Stammverzeichnis der Website zugänglich ist, gibt an, welche Verzeichnisse für das Crawling gesperrt sind. Auf einer Job-Website sind einige Ordner (Bewerberbereich, Backoffice) dort logisch aufgeführt
• Ein Crawler wie Screaming Frog oder Xenu durchsucht die Website Link für Link und erstellt eine umfassende Liste der zugänglichen URLs, einschließlich der nicht indexierten, aber technisch verlinkten Seiten
• Die Google Search Console, die nur für den Eigentümer der Website zugänglich ist, liefert die Liste der indexierten Seiten, der fehlerhaften Seiten und der absichtlich ausgeschlossenen Seiten

Die Kombination der Sitemap mit einem externen Crawler bietet die umfassendste Sicht. Die Sitemap zeigt, was die Website sichtbar machen möchte. Der Crawler zeigt, was tatsächlich zugänglich ist, indem er den Links folgt.

Strukturierte Daten und facettierte Navigation: die verborgene Architektur von Jobportalen

Job-Websites nutzen massiv die facettierte Navigation: Filter nach Stadt, Vertragsart, Branche, Erfahrungsgrad. Jede Kombination von Filtern kann potenziell eine eigene URL erzeugen.

Ein Portal, das Filter nach Region, Beruf und Vertragsart anbietet, kann theoretisch Tausende von URL-Kombinationen erstellen. Die meisten dieser gefilterten Seiten werden absichtlich von der Indexierung ausgeschlossen, um doppelte Inhalte zu vermeiden, existieren jedoch tatsächlich auf dem Server.

Für einen Bewerber ermöglicht das Verständnis dieser Mechanik eine effizientere Navigation. Anstatt die Ergebnisse Seite für Seite durchzugehen, ermöglicht das direkte Ändern der URL-Parameter den Zugriff auf präzise Filterkombinationen, die die Benutzeroberfläche nicht immer offensichtlich anbietet.

Die Struktur einer Job-Website spiegelt einen ständigen Kompromiss zwischen Vollständigkeit und Lesbarkeit wider. Die Sitemap, die strukturierten Daten und das Management abgelaufener Seiten bilden ein technisches Ökosystem, dessen Qualität direkt bestimmt, wie leicht ein Bewerber das passende Angebot findet.