--- title: "Strukturelle Grundlagen: Was ein Crawler von deiner Stellenanzeige braucht" description: "Robots.txt, Sitemap, llms.txt und strukturierte Daten: Was ein Crawler braucht, um deine Stellenanzeigen zu finden, zu lesen und richtig einzuordnen." canonical: "https://nextplace-jobs.com/partner/strukturelle-grundlagen" updated: "2026-08-04" language: "de" --- # Strukturelle Grundlagen: Was ein Crawler von deiner Stellenanzeige braucht Ein Crawler bringt kein Vorwissen mit. Er sieht nur, was eine Seite ihm von sich aus hinlegt, und genau diese Bausteine entscheiden, ob deine offenen Stellen überhaupt eine Chance auf eine Antwort haben. Bevor eine Suchmaschine oder ein AI-System über deine Stellenanzeige urteilen kann, muss es sie erreichen, lesen und einordnen können. Dafür braucht es vier Dinge: eine klare Auskunft darüber, welche Bereiche offen stehen, ein vollständiges Verzeichnis aller Seiten, Inhalte in einem Format, das eine Maschine ohne Umwege versteht, und eine Struktur, in der jede Seite einen erkennbaren Platz hat. Läuft deine Stelle über NextPlace, bringt sie all das bereits mit. ## Strukturelle Grundlagen: was ein Crawler vorfindet Ein Crawler ist ein Programm, das Seiten abholt, so wie ein Browser es tut, nur ohne Mensch davor. Es klickt nicht, es liest nicht zwischen den Zeilen und es fragt nicht nach. Es nimmt, was da ist, und zieht daraus seine Schlüsse. Damit ist der Ausgangspunkt ein völlig anderer als bei einem Menschen. Wer eine Stellenanzeige öffnet, versteht in Sekunden, dass oben der Jobtitel steht, daneben das Firmenlogo und unten der Bewerbungsknopf. Für einen Crawler ist ein fett gesetzter Jobtitel zunächst nur Text, der zufällig größer ist als der Rest. Bei den strukturellen Grundlagen geht es deshalb nicht um Gestaltung, sondern darum, welche Auskünfte eine Seite über sich selbst mitliefert. Je weniger ein Crawler raten muss, desto zuverlässiger landet deine Stelle dort, wo jemand nach ihr sucht. ## Fertige Seiten statt Baustellen Viele moderne Webseiten liefern zuerst ein leeres Grundgerüst aus und bauen den eigentlichen Inhalt erst im Browser zusammen. Für einen Menschen macht das keinen Unterschied, er sieht die fertige Seite. Ein Crawler, der nicht wartet und nicht nachbaut, sieht dagegen eine Seite, auf der nichts steht. Bei uns entsteht jede Seite auf dem Server. Was ein Crawler anfordert, kommt bereits als vollständiges Dokument zurück, mit Jobtitel, Beschreibung, Ort und Anstellungsart im Text der ersten Antwort. Das ist kein nachträglich eingebautes Zusatzfeature, sondern eine Entscheidung darüber, wie die Anwendung von Anfang an gebaut ist. Dazu kommt die Auszeichnung. Neben dem lesbaren Text trägt jede Stellenseite dieselben Angaben ein zweites Mal, in einem festen Format, das Suchmaschinen und AI-Systeme gemeinsam nutzen: Jobtitel, Arbeitgeber, Ort und Anstellungsart. So muss niemand aus dem Fließtext erraten, was der Jobtitel ist und was nur eine Zwischenüberschrift war. ## Die Wegweiser, die eine Seite von sich aus mitliefert Ein Crawler, der auf einer Domain landet, kennt zunächst nur die eine Adresse, über die er gekommen ist. Alles Weitere muss er sich erschließen. Genau dafür gibt es eine kleine Zahl von Dateien, die eine Seite freiwillig bereitstellt, jede mit einer eigenen Aufgabe. Die erste ist die robots.txt. Sie sagt, welche Bereiche offen stehen und welche ein Crawler auslassen soll, etwa alles, was hinter einer Anmeldung liegt. Sie ist kein Schloss, aber ein unmissverständliches Signal, und sie verweist gleich auf die nächsten beiden Dateien. Danach folgt die Sitemap: ein Verzeichnis jeder öffentlichen Adresse, getrennt nach Inhaltsart. Ein Crawler muss sich nicht von Link zu Link durchhangeln, er bekommt die Liste direkt in die Hand. Die llms.txt richtet sich an AI-Systeme und ist bewusst keine zweite Sitemap. Sie fasst in wenigen Zeilen zusammen, welche Bereiche es gibt und wofür sie stehen, je ein Satz pro Eintrag. Ein Assistent, der nur begrenzt Kontext laden kann, erkennt daran sofort, wo er suchen muss. Für unsere redaktionellen Artikel kommt eine reine Textfassung dazu, derselbe Inhalt ohne Layout und ohne Navigation. Wer sie maschinell weiterverarbeiten will, spart sich das Herausschälen aus dem HTML. Sie steht bewusst nicht in der Sitemap, denn sie ist kein zweiter Auftritt derselben Seite, sondern nur eine andere Verpackung. Für einzelne Stellenseiten gibt es sie nicht, dort steht der vollständige Inhalt ohnehin schon in der ersten Antwort. ## Eine Struktur, die mit deinen offenen Stellen mitwächst Die Bausteine bis hierher sagen einem Crawler, was es gibt. Die Struktur sagt ihm, wie das alles zusammenhängt. Bei uns entsteht sie nicht aus einer handgepflegten Liste, sondern aus den offenen Stellen selbst, Ebene für Ebene enger. Jede Ebene beantwortet dabei genau eine Frage, und zwar immer in derselben Reihenfolge. 1. Land: Die oberste Ebene trennt Österreich, Deutschland und die Schweiz. Sie steht immer an erster Stelle, damit eine Adresse auch ohne Kontext lesbar bleibt. 2. Region oder Ort: Darunter folgt die geografische Eingrenzung, entweder ein Bundesland oder ein Ort. Beides gleichzeitig gibt es nicht, sonst hätte dieselbe Auswahl zwei verschiedene Adressen. 3. Fachbereich: Als Nächstes das Berufsfeld, etwa Technik, Handel oder Gesundheit. Damit wird aus einer rein geografischen Seite eine, die zu einer echten Suchanfrage passt. 4. Anstellungsart: Zuletzt Vollzeit, Teilzeit, Lehre oder Praktikum. Diese Ebene ist die feinste, und tiefer geht die Struktur bewusst nicht. Bleibt in einer Kombination keine einzige Stelle mehr übrig, verliert die dazugehörige Seite sofort ihren Platz: Sie taucht weder in der Sitemap noch in den internen Verweisen auf und wird ausdrücklich von der Aufnahme in den Index ausgenommen. Es entsteht also nie eine Seite, die etwas verspricht, was hinter ihr gar nicht steht. Genauso wenig entsteht eine eigene Seite für jede beliebige Kombination. Sobald über das Land hinaus mehr als zwei Eingrenzungen zusammenkommen oder nur noch sortiert und geblättert wird, verweist die Seite auf ihre nächsthöhere Fassung, statt sich als eigenständiges Ergebnis auszugeben. Das hält die Struktur genau so groß, wie sie tatsächlich gedeckt ist, und keinen Schritt größer. > Für technisch Interessierte ## Der Werkzeugkasten im Überblick Alle Bausteine nebeneinander, jeweils mit dem Ort, an dem sie liegen. Wer selbst nachsehen möchte, kann diese Adressen im Browser aufrufen, sie sind für jeden zugänglich. Dazu kommen zwei Meldewege, die nicht abwarten, bis ein Crawler von selbst vorbeikommt: die Google Indexing API und IndexNow. Über beide meldet unser System eine neue oder geänderte Stelle aktiv an. IndexNow läuft dabei über einen gemeinsamen Endpunkt, von dem aus die Meldung an mehrere Suchsysteme weitergereicht wird, darunter Bing und die Dienste, die dessen Index nutzen. | Baustein | Was er einem Crawler mitteilt | Wo er liegt | | --- | --- | --- | | robots.txt | Welche Bereiche offen stehen, welche ausgelassen werden sollen, und wo die übrigen Wegweiser zu finden sind. | /robots.txt | | Sitemap-Index | Welche Teilverzeichnisse es gibt, getrennt nach Inhaltsart, und, wo ein ehrliches Änderungsdatum vorliegt, auch dieses. | /sitemap.xml | | Teilsitemaps | Jede öffentliche Adresse eines Bereichs und, wo ein ehrliches Änderungsdatum vorliegt, auch dieses. | /sitemap-partner.xml und weitere | | llms.txt | Eine kuratierte Landkarte der wichtigsten Einstiegspunkte, je ein Satz pro Eintrag. | /llms.txt | | Textfassung eines Artikels | Denselben redaktionellen Inhalt ohne Layout und ohne Navigation, als reiner Text. | Die Adresse des Artikels mit der Endung .md | | Strukturierte Stellendaten | Jobtitel, Arbeitgeber, Ort und Anstellungsart, dazu die Bewerbungsfrist, sofern deine Anzeige eine mitbringt. | Im Quelltext jeder Stellenseite | | Serverseitig gerendertes HTML | Den vollständigen Inhalt bereits in der ersten Antwort, ohne Nachladen im Browser. | Jede Seite | Wichtig ist dabei, was jeweils nicht gilt. Die Textfassung gibt es nur für redaktionelle Artikel, nicht für jede einzelne Stellenseite. In der Sitemap stehen ausschließlich Seiten, die auch tatsächlich in einen Index gehören, weder die Wegweiser selbst noch die Textfassungen tauchen dort auf. Ein Werkzeug, das man überall gleichzeitig einsetzt, verliert genau die Aussagekraft, wegen der man es einsetzt. ## Warum das im Alltag nie auffällt Diese Bausteine entstehen nicht pro Kunde und nicht pro Anzeige, sie sind Teil der Plattform und greifen ab der ersten Stelle, die bei uns liegt. Der Unterschied zeigt sich erst später, und zwar an einer Stelle, die man leicht übersieht: Eine Anzeige, die ein Crawler nicht sauber lesen kann, fällt nicht mit einer Fehlermeldung auf. Sie taucht einfach nicht auf. Die strukturellen Grundlagen sind die Arbeit, die verhindert, dass genau das passiert. ## Was ist der Unterschied zwischen robots.txt und der Sitemap? Die robots.txt regelt, welche Bereiche ein Crawler überhaupt ansehen soll. Die Sitemap zählt auf, welche Seiten es gibt und wann sie zuletzt geändert wurden. Die eine grenzt ein, die andere lädt ein. ## Was bringt eine llms.txt, wenn es schon eine Sitemap gibt? Die Sitemap ist vollständig und dadurch lang. Die llms.txt ist kurz und erklärt, wofür die einzelnen Bereiche stehen. Für ein AI-System, das nur begrenzt Inhalt laden kann, ist eine erklärte Auswahl nützlicher als eine vollständige Liste. ## Warum bekommt nicht jede Filterkombination eine eigene Seite? Weil eine Seite ohne passende Stellen niemandem hilft und einem Crawler ein leeres Versprechen macht. Eine Kombination bekommt nur dann eine eigene, indexierbare Seite, wenn sie mindestens eine offene Stelle enthält und nicht zu tief verschachtelt ist. ## Muss ich selbst etwas an meiner Karriereseite ändern? Nein. Die strukturellen Grundlagen greifen für die Stellen, die über NextPlace laufen. Deine eigene Karriereseite bleibt davon unberührt, sie profitiert lediglich nicht automatisch mit. ## Woher weiß eine Suchmaschine, dass sich etwas geändert hat? Über zwei Wege. Wo ein ehrliches Änderungsdatum vorliegt, trägt die Sitemap es zur jeweiligen Adresse mit, und ein Crawler vergleicht es beim nächsten Besuch. Zusätzlich melden wir neue und geänderte Stellen aktiv an, über die Google Indexing API und über IndexNow. ## Quellen - [Google Search Central: Einführung in robots.txt]() - [sitemaps.org: Das Sitemap-Protokoll]() - [llmstxt.org: Die llms.txt-Spezifikation]() - [Google Search Central: JobPosting, strukturierte Daten]() - [IndexNow: Dokumentation]()