5. Tag: robots.txt und Google Webmaster Tools

robots.txt: mit dieser Datei kann ich dem Crawler sagen, dass er bestimmte definierte Seiten nicht in den Index aufnehmen darf; sinnvoll z.B. wenn meine Homepage noch nicht fertig ist sondern gerade erst im Entstehen --> dann will ich nicht, dass meine Testpages etc. schon aufgenommen und gefunden werden (kann ich zwar nachträglich wieder löschen, ist aber viel aufwendiger), deshalb erst mal alles auf "disallow: /" stellen und wenn die Seite fertig ist, den Befehl wieder entfernen; weitere Erklärungen hier

--> Erklärungen:
User Agent: Name für Crawler
*: hier sind alle Crawler gemeint
Disallow: "darf nicht"
/: hier ist nichts erlaubt (wenn nur bestimmte Seiten nicht erlaubt sind, dann den Datei-Namen hinter das / schreiben)

Weiteres zu robots.txt:

• eine robots.txt-Datei sollte immer da sein, auch wenn alles erlaubt ist; ist z.B. auch ein Kriterium bei woorank.com
• alternativ kann die robots-Datei auch in den html-Quelltext aufgenommen werden; als extra robots-Datei ist es aber viel übersichtlicher
• ein Crawler hat nur wenige Millisekunden auf jeder Seite Zeit, um alles Neue zu sichten. Deshalb muss ich es so einfach machen wie möglich, um ihm das zu präsentieren (schönes Beispiel: Businessmensch im Restaurant beim Mittagessen)
• ich kann dem Crawler sagen, wann er wieder auf meiner Seite vorbeikommen soll ("revisit-after"). Beispiel: Newsagenturen, die alle paar Minuten etwas Neues posten, dass dann SOFORT in der Suchmaschine auftauchen soll. Gefahr: wenn dann in diesem Intervall nichts Neues auf der Seite ist, dann mag das der Crawler nicht; er stellt sich dann automatisch selbst darauf ein -er optimiert sich selbst auf mein Verhalten.

sitemap xml:sorgt dafür dass alle Seiten meiner Webpage mit ihren Links "untereinander" geschrieben werden; dafür gibt es Generatoren (z.B. xml-sitemaps.com); ist zwar nicht zwingend erforderlich aber sehr sinnvoll; Grund: wenn neue Beiträge auf der Seite erstellt werden, sind diese für den Crawler schneller zu finden (diese werden evtl. erst am Ende der Seite gelistet und somit in der kurzen Zeit vom Crawler nicht entdeckt...); deshalb lieber erstellen und einfügen

Google Webmastertools: Suchergebnisse können optimiert/manipuliert werden (z.B. mit Bild, Veranstaltungen etc.); zeigt Keywords, Indizierungsstatus, Fehler auf der Seite etc.
--> ein gutes Ebook zum Thema gibt es hier.

Mögliche Klausurfrage:
*Welche 3 Seiten sind die kritischen?
robots.txt / .htaccess / sitemap xml
*Was macht Sinn bei SEO?

Weitere Anmerkungen des Tages:

• mit dem Suchbefehl "site:http://domain.de" kann ich sehen, wieviele (Unter-)Seiten einer Website online sind
• ein Shopsystem ist anfällig für Probleme, deshalb am besten über einen Shopsystemanbieter mit einem Servicevertrag angehen; v.a. sinnvoll bei Bezahlsysteme mit Verschlüsselung etc.
• CTR = Click Through Rate: Clicks in Bezug zu den Impressions 
• Permalink: permanenter Link auf einen Beitrag; je länger der ist, umso uninteressanter wird er für die Suchmaschine; kann manipuliert werden