Webseiten korrekt katalogisieren und indexieren, das ist für Google’s Crawler und alle Suchmaschinenbots das Ziel. Und ohne den HTTP-Request Header verstanden zu haben, wird man keine Rankings gewinnen. Besonders für Mobile Websites ist nun ein kleiner Teil des HTTP-Response von großer Relevanz: Vary (HTTP-Response-Header).

Cloaking ist die beabsichtigte Täuschung des Crawlers. Dummheit ist die unbeabsichtigte Täuschung des Crawlers. Um letzteres zu vermeiden ist es nötig eindeutig über mehrdeutige Inhalte zu informieren. Unterscheidet man ausgelieferte Inhalte nach einem bestimmten Kriterium, so muss der Client (also auch ein Crawler) darüber informiert werden. Vary steht für die Varianz der Inhalte, je nachdem wer anklopft, bekommt er etwas anderes zu sehen.

Dieses Problem kommt bei der von Google empfohlenen Methode Responsive Design an die Oberfläche: unterschiedliche Nutzer bekommen unterschiedliche Inhalte. Hier wird in der Regel nach dem User-Agent unterschieden, welches HTML und CSS der Client bekommt. Diese Unterscheidung muss im Vary-String angegeben werden.

Der Response sieht Beispielhaft dann so aus:

HTTP/1.1 200 OK

Date: Sun, 10 Jun 2012 13:07:50 GMT

Vary: Accept-Encoding, User-Agent

Sofort weiß der Crawler eindeutig, dass es sich um eine Website handelt, die bei unterschiedlichen Accept-Encoding und User-Agent Angaben unterscheidet. Eine im Server interne Weiche stellt entsprechend die Inhalte bereit, die den Angaben des Nutzers entsprechen.

Eine einfache Serverkonfiguration, die jedem Mobile SEO weiterhilft.