Kurz angemerkt: msnbot
{5}Ich finde es (nicht) erstaunlich, dass alle Welt oft genug auf Microsoft herumhackt, diese aber beispielsweise im Gegensatz zu Google oder Yahoo ihrem Webcrawler eine eigenständige Bezeichnung der so genannten “User-Agent”-Kennung spendierten. Die Bots von Google und Yahoo kommen quasi daher wie der Wolf im Schafspelz, weil sie als User-Agent “Mozilla/5.0″ angeben. Anders der Suchroboter von Microsofts Suchmaschine. Dieser nennt sich “msnbot/1.0″.
Hinzufügen zu del.icio.us, Mr. Wong, LinkARENA, SEOigg
Tags Google, Microsoft, MSN, Seo, User-Agent, Yahoo
Kategorie Media · Autor Alexander Trust · 5 Kommentare
May 24, 2007 · 9:53 pm
Das kann ich so aber nicht bestätigen.
Der Google-Bot gibt sich als dieser zu erkennen:
und der Yahoo auch:
Wobei “Slurp” finde ich unheimlich witzig.
Ist zwar nicht direkt als UA angegeben aber es wird übermittelt.
May 24, 2007 · 10:56 pm
Es kommt vorwiegend auf den ersten Begriff an, “Mozilla/5.0″. In dem Videolehrgang, den ich da grad mir reinpfeiff, hat der Trainer das so formuliert, dass gerade, weil Google und Yahoo sich als Mozilla tarnen, man an dieser Stelle manipulieren könnte. Ich denke/hoffe, dass dazu irgendwann später noch mehr erzählt wird. Der wird bei der Erkennung des User-Agent zunächst ausgelesen. Nur einige Anwendungen lesen auch die zusätzlichen Infos aus, und differenzieren dann noch weiter. Da wo hier Mozilla/5.0 steht, also in deinen Zitaten, dort steht aber beim Crawler von MSN “msnbot/1.0″.
May 25, 2007 · 5:21 am
Okay, ist vielleicht nicht “Standard-komform” aber 100% verstecken tun sie sich ja nicht.
Und wenn diese Infos schon im accesslog auftauchen wird sie auch anderswo genutzt.
May 25, 2007 · 9:12 am
Schau, ich weiß nicht, wo du die Schwierigkeit an meiner Aussage siehst? Weil dein Zitat am Ende noch genau das beweist. – Es klopft an, jemand macht auf, fragt: Wer sind Sie? User-Agent sagt im Fall von Google- und Yahoo-Bots immer: “Mozilla/5.0″… würdest du sie an der Tür in ein Gespräch verwickeln, würdest du irgendwann drauf kommen, wer sie wirklich sind.
Tätest du das nicht, hättest du das Gefühl gehabt, dich hätte ein Mozilla besucht. Unterhieltest du dich tags darauf mit Freunden, und sie frügen dich, wer dich denn da besucht habe. Du würdest, weil du es nicht besser weißt sagen, dass Mozilla dich besucht hätte. Das könnte dir beim msnbot nicht passieren. – Parser gehen für gewöhnlich von links nach rechts und suchen Strings nach Schema F.
May 25, 2007 · 9:35 am
Aber andereseits ist es ja nicht so das die 2 sich komplett verstecken.
Sie sagen halt einfach nur “Guten Tag ich Mozilla im Auftrag der Firma Google”
Und wenn der Parser halt die Tür so schnell wieder zuschlägt…
Aber Du hast vollkommen Recht, der MSN gibt sich klar eindeutig zu erkennen.