CRAWLER

Al Crawler bezeichnet man Programme, die in mehr oder weniger regelmäßigen Abständen das Internet durchsuchen und Webseiten indexieren. Dabei werden die Inhalte der Webseiten reduziert und in Datenbanken abgelegt, um sie schneller durchsuchbar zu machen. Daher ist es wichtig, dass Keywords in bestimmter Form auf der Webseite verwendet werden, damit der Crawler diese als wichtige Bestandteile erkennt und entsprechend in der Datenbank speichert.

Weitere Begriffe für Crawler sind: Spider, Robot, Bot