Roboty wyszukiwarek internetowych
Strona internetowa musi być przyjazna zarówno dla użytkowników jak i robotów sieciowych które indeksują naszą stronę dla potrzeb wyszukiwarek internetowych. Dlatego właśnie odpowiedni dobór technologi jest niezbędny dla prawidłowej indeksacji strony i umożliwienia jej zajęcie wysokiego miejsca w wynikach wyszukiwania. Musimy pamiętać że robot jaki indeksuje strony ma ograniczone możliwości i nie zawsze jest w stanie prawidłowo odczytać zawartość niektórych plików, zwłaszcza jeśli dotyczy to treści zamieszczonej za pomocą flash czy javascript.
Jest kilka sposobów na ominięcie tego typu ograniczeń, jednym z nich jest przygotowanie specjalnej wersji strony tylko dla robotów, wersja taka zawiera identyczną treść jak ta przeznaczona dla zwykłych użytkowników internetu odwiedzających nasz serwis, jednak jest ona serwowana w odpowiednio dostosowanej formie dla robotów, na przykład w postaci czystego tekstu lub zwykłego HTML'a.
Jak wiemy większość osób będzie trafiała na naszą stroną za pośrednictwem różnego rodzaju wyszukiwarek internetowych, po wpisaniu odpowiednich słów kluczowych. Aby wyszukiwarka mogła przyporządkować naszą stronę do odpowiednich słów, musi znać jej zawartość, za tą właśnie rzecz odpowiadają roboty które pobierają zawartość naszej strony by następnie ją odpowiednio przetworzyć na potrzeby wyników wyszukiwania.
Im więcej treści naszej strony będzie znała wyszukiwarka tym bardziej prawdopodobne że nasza strona znajdzie się na czołowych miejscach wyników dla odpowiednich słów kluczowych.