Spisu treści:
Definicja - Co oznacza Spider?
W kontekście Internetu pająk jest wyspecjalizowanym oprogramowaniem zaprojektowanym do systematycznego indeksowania i przeglądania sieci WWW, zwykle w celu indeksowania stron internetowych w celu zapewnienia ich jako wyników wyszukiwania dla zapytań użytkownika. Najbardziej znanym z takich pająków jest Googlebot, główny robot indeksujący Google, który pomaga zapewnić zwracanie odpowiednich wyników dla zapytań.
Pająki są również znane jako roboty indeksujące, boty wyszukiwania lub po prostu boty.
Techopedia wyjaśnia Spider
Pająk jest zasadniczo programem służącym do zbierania informacji z sieci WWW. Przeszukuje strony witryn, wyodrębniając informacje i indeksując je w celu późniejszego wykorzystania, zwykle w przypadku wyników wyszukiwania. Pająk odwiedza strony internetowe i ich strony za pomocą różnych linków prowadzących do i ze stron, więc strona bez pojedynczego linku do niej będzie trudna do indeksowania i może być bardzo nisko oceniana na stronie wyników wyszukiwania. A jeśli istnieje wiele linków prowadzących do strony, oznaczałoby to, że strona jest popularna i pojawia się wyżej w wynikach wyszukiwania.
Kroki związane z przeszukiwaniem sieci:
- Pająk znajduje witrynę i zaczyna indeksować jej strony.
- Pająk indeksuje słowa i zawartość witryny.
- Pająk odwiedza linki znalezione na stronie.
Pająki lub roboty sieciowe to tylko programy i jako takie przestrzegają systematycznych zasad ustalonych przez programistów. Właściciele witryn internetowych mogą się w to również dowiedzieć, informując pająka, które części witryny mają zostać zindeksowane, a które nie. Odbywa się to poprzez utworzenie pliku „robots.txt”, który zawiera instrukcje dla pająka dotyczące tego, które części do indeksowania i linki do naśladowania, a które należy zignorować. Najbardziej znaczącymi pająkami są te należące do głównych wyszukiwarek, takich jak Google, Bing i Yahoo, oraz przeznaczone do eksploracji danych i badań, ale są też złośliwe pająki, które znajdują i zbierają e-maile, które użytkownik może sprzedać firmom lub znaleźć luki w zabezpieczeniach sieci.
