Spidr

Skript lze spustit na jednu stránku, webové stránky, více domén nebo dokonce non-stop.
Spidr je navržen tak, aby byl rychlý a snadno použitelný

Vlastnosti :.

• Obnovit prohledávací fronty a historii z předchozí relace .
• Vlastní User-Agent řetězce.
• Nastavení Custom proxy serveru.
• HTTPS podporu.


• následujícím způsobem:
• tagy.
• iframe tagů.
• rám značky.
• Cookie chráněných odkazy.
• HTTP 300, 301, 302, 303 a 307 přesměrování.
• Meta-Refresh přesměrování.
• HTTP Basic Auth chráněných odkazy.


• Černá listina nebo bílý-seznam URL založené na:
• URL schématu.
• Název hostitele
• Číslo portu
• Full odkaz
• Prodloužení URL


• Poskytuje call-zády pro:
• Každý navštívil stránky.
• Každý navštívil URL.
• Každý navštívil URL, který odpovídá zadanému vzoru.
• Každý původ a místo určení URI odkazu.
• Každý URL, které se nepodařilo navštívit.


• poskytuje metody akcí na:
• Pozastavit spidering.
• Přeskočit zpracování stránek.
• Přeskočit zpracování odkazů.

Co je nového v této verzi:

• Chytit OpenSSL :: SSL :: SSLError výjimky, kdy zahájila HTTPS Sessions.