reppy 0.1.0

reppy začal z nedostatku podpory memoization v jiných robots.txt analyzátorů se vyskytly, a nedostatku podpory pro Crawl-zpoždění a Sitemap ve vestavěné v robotparser. Odpovídající Tento balík podporuje RFC 1996, stejně jako další běžně realizované...