CrawlLimiter

• 이곳에 설정된 제한 값들에 도달하면 크롤링을 중단한다.

기존 설정 값

 <bean id="crawlLimiter" class="org.archive.crawler.framework.CrawlLimitEnforcer">
       <property name="maxBytesDownload" value="0" />       
       <property name="maxDocumentsDownload" value="0" /> <property name="maxTimeSeconds" value="0" />
</bean>

• [property에 대한 설명]
1. maxBytesDownload : 총 다운로드한 byte가 이 값을 초과하면 크롤링이 중단 된다.
2. maxDocumentsDownload : 총 다운로드한 문서의 개수가 이 값을 초과 하면 크롤링이 중단 된다.
3. maxTimeSeconds : 총 크롤링한 시간이 이 값을 초과 하면 크롤링이 중단 된다.