LoggerModule

 <bean id="loggerModule"
   class="org.archive.crawler.reporting.CrawlerLoggerModule">
  <!-- <property name="path" value="${launchId}/logs" /> -->
  <!-- <property name="crawlLogPath" value="crawl.log" /> -->
  <!-- <property name="alertsLogPath" value="alerts.log" /> -->
  <!-- <property name="progressLogPath" value="progress-statistics.log" /> -->
  <!-- <property name="uriErrorsLogPath" value="uri-errors.log" /> -->
  <!-- <property name="runtimeErrorsLogPath" value="runtime-errors.log" /> -->
  <!-- <property name="nonfatalErrorsLogPath" value="nonfatal-errors.log" /> -->
  <!-- <property name="logExtraInfo" value="false" /> -->
 </bean>

StatisticsTracker

<bean id="statisticsTracker" class="org.archive.crawler.reporting.StatisticsTracker" autowire="byName">
  <!-- <property name="reports">
        <list>
         <bean id="crawlSummaryReport" class="org.archive.crawler.reporting.CrawlSummaryReport" />
         <bean id="seedsReport" class="org.archive.crawler.reporting.SeedsReport" />
         <bean id="hostsReport" class="org.archive.crawler.reporting.HostsReport" />
         <bean id="sourceTagsReport" class="org.archive.crawler.reporting.SourceTagsReport" />
         <bean id="mimetypesReport" class="org.archive.crawler.reporting.MimetypesReport" />
         <bean id="responseCodeReport" class="org.archive.crawler.reporting.ResponseCodeReport" />
         <bean id="processorsReport" class="org.archive.crawler.reporting.ProcessorsReport" />
         <bean id="frontierSummaryReport" class="org.archive.crawler.reporting.FrontierSummaryReport" />
         <bean id="frontierNonemptyReport" class="org.archive.crawler.reporting.FrontierNonemptyReport" />
         <bean id="toeThreadsReport" class="org.archive.crawler.reporting.ToeThreadsReport" />
        </list>
       </property> -->
  <!-- <property name="reportsDir" value="${launchId}/reports" /> -->
  <!-- <property name="liveHostReportSize" value="20" /> -->
  <!-- <property name="intervalSeconds" value="20" /> -->
  <!-- <property name="keepSnapshotsCount" value="5" /> -->
 </bean>

DiskSpaceMonitor

• 특정 path의 disk 공간이 최소 임계값 아래로 떨어지면 크롤링을 중단하게 끔, 디스크 공간을 모니터링 하는 모듈
  path가 네트워크를 통해 연결된 저장공간이라면(network attached storage) 종종 공간이 남아있더라도 잘못 판단하는 경우가 있다.

기존 설정 값

• [property에 대한 설명]
1. pauseThresholdMiB : 모니터링 중인 path에 남아있어야 하는 최소 공간을 설정해준다.
2. monitorConfigPaths : true인 경우 Heritrix의 모든 설정 path경로들을 포함하여 모니터링한다.
3. monitorPaths : 모니터링할 경로를 적어준다.

CheckpointService

• checkpoint에 관련한 사항을 관리하는 모듈이다.

기존 설정 값

 <bean id="checkpointService" 
   class="org.archive.crawler.framework.CheckpointService">
  <!-- <property name="checkpointIntervalMinutes" value="-1"/> -->
  <!-- <property name="checkpointsDir" value="checkpoints"/> -->
  <!-- <property name="forgetAllButLatest" value="true"/> -->
 </bean>

• [property에 대한 설명]
1. checkpointIntervalMinutes : 자동으로 checkpoint를 생성하도록 할 때 그 텀을 설정한다. '-1'은 자동으로 checkpoint를 생성하지 않겠다는 뜻이다.
2. checkpointsDir : checkpoint 정보를 저장할 디렉토리 설정
3. forgetAllButLatest : true 시에 오직 가장 최근의 checkpoint만 저장한다.

CrawlLimiter

• 이곳에 설정된 제한 값들에 도달하면 크롤링을 중단한다.

기존 설정 값

 <bean id="crawlLimiter" class="org.archive.crawler.framework.CrawlLimitEnforcer">
       <property name="maxBytesDownload" value="0" />       
       <property name="maxDocumentsDownload" value="0" /> <property name="maxTimeSeconds" value="0" />
</bean>

• [property에 대한 설명]
1. maxBytesDownload : 총 다운로드한 byte가 이 값을 초과하면 크롤링이 중단 된다.
2. maxDocumentsDownload : 총 다운로드한 문서의 개수가 이 값을 초과 하면 크롤링이 중단 된다.
3. maxTimeSeconds : 총 크롤링한 시간이 이 값을 초과 하면 크롤링이 중단 된다.