[Heritrix/crawler-beans.cxml]FETCH CHAIN-fetchDns

FetchDns

• 'dns:' URI들을 관장하는 processor

기존 설정 값

<bean id="fetchDns" class="org.archive.modules.fetcher.FetchDNS">
  <!-- <property name="acceptNonDnsResolves" value="false" /> -->
  <!-- <property name="digestContent" value="true" /> -->
  <!-- <property name="digestAlgorithm" value="sha1" /> -->
 </bean>

• [property에 대한 설명]
1. acceptNonDnsResolves : DNS lookup이 실패했을 경우 대비책을 적용할 것인지에 대한 여부. 로컬의 hosts 파일을 읽는다거나 다른 메커니즘을 따른다.
2. digestContent : 응답으로 회수된 content-body를 바로 해싱할 것인지에 대한 여부
3. digestAlgorithm : 위 해싱 알고리즘을 적어줌