[Heritrix/crawler-beans.cxml]URI와 Via URI 사이의 관계 및 alsoCheckVia 옵션 테스트

SurtPrefixedDecideRuleNEW 모듈을 새로 만들어 heritrix_out.log에 각 URI와 그 URI에 대한 Via URI를 찍어 로그로 남기게 함.

via URI는 URI가 발견된 페이지의 URI이다.

따라서 alsoCheckVia 옵션이 true일 시에, 어떤 페이지의 URI가 surt 패턴에 매치된다면, 해당 페이지 안에 있는 링크들은 모두 log에 남는다고 보면 된다.

[Heritrix/crawler-beans.cxml]extractorHtml bean에서 extractJavascript 값을 변경하며 테스트 (script tag 안에 javascript coding) (0)	2016.08.05
[Heritrix/crawler-beans.cxml]fetchHttp bean에서 maxLengthBytes 값을 변경하며 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]fetchProcessors 리스트에서 extractorHttp ref 를 주석 처리 후 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]PrerequisiteAcceptDecideRule 을 class로 참조하는 Bean을 주석처리 후 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]logToFile 옵션을 true/false 로 놓고 각각 테스트 (0)	2016.08.05