생각하는 대로 살자.

[Heritrix/crawler-beans.cxml]PrerequisiteAcceptDecideRule 을 class로 참조하는 Bean을 주석처리 후 테스트

새로운 도메인을 Accept 할 경우 dns:와 robots.txt가 자동으로 ACCEPT 되지 않음.

crawl.log 파일에 seed에 대한 dns:, robots.txt 에 대한 request 기록만 남는다.

[Heritrix/crawler-beans.cxml]extractorHtml bean에서 extractJavascript 값을 변경하며 테스트 (script tag 안에 javascript coding) (0)	2016.08.05
[Heritrix/crawler-beans.cxml]fetchHttp bean에서 maxLengthBytes 값을 변경하며 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]fetchProcessors 리스트에서 extractorHttp ref 를 주석 처리 후 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]logToFile 옵션을 true/false 로 놓고 각각 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]URI와 Via URI 사이의 관계 및 alsoCheckVia 옵션 테스트 (0)	2016.08.05