[Heritrix/crawler-beans.cxml]fetchHttp bean에서 maxLengthBytes 값을 변경하며 테스트

maxLengthBytes 값을 넘는 url을 크롤링 하는 순간 status code=-3(HTTP connect broken) 을 남기고 크롤링 중단됨.

[Heritrix/crawler-beans.cxml]extractorHtml bean에서 maxElementLength 값(1/1024)을 변경하며 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]extractorHtml bean에서 extractJavascript 값을 변경하며 테스트 (script tag 안에 javascript coding) (0)	2016.08.05
[Heritrix/crawler-beans.cxml]fetchProcessors 리스트에서 extractorHttp ref 를 주석 처리 후 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]PrerequisiteAcceptDecideRule 을 class로 참조하는 Bean을 주석처리 후 테스트 (0)	2016.08.05
[Heritrix/crawler-beans.cxml]logToFile 옵션을 true/false 로 놓고 각각 테스트 (0)	2016.08.05