[Heritrix/crawler-beans.cxml]configPathConfigure

212.Heritrix_설정파일/11. REQUIRED STANDARD BEANS 2016. 8. 10. 14:22

ConfigPathConfigure

• crawler-beans.cxml 파일로부터의 상대 경로를 계산하여 주관하는 helper이다. web UI를 위해 크롤링에 관련된 파일들을 추적하는 역할도 한다.

기존 설정 값

 <bean id="configPathConfigurer"
   class="org.archive.spring.ConfigPathConfigurer">
 </bean>


저작자표시 비영리

'212.Heritrix_설정파일 > 11. REQUIRED STANDARD BEANS' 카테고리의 다른 글

[Heritrix/crawler-beans.cxml]serverCache  (0) 2016.08.10
[Heritrix/crawler-beans.cxml]cookieStorage  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]bdb  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]sheetOverlaysManager  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]loggerModule  (0) 2016.08.05
Posted by Righ
,

[Heritrix/crawler-beans.cxml]serverCache

212.Heritrix_설정파일/11. REQUIRED STANDARD BEANS 2016. 8. 10. 14:21

ServerCache

• BDB모듈의 매핑 기능을 지원 받는 ServerCache

기존 설정 값

 <bean id="serverCache"
   class="org.archive.modules.net.BdbServerCache">
  <!-- <property name="bdb">
        <ref bean="bdb"/>
       </property> -->
 </bean>

•[property에 대한 설명]

1.bdb : bdb 모듈 지정


저작자표시 비영리

'212.Heritrix_설정파일 > 11. REQUIRED STANDARD BEANS' 카테고리의 다른 글

[Heritrix/crawler-beans.cxml]configPathConfigure  (0) 2016.08.10
[Heritrix/crawler-beans.cxml]cookieStorage  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]bdb  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]sheetOverlaysManager  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]loggerModule  (0) 2016.08.05
Posted by Righ
,

[Heritrix/crawler-beans.cxml]cookieStorage

212.Heritrix_설정파일/11. REQUIRED STANDARD BEANS 2016. 8. 5. 21:36
CookieStorage
•디스크 기반의 FetchHTTP의 쿠키 저장소
즉 크롤 데이터가 ram 이 아닌 cookie에 저장된다.

기존 설정 값
 <bean id="cookieStorage"
   class="org.archive.modules.fetcher.BdbCookieStorage">
  <!-- <property name="cookiesLoadFile"><null/></property> -->
  <!-- <property name="cookiesSaveFile"><null/></property> -->
  <!-- <property name="bdb">
        <ref bean="bdb"/>
       </property> -->
 </bean>

•[property에 대한 설명]
1.cookiesLoadFile : 로딩할 cookie 파일 경로 및 이름
2.cookiesSaveFile : 저장할 cookie 파일 경로 및 이름

3.bdb : 사용할 bdb 모듈 지정


저작자표시 비영리

'212.Heritrix_설정파일 > 11. REQUIRED STANDARD BEANS' 카테고리의 다른 글

[Heritrix/crawler-beans.cxml]configPathConfigure  (0) 2016.08.10
[Heritrix/crawler-beans.cxml]serverCache  (0) 2016.08.10
[Heritrix/crawler-beans.cxml]bdb  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]sheetOverlaysManager  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]loggerModule  (0) 2016.08.05
Posted by Righ
,

[Heritrix/crawler-beans.cxml]bdb

212.Heritrix_설정파일/11. REQUIRED STANDARD BEANS 2016. 8. 5. 21:34

Bdb

• 공유 Berkeley DB Java Edition 환경을 관리하기위한 유틸리티 모듈

기존 설정 값

 <bean id="bdb"
  class="org.archive.bdb.BdbModule">
  <!-- <property name="dir" value="state" /> -->
  <!-- if neither cachePercent or cacheSize are specified (the default), bdb
       uses its own default of 60% -->
  <!-- <property name="cachePercent" value="0" /> -->
  <!-- <property name="cacheSize" value="0" /> -->
  <!-- <property name="useSharedCache" value="true" /> -->
  <!-- <property name="expectedConcurrency" value="25" /> -->
 </bean>
• [property에 대한 설명]
1.dir : bdb 모듈의 서브 디렉토리 경로
2.cachePercent : bdb 모듈이 사용할 cache 비율. cacheSize 값이 설정되어 있으면 이 값은 무시한다.
3.cacheSize : bdb 모듈이 사용할 cacheSize
4.useSharedCache : 공유 cache를 이용할 것인지에 대한 여부.

5.expectedConcurrency : 동시에 실행될 스래드의 추정 개수.


저작자표시 비영리

'212.Heritrix_설정파일 > 11. REQUIRED STANDARD BEANS' 카테고리의 다른 글

[Heritrix/crawler-beans.cxml]serverCache  (0) 2016.08.10
[Heritrix/crawler-beans.cxml]cookieStorage  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]sheetOverlaysManager  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]loggerModule  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]statisticsTracker  (0) 2016.08.05
Posted by Righ
,

[Heritrix/crawler-beans.cxml]sheetOverlaysManager

212.Heritrix_설정파일/11. REQUIRED STANDARD BEANS 2016. 8. 5. 21:32

SheetOverlaysManager

• Surt 규칙에 대한 rule을 덮어 쓸 수 있도록, sheet에 덮어쓸 규칙을 생성하면 자동으로 연결 시켜 주는 모듈

기존 설정 값

 <bean id="sheetOverlaysManager" autowire="byType"
   class="org.archive.crawler.spring.SheetOverlaysManager">
 </bean>


저작자표시 비영리

'212.Heritrix_설정파일 > 11. REQUIRED STANDARD BEANS' 카테고리의 다른 글

[Heritrix/crawler-beans.cxml]serverCache  (0) 2016.08.10
[Heritrix/crawler-beans.cxml]cookieStorage  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]bdb  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]loggerModule  (0) 2016.08.05
[Heritrix/crawler-beans.cxml]statisticsTracker  (0) 2016.08.05
Posted by Righ
,

티스토리툴바