복구 과정.

Heritrix를 구동 중 강제로 kill -9 명령어를 통하여 종료 시켰다. 
그 후 강제 종료 되었던 크롤링 job의 logs 폴더 아래에서 frontier.recover.gz file을 복사해서 새로 복구 시도 할 job의 폴더 아래 action 폴더에 옮겨 놓음

그후 launch 하면 action 폴더 아래에 done이라는 폴더가 자동 생성되며 복구가 끝날 시에 이 파일을 done 아래로 옮긴다. 이 파일은 각 크롤링 회차 폴더 아래 actions-done 폴더 아래로 symbolic link 가 걸린다.


Posted by Righ
,