[BackTrack5 R3] Uberharvest

개요

 

Uberharvest는URL (S)를 입력하면, 웹 사이트 및 해당 웹 사이트내의 모든 링크를 통해 유효한 이메일 주소를 크롤링한다. 한번에 여러URL을 포함하는 텍스트 파일을 로드할 수 있다.

Uberharvest는관련 키워드를 무작위로 크롤링 하거나, 사용자가 특정 도메인에 대해서 검색할 수 있도록 설정할 수 있으며, 검색된 결과는 사용자의 화면에 보여주거나 *.txt 또는 *.XML 파일로 저장할 수 있도록 지원한다. 또한 Uberharvest를 이용하여 해당 서버 IP 주소를 메일 교환 (MX) 레코드를 검색하는데 사용할 수 있다. Uberharvest도구는 합법적 인 침투 테스트 목적으로 만들어 졌으며, 자동화하고 좀 더 쉽게 관리할 수있도록 도와준다.

 

Uberharvest특징

 

- 한번에 단일 또는 여러 이메일 주소를검색

- 대상 웹 사이트의 도메인 이름, 해당 도메인의 IP와 지리적 위치를 확인 할 수 있다.

- 메일 교환 (MX) 서버 IP 주소에 대한 대상 웹 사이트를 검색

- 대상 서버가 오픈 릴레이(open-relay ) MX 서버인지 테스트

- 대상 웹 서버의 X-Powered-por 헤더 버전를 확인 할 수 있음

- 익명 프록시 및 다른 사용자 에이전트를사용하는 회피 기술을 사용하여 검색 정보를 제공

- Google검색 엔진을 이용하여 대상 서버 도메인을 검색

- 시간의 효율설을 높이기 위해 이전 입력을재사용 할 수 있도록 기능 제공 (화살표 위 사용)

- 검색 결과를 XML 형식 / XSL 스타일 시트 형식으로 저장 가능

- SSL(Secure Socket Layer) 정보를 확인 할 수 있다.

- WHOIS  정보를 확인 할 수 있다.

테스트 환경 

운영 체제 (OS) : BackTrack5 R3  테스트에 사용된 도구 버전 :  v3.15

 

상세 분석

 

주요 옵션 설명

--load or -l                검색 하고자 하는 웹 사이트 URL이 존재하는 텍스트 파일 지정 --menu or -m             주메뉴 출력 --verbose or -v          자세히 --update or -u           업데이트 --development OR -d  개발 버전 (development version) --mailserver OR -mx    이메일 교환 서버 (MX) 대한 스캔 --relay OR -r             이메일 교환 서버 (MX) 대한 스캔                               -v 옵션과 같이 사용하면, OS fingerprinting 가능 (NMAP 이용) -m or -l and --proxy <IP:SOCKET>  프록시 옵션 사용      (IP-프록시 서버 IP: SOCKET- 해당 IP 주소에 대한 소켓 번호)      (ex : --proxy 192.168.1.1:3128) -m or -l and --random  임의의 User-Agnet 표시.                                 이 기능은 회피 기술로 사용되며, 그 자체 또는 프록시 옵션과 사용하면 더욱                               좋음. 옵션을 선택하면 클롤러는 각 크롤링에 각각 다른 브라우저 User-                               Agent 를 표시 -m or -l and -xml or --xml 결과를 *.XML / *.XSL 스타일 시트로 저장 -m or -l and -phone or --phone  메인 웹 페이지에서 전화번호를 검색 및 확인 -m or -l and -s or --ssl SSL 인증서 정보를 획득 -m or -l and -w or --wordpress Wordpresswebsite                                  웹 사이트의 정보 (fingerprint)를 확인 -gene or --generatedb 새로운 Wordpress / Drupal Database 다시 생성  -gd or --googledig      Google에서 대상 URL에 대한 링크를 가져온다.                                  자체 옵션을 사용하거나 사용자가 링크의 양을 지정할 수 있음                                  (ex : -gd 25) -is or --whois              대상 URL의 Whois 정보를 가져온다. -a or --arin                 대상 URL이 단일 IP 또는 textfile을 스캔하여 ARIN 정보를 가져 온다. -ul -dm -ot <filename/no> -t <target URL>                                   대화 형 메뉴를 사용하지 않고 uberharvest를 로드하는 데 사용

 

가장 기본적인 [-m] 옵션을 사용하여, 본격적으로 Uberharvest의 사용법에 대해서 알아보자.

[-m]옵션은 단일 URL에 대해 이메일 정보를 검색해오는 옵션이다. [-m] 옵션을 적용하여 Uberharvest를 실행시키면 아래와같은 화면을 볼 수 있다. 

위 그림에서 마지막 부분을 자세히 살펴보면,  [Please enter theaddress:]란 부분을 볼 수 있는데 이곳에 대상 URL을 입력한다. 대상 URL을 입력하면 다음과 같이 [QUESTION 1]을 출력해준다.  

[QUESTION1]의 내용을 살펴 보면, 다음과 같다.

 

[Y]es:사용자가 도메인 이름을 지정

[N]o:도구가 임의의 이메일을 검색

 

Yes또는 No 둘 중 하나를 선택해준다. 

 

필자의 경우 Yes를 선택하였으며 Yes를선택할 경우, 사용자가 도메인 이름을 입력해 주는 부분이 나타나게 되는데 여기에  @ example.com과 같은 형식으로도메인 이름을 입력해준다.

도메인 이름을 입력하게 되면, [QUESTION 2]를 출력해준다. 여기서 검색된 결과를 파일로저장할것인지를 선택한다. [Y]es를 선택할 경우 파일로 저장하고,[N]o를 선택할 경우 화면에만 출력해준다.

Yes를선택할 경우 [QUESTION 3]을 출력해 주며, 해당내용은 관심이있는 웹 사이트에 대한 특정 URL 만 검색 할것인지 선택한다.

필자의 경우 Yes를 선택하였으며 [Y]es를선택할 경우 Uberharvest가 해당 웹 사이트에 속하는 링크의 이메일을 검색하며, [N]o를 선택할 경우 Uberharvest가 해당 웹사이트에서참조하는 다른 링크에서도 이메일을 검색한다.

 

기본적인 세팅이 완료되었으면, 아래와 같이 대상 URL에 대해 스캔을 시작한다.

 

Please Wait while process is completed... You can press <CTRL-C> at any time to stop the process and exit.   Found: http://example.com/terms DNS address: example.com --> 'xxx.xxx.xxx.xxx' MX server: smtp.example.com. --> 'xxx.xxx.xxx.xxx' MX server: mailstore1.example.com. --> 'xxx.xxx.xxx.xxx'   Target web server information: Initial Website: http://www.example.com Final Website:  http://example.com/  Response Code: 301 Moved Permanently  Date: Mon, 07 Jan 2013 06 Server: Apache X-Powered-By: PHP/5.2.17 X-Pingback: http Set-Cookie: PHPSESSID=366xxxxxxxxxxxxxxxxx95cf431597dae; path=/ Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=UTF-8   The followings domains were found through Google search engine:   Domain Name: www.example.com --> xxx.xxx.xxx.xxx Domain Name: blog.example.com --> xxx.xxx.xxx.xxx   Geographical location:   Domain: (example.com) in state: (OO) and country: (OO)   Removing duplicate records from file. Please be patient...   The file /pentest/enumeration/uberharvest/output/email.txt  was created.  Please use the cat command to view the file content.     0.57 seconds process time Wait until wrapping up processes and cleanup...   Done! Going bye bye. Come back soon!

 

[QUESTION 2]에서 [Yes]를 선택하였다면, 검색된 결과는 /pentest/enumeration/

uberharvest/output/ 디렉토리에 email.txt 파일로 저장되게 된다.

 

참고로 각 선택화면에서 일정 시간 이상 입력이 이루어 지지 않으면 다음과 같이 uberharvest가 종료가되니 대상 URL 및 어떻게 검색할 것인지 생각해 두는것이 좋을것 같다.

지금까지 uberharvest의 가장기본적인 사용방법에 대해서 알아보았다. 더욱더 많은 정보를 얻고자 한다면, 다양한 옵션을 적용하여 uberharvest를 사용하기 바란다. 

 

참고 URL 및 도서

http://www.ehacking.net/2012/01/uberharvest-email-domain-harvesting.html

http://antisec-security.blogspot.kr/2012/11/ubersec-el-equipo-ubersec-no-trae-esta.html

http://kinomakino.blogspot.kr/2012/11/uberharvestolfateandooooo-webs.html