[node.js] 외부 HTML 소스코드 긁어오기

흔히 웹 크롤링 (Web Crawling), 웹 스크래핑 (Web Scraping) 이라고 한다. node.js 를 이용해 웹의 내용(HTML) 을 그대로 긁어와보자.

$ sudo npm install request

node.js 에서는 request 라는 모듈을 사용한다. 이 모듈을 사용해서 비교적 타언어보다 손쉽게 크롤링을 할 수 있다. 위의 명령어를 리눅스상에서 입력하여, request 모듈을 설치해주자.

var request = require("request");

require 로 모듈 로딩해준다음

var url = "http://naver.com";
request(url, function(error, response, html){
  console.log(html);
});

이런식으로 해주면, 네이버의 html 소스코드가 고대로 콘솔 로그에 출력된다.

You may also like...