[Python] 파이썬 BeautifulSoup multiprocessing 속도개선

네이버 뉴스 크롤링 페이징

이전글에서 네이버뉴스 한페이지의 제목 크롤링을 진행했다.

http://myjamong.tistory.com/42

하지만, 실제로 데이터를 분석할때 필요한 수집데이터는 한페이지가 아니라 여러페이지의 내용을 수집해야한다.

방법은 간단하다.

url request요청을 반복문을 통해서 받아와야 한다.

현재 네이버의 url 형식을 보면 page가 아닌 게시글의 시작 지점을 start라는 파라미터로 받아오고 있다.

네이버 뉴스 크롤링 multiprocessing(X)

1번째 게시물부터 300번째까지 총 30번에 걸쳐서 데이터를 받아온다.

time모듈을 사용해서 받아오는 시간까지 확인한다.

from bs4 import BeautifulSoup
import requests
import time
search_word = "삼성" #검색어 지정
start = 1
end = 300 #마지막 뉴스 지정
title_list = []

if __name__ == '__main__':
    start_time = time.time()
    while 1:
        if start > end:
            break
        print(start)

        url = 'https://search.naver.com/search.naver?where=news&sm=tab_jum&query={}&start={}'.format(search_word,start)
        req = requests.get(url)

        #정상적인 request 확인
        if req.ok:
            html = req.text
            soup = BeautifulSoup(html,'html.parser')
    
         #뉴스제목 뽑아오기
            titles = soup.select(
                'ul.type01 > li > dl > dt > a'
            )

            #list에 넣어준다
            for title in titles:
                title_list.append(title['title'])
        start += 10
    print(title_list)
    print("실행 시간 : %s초" % (time.time() - start_time))

multiprocessing(X) 결과

대량 30번의 웹페이지 데이터수집으로 300개정도의 데이터를 받아오는데 21초정도가 걸렸다.

너무 느리다.

실제로 데이터를 다룰때는 수만 수십만개의 데이터를 취급하는데 고작 300개의 데이터를 받아오는데 21초나 걸리는 것은 시간낭비다.

네이버 뉴스 크롤링 multiprocessing(O)

아래는 멀티프로세싱을 사용한 코드이다.

multiprocessing의 Pool과 Manager를 사용한다.

Pool

- 값을 process에 분배하여 병렬화하여 함수실행한다.

-map 함수를 사용하여 (함수,함수의 인자로 사용할 값들) 형태의 인자를 사용

Manager

-global값을 공유하기 위하여 Manager 사용

-Manager list를 사용하지 않고 일반 리스트를 사용할 경우 최종 결과값으로 속이 빈 리스트를 출력할것이다.

이는 multiprocessing되면서 같은 global전역 변수를 바라보지 않기때문에 발생하는 현상이다.

Manager의 list함수를 사용하여 모든 프로세스가 Shared된 리스트를 바로보도록 한다.

from bs4 import BeautifulSoup
import requests
import time
from multiprocessing import Pool, Manager
search_word = "삼성" #검색어 지정
end = 300 #마지막 뉴스 지정

#list를 공유 하기 위해
manager = Manager()
title_list = manager.list()

def title_to_list(start):
    global title_list
    #url making
    url = 'https://search.naver.com/search.naver?where=news&sm=tab_jum&query={}&start={}'.format(search_word,start)
    req = requests.get(url)

    #정상적인 request 확인
    if req.ok:
        html = req.text
        soup = BeautifulSoup(html,'html.parser')
    
        #뉴스제목 뽑아오기
        titles = soup.select(
            'ul.type01 > li > dl > dt > a'
        )

        #list에 넣어준다
        for title in titles:
            title_list.append(title['title'])

if __name__ == '__main__':
    start_time = time.time()
    pool = Pool(processes=4) #4개의 프로세스 동시에 작동
    pool.map(title_to_list,range(1,end,10)) #title_to_list라는 함수에 1 ~ end까지 10씩늘려가며 인자로 적용
    print(title_list)
    print("실행 시간 : %s초" % (time.time() - start_time))