๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

2018/122

[Python] ํŒŒ์ด์ฌ BeautifulSoup multiprocessing ์†๋„๊ฐœ์„  :: ๋งˆ์ด์ž๋ชฝ ๋„ค์ด๋ฒ„ ๋‰ด์Šค ํฌ๋กค๋ง ํŽ˜์ด์ง• ์ด์ „๊ธ€์—์„œ ๋„ค์ด๋ฒ„๋‰ด์Šค ํ•œํŽ˜์ด์ง€์˜ ์ œ๋ชฉ ํฌ๋กค๋ง์„ ์ง„ํ–‰ํ–ˆ๋‹ค. http://myjamong.tistory.com/42 ํ•˜์ง€๋งŒ, ์‹ค์ œ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ• ๋•Œ ํ•„์š”ํ•œ ์ˆ˜์ง‘๋ฐ์ดํ„ฐ๋Š” ํ•œํŽ˜์ด์ง€๊ฐ€ ์•„๋‹ˆ๋ผ ์—ฌ๋ŸฌํŽ˜์ด์ง€์˜ ๋‚ด์šฉ์„ ์ˆ˜์ง‘ํ•ด์•ผํ•œ๋‹ค. ๋ฐฉ๋ฒ•์€ ๊ฐ„๋‹จํ•˜๋‹ค. url request์š”์ฒญ์„ ๋ฐ˜๋ณต๋ฌธ์„ ํ†ตํ•ด์„œ ๋ฐ›์•„์™€์•ผ ํ•œ๋‹ค. ํ˜„์žฌ ๋„ค์ด๋ฒ„์˜ url ํ˜•์‹์„ ๋ณด๋ฉด page๊ฐ€ ์•„๋‹Œ ๊ฒŒ์‹œ๊ธ€์˜ ์‹œ์ž‘ ์ง€์ ์„ start๋ผ๋Š” ํŒŒ๋ผ๋ฏธํ„ฐ๋กœ ๋ฐ›์•„์˜ค๊ณ  ์žˆ๋‹ค. ๋„ค์ด๋ฒ„ ๋‰ด์Šค ํฌ๋กค๋ง multiprocessing(X) 1๋ฒˆ์งธ ๊ฒŒ์‹œ๋ฌผ๋ถ€ํ„ฐ 300๋ฒˆ์งธ๊นŒ์ง€ ์ด 30๋ฒˆ์— ๊ฑธ์ณ์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์•„์˜จ๋‹ค. time๋ชจ๋“ˆ์„ ์‚ฌ์šฉํ•ด์„œ ๋ฐ›์•„์˜ค๋Š” ์‹œ๊ฐ„๊นŒ์ง€ ํ™•์ธํ•œ๋‹ค. from bs4 import BeautifulSoup import requests import tim.. 2018. 12. 31.
[Python] ํŒŒ์ด์ฌ VSCode Python Run Task ์„ค์ • :: ๋งˆ์ด์ž๋ชฝ VSCode Python Run Task ์„ค์ •์ด์ „ ์•„๋‚˜์ฝ˜๋‹ค ์„ค์น˜๊ธ€์—์„œ ํŒŒ์ด์ฌ ํŒŒ์ผ ์‹คํ–‰ํ•˜๊ธฐ ์œ„ํ•ด python3 ํŒŒ์ผ๋ช… ํ˜•์‹์œผ๋กœ ์‰˜์Šคํฌ๋ฆฝํŠธ์—์„œ ์ง„ํ–‰ํ•˜๋„๋ก ์„ค๋ช…์„ ํ–ˆ๋‹ค.์ด๋ฒˆ ๊ธ€์—์„œ๋Š” VSCode์—์„œ task.jsonํŒŒ์ผ์„ ๋งŒ๋“ค์–ด ๋‹จ์ถ•ํ‚ค๋กœ ํ•ด๋‹น ๋ช…๋ น์„ ์‹คํ–‰ํ• ์ˆ˜ ์žˆ๋„๋ก Run Task๊ธฐ๋Šฅ์„ ์‚ฌ์šฉํ• ๊ฑฐ๋‹ค. Run Task ์„ค์ •Ctrl + Shift + B ํด๋ฆญ์‹คํ–‰ํ•  ์ž‘์—…์ด ์—†์Šต๋‹ˆ๋‹ค. ์ž‘์—…๊ตฌ์„ฑ... ํด๋ฆญ ํ…œํ”Œ๋ ›์—์„œ task.jsonํŒŒ์ผ ๋งŒ๋“ค๊ธฐ ํด๋ฆญ Others ํด๋ฆญ ๊ทธ๋Ÿฌ๋ฉด task.jsonํŒŒ์ผ์ด ์ƒ์„ฑ๋œ๋‹ค. task.jsonํŒŒ์ผ์„ ์•„๋ž˜์™€ ๊ฐ™์ด ์ˆ˜์ •ํ•ด์ค€๋‹ค.command๊ฐ€ ์‹คํ–‰ ํ•˜๋Š” ๋ช…๋ น์ด๊ณ  args๊ฐ€ ๋ถ™๋Š” ์ธ์ž์ด๋‹ค.์ฆ‰, test.py๋ผ๋Š” ํŒŒ์ผ์„ ๋งŒ๋“ค์–ด์„œ run task๋ฅผ ์ง„ํ–‰ํ•˜๋ฉด 'python3 ํŒŒ์ผ๋ช…' ๋ช…๋ น์–ด๋ฅผ ํ„ฐ๋ฏธ๋„.. 2018. 12. 27.

ํ‹ฐ์Šคํ† ๋ฆฌํˆด๋ฐ”