본문 바로가기

Python/Python 실전10

[개발로그 Python] 가상환경 venv 사용해서 여러 형상 사용(intellij) 가상환경은 왜 사용할까? 회사내에 Python을 이용한 프로젝트가 많습니다. 2. 대 버전을 사용하는 프로젝트도 있고 3. 대 버전을 사용하는 프로젝트도 있습니다. 만약 각 프로젝트가 개별적으로 서로 하나의 서버를 사용해서 서비스되고 있다면 설치된 Python 인터프리터 하나만 사용해도 되기 때문에 큰 문제가 없을 것 입니다. 그런데 만약 하나의 서버에 여러 프로젝트가 서비스되고 있고 설치된 Python 인터프리터만 사용하면 어떤 문제가 발생할까요? 3가지 프로젝트가 하나의 서버에서 운영되고 있는 경우... Project3의 경우 3.8 버전을 사용하는 프로젝트는 하나밖에 없기 때문에 현재의 시점에서는 문제가 없지만... Python 3.9 버전을 사용하는 Project1과 Project2의 경우 호환성.. 2021. 6. 15.
[Pandas] 판다스 Dataframe 생성 치트시트 활용 Cheat Sheet Pandas 판다스파이썬 데이터 분석을 목적으로 공부를 하면 Pandas라는 모듈을 사용하게된다.Pandas의 사용목적은 많은 양의 데이터를 빠른 속도로 처리하기 위해 사용된다.여태껏 데이터는 주로 엑셀을 활용하여 처리되었다. 이전까지는 많은 양의 데이터가 없었기 때문에 굳이 다른 프로그램 보다는 사용하기 편리한 엑셀을 활용했다. 이제는 엑셀로 처리하기에는 너무 많은 데이터가 요구된다. 대량의 데이터를 다룰때 속도가 느린 엑셀보다 파이썬을 활용하여 처리를 하게될것이다. Pandas Cheat SheetPandas 공식 홈페이지에서 Pandas 모듈의 사용법을 쉽게 볼 수 있는 Cheat Sheet을 제공해준다. 해당 시트만 제대로 공부한다면 데이터 분석의 가장 기본인 데이터 가공 및 전처리 작업하는데 많.. 2019. 7. 14.
[Python 감정분석] 영어 데이터 벡터화 :: 마이자몽 데이터 벡터화이번 글에서는 이전 전치리 작업한 텍스트 데이터를 벡터화시키는 작업을 진행할 것이다.전처리 과정은 아래 링크 참조https://myjamong.tistory.com/77 텍스트를 컴퓨터가 알아보기 쉽게 사전작업을 진행해주는 것이다.문장의 단어를 counting해서 배열안에 count된 수를 넣어주는 작업Bag Of Words Model 참조 데이터 전처리 작업 코드12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758from multiprocessing import Poolimport pandas as pdimport reimport timeimport n.. 2019. 2. 9.
[Python 감정분석] 영어 데이터 전처리 :: 마이자몽 Python 감정 분석텍스트로 부터 어떠한 주관적인 의견을 뽑아내는 것이 감정분석이다.기본적으로 train data로 부터 데이터 분석을 하고 test data에 반영을 한다.주로 긍정/부정 형식의 2진 답변을 반환하여 1/0 또는 1/-1의 값으로 긍정 부정을 판단한다.각 언어별로 데이터 전처리하는 방법이 조금씩 다르다. 영어 데이터 셋 구하기데이터 셋을 구하기 위해 참조하기 좋은 사이트에 대한 글이다.https://myjamong.tistory.com/70 이번 글에서는 캐글에서 트위터 감정분석을 위한 데이터 셋을 다운받아 전처리를 해볼거다.https://www.kaggle.com/datasets 해당 사이트에서 sentiment를 검색하면 각종 감정분석을 위한 데이터셋을 제공해준다. 트위터 글에 대.. 2019. 2. 9.
[로또 분석] 이전 회차 번호 출현 비율? :: 마이자몽 로또 이전 회차 번호 출현로또 당첨번호 번호가 이전 회차 당첨번호와 연관이 있을까?이전회차 번호들이 해당 회차에 다시 얼마나 출현하는지 확인 해보고싶어서 파이썬을 이용해서 통계를 내보았다. 해당 글은 이전에 작성한 로또 분석글들과 코드를 같이 사용한다.사전에 몽고디비에 로또 정보를 INSERT하고 SELECT를 진행하는 함수들이 작성 완료되어 있어야한다.몽고디비 INSERT : http://myjamong.tistory.com/58로또정보 SELECT : http://myjamong.tistory.com/60코드 작성 중 누락된 부분은 이전 글에서 확인한다. 몽고디비 연결 & 필요한 데이터 SELECT몽고DB 연결,하나의 지정회차 로또 당첨 정보 그리고 지정회차 이전 N회 당첨정보를 읽어오는 함수를 사용.. 2019. 1. 20.
[로또 분석] 로또 당첨번호 빈도수 시각화 :: 마이자몽 당첨번호 빈도수 시각화로또 분석을 어떤 방법으로 접근해야하는지 고민을 해보면 가장 먼저 어떤 숫자가 몇번 나왔는지가 알고 싶을 것이다.이전 글에서 원하는 데이터를 가공 했다면, 이번 글에서는 가공된 데이터를 이용해서 시각화를 진행해 볼려고 한다.시각화는 막대그래프 하나와 테이블 하나를 만들것이다. -테이블해당 데이터에 어떤 번호가 몇번 등장했는지 확인 -막대 그래프출현 빈도수(X) 대 번호 갯수(Y) 해당 글의 코드는 몽고DB에 로또 데이터 추가(http://myjamong.tistory.com/58)와로또 데이터 가공(http://myjamong.tistory.com/60)을 진행한 후 작성한 코드이다. 모듈 import1234567from pymongo import MongoClientfrom pym.. 2019. 1. 14.
[로또 분석] 로또API 이용 DataFrame으로 당첨 정보 가공 :: 마이자몽 로또 당청정보 가공이전 글에서 로또 API를 이용해서 MondoDB안에 데이터를 수집하는 작업을 했다.http://myjamong.tistory.com/58 이번글에서는 분석작업을 하기 편하게 DB안의 데이터를 원하는 방식으로 읽어와 DataFrame에 넣는 작업을 진행할거다. 필요할것 같은 조건으로 DB에 있는 데이터를 불러오는 함수를 미리 만든다. -전체 로또 당첨 정보 -지정 회차 로또 당첨 정보 -최근 n회 로또 당첨 정보 -특정 회차 이전 n회 로또 당첨 정보 -특정 회차 이후 n회 로또 당첨 정보 -2개 회차 사이의 로또 당첨 정보 필요한 모듈MongoDB를 사용하기 위해 pymongoDataFrame을 사용하기 위해 pandas123from pymongo import MongoClientfr.. 2019. 1. 13.
[로또 분석] 로또API 이용 pymongo로 당첨 정보 수집 :: 마이자몽 로또 분석 준비로또 분석을 할 수 있는 방법은 여러가지가 있다.필자는 api로 당첨 정보를 MongoDB에 담아 Python을 이용해서 분석을 시도해볼려고한다. 로또 API아래의 링크 형식으로 정보를 JSON데이터로 받아온다https://www.nlotto.co.kr/common.do?method=getLottoNumber&drwNo=회차번호 함수를 만들어 json정보를 dictionary형식으로 return하도록 한다.123456789101112import requests def get_request_by_episode(episode): params = { 'method': 'getLottoNumber', 'drwNo': episode } # verify=False SSL 무시 req = request.. 2019. 1. 11.
[Python] 파이썬 간단한 워드클라우드 생성 :: 마이자몽 네이버 뉴스 워드클라우드이전글에서 작성했던 네이버 뉴스 제목크롤링한 내용을 이용해서 형태소분석을 하여 간단한 워드 클라우드를 만들려고한다. 주요 모듈-BeautifulSoup : 크롤링 -requests : url get request-Twitter : 형태소 분석-Counter : 형태소 count-WordCloud : 워드클라우드 생성-matplotlib : 워드클라우드 출력 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778from bs4 import BeautifulSoupimport r.. 2019. 1. 3.
[Python] 파이썬 BeautifulSoup 웹 크롤링 :: 마이자몽 BeautifulSoup & 크롤링 크롤링은 웹페이지에 접근하여 html문서의 태그와 속성들을 이용해서 필요한 데이터들을 수집하는 행위이다.BeautifulSoup는 크롤링을 쉽게 할수 있도록 사용되는 모듈이다. url에 접근하기 위해 requests 모듈과크롤링을 하기위해 BeautifulSoup를 사용할것이다. 12from bs4 import BeautifulSoupimport requestscs 네이버 뉴스 크롤링이번 글에서는 네이버 검색으로 뉴스 카테고리의 제목을 수집할거다.크롤링을 위해 꼭 필요한 정보가 2가지있다.url 파라미터와 필요한 데이터의 html태그 속성이다. 크롤링이 아직은 이 두가지 정보에 의해 작동되기 때문에 아쉽지만 언젠가는 필자가 작성한 코드는 무용지물이 된다.이유는 url파.. 2018. 12. 31.