본문 바로가기

Python52

[Python 감정분석] 영어 데이터 전처리 :: 마이자몽 Python 감정 분석텍스트로 부터 어떠한 주관적인 의견을 뽑아내는 것이 감정분석이다.기본적으로 train data로 부터 데이터 분석을 하고 test data에 반영을 한다.주로 긍정/부정 형식의 2진 답변을 반환하여 1/0 또는 1/-1의 값으로 긍정 부정을 판단한다.각 언어별로 데이터 전처리하는 방법이 조금씩 다르다. 영어 데이터 셋 구하기데이터 셋을 구하기 위해 참조하기 좋은 사이트에 대한 글이다.https://myjamong.tistory.com/70 이번 글에서는 캐글에서 트위터 감정분석을 위한 데이터 셋을 다운받아 전처리를 해볼거다.https://www.kaggle.com/datasets 해당 사이트에서 sentiment를 검색하면 각종 감정분석을 위한 데이터셋을 제공해준다. 트위터 글에 대.. 2019. 2. 9.
[Python 기초(3)] 입력과 출력 :: 마이자몽 Python 기초3 : 입력과 출력 Python 입력변수에 값을 입력 받아 출력한다.실제 운영되는 웹이나 프로그램에서는 폼에 입력받은 값을 변수에 담아 사용하지만,초보자인 우리는 직접 터미널창에 값을 입력하여 코딩을 할것이다.알고리즘 문제나, 간단한 프로그램을 작성하기 위해 input 함수를 사용한다. 12fruit = input('과일 이름을 입력 : ')print(fruit)cs 결과 초록색으로 출력된 부분은 직접 터미널에서 입력한 내용이다. Python 출력우리가 작성한 코드 내용 및 결과물을 확인하기 위해 print 함수를 이용해서 터미널에 출력하는 작업이 필요하다.코드 내용 및 작업 중간에 변수값을 확인하거나 결과를 확인할 때 사용한다. 1. ',' or '+' 이용print 함수에 구분자를 '.. 2019. 2. 4.
[Python 기초(2)] 변수와 자료형 :: 마이자몽 Python 기초2 : 변수와 자료형 Python 변수1. 변수란?변수는 프로그램이 돌아가는 동안 자료를 담아두는 공간이다.특정한 공간에 데이터를 저장하는 개념이라"A 는 1이다." 보다는 "A에 1을 대입한다."의 느낌으로 접근해야한다.파이썬 뿐만아니라 모든 프로그래밍 언어에서 변수를 사용하지만, 각 언어별로 변수를 선언하는데 규칙이 조금 씩 다르다. 2. 변수 선언 규칙 변수 선언 예시1my_introduction = 'Hello My Name is MyJamong'cs'my_introduction' 이라는 변수에 'Hello My Name is MyJamong'이라는 문자열을 대입 했다. 1. '=' 기호를 사용해서 지정한 변수에 값을 대입한다.2. 변수 명에 공백을 사용할 수 없고 변수 명의 시작.. 2019. 2. 4.
[Python 기초(1)] 교육용 언어 비전공자도 할수 있는 파이썬? :: 마이자몽 왜 파이썬인가? '파이썬'이란 언어가 업계 분야 상관없이 자주 언급이 되면서, 전공자들 뿐만아니라 비전공자들 사이에서도 인기가 급상승했다. 필자도 비전공자 출신으로 시작은 자바로 코딩을 했지만, 항상 파이썬에 대한 관심은 매우 높았고, 현재도 계속 공부를 하는 중이다. 그렇다면 왜 파이썬인지 부터 알아보기전에 "왜 프로그래밍을 배워야할까?" 라는 의문 부터 생각해보자.오바마 전 미국 대통령님께서 프로그래밍 교육의 중요성에 대해 연설한 적이 있다. 연설의 중점은 생각하는 방법을 기르기 위해 프로그래밍을 배워야한다는 내용이다. 이 후 진로와 상관없이 어린나이부터 생각하는 사고와 방법을 길러주기 위해 프로그래밍을 교육하는 학교 및 외부 학원들이 늘어났다. 프로그래밍 교육열이 늘어나면서 교육자 입장에서는 교육을.. 2019. 2. 4.
[로또 분석] 이전 회차 번호 출현 비율? :: 마이자몽 로또 이전 회차 번호 출현로또 당첨번호 번호가 이전 회차 당첨번호와 연관이 있을까?이전회차 번호들이 해당 회차에 다시 얼마나 출현하는지 확인 해보고싶어서 파이썬을 이용해서 통계를 내보았다. 해당 글은 이전에 작성한 로또 분석글들과 코드를 같이 사용한다.사전에 몽고디비에 로또 정보를 INSERT하고 SELECT를 진행하는 함수들이 작성 완료되어 있어야한다.몽고디비 INSERT : http://myjamong.tistory.com/58로또정보 SELECT : http://myjamong.tistory.com/60코드 작성 중 누락된 부분은 이전 글에서 확인한다. 몽고디비 연결 & 필요한 데이터 SELECT몽고DB 연결,하나의 지정회차 로또 당첨 정보 그리고 지정회차 이전 N회 당첨정보를 읽어오는 함수를 사용.. 2019. 1. 20.
[로또 분석] 로또 당첨번호 빈도수 시각화 :: 마이자몽 당첨번호 빈도수 시각화로또 분석을 어떤 방법으로 접근해야하는지 고민을 해보면 가장 먼저 어떤 숫자가 몇번 나왔는지가 알고 싶을 것이다.이전 글에서 원하는 데이터를 가공 했다면, 이번 글에서는 가공된 데이터를 이용해서 시각화를 진행해 볼려고 한다.시각화는 막대그래프 하나와 테이블 하나를 만들것이다. -테이블해당 데이터에 어떤 번호가 몇번 등장했는지 확인 -막대 그래프출현 빈도수(X) 대 번호 갯수(Y) 해당 글의 코드는 몽고DB에 로또 데이터 추가(http://myjamong.tistory.com/58)와로또 데이터 가공(http://myjamong.tistory.com/60)을 진행한 후 작성한 코드이다. 모듈 import1234567from pymongo import MongoClientfrom pym.. 2019. 1. 14.
[로또 분석] 로또API 이용 DataFrame으로 당첨 정보 가공 :: 마이자몽 로또 당청정보 가공이전 글에서 로또 API를 이용해서 MondoDB안에 데이터를 수집하는 작업을 했다.http://myjamong.tistory.com/58 이번글에서는 분석작업을 하기 편하게 DB안의 데이터를 원하는 방식으로 읽어와 DataFrame에 넣는 작업을 진행할거다. 필요할것 같은 조건으로 DB에 있는 데이터를 불러오는 함수를 미리 만든다. -전체 로또 당첨 정보 -지정 회차 로또 당첨 정보 -최근 n회 로또 당첨 정보 -특정 회차 이전 n회 로또 당첨 정보 -특정 회차 이후 n회 로또 당첨 정보 -2개 회차 사이의 로또 당첨 정보 필요한 모듈MongoDB를 사용하기 위해 pymongoDataFrame을 사용하기 위해 pandas123from pymongo import MongoClientfr.. 2019. 1. 13.
[로또 분석] 로또API 이용 pymongo로 당첨 정보 수집 :: 마이자몽 로또 분석 준비로또 분석을 할 수 있는 방법은 여러가지가 있다.필자는 api로 당첨 정보를 MongoDB에 담아 Python을 이용해서 분석을 시도해볼려고한다. 로또 API아래의 링크 형식으로 정보를 JSON데이터로 받아온다https://www.nlotto.co.kr/common.do?method=getLottoNumber&drwNo=회차번호 함수를 만들어 json정보를 dictionary형식으로 return하도록 한다.123456789101112import requests def get_request_by_episode(episode): params = { 'method': 'getLottoNumber', 'drwNo': episode } # verify=False SSL 무시 req = request.. 2019. 1. 11.
[Python] 파이썬 Selenium 로딩까지 대기하기 :: 마이자몽 Selenium 로딩 대기크롤링을 하다보면 로딩 시간 보다 먼저 html문서를 읽어와 예상과는 다른 데이터를 받아오는 경우가 있다.Selenium으로 로딩을 대기해서 크롤링을 할수 있도록 해보자. 스코어보드라는 사이트에서 각 시즌별 경기 결과 및 세부 내용까지 긁어올 예정이다.https://www.scoreboard.com/kr/soccer/england/premier-league-2017-2018/results/ 요약정보 세부정보아래 통계 내용과 선발 및 대기 선수들까지 모아본다. 시즌별 페이지 request많은 데이터 수집을 위해 함수를 만들어서 get request 하도록 한다.1234567from selenium import webdriver def get_by_season(start_season.. 2019. 1. 7.
[Python] 파이썬 MySQL연동, DB 엑셀 데이터 업로드 다운로드 :: 마이자몽 MySQL 연동python을 이용해서 MySQL 연동을 해보자.먼저 pip나 PyCharm 인터프리터 설정으로 pymysql 모듈을 설치해준다.1pip install PyMySQLcs 엑셀파일도 다루어야하기 때문에 openpyxl 모듈이 없다면 마찬가지로 pip를 이용해서 설치해준다.아래 모듈들을 import 해준다.123import pymysqlfrom openpyxl import Workbookfrom openpyxl import load_workbookcs 간단한 테스팅을 위해 local에 설치된 MySQL DB에 테이블을 만들어준다.1create table test(num int(11), name varchar(10));cs 필수적인 부분은 아니지만, 가독성을 위해 CRUD함수들에 사용할 클래스를.. 2019. 1. 6.