본문 바로가기

Python32

[Python] 웹으로 코딩 하자 Jupyter Notebook :: 마이자몽 출처 : https://en.wikipedia.org/wiki/Project_Jupyter Jupyter NotebookJupyter 홈페이지(https://jupyter.org/)의 주피터 노트북(Jupyter Notebook) 정의는 아래와 같다.라이브 코드, 등식, 시각화 및 서술 텍스트가 포함된 문서를 작성하고 공유 할 수있는 오픈 소스 웹 애플리케이션이다. 주로 데이터 정리 및 변환, 수치 시뮬레이션, 통계 모델링, 데이터 시각화, 기계학습 등을 할수 있다. 저는 Jupyter Notebook에 대한 최대 장점은 교육의 편의라고 생각합니다. 특히, 향후 직업과 무관하게 경험을 해보고 싶다거나, 비전공자들을 대상으로 하는 대학교 강의에서 단순 실습 목적으로 교육을 한다면 첫 에디터로 Jupyter.. 2019. 3. 7.

[Python 감정분석] 영어 데이터 전처리 :: 마이자몽 Python 감정 분석 텍스트로 부터 어떠한 주관적인 의견을 뽑아내는 것이 감정분석이다. 기본적으로 train data로 부터 데이터 분석을 하고 test data에 반영을 한다. 주로 긍정/부정 형식의 2진 답변을 반환하여 1/0 또는 1/-1의 값으로 긍정 부정을 판단한다. 각 언어별로 데이터 전처리하는 방법이 조금씩 다르다. 영어 데이터 셋 구하기 데이터 셋을 구하기 위해 참조하기 좋은 사이트에 대한 글이다. https://myjamong.tistory.com/70 이번 글에서는 캐글에서 트위터 감정분석을 위한 데이터 셋을 다운받아 전처리를 해볼거다. https://www.kaggle.com/datasets 해당 사이트에서 sentiment를 검색하면 각종 감정분석을 위한 데이터셋을 제공해준다. 트.. 2019. 2. 9.

[Python] 파이썬 MySQL연동, DB 엑셀 데이터 업로드 다운로드 :: 마이자몽 MySQL 연동 python을 이용해서 MySQL 연동을 해보자. 먼저 pip나 PyCharm 인터프리터 설정으로 pymysql 모듈을 설치해준다. pip install PyMySQL 엑셀파일도 다루어야하기 때문에 openpyxl 모듈이 없다면 마찬가지로 pip를 이용해서 설치해준다. 아래 모듈들을 import 해준다. import pymysql from openpyxl import Workbook from openpyxl import load_workbook 간단한 테스팅을 위해 local에 설치된 MySQL DB에 테이블을 만들어준다. create table test(num int(11), name varchar(10)); 필수적인 부분은 아니지만, 가독성을 위해 CRUD함수들에 사용할 클래스를 하나.. 2019. 1. 6.

[Python] 파이썬 openpyxl 엑셀파일 읽기 쓰기 :: 마이자몽 Python 엑셀파일 읽기 쓰기 Python언어가 자바에 비해 코드가 간단하고 많이 쉽다고 가장 크게 느껴지는 부분중 하나가 엑셀 파일 읽고 쓰는 부분이다. 대부분의 데이터나 수치확인 및 정리하는 업무는 엑셀로 진행을 하게된다. 자바로 코딩해서 엑셀파일을 읽고 쓸때 엄청난 삽질을 한것으로 기억하는데.... 파이썬으로 작업하니... 코드 길이도 그렇고 사용하기도 매우 쉽다. 이래서 파이썬, Python 하나보다.... 파이썬을 배우기 위해 책이 필요하시다면 아래 링크를 확인해주세요! [Python/기초] - [Python] 파이썬 책 추천 비전공자 부터 전문가 까지~ :: 마이자몽 openpyxl 모듈 설치 pip instal을 통해 받거나 PyCharm 인터프리터 설정에서 openpyxl을 받아준다. p.. 2019. 1. 5.

[Python] 파이썬 pip install C++ 에러 해결 :: 마이자몽 Python C++ 에러 파이썬개발 하면서 필요한 모듈을 pip로 설치할려고 하는데.... 아래와같은 에러가 발생한다. error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/ Python C++ 에러 해결 에러에서 말하는 그대로 Microsoft Visual C++ Build Tools를 설치해주면된다. 살짝의 단점은 Visual Studio를 설치해줘야하는데 용량을 좀 차지한다. 아라링크로 https://visualstudio.microsoft.com/ko/downloads/ 커뮤니티 버전으로 설치해준다. 인스.. 2019. 1. 4.

[Python] 파이썬 간단한 워드클라우드 생성 :: 마이자몽 네이버 뉴스 워드클라우드 이전글에서 작성했던 네이버 뉴스 제목크롤링한 내용을 이용해서 형태소분석을 하여 간단한 워드 클라우드를 만들려고한다. 주요 모듈 -BeautifulSoup : 크롤링 -requests : url get request -Twitter : 형태소 분석 -Counter : 형태소 count -WordCloud : 워드클라우드 생성 -matplotlib : 워드클라우드 출력 from bs4 import BeautifulSoup import requests from konlpy.tag import Twitter from collections import Counter from wordcloud import WordCloud import matplotlib.pyplot as plt searc.. 2019. 1. 3.

[Python] 파이썬 윈도우 PyCharm 설치 :: 마이자몽 윈도우 PyCharm 설치PyCharm을 사용하려는 이유는 딱 2가지다.1. 초보자들에게도 사용이 편하다.2. 라이브러리 install이 쉽다. PyCharm 홈페이지를 통해 커뮤니티 버전을 받아준다.https://www.jetbrains.com/pycharm/ 다운받은 인스톨러를 실행해준다. 경로 지정 재부팅 후 PyCharm을 실행해준다. 동의 테마 선택 사용할 플러그인이 없으니 그냥 진행 새로운 프로젝트 생성 프로젝트를 생성할때 어떤 인터프리터를 사용할지 지정해준다.프로젝트 생성 후 설정을 변경해줘도 상관없으나 처음에 만들때 해주자.Existing interpreter를 체크하고,이전 글에서 설치한 아나콘다 파이썬 경로를 지정해준다. 인터프리터가 제대로 적용되었는지 아나콘다 설치시 같이 설치된 모듈.. 2019. 1. 3.

[Python] 파이썬 윈도우 Anaconda 설치 :: 마이자몽 Anaconda 설치이전 글에서 MacOS에서 아나콘다설치하는 글을 썻다.이번에는 윈도우에서 설치 및 개발환경 설정해볼거다. 아나콘다 홈페이지https://www.anaconda.com/download/ 파이썬 언어는 2.X 버전과 3.X버전 호환이 불가능하다.문법자체도 조금씩 달라서 2.X버전을 사용해야할 이유가 없다면 3.X이상 버전 사용을 권장한다. 다운받은 인스톨러로 설치를 진행한다.NExt 동의 전체 유저가 사용하도록 설정 적당한 위치를 지정 따로 환경설정을 하지 않기 위해서 Add Anaconda to the system PATH environment variable 체크 VSCode 설치는 선택에디터를 다루는데 익숙하지 않으면 그냥 PyCharm쓰는것을 권장한다. 설치가 완료되고 환경변수 세.. 2019. 1. 3.

[Python] 파이썬 PyCharm Interpreter 선택 및 모듈 추가 :: 마이자몽 Pycharm Interpreter 선택 Pycharm을 이용하여 설치된 여러 버전의 파이썬을 선택해서 Interpreter로 사용이 가능하다.맥 기준 PyCharm - Preferences... Project - Project Interpreter 선택Project Interpreter 설렉트박스를 이용해서 설치된 파이썬을 선택해준다.선택하면 설치되어 사용가능한 모듈이 나열된다. PyCharm 모듈 설치모듈 설치를 위해 Interpreter선택 후 좌측 하단에 '+'표시 되어있는 버튼을 클릭한다.검색을 통해 원하는 모듈을 선택해주고 좌측 하단 Install Package버튼을 클릭하여 설치해준다. import 자동완성에 install한 모듈이 뜨는것을 확인하여 정상적으로 설치가 되었는지 확인한다. 2019. 1. 1.

[Python] 파이썬 맥OS Pycharm 설치 :: 마이자몽 매OS Pycharm 설치기존에 가벼운 VSCode를 상용해서 Python개발을 진행했다.하지만, pip를 이용해서 모듈을 설치하거나 원하는 버전의 파이썬 인터프리터를 정하는데 번거로움과 문제가 있어 Pycharm을 사용할려고한다.Pycharm설치 전에 Python을 미리 설치해준다. Pycharm 홈페이지를 통해 커뮤니티 버전을 받아준다.https://www.jetbrains.com/pycharm/ Download Now 클릭 Communitiy버전으로 설치 다운받은 설치파일을 통해 설치 진행한다.세팅 임포트 없이 진행 약관 동의 후 진행 default로 진행 테마 선택 후 진행 터미널에서 커맨드를 사용할수도 있으니 체크후 진행 default 진행 설치가 끝났으니 Pycharm을 실행시켜준다.새로운 프.. 2019. 1. 1.

[Python] 파이썬 BeautifulSoup multiprocessing 속도개선 :: 마이자몽 네이버 뉴스 크롤링 페이징 이전글에서 네이버뉴스 한페이지의 제목 크롤링을 진행했다. http://myjamong.tistory.com/42 하지만, 실제로 데이터를 분석할때 필요한 수집데이터는 한페이지가 아니라 여러페이지의 내용을 수집해야한다. 방법은 간단하다. url request요청을 반복문을 통해서 받아와야 한다. 현재 네이버의 url 형식을 보면 page가 아닌 게시글의 시작 지점을 start라는 파라미터로 받아오고 있다. 네이버 뉴스 크롤링 multiprocessing(X) 1번째 게시물부터 300번째까지 총 30번에 걸쳐서 데이터를 받아온다. time모듈을 사용해서 받아오는 시간까지 확인한다. from bs4 import BeautifulSoup import requests import tim.. 2018. 12. 31.

[Python] 파이썬 VSCode Python Run Task 설정 :: 마이자몽 VSCode Python Run Task 설정이전 아나콘다 설치글에서 파이썬 파일 실행하기 위해 python3 파일명 형식으로 쉘스크립트에서 진행하도록 설명을 했다.이번 글에서는 VSCode에서 task.json파일을 만들어 단축키로 해당 명령을 실행할수 있도록 Run Task기능을 사용할거다. Run Task 설정Ctrl + Shift + B 클릭실행할 작업이 없습니다. 작업구성... 클릭 템플렛에서 task.json파일 만들기 클릭 Others 클릭 그러면 task.json파일이 생성된다. task.json파일을 아래와 같이 수정해준다.command가 실행 하는 명령이고 args가 붙는 인자이다.즉, test.py라는 파일을 만들어서 run task를 진행하면 'python3 파일명' 명령어를 터미널.. 2018. 12. 27.

이전 1 2 다음

티스토리툴바