목록혼자 공부하는 데이터분석 (5)
Ssoon
웹 스크래핑 / 웹 크롤링 프로그램으로 웹사이트의 페이지를 옮겨 가면서 데이터를 추출하는 작업 ✅ 검색 결과 페이지 가져오기 "20대가 가장 좋아하는 도서목록" 을 gdown 패키지로 코랩으로 다운로드 import gdown gdown.download('http://bit.ly/3q9SZix', '20s_best_book.json', quiet=False) 판다스 데이터프레임으로 불러 온 후 head( ) 메서드로 처음 5개 행 출력 import pandas as pd books_df = pd.read_json('20s_best_book.json') books_df.head() 'no' 열 부터 'isbn13' 열 까지만 선택해서 새로운 데이터프레임 생성 데이터프레임에서 특정 열만 선택 : 원하는 열 이..
✅ API 란 Application Programming Interface 두 프로그램이 서로 댛롸하기 위한 방법을 정의한 것 애플리케이션 간의 통신을 위해서는 웹 기반의 API 가 널리 사용 웹 기반 API HTTP 프로토콜을 사용해 API를 만드는 것 주로 CSV, JSON, XML 형태로 데이터를 전달 ✅ 파이썬에서 JSON 데이터 다루기 JSON (JavaScript Object Notation) 파이썬의 딕셔너리 와 리스트를 중첩해 놓은 것과 비슷 코랩에서 JSON 형식으로 파이썬 딕셔너리 생성 웹 기반 API 로 전달할 때는 파이썬 딕셔너리가 아닌 텍스트로 전달 💠 파이썬 객체를 JSON 문자열로 변환하기 : json.dumps( ) 함수 파이썬 json 패키지를 사용 딕셔너리 d 를 JSON..
도서 데이터 찾기 https://www.data.go.kr/ 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 도서관 대출 데이터 https://www.data4library.kr/ 도서관 정보나루 전국 서울 부산 대구 인천 광주 대전 울산 세종 경기 강원 충북 충남 전북 전남 경북 경남 제주 전체 영유아(0~5) 유아(6~7) 초등(8~13) 청소년(14~19) 20대 30대 40대 50대 60대 이상 전체 영유아(남) 영유 www.data4library.kr 도서관별 대출 데이터 확인 남산도서관 대출 데이터 확인 제..
Colab 구글이 대화식 프로그래밍 환경인 jupyter notebook 을 커스터마이징한 것 웹 브라우저에서 파이썬 코드를 작성하고 실행 https://colab.research.google.com/ Google Colaboratory colab.research.google.com 노트북 코드 또는 텍스트의 덩어리 여러 개의 코드 cell 과 텍스트 cell 로 이루어짐 텍스트 cell colab에서 실행할 수 있는 최소 단위 HTML 과 Markdown 을 혼용 코드 cell 파이썬 코드를 입력하고 실행할 수 있는 cell 마지막 라인의 실행 결과를 자동으로 cell 아래에 출력 새로운 코드 cell 추가 일반 프로그램과 노트북의 차이 일반 프로그램 : 숱서대로 실행 > 변수 값이 거꾸로 수정될 수 ..