판매 결과 예측 가능 할까?

데이터 찾기

원하는 정보(문제에 맞는 데이터)가 없는 상황이 많다. 이럴 때는 어느 정도 비슷한 데이터를 찾을 수 없는지 생각해봐야 한다. "공개 데이터 세트" 찾아보거나 데이터 과학과 관련된 온라인 포럼에 질문을 올려서 도움을 요청할 수 있다.

 

공공데이터포털

공공데이터 포털

도서관 정보나루

도서관 정보나루

 

제공포맷 : CSV, 엑셀, API 제공

• CSV 파일

몇 가지 필드를 쉼표(,)로 구분한 텍스트 데이터 및 텍스트 파일이다. 확장자는 .csv이며 MIME 형식은 text/csv이다. comma-separated variables라고도 한다.

한줄을 "레코드", 콤마로 구분된  부분을 "필드"라 한다.

• 엑셀 파일

표 형식으로 데이터의 조직, 분석, 저장을 가능케 하는 상호작용 컴퓨터 애플리케이션이다

---

코랩에서 데이터 확인하기

https://research.google.com/colaboratory/

https://research.google.com/colaboratory/

다운로드 받은 데이터를 코랩에 등록 해주면 된다.

 

원하는 파일을 오른쪽 클릭 하여 아래와 같이 경로를 복사해 준다

인코딩 확인

import chardet # 인코딩 확인하는 패키지

with open('/content/BestLoanList_20231112025154.csv', mode='rb') as f:
  d = f.readline()
  print(chardet.detect(d))

인코딩 형식 지정하기

import chardet # 인코딩 확인하는 패키지

with open('/content/BestLoanList_20231112025154.csv', encoding="EUC-KR") as f:
  print(f.readline())
  print(f.readline())
  print(f.readline())
  print(f.readline())
  print(f.readline())

 

판다스 도구로 읽는 것이 편리하나, 큰 파일일 경우 오랜 시간이 걸리므로 파이썬의 open(), readline() 메서드로 몇 줄만 출력해서 파일의 내용을 확인하는게 좋을 수 있다.

파일명이 한글인데 인식을 못할 경우
NFC, NFD 방식 중 맥 OS, 주피터 등 일부는 NFD 방식으로 한글 저장 됨 이럴때는 NFC 방식으로 전환하여 파일을 읽어야 함.

import os
import glob
import unicodedata
for filename in glob.glob("*.csv"): # csv확장자를 여러개 있으면 다 불러와서 filename에 담아서 for문을 돌린다.
    nfc_filename = unicodedata.normalize('NFC', filename) # 불러온 파일을 NFC로 바꺼서nfc_filename객체전환
    os.rename(filename, nfc_filename)  # NFC 전환된 파일로 다시 저장

---

판다스 사용해보기

판다스는 CSV 파일을 읽어 "데이터프레임"이라는 표 형식 데이터로 저장함.

import pandas as pd
#df = pd.read_csv('/content/BestLoanList_20231112025154.csv', encoding='EUC-KR', low_memory=False) # 큰 데이터는 메모리 부족하여 오류 발생 가능성 있음, dtype 매개변수로 문제 해결
df = pd.read_csv('/content/BestLoanList_20231112025154.csv', encoding='EUC-KR',
                 dtype={'ISBN':str,'세트 ISBN':str,'주제분류번호':str})
df.head()

# csv파일로 저장
df.to_csv("ns_test.csv", index=False)

#엑셀저장, xlswriter 패키지 사용하여 한글 데이터 오류발생 방지
# xslwriter 없을 경우 pip install xslwriter 설치 후 실행
df.to_excel("ns_test.xlsx", index=False, engine='xlsxwriter')

---

 

---

공개 데이터 세트 대표 사이트

공공데이터포털

공공데이터 포털

통합 데이터 지도

통합 데이터지도 – 공공 민간 빅데이터 통합 검색

AI 허브

AI-Hub

국가통계포털

KOSIS 국가통계포털

구글 데이터 세트 검색

Dataset Search

캐글 데이터 세트

Find Open Datasets and Machine Learning Projects | Kaggle

위키피디아 머신러닝 데이터 세트

List of datasets for machine-learning research - Wikipedia

아마존 웹서비스 오픈 데이터

https://docs.aws.amazon.com/

UCI 머신러닝 데이터 저장소

UCI Machine Learning Repository

데이터 분석 커뮤니티

로그인 또는 가입하여 보기

캐글 코리아

로그인 또는 가입하여 보기

텐서플로 코리아

로그인 또는 가입하여 보기

파이토치 코리아

로그인 또는 가입하여 보기

사이킷런 코리아

로그인 또는 가입하여 보기

---

참고사이트:

https://www.data.go.kr/

공공데이터 포털

https://www.data4library.kr/

도서관 정보나루

https://ko.wikipedia.org/wiki/CSV_(%ED%8C%8C%EC%9D%BC_%ED%98%95%EC%8B%9D)

CSV (파일 형식) - 위키백과, 우리 모두의 백과사전

https://ko.wikipedia.org/wiki/%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%EC%86%8C%ED%94%84%ED%8A%B8_%EC%97%91%EC%85%80

마이크로소프트 엑셀 - 위키백과, 우리 모두의 백과사전

혼자공부하는 데이터 분석 유튜브