TIL 01 | Data Manip 02 | Datasets Basics

Section đầu tiên, rất đơn giản thôi, làm quen và khởi động. Tuy nhiên đối với người mới bắt đầu lại như tôi thì cái gì cũng nên bài bản một chút.

Loading Datasets

Ở bài đầu tiên sẽ sử dụng data từ Kaggle. Do sử dụng Google Colab nên tôi sẽ tìm cách load thẳng mà không phải tải về. Link dataset: https://www.kaggle.com/ronitf/heart-disease-uci

Kaggle có sẵn api cho việc load data, đầu tiên tôi muốn download thẳng về Google Drive vì dataset quá nhẹ (11kB), nhưng khi bấm vào tải về thì Kaggle bắt đăng nhập. Đằng nào thì cũng phải dùng tới cách load từ api nên tôi bỏ thời gian ra để xem và thử luôn.

Tạo file kaggle.json và đưa vào thư mục trên Drive. Sau đó sử dụng:

import os
## setting path for kaggle.json
os.environ['KAGGLE_CONFIG_DIR'] = "/content/drive/My Drive/Data/.kaggle/"

import kaggle
!kaggle datasets download -d ronitf/heart-disease-uci -p "/content/drive/My Drive/Data/.kaggle/" --unzip

Downloading heart-disease-uci.zip to /content/drive/My Drive/Data/.kaggle
  0% 0.00/3.40k [00:00<?, ?B/s]
100% 3.40k/3.40k [00:00<00:00, 512kB/s]

Sau một hồi xoay xở thì tôi cũng tìm ra một cách khá ngắn gọn như trên. Một vài chú ý:

• library kaggle đã được install sẵn trong Colab, không cần !pip install kaggle nữa
• environment variable KAGGLE_CONFIG_DIR khi đổi đường dẫn cần Restart lại Colab
• Tham khảo thêm tại: https://github.com/Kaggle/kaggle-api

Thử dùng pandas để đọc bộ dữ liệu:

import pandas as pd
filename = "/content/drive/My Drive/Data/.kaggle/heart.csv"

df = pd.read_csv(filename)
df.head()

Course có trình bày thêm cách sử dụng numpy hoặc manual function để load data, tuy nhiên 99% thời gian là sử dụng pd.read_csv, nên 2 cách kia bỏ qua, chưa cần nhớ. Ngoài ra còn có pd.read_* cho các trường hợp khác (pd.read_excel, pd.read_pickle, etc). Nếu muốn lấy array từ dataframe, sử dụng to_numpy()

Tạo DataFrames

Cách đơn giản để tạo dataframe nhanh cho các thử nghiệm

import numpy as np

df2 = pd.DataFrame(np.random.random(size=(100000, 4)),columns=["A", "B", "C", "D"])
df2.head()

Save data: Sự khác biệt về thời gian khi save dưới dạng csv và pkl (pickle).
HDF5 dùng khi load dữ liệu lớn được nhanh hơn. Pickle nhanh hơn CSV, nhưng không dễ đọc bằng CSV.
Vì vậy, cho các bộ dữ liệu nhỏ và vừa, csv và pickle vẫn là lựa chọn tốt nhất.

df2.to_csv("test_data.csv", index=False, float_format="%0.4f")

df2.to_pickle("test_data.pkl")

Khám phá dữ liệu

Mục này chúng ta sẽ sử dụng dữ liệu về các du hành gia từ NASA: https://www.kaggle.com/nasa/astronaut-yearbook
Load dữ liệu từ Kaggle:

!kaggle datasets download -d nasa/astronaut-yearbook -p "/content/drive/My Drive/Data/.kaggle/" --unzip
df = pd.read_csv("/content/drive/My Drive/Data/.kaggle/astronauts.csv")

Downloading astronaut-yearbook.zip to /content/drive/My Drive/Data/.kaggle
  0% 0.00/20.3k [00:00<?, ?B/s]
100% 20.3k/20.3k [00:00<00:00, 2.84MB/s]

Xem 2 dòng đầu của datasets:

df.head(2)

Nhìn thử dòng cuối:

df.tail(1)

Thông tin về các cột trong dữ liệu:

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 357 entries, 0 to 356
Data columns (total 19 columns):
 #   Column               Non-Null Count  Dtype  
---  ------               --------------  -----  
 0   Name                 357 non-null    object 
 1   Year                 330 non-null    float64
 2   Group                330 non-null    float64
 3   Status               357 non-null    object 
 4   Birth Date           357 non-null    object 
 5   Birth Place          357 non-null    object 
 6   Gender               357 non-null    object 
 7   Alma Mater           356 non-null    object 
 8   Undergraduate Major  335 non-null    object 
 9   Graduate Major       298 non-null    object 
 10  Military Rank        207 non-null    object 
 11  Military Branch      211 non-null    object 
 12  Space Flights        357 non-null    int64  
 13  Space Flight (hr)    357 non-null    int64  
 14  Space Walks          357 non-null    int64  
 15  Space Walks (hr)     357 non-null    float64
 16  Missions             334 non-null    object 
 17  Death Date           52 non-null     object 
 18  Death Mission        16 non-null     object 
dtypes: float64(3), int64(3), object(13)
memory usage: 53.1+ KB

Một hàm như cái tên của nó:

df.describe()

Xem kích thước của dataframe:

df.shape

(357, 19)

Tương quan giữa các đại lượng:

df.corr()

Thông tin cụ thể về giá trị của 1 cột:

df["Year"].value_counts()

1996.0    35
1978.0    35
1998.0    25
1990.0    23
1966.0    19
1995.0    19
1980.0    19
1992.0    19
1984.0    18
2000.0    17
1987.0    15
1963.0    14
1985.0    13
1967.0    11
2004.0    11
2009.0     9
1962.0     8
1969.0     7
1959.0     7
1965.0     6
Name: Year, dtype: int64

TIL

Bài này thì khá là nhẹ nhàng, tôi có thể tóm gọn lại những gì mình học được như sau:

• Load datasets từ Kaggle về Google Drive và chạy trong Colab
• Save Datasets
• Khám phá DataFrame với một vài hàm siêu đơn giản

Đó, ít thế thôi, lần đầu làm quen cũng mất thời gian lắm.