cda

全國校區

您的位置:首頁 > 精彩閱讀 > Python數據清洗(一):類型轉換和冗余數據刪除

Python數據清洗(一):類型轉換和冗余數據刪除

2019-11-20

Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

作者 | 劉順祥

來源 | 數據分析1480

數據分析過程中最頭疼也是工作量最大的部分算是探索和清洗了——探索的目的是了解數據,了解數據背后隱藏的規律;洗的目的則是為了讓干凈的數據進入分析或建模的下一個環節。小編將通過三篇文章,詳細講解工作中常規的數據清洗方法,包括數據類型的轉換,重復數據的處理,缺失值的處理以及異常數據的識別和處理。這是Python數據清洗系列的第一篇文章,主要分享的內容包括——數據類型的轉換and冗余數據的識別和處理.

數據類型的判斷和轉換

如下表所示,為某公司用戶的個人信息和交易數據,涉及的字段為用戶id、性別、年齡、受教育水平、交易金額和交易日期。從表面上看,似乎沒有看出數據背后可能存在的問題,那接下來就將其讀入到Python中,并通過探索的方式發現數據中的問題。

Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

讀取數據,以及查看數據規模、查看數據中各變量的數據類型的代碼如下:

# 導入第三方包
import pandas as pd

# 讀入外部數據
data3 = pd.read_excel(io=r'C:\Users\Administrator\Desktop\datas\data3.xlsx')
# 查看數據的規模
data3.shape
out:
(3000, 6)

# 查看表中各變量的數據類型
# data3.dtypes
out:

表中各變量的數據類型如表下表所示:

Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

上述代碼利用shape“方法”返回了數據集的規模,即該數據包含3000行6列;通過dtypes“方法”則返回了數據集中各變量的數據類型——除id變量和age變量為數值型,其余變量均為字符型。直觀上能夠感受到一點問題,即數據類型不對,例如用戶id應該為字符型,消費金額custom_amt為數值型,訂單日期為日期型。如果發現數據類型不對,如何借助于Python工具實現數據類型的轉換呢?可參照如下代碼的實現。

# 數值型轉字符型
data3['id'] = data3['id'].astype(str)
# 字符型轉數值型
data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)
# 字符型轉日期型
data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日')

# 重新查看數據集的各變量類型
data3.dtypes
out:

這些數據經過處理后,各個字段的數據類型如下表所示:

Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

如上結果所示,三個變量全都轉換成了各自所期望的數據類型。astype“方法”用于數據類型的強制轉換,可選擇的常用轉換類型包括str(表示字符型)、float(表示浮點型)和int(表示整型)。由于消費金額custom_amt變量中的值包含人民幣符號“¥”,所以在數據類型轉換之前必須將其刪除(通過字符串的切片方法刪除,[1:]表示從字符串的第二個元素開始截斷)。對于字符轉日期問題,推薦使用更加靈活的to_datetime函數,因為它在format參數的調節下,可以識別任意格式的字符型日期值。

需要注意的是,Python中的函數有兩種表現形式,一種是常規理解下的函數(語法為func(parameters),如to_datetime函數),另一種則是“方法”(語法為obj.func(parameters),如dtypes和astype“方法”)。兩者的區別在于 “方法”是針對特定對象的函數(即該“方法”只能用在某個固定類型的對象上),而函數并沒有這方面的限制。

基于如上類型的轉換結果,最后瀏覽一下數據的展現形式:

# 預覽數據的前5行
data3.head()
Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

冗余數據的判斷和處理

如上過程是對數據中各變量類型的判斷和轉換,除此還需要監控表中是否存在“臟”數據,如冗余的重復觀測和缺失值等。可以通過duplicated“方法”進行 “臟”數據的識別和處理。仍然對上邊的data3數據為例進行操作,具體代碼如下所示。

# 判斷數據中是否存在重復觀測
data3.duplicated().any()

out:
False

如上結果返回的是False,說明該數據集中并不存在重復觀測。假如讀者利用如上的代碼在數據集中發現了重復觀測,可以使用drop_duplicates“方法”將冗余信息刪除。

需要說明的是,在使用duplicated“方法”對數據行作重復性判斷時,會返回一個與原數據行數相同的序列(如果數據行沒有重復,則對應False,否則對應True),為了得到最終的判斷結果,需要再使用any“方法”(即序列中只要存在一個True,則返回True)。

duplicated“方法”和drop_duplicates“方法”都有一個非常重要的參數,就是subset。默認情況下不設置該參數時,表示對數據的所有列進行重復性判斷;如果需要按指定的變量做數據的重復性判斷時,就可以使用該參數指定具體的變量列表。舉例如下:

# 構造數據
df = pd.DataFrame(dict(name = ['張三','李四','王二','張三','趙五','丁一','王二'],
 gender = ['男','男','女','男','女','女','男'],
 age = [29,25,27,29,21,22,27],
 income = [15600,14000,18500,15600,10500,18000,13000],
 edu = ['本科','本科','碩士','本科','大專','本科','碩士']))
# 查看數據
df
Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

目測有兩條數據完全一樣,就是用戶張三,如果直接使用drop_duplicates“方法”,而不做任何參數的修改時,將會刪除第二次出現的用戶張三。代碼如下:

# 默認情況下,對數據的所有變量進行判斷
df.drop_duplicates()
Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

假設在數據清洗中,用戶的姓名和年齡相同就認為是重復數據,那么該如何基于這兩個變量進行重復值的刪除呢?此時就需要使用subset參數了,代碼如下:

df.drop_duplicates(subset=['name','age'])
Python<wordsbank_match class='wbmatch' location='/map/shujuqingxi/' style='cursor:pointer;'>數據清洗</wordsbank_match>(一):類型轉換和冗余數據刪除

需要注意的是,使用drop_duplicates“方法”刪除重復數據,并不能直接影響到原始數據,即原始數據中還是存在重復觀測的。如需使drop_duplicates“方法”的刪除功能作用在原始數據中,必須將inplace參數設置為True

本期的內容就介紹到這里,下一篇將分享缺失值的識別和處理技術。

完 謝謝觀看

分享
收藏

OK
3d彩经网免费预测