0
［導(dǎo)讀］Kaggle 的房價預(yù)測競賽從 2016 年 8 月開始，到 2017 年 2 月結(jié)束。這段時間內(nèi)，超過 2000 多人參與比賽，選手采用高級回歸技術(shù)，基于我們給出的 79 個特征，對房屋的售價進行了準確的預(yù)測。今天我們介紹的是目前得票數(shù)最高的優(yōu)勝方案：《用 Python 進行全面數(shù)據(jù)探索》，該方案在數(shù)據(jù)探索，特征工程上都有十分出色的表現(xiàn)。
作者 Pedro Marcelino 在競賽中使用的主要方法是關(guān)注數(shù)據(jù)科學(xué)處理方法，以及尋找能夠指導(dǎo)工作的有力文獻資料。作者主要參考《多元數(shù)據(jù)分析》（Multivariate Data Analysis, Hair et al., 2014）中的第三章 “檢查你的數(shù)據(jù)”。作者將自己研究的方法歸為以下三步：
定義要解決的問題；
查閱相關(guān)文獻；
對他們進行修改以適合自己的要求。
“不過是站在巨人的肩膀上?！薄?nbsp;Pedro Marcelino
下面我們就一起來看看作者是如何對數(shù)據(jù)進行分析的。
了解你的數(shù)據(jù)
方法框架：
理解問題：查看每個變量并且根據(jù)他們的意義和對問題的重要性進行哲學(xué)分析。
單因素研究：只關(guān)注因變量( SalePrice)，并且進行更深入的了解。
多因素研究：分析因變量和自變量之間的關(guān)系。
基礎(chǔ)清洗：清洗數(shù)據(jù)集并且對缺失數(shù)據(jù)，異常值和分類數(shù)據(jù)進行一些處理。
檢驗假設(shè)：檢查數(shù)據(jù)是否和多元分析方法的假設(shè)達到一致。
開始之前：
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as npfrom scipy.stats
import normfrom sklearn.preprocessing
import StandardScalerfrom scipy
import stats
import warnings
warnings.filterwarnings('ignore')
%matplotlib inline
#bring in the six packs
df_train = pd.read_csv('../input/train.csv')
#check the decoration
df_train.columns
Index(['Id', 'MSSubClass', 'MSZoning','LotFrontage', 'LotArea', 'Street',
'Alley', 'LotShape', 'LandContour', 'Utilities','LotConfig',
'LandSlope', 'Neighborhood', 'Condition1','Condition2', 'BldgType',
'HouseStyle', 'OverallQual', 'OverallCond','YearBuilt', 'YearRemodAdd',
'RoofStyle', 'RoofMatl', 'Exterior1st','Exterior2nd', 'MasVnrType',
'MasVnrArea', 'ExterQual', 'ExterCond','Foundation', 'BsmtQual',
'BsmtCond', 'BsmtExposure', 'BsmtFinType1','BsmtFinSF1',
'BsmtFinType2', 'BsmtFinSF2', 'BsmtUnfSF','TotalBsmtSF', 'Heating',
'HeatingQC', 'CentralAir', 'Electrical', '1stFlrSF','2ndFlrSF',
'LowQualFinSF', 'GrLivArea', 'BsmtFullBath','BsmtHalfBath', 'FullBath',
'HalfBath', 'BedroomAbvGr', 'KitchenAbvGr','KitchenQual',
'TotRmsAbvGrd', 'Functional', 'Fireplaces','FireplaceQu', 'GarageType',
'GarageYrBlt', 'GarageFinish', 'GarageCars','GarageArea', 'GarageQual',
'GarageCond', 'PavedDrive', 'WoodDeckSF','OpenPorchSF',
'EnclosedPorch', '3SsnPorch', 'ScreenPorch','PoolArea', 'PoolQC',
'Fence', 'MiscFeature', 'MiscVal', 'MoSold','YrSold', 'SaleType',
'SaleCondition', 'SalePrice'],
dtype='object')
準備工作——我們可以期望什么？
為了了解我們的數(shù)據(jù)，我們可以分析每個變量并且嘗試理解他們的意義和與該問題的相關(guān)程度。
首先建立一個 Excel 電子表格，有如下目錄：
變量 – 變量名。
類型 – 該變量的類型。這一欄只有兩個可能值，“數(shù)據(jù)” 或 “類別”。 “數(shù)據(jù)” 是指該變量的值是數(shù)字，“類別” 指該變量的值是類別標簽。
劃分 – 指示變量劃分. 我們定義了三種劃分：建筑，空間，位置。
期望 – 我們希望該變量對房價的影響程度。我們使用類別標簽 “高”，“中” 和 “低” 作為可能值。
結(jié)論 – 我們得出的該變量的重要性的結(jié)論。在大概瀏覽數(shù)據(jù)之后，我們認為這一欄和 “期望” 的值基本一致。
評論 – 我們看到的所有一般性評論。
我們首先閱讀了每一個變量的描述文件，同時思考這三個問題：
我們買房子的時候會考慮這個因素嗎？
如果考慮的話，這個因素的重要程度如何？
這個因素帶來的信息在其他因素中出現(xiàn)過嗎？
我們根據(jù)以上內(nèi)容填好了電子表格，并且仔細觀察了 “高期望” 的變量。然后繪制了這些變量和房價之間的散點圖，填在了 “結(jié)論” 那一欄，也正巧就是對我們的期望值的校正。
我們總結(jié)出了四個對該問題起到至關(guān)重要的作用的變量：
OverallQual
YearBuilt.
TotalBsmtSF.
GrLivArea.
最重要的事情——分析 “房價”
描述性數(shù)據(jù)總結(jié)：
df_train['SalePrice'].describe()
count 1460.000000
mean 180921.195890
std 79442.502883
min 34900.000000
25% 129975.000000
50% 163000.000000
75% 214000.000000
max 755000.000000
Name: SalePrice, dtype: float64
繪制直方圖
sns.distplot(df_train['SalePrice']);
從直方圖中可以看出：
偏離正態(tài)分布
數(shù)據(jù)正偏
有峰值
數(shù)據(jù)偏度和峰度度量：
print("Skewness: %f" % df_train['SalePrice'].skew())
print("Kurtosis: %f" % df_train['SalePrice'].kurt())
Skewness: 1.882876
Kurtosis: 6.536282
“房價” 的相關(guān)變量分析
與數(shù)字型變量的關(guān)系：
1. Grlivarea 與 SalePrice 散點圖
var = 'GrLivArea'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
data.plot.scatter(x=var, y='SalePrice', ylim=(0,800000));
可以看出 SalePrice 和 GrLivArea 關(guān)系很密切，并且基本呈線性關(guān)系。
2. TotalBsmtSF 與 SalePrice 散點圖
var = 'TotalBsmtSF'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
data.plot.scatter(x=var, y='SalePrice', ylim=(0,800000));
TotalBsmtSF 和 SalePrice 關(guān)系也很密切，從圖中可以看出基本呈指數(shù)分布，但從最左側(cè)的點可以看出特定情況下 TotalBsmtSF 對 SalePrice 沒有產(chǎn)生影響。
與類別型變量的關(guān)系
1.‘OverallQual’與‘SalePrice’箱型圖
var = 'OverallQual'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
f, ax = plt.subplots(figsize=(8, 6))
fig = sns.boxplot(x=var, y="SalePrice", data=data)
fig.axis(ymin=0, ymax=800000);
可以看出 SalePrice 與 OverallQual 分布趨勢相同。
2. YearBuilt 與 SalePrice 箱型圖
var = 'YearBuilt'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
f, ax = plt.subplots(figsize=(16, 8))
fig = sns.boxplot(x=var, y="SalePrice", data=data)
fig.axis(ymin=0, ymax=800000);plt.xticks(rotation=90);
兩個變量之間的關(guān)系沒有很強的趨勢性，但是可以看出建筑時間較短的房屋價格更高。
總結(jié)：
GrLivArea 和 TotalBsmtSF 與 SalePrice 似乎線性相關(guān)，并且都是正相關(guān)。 對于 TotalBsmtSF 線性關(guān)系的斜率十分的高。
OverallQual 和 YearBuilt 與 SalePrice 也有關(guān)系。OverallQual 的相關(guān)性更強, 箱型圖顯示了隨著整體質(zhì)量的增長，房價的增長趨勢。
我們只分析了四個變量，但是還有許多其他變量我們也應(yīng)該分析，這里的技巧在于選擇正確的特征（特征選擇）而不是定義他們之間的復(fù)雜關(guān)系（特征工程）。
客觀分析
1. 相關(guān)系數(shù)矩陣
corrmat = df_train.corr()
f, ax = plt.subplots(figsize=(12, 9))
sns.heatmap(corrmat, vmax=.8, square=True);
首先兩個紅色的方塊吸引到了我，第一個是 TotalBsmtSF 和 1stFlrSF 變量的相關(guān)系數(shù)，第二個是 GarageX 變量群。這兩個示例都顯示了這些變量之間很強的相關(guān)性。實際上，相關(guān)性的程度達到了一種多重共線性的情況。我們可以總結(jié)出這些變量幾乎包含相同的信息，所以確實出現(xiàn)了多重共線性。
另一個引起注意的地方是 SalePrice 的相關(guān)性。我們可以看到我們之前分析的 GrLivArea，TotalBsmtSF和 OverallQual 的相關(guān)性很強，除此之外也有很多其他的變量應(yīng)該進行考慮，這也是我們下一步的內(nèi)容。
2. SalePrice 相關(guān)系數(shù)矩陣
k = 10 #number ofvariables for heatmap
cols = corrmat.nlargest(k, 'SalePrice')['SalePrice'].index
cm = np.corrcoef(df_train[cols].values.T)
sns.set(font_scale=1.25)
hm = sns.heatmap(cm, cbar=True, annot=True, square=True, fmt='.2f', annot_kws={'size': 10},
yticklabels=cols.values, xticklabels=cols.values)
plt.show()
從圖中可以看出：
OverallQual，GrLivArea 以及 TotalBsmtSF 與 SalePrice 有很強的相關(guān)性。
GarageCars 和 GarageArea 也是相關(guān)性比較強的變量. 車庫中存儲的車的數(shù)量是由車庫的面積決定的，它們就像雙胞胎，所以不需要專門區(qū)分 GarageCars 和 GarageAre，所以我們只需要其中的一個變量。這里我們選擇了 GarageCars，因為它與 SalePrice 的相關(guān)性更高一些。
TotalBsmtSF 和 1stFloor 與上述情況相同，我們選擇 TotalBsmtS 。
FullBath 幾乎不需要考慮。
TotRmsAbvGrd 和 GrLivArea 也是變量中的雙胞胎。
YearBuilt 和 SalePrice 相關(guān)性似乎不強。
3. SalePrice 和相關(guān)變量之間的散點圖
sns.set()
cols = ['SalePrice', 'OverallQual', 'GrLivArea','GarageCars', 'TotalBsmtSF', 'FullBath', 'YearBuilt']
sns.pairplot(df_train[cols], size = 2.5)
plt.show();
盡管我們已經(jīng)知道了一些主要特征，這一豐富的散點圖給了我們一個關(guān)于變量關(guān)系的合理想法。
其中，TotalBsmtSF 和 GrLiveArea 之間的散點圖是很有意思的。我們可以看出這幅圖中，一些點組成了線，就像邊界一樣。大部分點都分布在那條線下面，這也是可以解釋的。地下室面積和地上居住面積可以相等，但是一般情況下不會希望有一個比地上居住面積還大的地下室。
SalePrice 和 YearBuilt 之間的散點圖也值得我們思考。在 “點云” 的底部，我們可以觀察到一個幾乎呈指數(shù)函數(shù)的分布。我們也可以看到 “點云” 的上端也基本呈同樣的分布趨勢。并且可以注意到，近幾年的點有超過這個上端的趨勢。
缺失數(shù)據(jù)
關(guān)于缺失數(shù)據(jù)需要思考的重要問題：
這一缺失數(shù)據(jù)的普遍性如何？
缺失數(shù)據(jù)是隨機的還是有律可循？
這些問題的答案是很重要的，因為缺失數(shù)據(jù)意味著樣本大小的縮減，這會阻止我們的分析進程。除此之外，以實質(zhì)性的角度來說，我們需要保證對缺失數(shù)據(jù)的處理不會出現(xiàn)偏離或隱藏任何難以忽視的真相。
total= df_train.isnull().sum().sort_values(ascending=False)
percent = (df_train.isnull().sum()/df_train.isnull().count()).sort_values(ascending=False)
missing_data = pd.concat([total, percent], axis=1, keys=['Total','Percent'])
missing_data.head(20)
當超過 15% 的數(shù)據(jù)都缺失的時候，我們應(yīng)該刪掉相關(guān)變量且假設(shè)該變量并不存在。
根據(jù)這一條，一系列變量都應(yīng)該刪掉，例如 PoolQC，MiscFeature，Alley 等等，這些變量都不是很重要，因為他們基本都不是我們買房子時會考慮的因素。
GarageX 變量群的缺失數(shù)據(jù)量都相同，由于關(guān)于車庫的最重要的信息都可以由 GarageCars 表達，并且這些數(shù)據(jù)只占缺失數(shù)據(jù)的 5%，我們也會刪除上述的 GarageX 變量群。同樣的邏輯也適用于 BsmtX 變量群。
對于 MasVnrArea 和 MasVnrType，我們可以認為這些因素并不重要。除此之外，他們和 YearBuilt 以及 OverallQual 都有很強的關(guān)聯(lián)性，而這兩個變量我們已經(jīng)考慮過了。所以刪除 MasVnrArea 和 MasVnrType 并不會丟失信息。
最后，由于 Electrical 中只有一個損失的觀察值，所以我們刪除這個觀察值，但是保留這一變量。
df_train= df_train.drop((missing_data[missing_data['Total'] > 1]).index,1)
df_train= df_train.drop(df_train.loc[df_train['Electrical'].isnull()].index)
df_train.isnull().sum().max() #justchecking that there's no missing data missing...
異常值
單因素分析
這里的關(guān)鍵在于如何建立閾值，定義一個觀察值為異常值。我們對數(shù)據(jù)進行正態(tài)化，意味著把數(shù)據(jù)值轉(zhuǎn)換成均值為 0，方差為 1 的數(shù)據(jù)。
saleprice_scaled= StandardScaler().fit_transform(df_train['SalePrice'][:,np.newaxis]);
low_range = saleprice_scaled[saleprice_scaled[:,0].argsort()][:10]
high_range= saleprice_scaled[saleprice_scaled[:,0].argsort()][-10:]
print('outer range (low) of the distribution:')
print(low_range)
print('\nouter range (high) of thedistribution:')
print(high_range)
進行正態(tài)化后，可以看出：
低范圍的值都比較相似并且在 0 附近分布。
高范圍的值離 0 很遠，并且七點幾的值遠在正常范圍之外。
雙變量分析
1. GrLivArea 和 SalePrice 雙變量分析
var = 'GrLivArea'
data = pd.concat([df_train['SalePrice'], df_train[var]], axis=1)
data.plot.scatter(x=var, y='SalePrice', ylim=(0,800000));
從圖中可以看出：
有兩個離群的 GrLivArea 值很高的數(shù)據(jù)，我們可以推測出現(xiàn)這種情況的原因?；蛟S他們代表了農(nóng)業(yè)地區(qū)，也就解釋了低價。 這兩個點很明顯不能代表典型樣例，所以我們將它們定義為異常值并刪除。
圖中頂部的兩個點是七點幾的觀測值，他們雖然看起來像特殊情況，但是他們依然符合整體趨勢，所以我們將其保留下來。
刪除點
df_train.sort_values(by = 'GrLivArea',ascending = False)[:2]
df_train = df_train.drop(df_train[df_train['Id'] == 1299].index)
df_train = df_train.drop(df_train[df_train['Id'] == 524].index)
2. TotalBsmtSF 和 SalePrice 雙變量分析
var = 'TotalBsmtSF'
data = pd.concat([df_train['SalePrice'],df_train[var]], axis=1)
data.plot.scatter(x=var, y='SalePrice',ylim=(0,800000));
核心部分
“房價” 到底是誰？
這個問題的答案，需要我們驗證根據(jù)數(shù)據(jù)基礎(chǔ)進行多元分析的假設(shè)。
我們已經(jīng)進行了數(shù)據(jù)清洗，并且發(fā)現(xiàn)了 SalePrice 的很多信息，現(xiàn)在我們要更進一步理解 SalePrice 如何遵循統(tǒng)計假設(shè)，可以讓我們應(yīng)用多元技術(shù)。
應(yīng)該測量 4 個假設(shè)量：
正態(tài)性
同方差性
線性
相關(guān)錯誤缺失
正態(tài)性：
應(yīng)主要關(guān)注以下兩點：
直方圖 – 峰度和偏度。
正態(tài)概率圖 – 數(shù)據(jù)分布應(yīng)緊密跟隨代表正態(tài)分布的對角線。
1. SalePrice
繪制直方圖和正態(tài)概率圖：
sns.distplot(df_train['SalePrice'], fit=norm);
fig = plt.figure()
res = stats.probplot(df_train['SalePrice'], plot=plt)
可以看出，房價分布不是正態(tài)的，顯示了峰值，正偏度，但是并不跟隨對角線。
可以用對數(shù)變換來解決這個問題
進行對數(shù)變換：
df_train['SalePrice']= np.log(df_train['SalePrice'])
繪制變換后的直方圖和正態(tài)概率圖：
sns.distplot(df_train['SalePrice'], fit=norm);
fig = plt.figure()
res = stats.probplot(df_train['SalePrice'], plot=plt)
2. GrLivArea
繪制直方圖和正態(tài)概率曲線圖：
sns.distplot(df_train['GrLivArea'], fit=norm);
fig = plt.figure()
res = stats.probplot(df_train['GrLivArea'], plot=plt)
進行對數(shù)變換：
df_train['GrLivArea']= np.log(df_train['GrLivArea'])
繪制變換后的直方圖和正態(tài)概率圖：
sns.distplot(df_train['GrLivArea'], fit=norm);
fig = plt.figure()
res = stats.probplot(df_train['GrLivArea'], plot=plt)
3. TotalBsmtSF
繪制直方圖和正態(tài)概率曲線圖：
sns.distplot(df_train['TotalBsmtSF'],fit=norm);
fig = plt.figure()
res = stats.probplot(df_train['TotalBsmtSF'],plot=plt)
從圖中可以看出：
顯示出了偏度
大量為 0 的觀察值（沒有地下室的房屋）
含 0 的數(shù)據(jù)無法進行對數(shù)變換
我們建立了一個變量，可以得到有沒有地下室的影響值（二值變量），我們選擇忽略零值，只對非零值進行對數(shù)變換。這樣我們既可以變換數(shù)據(jù)，也不會損失有沒有地下室的影響。
df_train['HasBsmt']= pd.Series(len(df_train['TotalBsmtSF']), index=df_train.index)
df_train['HasBsmt'] = 0
df_train.loc[df_train['TotalBsmtSF']>0,'HasBsmt'] = 1
進行對數(shù)變換：
df_train['TotalBsmtSF']= np.log(df_train['TotalBsmtSF'])
繪制變換后的直方圖和正態(tài)概率圖：
sns.distplot(df_train['TotalBsmtSF'], fit=norm);
fig = plt.figure()
res = stats.probplot(df_train['TotalBsmtSF'], plot=plt)
同方差性：
最好的測量兩個變量的同方差性的方法就是圖像。
1. SalePrice 和 GrLivArea 同方差性
繪制散點圖：
plt.scatter(df_train['GrLivArea'],df_train['SalePrice']);
2. SalePrice with TotalBsmtSF 同方差性
繪制散點圖：
plt.scatter(df_train[df_train['TotalBsmtSF']>0]['TotalBsmtSF'], df_train[df_train['TotalBsmtSF']>0]['SalePrice']);
可以看出 SalePrice 在整個 TotalBsmtSF 變量范圍內(nèi)顯示出了同等級別的變化。
虛擬變量
將類別變量轉(zhuǎn)換為虛擬變量：
df_train = pd.get_dummies(df_train)
結(jié)論
整個方案中，我們使用了很多《多元數(shù)據(jù)分析》中提出的方法。我們對變量進行了哲學(xué)分析，不僅對 SalePrice 進行了單獨分析，還結(jié)合了相關(guān)程度最高的變量進行分析。我們處理了缺失數(shù)據(jù)和異常值，我們驗證了一些基礎(chǔ)統(tǒng)計假設(shè)，并且將類別變量轉(zhuǎn)換為虛擬變量。
但問題還沒有結(jié)束，我們還需要預(yù)測房價的變化趨勢，房價預(yù)測是否適合線性回歸正則化的方法？是否適合組合方法？或者一些其他的方法？
希望你可以進行自己的探索發(fā)現(xiàn)。
雷鋒網(wǎng)按：本文原載于36大數(shù)據(jù)。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
