自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

本文作者： AI研習(xí)社

編輯：賈智龍

2017-05-15 15:19

導(dǎo)語(yǔ)：學(xué)習(xí)誰(shuí)都可以，而堅(jiān)持才是最重要的。

今天是開(kāi)始數(shù)據(jù)分析學(xué)習(xí)的第一百天，像一開(kāi)始預(yù)備的那樣，今天會(huì)寫(xiě)一個(gè)階段性的總結(jié)來(lái)紀(jì)念這一段短暫但是也很有意義的時(shí)光。

我，一個(gè)普通人，不是 985,211，不是留學(xué)，研究生，不是統(tǒng)計(jì)，數(shù)學(xué)，代碼出身，不是工作相關(guān)，不是學(xué)生，沒(méi)有專(zhuān)人輔導(dǎo)，通過(guò)不斷的搜索，買(mǎi)課，閱讀，提問(wèn)，自學(xué)，只通過(guò)工作之余的空白時(shí)間，靠自己的智力和意志力，

認(rèn)認(rèn)真真的去做一件事，自己到底能做到什么程度。

所以從最開(kāi)始，我就給自己定了一個(gè)目標(biāo)：去完成一個(gè)百日作業(yè)。

歷程

其實(shí)一百天里的最開(kāi)始只是在朋友圈進(jìn)行打卡來(lái)記錄一下累積的有效學(xué)習(xí)時(shí)間，但是在一個(gè)月過(guò)去之后，我突然意識(shí)到，自己正在生產(chǎn)數(shù)據(jù)，而這一部分的數(shù)據(jù)，對(duì)我自己是很重要和寶貴的。于是就動(dòng)手做一個(gè) excel 表格，開(kāi)始記錄的整個(gè)的學(xué)習(xí)過(guò)程。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

我自己看數(shù)據(jù)的話可以感受到 100 天里主要是分成三個(gè)階段的，第一個(gè)階段是從第一天到第 30 天，一共學(xué)習(xí)了 51 小時(shí)，空白 3 天，這里是效率最高的一段時(shí)間，因?yàn)檫@個(gè)時(shí)候自己在更多的關(guān)注一些理論知識(shí)，入門(mén)知識(shí)以及瘋狂的去補(bǔ)一些教學(xué)視頻。

去了解數(shù)據(jù)框是什么樣的一個(gè)概念，了解一些數(shù)據(jù)語(yǔ)言的最基本的操作，包括一些很簡(jiǎn)單的命令，反復(fù)的去看。因?yàn)槟闵踔習(xí)趦?chǔ)存格式上的問(wèn)題都遇到的不少的麻煩。實(shí)話說(shuō)，在這一段學(xué)習(xí)里我浪費(fèi)了不少時(shí)間在一些最開(kāi)始完全想不到的地方，而且是各種書(shū)籍教學(xué)里極少提到的那一部分弱智問(wèn)題上。

而這一部分用我朋友的話說(shuō)是 “這是代碼常識(shí)??！”

……

抱歉，我確實(shí)沒(méi)有常識(shí)。

所以我哪怕會(huì)寫(xiě)幾個(gè)可視化函數(shù)了，卻會(huì)弄錯(cuò) utf-8 和 gbk 的編碼問(wèn)題，然后苦苦掙扎幾個(gè)小時(shí)，毫無(wú)頭緒，等等等等。

這真的是媽的智障的一段心酸過(guò)程，而且可以預(yù)見(jiàn)的，未來(lái)的日子還會(huì)出現(xiàn)幾次的。

……

所以說(shuō)那個(gè)時(shí)候其實(shí)是很充實(shí)，很快樂(lè)，但是也很痛苦的一段時(shí)間。因?yàn)槟莻€(gè)時(shí)候獲得的成就感是最頻繁的。“啊，今天又學(xué)了兩個(gè)小時(shí)”，“今天又知道了很多新的概念”，等等。

但是真正當(dāng) 30 天后，最開(kāi)始的非常激情的一個(gè)月過(guò)去之后，開(kāi)始接觸一些真正的操作和應(yīng)用的之后。也就是從 31 天到 90 天的這段時(shí)間，對(duì)我來(lái)說(shuō)，可能是更重視的一個(gè)過(guò)程。

進(jìn)入 3 月中旬之后，工作開(kāi)始忙碌了起來(lái)，在前 30 天中，自己再累也會(huì)騰出半小時(shí)的時(shí)間來(lái)翻看視頻和閱讀書(shū)籍。但是在 3 月中開(kāi)始，工作開(kāi)始忙碌之后，學(xué)習(xí)時(shí)間出現(xiàn)了第一次的大面積空白。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

從第 42 天到六第 60 天，一共 18 天里只學(xué)了四天，最核心的原因是期間，涉及到了一次出差，出差前的工作準(zhǔn)備，出差中的疲勞，出差后的報(bào)告波折…… 而這個(gè)時(shí)候的學(xué)習(xí)，涉及到更多的思考，更多的工具使用，很多時(shí)候并不是半個(gè)小時(shí)可以解決的。所以在知道自己不能保證效率的時(shí)候，我選擇的是休息。

但是確實(shí)非常心疼。

學(xué)習(xí)很多時(shí)候，就是自己的情緒，理智，和自控力不斷的斗爭(zhēng)的過(guò)程。

而從記錄上看，第 80 天左右的時(shí)候，又出現(xiàn)大面積段的間斷學(xué)習(xí)，從第 78 天到 89 天一共 11 天的時(shí)間里只學(xué)了一天，而這一段學(xué)習(xí)空白，我的備注上也標(biāo)記得非常清楚：

【外勤】，大量的【外勤】

而且由于工作本身的原因積累了很多的壓力，當(dāng)然一部分也是學(xué)習(xí)的焦慮造成的。這段空白的時(shí)間里還有一個(gè)五一小長(zhǎng)假，我的備注欄里寫(xiě)著【沒(méi)心情，休息】。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

這個(gè)時(shí)候，我已經(jīng)意識(shí)到了工作和這樣高強(qiáng)度的學(xué)習(xí)是存在著一定程度上的沖突的，畢竟人的精力是有限。哪怕我自詡精力旺盛，但每當(dāng)工作強(qiáng)度和壓力上升的時(shí)候，學(xué)習(xí)就會(huì)非常明顯的受到影響。也是在那個(gè)時(shí)候，自己開(kāi)始認(rèn)真的考慮停產(chǎn)學(xué)習(xí)的事情。

最后，在第 96 天的時(shí)候，我離職了。

然后就像突然后知后覺(jué)的，我開(kāi)始真正意義上的，懷念起大學(xué)的時(shí)光，非常自由也非常純粹的一段時(shí)光。也像很多人曾經(jīng)做過(guò)的那樣，慨嘆自己的年幼無(wú)知和對(duì)于自由時(shí)光的奢侈浪費(fèi)。

最后說(shuō)回這次百日作業(yè)的實(shí)踐。其實(shí)這段時(shí)間里，自己一直有去完成不同老師課程里布置的各種作業(yè)，但是很多時(shí)候是無(wú)法聯(lián)系起來(lái)的，技巧上一些練習(xí)。像很重要是 sql 技能，常用指令其實(shí)不多，但是可練習(xí)項(xiàng)目其實(shí)真的少的可憐。而 kaggle 上的項(xiàng)目，經(jīng)過(guò)幾次嘗試，我發(fā)現(xiàn)更多的是需要一些思路上的突破，需要很多的算法積累，模型學(xué)習(xí)，而這一部分，是我需要大量補(bǔ)習(xí)的內(nèi)容。如果只是簡(jiǎn)單的做幾個(gè)數(shù)據(jù)的可視化，其實(shí)并沒(méi)有很大的重復(fù)意義。

所以自己也去開(kāi)始想著：如果從實(shí)際應(yīng)用出發(fā)，自己怎么去獨(dú)立的解決一個(gè)命題呢？

遇到的問(wèn)題

于是就開(kāi)始了這次的作業(yè)實(shí)踐，也遇到非常非常多的問(wèn)題。

首先就是爬蟲(chóng)技術(shù)的問(wèn)題，因?yàn)橐婚_(kāi)始在做 R 和 python 二選一的時(shí)候，我選擇了名字比較短的那個(gè)，所以到后面發(fā)現(xiàn) python 的技術(shù)可能更適合爬蟲(chóng)應(yīng)用的時(shí)候，我的臉是非常傲嬌的…… 通過(guò)取巧，采用了爬蟲(chóng)插件來(lái)工作。但是在應(yīng)用的時(shí)候還是遇到了各種問(wèn)題，首先就是因?yàn)橹锹?lián)的搜索機(jī)制問(wèn)題，它在無(wú)法滿足搜索機(jī)制的時(shí)候，會(huì)自動(dòng)的填充其他內(nèi)容，所以我當(dāng)初爬到了 3000 多的時(shí)候發(fā)現(xiàn)爬取內(nèi)容已經(jīng)完全沒(méi)有 “數(shù)據(jù)” 兩個(gè)字了，然而工作還在繼續(xù)！這就很窩心了。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

但是那個(gè)時(shí)候根本不知道問(wèn)題在哪里，只能重新再爬一次，然后定期回來(lái)檢查…… 這工作居然要人工來(lái)做，可想有多窩火。而且因?yàn)椴恢?，gooseeker 爬取還會(huì)出現(xiàn)很多的爬取失敗和卡頓現(xiàn)象，盯著那個(gè)爬取頁(yè)面卡著半天，然后報(bào)錯(cuò)，然后下一個(gè)…… 這是一種很讓人沮喪的體驗(yàn)，也是在那個(gè)時(shí)候，我下決心，還是把 python 追上了學(xué)學(xué)吧。

哎。

數(shù)據(jù)的源文件，我爬了整整 2 個(gè)晚上，然后只有 2000 出頭可以用，后面整合爬取文件的時(shí)候，因?yàn)橐ㄟ^(guò) excel 的宏來(lái)操作，又是遇到各種零碎的麻煩，最后甚至還是通過(guò)笨辦法解決的……

效率低下！心疼啊！

然后就是文本問(wèn)題的處理上，首先我是想通過(guò)代碼來(lái)進(jìn)行職業(yè)關(guān)鍵詞篩選的，后來(lái)發(fā)現(xiàn)研究了整整兩天，最后發(fā)現(xiàn)現(xiàn)有的知識(shí)量，沒(méi)有頭緒去做到。查了半天就是找不到方法。最后不得已放棄，采用了觀察，然后數(shù)字篩選的方法，也幸虧我當(dāng)初是人工叫停的。否則還真不知道要翻數(shù)據(jù)翻到哪里去。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)

文本的第二個(gè)問(wèn)題出現(xiàn)在月薪機(jī)制的篩選上，其實(shí)原本就知道這個(gè)東西通過(guò) excel 的命令特別容易做到（畢竟我也是看【七周成為數(shù)據(jù)分析師 - Excel 實(shí)戰(zhàn)篇 - 知乎專(zhuān)欄】才動(dòng)的實(shí)踐課題念頭）但是通過(guò) R 語(yǔ)言來(lái)實(shí)現(xiàn)的時(shí)候就遇到了各種問(wèn)題，這個(gè)時(shí)候還沒(méi)有人教過(guò)我的文本處理，也不知道去哪里問(wèn)，問(wèn)什么，只能到處逛，到處搜，搜到了之后好不容易處理好代碼，然后發(fā)現(xiàn)不斷的報(bào)錯(cuò)，最后長(zhǎng)時(shí)間的 debug 然后發(fā)現(xiàn)是問(wèn)題出在 “1000 以下”（別人都是 “6000-8000”）心情可想而知…

而后面在詞云的文本分析和處理上，發(fā)現(xiàn)僅僅學(xué)會(huì)技術(shù)的話可提供的幫助太少了，文本分析需求的邏輯鏈條可能更模糊也更困難。尤其是在關(guān)鍵詞不明朗的前提下。

最后就是代碼優(yōu)化和可視化的輸出上。因?yàn)橥瓿伤悸返闹芷谄鋵?shí)很長(zhǎng)，零碎的思路在最后回頭再看的時(shí)候，又會(huì)有很多的想法。而在自己的數(shù)據(jù)閱讀中，我一直想去嘗試優(yōu)化自己的思路和代碼，這種嘗試的過(guò)程會(huì)很，幸福。哈哈，不說(shuō)笑，真的很幸福。尤其是在可視化的時(shí)候，這個(gè)圖到底能不能清晰的表達(dá)我的思路，我全篇的邏輯線是否流暢，是我想要去完善的一個(gè)東西?？赡芤恢笔窃趶氖卤容^務(wù)實(shí)的工作的原因，能不能盡可能的簡(jiǎn)單，盡可能方便拿起來(lái)就用，是我關(guān)注的重點(diǎn)。這個(gè)琢磨的過(guò)程其實(shí)給予我很多。

自學(xué)數(shù)據(jù)分析100天后，我做了個(gè)總結(jié)