0
| 本文作者： AI研習(xí)社-譯站 | 2018-08-31 11:37 |
雷鋒網(wǎng)按：本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 Mapping My Facebook Data?—?Part 1: Simple NLP，作者為 Hunter Heidenreich。
翻譯 | 老趙 莫青悠 校對 | 付騰 整理 | MY
當(dāng)一個 NLP（自然語言處理）在觀察我的寫作風(fēng)格（也是如何處理我自己的 Facebook 數(shù)據(jù)?。?/p>
概述
就在不久之前，我還十分癡迷于思考我在一天之內(nèi)產(chǎn)生的文本數(shù)據(jù)總量的問題上。如果你像我一樣，做大量的書寫工作，這無疑是一個機(jī)會，郵件，短信，F(xiàn)acebook。當(dāng)然，你也可能還有其他的更有創(chuàng)造性的輸出。可能你寫日記，寫音樂等等。如果你是個學(xué)生，那么你可能還有一些需要書寫的作用。對于我本人來說，我真的很希望可以從我產(chǎn)生的這些文本數(shù)據(jù)中得到一些啟示，使用 NLP 來分析這些數(shù)據(jù)真的是一件非?？岬氖虑椤?/p>
本系列將會記錄我是如何去實現(xiàn)這一想法的，如果你也感興趣的話，你也可以參照本系列，自己去嘗試一下。
找到你的數(shù)據(jù)
在考慮過我所有的數(shù)據(jù)之后，我決定聚焦于以下幾個數(shù)據(jù)源：
我寫的學(xué)校作業(yè)
我的日記
我創(chuàng)作的歌曲集
我的 Facebook 數(shù)據(jù)（包括我的評論，帖子和聊天內(nèi)容）
在我整個工程中我使用了以上所有的數(shù)據(jù)源，但是在本系列中，我將僅僅使用我的 Facebook 數(shù)據(jù)。
對大多數(shù)數(shù)據(jù)來說，我只需要將它放入一個文本文件中，然后調(diào)用這個文本文件。但是對于 Facebook 的數(shù)據(jù)，我需要做一些額外的預(yù)處理。
如何得到你的 Facebook 數(shù)據(jù)
我們要如何能夠獲取到 Facebook 的數(shù)據(jù)呢？事實上要你想象的簡單很多?，F(xiàn)在（2018.8.20），你可以通過以下步驟獲得你的數(shù)據(jù)：
登入 Facebook
點擊右上角的倒三角符號
點擊設(shè)置
點擊左上第三個選項“你的 Facebook 信息（Your Facebook Information）”
下一級菜單中就有“下載你的信息（Download Your Information）”
接下來，你就可以選擇你的所需要的數(shù)據(jù)，可以選擇某時間段內(nèi)的，也可以選擇以哪種格式存儲你的數(shù)據(jù)。
我選擇以 JSON 格式下載了所有的數(shù)據(jù)。當(dāng)我全部下載完畢后，我就得到了如下圖的文件結(jié)構(gòu)：
每個文件夾中的文件都是我要求的 JSON 格式的。
預(yù)處理你的 Facebook 數(shù)據(jù)
我打算下載所有的 Facebook 數(shù)據(jù)，但是我并不希望在這個課題中使用所有的 Facebook 數(shù)據(jù)。對這個課題而言，我只關(guān)心我的帖子，評論和聊天歷史。為了做到這些，我為每個種類的數(shù)據(jù)寫了一個預(yù)處理腳本來下載所需要的內(nèi)容到文本文件。
首先，處理信息：
你在這里會看到的是我正在遍歷我的 messages 文件夾中的所有子文件夾。我從那里做的是我在信息 JSON 中讀到的。對于每個可用的信息，我會檢查它是否是我發(fā)送的信息。如果它不是 Facebook 默認(rèn)的“You are now connected on Messenger”。接著我會使用它。我給信息添加時間戳，然后將其添加到采用 year.month.day.txt 格式的文件中，這是我標(biāo)記所有文本文件的格式，以便我可以記錄詞匯隨時間的變化。
如果某些情況下，JSON 的關(guān)鍵字不工作，我會忽略它。
對我寫的帖子我做了非常類似的事情：
我的評論：
從那里開始，我已準(zhǔn)備好使用我的 Facebook 數(shù)據(jù)。
載入數(shù)據(jù)
首先，我們將編寫一個簡單的函數(shù)來獲取特定類別中所有文件的列表。這將使我們能夠輕松跟蹤哪個是哪個，
......
想要繼續(xù)閱讀，請移步至我們的AI研習(xí)社社區(qū)：http://www.gair.link/page/TextTranslation/873
更多精彩內(nèi)容盡在 AI 研習(xí)社。
不同領(lǐng)域包括計算機(jī)視覺，語音語義，區(qū)塊鏈，自動駕駛，數(shù)據(jù)挖掘，智能控制，編程語言等每日更新。
雷鋒網(wǎng)雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))(公眾號：雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
