0
| 本文作者： AI研習(xí)社-譯站 | 2018-11-27 17:03 |
本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：
Python: How To Reduce Memory Consumption By Half By Adding Just One Line Of Code?
作者 | Alex Maison
翻譯 | 鄧普斯?杰弗
校對 | 醬番梨 整理 | 菠蘿妹
原文鏈接：https://medium.com/@alexmaisiura/python-how-to-reduce-memory-consumption-by-half-by-adding-just-one-line-of-code-56be6443d524
我想與大家分享一些我和我的團隊在一個項目中經(jīng)歷的一些問題。在這個項目中，我們必須要存儲和處理一個相當(dāng)大的動態(tài)列表。測試人員在測試過程中，抱怨內(nèi)存不足。下面介紹一個簡單的方法，通過添加一行代碼來解決這個問題。
下面我來解釋一下，它是如何運行的。
首先，我們考慮一個簡單的"learning"例子，創(chuàng)建一個Dataltem 類，該類是一個人的個人信息，例如姓名，年齡，地址等。
class DataItem(object):
def __init__(self, name, age, address):
self.name = name
self.age = age
self.address = address
首先，讓我們試著解決一下：
d1 = DataItem("Alex", 42, "-")
print ("sys.getsizeof(d1):", sys.getsizeof(d1))
我們得到的答案是56bytes，這似乎占用了很少的內(nèi)存，相當(dāng)滿意嘍。那么，我們在嘗試另一個包含更多數(shù)據(jù)的對象例子：
d2 = DataItem("Boris", 24, "In the middle of nowhere")
print ("sys.getsizeof(d2):", sys.getsizeof(d2))
答案仍然是56bytes，此刻，似乎我們意識到哪里有些不對？并不是所有的事情都第一眼所見那樣。
直覺不會讓我們失望，一切都不是那么簡單。Python是一種具有動態(tài)類型的非常靈活的語言，對于它的工作，它存儲了大量的附加數(shù)據(jù)。它們本身占據(jù)了很多。
例如，sys.getsizeof("")返回33bytes，是的一個多達33個字節(jié)的空行！并且sys.getsizeof(1)返回24bytes，一個整個數(shù)字占用24個bytes(我想咨詢C語言程序員，遠離屏幕，不想在進一步閱讀，以免對美觀失去信心)。對于更復(fù)雜的元素，如字典，sys.getsizeof(.())返回272字節(jié)，這是針對空字典的，我不會再繼續(xù)了，我希望原理是明確的，并且RAM的制造商需要出售他們的芯片。
但是，我們回到我們的DataItem類和最初的初學(xué)者的疑惑。
首先，我們一小寫的形式將這個類的完整內(nèi)容輸出：
def dump(obj):
for attr in dir(obj):
print(" obj.%s = %r" % (attr, getattr(obj, attr)))
這個函數(shù)將顯示隱藏的“幕后”使所有Python函數(shù)（類型、繼承和其他內(nèi)容）都能夠正常工作的內(nèi)容。
結(jié)果令人印象深刻：
下邊有一個函數(shù)可以通過遞歸的方式，調(diào)用getsizeof函數(shù)，計算對象實際數(shù)據(jù)量。
def get_size(obj, seen=None):
# From
# Recursively finds size of objects
size = sys.getsizeof(obj)
if seen is None:
seen = set()
obj_id = id(obj)
if obj_id in seen:
return 0
# Important mark as seen *before* entering recursion to gracefully handle
# self-referential objects
seen.add(obj_id)
if isinstance(obj, dict):
size += sum([get_size(v, seen) for v in obj.values()])
size += sum([get_size(k, seen) for k in obj.keys()])
elif hasattr(obj, '__dict__'):
size += get_size(obj.__dict__, seen)
elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):
size += sum([get_size(i, seen) for i in obj])
return size
讓我們試一試：
d1 = DataItem("Alex", 42, "-")
print ("get_size(d1):", get_size(d1))
d2 = DataItem("Boris", 24, "In the middle of nowhere")
print ("get_size(d2):", get_size(d2))
我們獲得的答案分別為460bytes和484bytes，這結(jié)果似乎是真實的。
使用這個函數(shù)，你可以進行一系列的實驗。例如，我想知道如果DataItem結(jié)構(gòu)放在列表中，數(shù)據(jù)將占用多少空間。get_size ([d1])函數(shù)返回532bytes,顯然，這與上面說的460+的開銷相同。但是get_size ([d1, d2])返回863bytes,小于以上的460 + 484。get_size ([d1, d2, d1])的結(jié)果更有趣——我們得到了871字節(jié)，只是稍微多一點，也就是說Python足夠聰明，不會再次為同一個對象分配內(nèi)存。
現(xiàn)在，我們來看一看問題的第二部分。
是的,可以的。Python是一個解釋器，我們可以在任何時候擴展我們的類，例如，添加一個新的字段:
d1 = DataItem("Alex", 42, "-")
print ("get_size(d1):", get_size(d1))
d1.weight = 66
print ("get_size(d1):", get_size(d1))
非常好，但是如果我們不需要這個功能呢？我們能強制解釋器來指定類的列表對象使用__slots__命令：
class DataItem(object):
__slots__ = ['name', 'age', 'address']
def __init__(self, name, age, address):
self.name = name
self.age = age
self.address = address
更多信息可以在文檔(RTFM)中找到，其中寫到“__ dict__和__weakref__”。使用__dict__節(jié)省的空間非常大”。
我們確認：是的，確實很重要，get_size (d1)返回…64字節(jié)，而不是460字節(jié)，即少7倍。另外，創(chuàng)建對象的速度要快20%(請參閱本文的第一個屏幕截圖)。
唉，真正使用如此大的內(nèi)存增益并不是因為其他開銷。通過簡單地添加元素，創(chuàng)建一個100,000的數(shù)組，并查看內(nèi)存消耗:
data = []
for p in range(100000):
data.append(DataItem("Alex", 42, "middle of nowhere"))
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
total = sum(stat.size for stat in top_stats)
print("Total allocated size: %.1f MB" % (total / (1024*1024)))
我們不使用__slots__占用內(nèi)存16.8MB，使用時占用6.9MB。這個操作當(dāng)然不是最好的，但是確實代碼改變的最小的。（Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.）
現(xiàn)在的缺點。激活__slots__禁止所有元素的創(chuàng)建,包括__dict__,這意味著,例如,一下代碼將結(jié)構(gòu)轉(zhuǎn)換成json將不運行:
def toJSON(self):
return json.dumps(self.__dict__)
這個問題很容易修復(fù),它是足以產(chǎn)生dict編程方式,通過所有元素的循環(huán):
def toJSON(self):
data = dict()
for var in self.__slots__:
data[var] = getattr(self, var)
return json.dumps(data)
也不可能動態(tài)給這個類添加新類變量,但是在這個例子中,這并不是必需的。
今天的最后一個測試。有趣的是整個程序需要多少內(nèi)存。添加一個無限循環(huán)的程序,以便它不結(jié)束,看看Windows任務(wù)管理器中的內(nèi)存消耗。
6.9Mb 變成 27Mb … 好家伙, 畢竟, 我們節(jié)省了內(nèi)存, 27Mb 代替 70 ，對于增加一行代碼來說并不是一個壞的例子
注意：TraceMelc調(diào)試庫使用了許多附加內(nèi)存。顯然，她為每個創(chuàng)建的對象添加了額外的元素。如果關(guān)閉它，總的內(nèi)存消耗將少得多，截屏顯示兩個選項：
這可以使用numpy庫，它允許您以C樣式創(chuàng)建結(jié)構(gòu)，但是在我的例子中，它需要對代碼進行更深入的細化，并且第一種方法就足夠了。
奇怪的是在Habré從來沒有詳細分析使用__slots__,我希望本文將填補這一空缺。
這篇文章似乎是一個anti-Python廣告，但并不是。Python非?？煽浚榱恕敖档汀盤ython程序，您必須非常努力），它是一種易于閱讀和方便編寫代碼的語言。這些優(yōu)點在很多情況下都大于缺點，但是如果您需要最大的性能和效率，您可以使用像numpy這樣的庫，它是用C++編寫的，它可以很快和高效地與數(shù)據(jù)一起工作。
感謝大家的關(guān)注，coding快樂！
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻？
長按鏈接點擊打開或點擊【Python高級技巧：用一行代碼減少一半內(nèi)存占用】：
https://ai.yanxishe.com/page/TextTranslation/1281
AI研習(xí)社每日更新精彩內(nèi)容，觀看更多精彩內(nèi)容：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
等你來譯：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
