0
字幕組雙語原文：深度學習基礎：張量運算
英語原文：Tensor Operations — Basic Building Blocks of Deep Learning
2012-至今：深度學習爆炸時代
在2012年的Imagenet運動之后，深度學習取得了突飛猛進的發(fā)展。 深度學習現(xiàn)在已經(jīng)成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?，當我們與語音助手交談、使用家庭自動化系統(tǒng)、寫電子郵件等時，許多算法都在運行。事實上，它的影響是如此之大，以至于我們可以在亞馬遜上看到名為“嬰兒的神經(jīng)網(wǎng)絡”的書籍：D
就其核心而言，深度學習只不過是人腦工作方式的縮影(忽略了人腦中存在的實際復雜性，這種復雜性仍然很難復制)。 計算機使用成百上千個跨越深層的神經(jīng)元連接從它的輸入和輸出中學習(因此有了“深度學習”這個詞)。
每一個神經(jīng)元連接都有與自身相關的不同重量。
在每次迭代中對權值進行優(yōu)化，使預測損失最小化，并以最高精度預測輸出。計算機是機器，機器只懂數(shù)字。因此，在底層，我們討論的所有這些權重都是n維矩陣或張量。
由于每個權值都是一個n維矩陣或張量，權值的學習和優(yōu)化涉及數(shù)百萬個矩陣乘法。在過去的6-7年中，我們已經(jīng)看到許多DL框架的出現(xiàn)，它們簡化了這個任務。
五大深度學習框架（Pythorch、Tensorflow、Keras、CNTK、Caffe）
Pytorch是一個流行的深度學習框架，由Facebook人工智能研究（FAIR）開發(fā)和維護，用于處理張力。自2016年1.0.0發(fā)布以來，由于使用的簡單性和靈活性，它獲得了極大的普及。在本文中，我們將主要關注使用Pytorch的一些核心張量運算。您可能想通過這個博客了解如何安裝PyTorch的詳細說明。
torch.size
torch.mm
torch.cat
torch.mul
torch.inverse
Torch.size返回任何輸入張量的維度。
| x = torch.tensor([ [[1, 2, 3, 4], [3, 4., 6, 7]], [[10,20,30,40], [20,30,40,50]], [[5,6,7,8], [9,10,11,12]] ]) x.size() torch.Size([3, 2, 4]) |
在上面的示例中，我創(chuàng)建了一個3X2X4張量，torch.size返回3個維度。 我們的張量在外括號內(nèi)有3個元素，每個元素都是一個矩陣。 每個矩陣同樣有2個元素，每個元素都是一個包含4個元素的列表。
2.torch.mm
torch.mm返回任意兩個輸入矩陣matr1和mat2的矩陣乘法(不是元素一一對應相乘)
| mat1 = torch.tensor([[1,2,3], [4,5,6], [6,7,8]]) mat2 = torch.tensor([[10,20,30], [40,50,60], [60,70,80]]) x = torch.mm(mat1, mat2) y = mat1@mat2 x,y (tensor([[ 270, 330, 390], [ 600, 750, 900], [ 820, 1030, 1240]]), tensor([[ 270, 330, 390], [ 600, 750, 900], [ 820, 1030, 1240]])) |
在上面的示例中，mat1和mat2的大小均為3X3。 因此，torch.mm的輸出大小也為3X3。 我們可以看到可以使用“ @”運算符代替torch.mm來執(zhí)行相同的操作。
使用torch.mm()時要注意的幾點
第一個輸入矩陣的列大小應等于第二個輸入矩陣的行大小
對于不是矩陣或大于2維的張量，torch.mm不起作用，我們可以使用torch.mul進行逐個元素的乘法
‘@'運算符執(zhí)行與torch.mm相同的操作
Torch.cat可以水平或垂直連接2個張量
| #假設我們有以下2個張量，并嘗試垂直連接它門x = torch.tensor([[1,3], [2,5], [3,6]]) y = torch.tensor([[10,30], [20,50], [30,60]]) z = torch.cat((x,y)) z tensor([[ 1, 3], [ 2, 5], [ 3, 6], [10, 30], [20, 50], [30, 60]]) |
我們可以看到，張量y已經(jīng)堆疊在張量x的下方。
| # 現(xiàn)在我們嘗試著將它們水平連接起來x = torch.tensor([[1,3], [2,5], [3,6]]) y = torch.tensor([[10,30], [20,50], [30,60]]) z = torch.cat((x,y), dim = 1) z tensor([[ 1, 3, 10, 30], [ 2, 5, 20, 50], [ 3, 6, 30, 60]]) |
通過使用dim參數(shù)并將其設置為1，我們可以水平連接2個張量。 默認設置為0，這將導致垂直串聯(lián)。
使用torch.cat時的注意事項
使用dim = 1來水平連接張量
可以連接任意數(shù)量的張量，但是，請確保張量在串聯(lián)方向上的大小應相同
torch.mul 可對2個張量進行逐元素乘法。
mat1 = torch.tensor([[[1,2,3], (tensor([[[ 10, 40, 90], tensor([[[ 10, 40, 90], |
我們可以看到逐元素乘法適用于任何維度的張量。使用*運算符或者使用a.mul(b)，其中a和b為輸入張量，也可以實現(xiàn)torch.mul的功能。
| mat1 = torch.randn(1,1,4) mat2 = torch.randn(2,2,4) x = torch.mul(mat1, mat2) y = mat1 * mat2 z = mat1.mul(mat2) x,y,z (tensor([[[ 0.3923, 1.2011, -0.7222, -0.0097], [-0.3082, -0.7667, 0.0777, -0.1011]], [[-0.0289, 0.6919, 0.2720, -0.0952], [-0.3427, -1.1867, -1.0518, -0.0562]]]), tensor([[[ 0.3923, 1.2011, -0.7222, -0.0097], [-0.3082, -0.7667, 0.0777, -0.1011]], [[-0.0289, 0.6919, 0.2720, -0.0952], [-0.3427, -1.1867, -1.0518, -0.0562]]]), tensor([[[ 0.3923, 1.2011, -0.7222, -0.0097], [-0.3082, -0.7667, 0.0777, -0.1011]], [[-0.0289, 0.6919, 0.2720, -0.0952], [-0.3427, -1.1867, -1.0518, -0.0562]]])) |
Torch.mul can be used for broadcasting of tensors. For tensors to be broadcastable, the following conditions should be met: Each tensor should have atleast one dimension When iterating over the dimension sizes, starting at the trailing dimension, the dimension sizes must either be equal, one of them is 1, or one of them does not exist. |
使用torch.mul時要注意的幾點
torch.mul類似于兩個向量之間的點積。
“ *”運算符或a.mul（b）也執(zhí)行與torch.mm相同的操作
輸入張量應滿足廣播條件
torch.inverse計算任意張量的逆
| x = torch.rand(4, 4) print(x) y = torch.inverse(x) print(y) print(x@y) tensor([[0.5113, 0.6916, 0.4692, 0.0154], [0.3848, 0.3022, 0.0248, 0.9268], [0.8846, 0.6778, 0.0108, 0.8708], [0.2503, 0.9674, 0.8385, 0.3985]]) tensor([[ 5.4673, 3.9426, -2.8567, -3.1387], [-7.0532, -7.4136, 6.1454, 4.0863], [ 6.5743, 6.5758, -5.9237, -2.6038], [-0.1456, 1.6838, -0.6596, 0.0402]]) tensor([[ 1.0000e+00, -5.8052e-07, -4.9533e-08, 2.9703e-09], [ 2.4891e-07, 1.0000e+00, -2.3864e-08, -1.8278e-07], [ 3.2888e-07, 2.2601e-08, 1.0000e+00, -1.5329e-07], [ 3.5323e-07, -2.4265e-08, -4.5756e-07, 1.0000e+00]]) |
這里，我們通過使用randn函數(shù)來建立了一個由隨機數(shù)組成的4x4張量。torch.inverse可計算x的逆。Inv(x) @ X 則會返回一個單位矩陣。
使用torch.inverse需要注意的幾點：
只有在輸入張量的各個維度的元素數(shù)量相同時才可以正常使用torch.inverse
torch.inverse 同樣適用于3維張量。但是張量在各個方向上的維度需要相同或者為方陣張量。
這篇文章里我主要提及了一下幾點：
什么是深度學習？
Pytorch是啥？
什么是重要的張量運算？
如何實現(xiàn)執(zhí)行上述張量運算的核心功能？
使用這些功能時要注意的幾點是什么？
雷鋒字幕組是一個由 AI 愛好者組成的翻譯團隊，匯聚五百多位志愿者的力量，分享最新的海外AI資訊，交流關于人工智能技術領域的行業(yè)變革與技術創(chuàng)新的見解。
團隊成員有大數(shù)據(jù)專家、算法工程師、圖像處理工程師、產(chǎn)品經(jīng)理、產(chǎn)品運營、IT咨詢?nèi)恕⒃谛熒?；志愿者們來自IBM、AVL、Adobe、阿里、百度等知名企業(yè)，北大、清華、港大、中科院、南卡羅萊納大學、早稻田大學等海內(nèi)外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學習新知，分享成長。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
