文章庫(kù)ARTICLE COLUMN
摘要：同樣以里的模塊為例，替換前后的卷積分支復(fù)雜度如下中使用與卷積級(jí)聯(lián)替代卷積中提出了卷積的，在確保感受野不變的前提下進(jìn)一步簡(jiǎn)化。 在梳理CNN經(jīng)典模型的過(guò)程中，我理解到其實(shí)經(jīng)典模型演進(jìn)中的很多創(chuàng)新點(diǎn)都與改善模型計(jì)算復(fù)雜度緊密相關(guān)，因此今天就讓...
摘要：如今在機(jī)器學(xué)習(xí)中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學(xué)的啟發(fā)。雖然此后神經(jīng)科學(xué)在機(jī)器學(xué)習(xí)繼續(xù)發(fā)揮作用，但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學(xué)為基礎(chǔ)，而不是神經(jīng)科學(xué)的發(fā)現(xiàn)。 開始之前看一張有趣的圖 - 大腦遺傳地圖：Figure 0. The Genetic Geograph...
摘要：首先，的概念與卷積的概念大部分是獨(dú)立的。但是，請(qǐng)注意，這個(gè)特征的較精確位置已經(jīng)被丟棄。結(jié)合和，這意味著我們的網(wǎng)絡(luò)使用的是不同于一般類型的非線性。之間的這就是網(wǎng)絡(luò)如此與眾不同的原因。與普通的層相比，層是完全不同的。 首先，capsule 的概念...
摘要：等人最近關(guān)于膠囊網(wǎng)絡(luò)的論文在機(jī)器學(xué)習(xí)領(lǐng)域造成相當(dāng)震撼的影響。它提出了理論上能更好地替代卷積神經(jīng)網(wǎng)絡(luò)的方案，是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)。而這就是這些膠囊網(wǎng)絡(luò)運(yùn)行方式的本質(zhì)。為了簡(jiǎn)化，我們將假設(shè)一個(gè)兩層的膠囊網(wǎng)絡(luò)。產(chǎn)生的結(jié)果值將被稱為。 G...
摘要：總的來(lái)說(shuō)，是一種采用數(shù)據(jù)流圖，用于數(shù)值計(jì)算的開源軟件庫(kù)。其中代表傳遞的數(shù)據(jù)為張量多維數(shù)組，代表使用計(jì)算圖進(jìn)行運(yùn)算。數(shù)據(jù)流圖用結(jié)點(diǎn)和邊組成的有向圖來(lái)描述數(shù)學(xué)運(yùn)算。 本文非常適合初學(xué)者了解如何使用 TensorFlow 構(gòu)建基本的神經(jīng)網(wǎng)絡(luò)，它全面展示...
摘要：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的問(wèn)題到目前為止，圖像分類問(wèn)題上較先進(jìn)的方法是。我們把卡戴珊姐姐旋轉(zhuǎn)出現(xiàn)這個(gè)問(wèn)題的原因，用行話來(lái)說(shuō)是旋轉(zhuǎn)的程度超出了較大池化所帶來(lái)的旋轉(zhuǎn)不變性的限度。 Capsule Networks，或者說(shuō)CapsNet，這個(gè)名字你應(yīng)該已經(jīng)聽(tīng)過(guò)好幾次了。這是...
摘要：要理解網(wǎng)絡(luò)中的單個(gè)特征，比如特定位置的某個(gè)神經(jīng)元或者一整個(gè)通道，就可以找讓這個(gè)特征產(chǎn)生很高的值的樣本。另一方面，也能看到一些神經(jīng)元同時(shí)對(duì)多個(gè)沒(méi)什么關(guān)系的概念產(chǎn)生響應(yīng)。實(shí)際操作經(jīng)驗(yàn)中，我們也認(rèn)為是一組神經(jīng)元的組合共同表征了一張圖像。 深...
摘要：隨著知識(shí)在開發(fā)者圈子里的擴(kuò)散，這將會(huì)是一個(gè)長(zhǎng)長(zhǎng)的緩慢上升過(guò)程，但我預(yù)測(cè)，年之內(nèi)，大多數(shù)軟件工作都不會(huì)再涉及編程。 周末，特斯拉AI負(fù)責(zé)人Andrej Karpathy發(fā)文論述軟件2.0的概念，他說(shuō)，神經(jīng)網(wǎng)絡(luò)給編程工作帶來(lái)了根本性的變革。今天，跟他聊過(guò)...
摘要：的這項(xiàng)研究，總共生成了篇深度學(xué)習(xí)論文的和代碼，還創(chuàng)建了一個(gè)網(wǎng)站，供同行們眾包編輯這些代碼。來(lái)自印度研究院。目前是印度研究院的實(shí)習(xí)生。 深度學(xué)習(xí)的論文越來(lái)越多了~多到什么程度？Google scholar的數(shù)據(jù)顯示，2016年以來(lái)，人工智能領(lǐng)域新增的論文已...
摘要：近幾年來(lái)，由于其作為機(jī)器學(xué)習(xí)模型的使用已成倍增長(zhǎng)，所以移動(dòng)設(shè)備和嵌入式設(shè)備也出現(xiàn)了部署需求。使機(jī)器學(xué)習(xí)模型設(shè)備能夠?qū)崿F(xiàn)低延遲的推理。設(shè)計(jì)初衷輕量級(jí)允許在具有很小的二進(jìn)制大小和快速初始化啟動(dòng)的機(jī)器學(xué)習(xí)模型設(shè)備上進(jìn)行推理。 谷歌今天終于發(fā)...
摘要：詳細(xì)信息，可以參見(jiàn)科技評(píng)論之前發(fā)文微軟聯(lián)合推出標(biāo)準(zhǔn)，號(hào)稱要解決開發(fā)框架碎片化共筑開放生態(tài)標(biāo)準(zhǔn)得到華為英特爾等更多廠商支持日前，基礎(chǔ)平臺(tái)部副總在發(fā)文宣布，亞馬遜將加入開放生態(tài)，將對(duì)提供支持。 早前，F(xiàn)aceBook 攜手微軟發(fā)布了一個(gè)全新的開源項(xiàng)...
摘要：幸運(yùn)的是，這些正是深度學(xué)習(xí)所需的計(jì)算類型。幾乎可以肯定，英偉達(dá)是目前執(zhí)行深度學(xué)習(xí)任務(wù)較好的選擇。今年夏天，發(fā)布了平臺(tái)提供深度學(xué)習(xí)支持。該工具適用于主流深度學(xué)習(xí)庫(kù)如和。因?yàn)榈暮?jiǎn)潔和強(qiáng)大的軟件包擴(kuò)展體系，它目前是深度學(xué)習(xí)中最常見(jiàn)的語(yǔ)言。 ...
摘要：后來(lái)成，就沒(méi)有內(nèi)存錯(cuò)誤了，但是代碼運(yùn)行了一晚上都不結(jié)束，因此使用貓狗大戰(zhàn)圖片無(wú)法復(fù)現(xiàn)效果，這里轉(zhuǎn)發(fā)另外一個(gè)博客使用復(fù)現(xiàn)出的結(jié)果，如下圖。圖當(dāng)然了，在貓狗大戰(zhàn)數(shù)據(jù)集當(dāng)中不適合使用，因?yàn)橐话銢](méi)有倒過(guò)來(lái)的動(dòng)物。 圖像深度學(xué)習(xí)任務(wù)中，面對(duì)小數(shù)...
摘要：本論文將嘗試概述卷積網(wǎng)絡(luò)的架構(gòu)，并解釋包含激活函數(shù)損失函數(shù)前向傳播和反向傳播的數(shù)學(xué)推導(dǎo)。本文試圖只考慮帶有梯度下降優(yōu)化的典型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的制定。 近日南洋理工大學(xué)研究者發(fā)布了一篇描述卷積網(wǎng)絡(luò)數(shù)學(xué)原理的論文，該論文從數(shù)學(xué)的角度闡述整...
摘要：很長(zhǎng)一段時(shí)間以來(lái)，我注意到很多自稱深度學(xué)習(xí)專家大咖的人，其實(shí)名不副實(shí)。大多數(shù)公司不知道如何辨別這些所謂的專家，面試官也不懂深度學(xué)習(xí)，不在乎。所以當(dāng)這些專家的深度學(xué)習(xí)解決方案不行時(shí)，這些公司就會(huì)認(rèn)為一切只是一場(chǎng)炒作。 進(jìn)入門檻太低正在毀...
摘要：作者在論文中將這種新的譜歸一化方法與其他歸一化技術(shù)，比如權(quán)重歸一化，權(quán)重削減等，和梯度懲罰等，做了比較，并通過(guò)實(shí)驗(yàn)表明，在沒(méi)有批量歸一化權(quán)重衰減和判別器特征匹配的情況下，譜歸一化改善生成的圖像質(zhì)量，效果比權(quán)重歸一化和梯度懲罰更好。 就...
摘要：在現(xiàn)有深度學(xué)習(xí)框架下，我們所編寫的卷積層往往是一個(gè)單行語(yǔ)句，它可以抽象出許多結(jié)構(gòu)細(xì)節(jié)。本文試圖闡述卷積層的一個(gè)特定的解剖特征，而這是在大多數(shù)文章和相關(guān)討論中被忽略的問(wèn)題。來(lái)自卷積層的輸出經(jīng)常用作后續(xù)卷積層的輸入。 近來(lái)，深度學(xué)習(xí)的火爆...
摘要：我認(rèn)為在大多數(shù)深度學(xué)習(xí)中，算法層面上隨機(jī)梯度的下降是大家所認(rèn)可的。但目前似乎存在兩個(gè)問(wèn)題計(jì)算層面納什平衡達(dá)不到可能會(huì)退化。 去年我一直在研究如何更好地調(diào)整GANs中的不足，但因?yàn)橹暗难芯糠较蛑魂P(guān)注了損失函數(shù)，完全忽略了如何尋找極小值問(wèn)題...
摘要：但年在機(jī)器學(xué)習(xí)的較高級(jí)大會(huì)上，蘋果團(tuán)隊(duì)的負(fù)責(zé)人宣布，公司已經(jīng)允許自己的研發(fā)人員對(duì)外公布論文成果。蘋果第一篇論文一經(jīng)投放，便在年月日，斬獲較佳論文。這項(xiàng)技術(shù)由的和開發(fā)，使用了生成對(duì)抗網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法。 GANs「對(duì)抗生成網(wǎng)絡(luò)之父」Ian Goodf...
摘要：?jiǎn)螌幽臧l(fā)表的文章使用了單層解決機(jī)器翻譯中不同長(zhǎng)度的源語(yǔ)言對(duì)齊問(wèn)題。使用的基本思想是目標(biāo)語(yǔ)言端的詞往往只與源語(yǔ)言端部分詞相關(guān)。其中計(jì)算上下文環(huán)境與源語(yǔ)言詞語(yǔ)的相關(guān)得分，是根據(jù)語(yǔ)言特性設(shè)計(jì)的一個(gè)對(duì)齊模型，感興趣的朋友可以深入了解一下。 1. ...
摘要：我們對(duì)種用于數(shù)據(jù)科學(xué)的開源深度學(xué)習(xí)庫(kù)作了排名。于年月發(fā)布了第名，已經(jīng)躋身于深度學(xué)習(xí)庫(kù)的上半部分。是最流行的深度學(xué)習(xí)前端第位是排名較高的非框架庫(kù)。頗受對(duì)數(shù)據(jù)集使用深度學(xué)習(xí)的數(shù)據(jù)科學(xué)家的青睞。深度學(xué)習(xí)庫(kù)的完整列表來(lái)自幾個(gè)來(lái)源。 我們對(duì)23種...
摘要：在底層的膠囊之后連接了層和層。膠囊效果的討論在論文最后，作者們對(duì)膠囊的表現(xiàn)進(jìn)行了討論。他們認(rèn)為，由于膠囊具有分別處理不同屬性的能力，相比于可以提高對(duì)圖像變換的健壯性，在圖像分割中也會(huì)有出色的表現(xiàn)。 背景目前的神經(jīng)網(wǎng)絡(luò)中，每一層的神經(jīng)元...
摘要：可以這樣說(shuō)，庫(kù)使得創(chuàng)建深度學(xué)習(xí)模型變得快速且簡(jiǎn)單。在本教程中，你將了解如何用中更具靈活性的函數(shù)式來(lái)定義深度學(xué)習(xí)模型。如何使用函數(shù)式定義簡(jiǎn)單的多層感知器卷積神經(jīng)網(wǎng)絡(luò)以及循環(huán)神經(jīng)網(wǎng)絡(luò)模型。 可以這樣說(shuō)，Keras Python庫(kù)使得創(chuàng)建深度學(xué)習(xí)模型變...
Apache MXNet v0.12來(lái)了。今天凌晨，亞馬遜宣布了MXNet新版本，在這個(gè)版本中，MXNet添加了兩個(gè)重要新特性：支持英偉達(dá)Volta GPU，大幅減少用戶訓(xùn)練和推理神經(jīng)網(wǎng)絡(luò)模型的時(shí)間。在存儲(chǔ)和計(jì)算效率方面支持稀疏張量（Sparse Tensor），讓用戶通過(guò)稀疏矩陣訓(xùn)練模...
摘要：自從年月開源以來(lái)，我們做了一些重大改進(jìn)?，F(xiàn)在，讓我們?cè)倩氐竭@個(gè)項(xiàng)目開始的地方，回顧我們的進(jìn)展過(guò)程，并分享我們下一步的方向。 自從2016年2月 TensorFlow Serving 開源以來(lái)，我們做了一些重大改進(jìn)?，F(xiàn)在，讓我們?cè)倩氐竭@個(gè)項(xiàng)目開始的地方，回顧我們...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
一、活動(dòng)亮點(diǎn)：全球31個(gè)節(jié)點(diǎn)覆蓋 + 線路升級(jí)，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
89542767
社區(qū)管理員
白馬嘯西風(fēng)