WFU

2020年1月5日 星期日

深度學習，硬體設計 - 引言篇

  • 為什麼深度學習方法比傳統計算方法更為優勝？
  1. 深度學習能夠從原始數據提取特徵並且分類，傳統計算為特定任務開發的算法，需要人工經驗來萃取特徵和建立規則。
  2. 深度學習是 end-to-end（端對端） 的方法，輸入為原始數據，輸出即是最終結果。傳統計算先把問題切分成幾塊，一個個解決後再重新組合起來。如果有可靠數據的話，深度學習可以給模型更多自動調整的空間，直接讓數據說話，不需要人工介入處理。
  • 深度學習如何影響汽車、金融、零售和醫療保健行業發展？
    1. 自動駕駛的蓬勃發展。
    2. 金融業可以判斷可能的壞帳和分析顧客的行為來判斷潛在的商品銷售機會。
    3. 零售業可以精準推送商品給顧客買單。
    4. 醫療保健預先判斷可能的疾病徵候幫助預防疾病產生，並且協助判讀檢查結果和診斷。
  • 深度學習對未來十年的就業市場有甚麼影響？
    1. 重複操作性質工作的人力減少。
    2. 需要懂得定義好議題，並能準備足夠多且高品質的資料，有轉化為模型的能力，就可以輔助任何決策相關的問題上
    3. 人機協作成為常態。
    1. 神經網路根據資料訓練模型，利用愈來愈大的記憶容量，遠勝人類
    2. 多變數的處理能力，深度學習能同時應付上百個變數，遠勝人類
    3. 多模型的協作能力，我們可以訓練多個神經網路並相互整合，完成更複雜的任務，遠勝人類之間的協作。
  • 卷積神經網路和強化學習之間的區別是甚麼呢？
    1. CNN 是監督式學習 (Supervised Learning)
    2. 強化學習則是半監督式學習 (Semi-supervised Learning)，
    3. 前者需要人工標註資料，使用預設的訓練資料集來訓練模型，並以另外的驗證資料來檢驗模型的預測能力。後者是標註與未標註的資料參雜，強化學習可不透過人工而自行標註資料，提高不同環境下的預測能力。
  • 為什麼人們擔心神經網路的興起？
    1. 人類擔心無法駕馭神經網路的學習能力，威脅人類的工作
    2. 威脅人類的自我價值
    3. 威脅人類的生存
  • 訓練和推論對計算有著甚麼不同的要求？
    1. 訓練式將資料輸入神經網路中，更新其中的函數，減少輸出和預測的誤差。並利用浮點格式計算參數以提高正確性。使用雲端的高效能計算訓練，需要數小時到數天的時間訓練神經網路。
    2. 推論是將資料輸入訓練好的模型中，輸出預測的結果。使用定點格式計算僅需數秒鐘進行計算。
  • 為什麼需要深度學習硬體支持神經網路發展？
    1. 訓練非常耗時，所以需要高性能計算加速訓練。
    2. 推論需要即時 (以自駕車為例)，所以需要深度學習加速硬體利用優化、網路修剪和稀疏數據格式來加速推論。
  • 甚麼是深度學習發展的未來方向？
    1. 將訓練和推論從雲端延伸到終端，讓終端不需連網即可進行推論並且進行部分的訓練以更新模型減少輸出的誤差。或是僅部分時間連上雲端，進行大規模的訓練再將新的模型傳遞給終端。
    2. GAN 生成對抗網路，可以產生出以假亂真的資料幫助訓練模型。