神經(jīng)網(wǎng)絡(luò)相關(guān)之基礎(chǔ)概念的講解
人工神經(jīng)網(wǎng)絡(luò)需要一定的數(shù)學(xué)基礎(chǔ)，但是一般來說比較簡單，簡單的高數(shù)基礎(chǔ)即可，這里整理了一些所需要的最基礎(chǔ)的概念的理解，對(duì)于神經(jīng)網(wǎng)絡(luò)的入門，非?；A(chǔ)和重要，而且理解了之后，會(huì)發(fā)現(xiàn)介紹不需要在看，磨刀不誤砍柴工，強(qiáng)烈建議理解清楚之后在去使用諸如tensorflow這樣的利器。
自變量/因變量/函數(shù)
因?yàn)镋文文檔的閱讀時(shí)不可避免的接觸這些內(nèi)容，一般將英文也列出來，盡量記住，閱讀時(shí)會(huì)大大提高速度。
導(dǎo)數(shù)
作為高數(shù)最為基礎(chǔ)的導(dǎo)數(shù)概念，這里不在贅述，簡單烈一下內(nèi)容能夠大體理解即可, 借用一張圖形來進(jìn)行解釋：
基本概念
導(dǎo)數(shù)/偏導(dǎo)數(shù)/方向?qū)?shù)/梯度，這四個(gè)概念無比重要，無比理解，簡單整理如下，比如在理解BP算法有所困難時(shí)請(qǐng)以此四概念為中心重新學(xué)習(xí)相關(guān)部分高數(shù)內(nèi)容。
為何線性分類模型無法處理異或問題
異或是計(jì)算機(jī)中非常簡單的操作，而諸如感知機(jī)這樣的線性模型則無法解決異或問題的分類。嚴(yán)格的證明可以參看Minsky的文章。
簡單地來看，根據(jù)結(jié)果進(jìn)行分類，可以分為兩類（0/1），但是如果顯示在一個(gè)平面上，你會(huì)發(fā)現(xiàn)無法找到一條直線將這兩類結(jié)果直接分開，所以可以直觀地看出是線性分類模型連異或這種簡單的分類都無法解決。
而這個(gè)悲傷的觀點(diǎn)，早在1969年Minsky就曾經(jīng)在著名的Perceptron中已經(jīng)被詳細(xì)地證明了，從而帶來了后來人工智能長達(dá)10年左右的冰凍期。這個(gè)問題并非無解，使用兩層的感知機(jī)即可解決這種問題，但是Minsky認(rèn)為，這將會(huì)帶來巨大的計(jì)算量而且沒有有效的學(xué)習(xí)算法，直到諸如BP等算法的出現(xiàn)。1986年，Rumelhart，Geoffrey Hinton和Ronald Williams所發(fā)表的Learning representations by back-propagating errors一文中引入了BP算法到神經(jīng)網(wǎng)絡(luò)模型之中，通過在神經(jīng)網(wǎng)絡(luò)中添加隱含層，同時(shí)將誤差進(jìn)行反向傳播，將糾錯(cuò)的運(yùn)算量下降到僅和神經(jīng)元數(shù)目成正比的程度，解決了感知機(jī)的異或分類問題，同時(shí)為多層感知機(jī)的模型提供了學(xué)習(xí)算法。
回歸分析
在算法的入門時(shí)會(huì)學(xué)習(xí)使用線性回歸和邏輯回歸等，所以需要對(duì)回歸分析有一定的了解?；貧w分析研究的是因變量和自變量之間的關(guān)系，在預(yù)測模型中被廣泛地應(yīng)用。自變量的個(gè)數(shù)/因變量的類型/回歸線的形狀都是需要考慮的，常見的回歸分析方式如下：
- Linear Regression：線性回歸
- Logistic Regression：邏輯回歸
- Polynomial Regression：多項(xiàng)式回歸
- Lasso Regression：套索回歸
- ElasticNet Regression：ElasticNet回歸
詳細(xì)可參看：
https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/
小結(jié)
時(shí)至今日，1986年所提出的應(yīng)用與多層神經(jīng)網(wǎng)絡(luò)的誤差反向傳播的BP算法仍在活躍，雖然人工智能非?；馃幔抢滹垷岢吹南右扇匀淮嬖?。在1969年Minsky先生隨手提出的線性感知機(jī)模型無法解決異或分類以及多層模型所需要的巨大計(jì)算量的問題在將近五十年的時(shí)間才有了一點(diǎn)突破。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- BP神經(jīng)網(wǎng)絡(luò)原理及Python實(shí)現(xiàn)代碼
- 純用NumPy實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的示例代碼
- python機(jī)器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)
- Python實(shí)現(xiàn)的NN神經(jīng)網(wǎng)絡(luò)算法完整示例
- Tensorflow實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的詳細(xì)代碼
- Tensorflow實(shí)現(xiàn)AlexNet卷積神經(jīng)網(wǎng)絡(luò)及運(yùn)算時(shí)間評(píng)測
- Tensorflow卷積神經(jīng)網(wǎng)絡(luò)實(shí)例進(jìn)階
- Tensorflow卷積神經(jīng)網(wǎng)絡(luò)實(shí)例
- PyTorch快速搭建神經(jīng)網(wǎng)絡(luò)及其保存提取方法詳解
- PyTorch上搭建簡單神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)回歸和分類的示例
相關(guān)文章
python中使用 unittest.TestCase單元測試的用例詳解
python 在unittest.TestCase 中提高了很多斷言方法，這篇文章主要介紹了python中使用 unittest.TestCase 進(jìn)行單元測試的操作方法,需要的朋友可以參考下2021-08-08
這篇文章主要介紹了Python編程實(shí)現(xiàn)蟻群算法詳解，涉及螞蟻算法的簡介，主要原理及公式，以及Python中的實(shí)現(xiàn)代碼，具有一定參考價(jià)值，需要的朋友可以了解下2021-10-10
本文主要給大家記錄一下列表生成式，生成器和迭代器的知識(shí)點(diǎn)，希望對(duì)大家學(xué)習(xí)python能夠有所幫助2019-01-01
這篇文章主要介紹了Python中的OpenCV圖像腐蝕處理和膨脹處理,OpenCV是一個(gè)跨平臺(tái)的計(jì)算機(jī)視覺庫,可用于開發(fā)實(shí)時(shí)的圖像處理、計(jì)算機(jī)視覺以及模式識(shí)別程序,需要的朋友可以參考下2023-08-08
Python?matplotlib繪圖時(shí)使用鼠標(biāo)滾輪放大/縮小圖像
Matplotlib是Python程序員可用的事實(shí)上的繪圖庫,雖然它比交互式繪圖庫在圖形上更簡單,但它仍然可以一個(gè)強(qiáng)大的工具,下面這篇文章主要給大家介紹了關(guān)于Python?matplotlib繪圖時(shí)使用鼠標(biāo)滾輪放大/縮小圖像的相關(guān)資料,需要的朋友可以參考下2022-05-05
這篇文章主要介紹了sklearn.metrics 中的f1-score簡介,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-05-05
Django celery異步任務(wù)實(shí)現(xiàn)代碼示例
這篇文章主要介紹了Django celery異步任務(wù)實(shí)現(xiàn)代碼示例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
Python原始字符串(raw strings)用法實(shí)例
這篇文章主要介紹了Python原始字符串(raw strings)用法實(shí)例,在使用Python進(jìn)行字符串處理的過程中非常具有實(shí)用價(jià)值,需要的朋友可以參考下2014-10-10
Python 實(shí)現(xiàn)兩個(gè)服務(wù)器之間文件的上傳方法
今天小編就為大家分享一篇Python 實(shí)現(xiàn)兩個(gè)服務(wù)器之間文件的上傳方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-02-02
Python cookbook(數(shù)據(jù)結(jié)構(gòu)與算法)通過公共鍵對(duì)字典列表排序算法示例
這篇文章主要介紹了Python cookbook(數(shù)據(jù)結(jié)構(gòu)與算法)通過公共鍵對(duì)字典列表排序算法,結(jié)合實(shí)例形式分析了Python基于operator模塊中的itemgetter()函數(shù)對(duì)字典進(jìn)行排序的相關(guān)操作技巧,需要的朋友可以參考下2018-03-03