《創智慧》 記疏

大多數神經網路模式最基本的問題在於他們與人工智慧電腦程式共享了一個特質－兩者都因為著眼於行為而註定要為其所累。

對電腦和神經網路模來說，最重要的特質在於能否提供一個正確的或令人滿意的輸出，就如Turing所揭示的：智慧等於行為。

當某個行為形態被送進人工神經元時，它們會形成對這個形態的記憶，這個自體聯結神經網路模式會把這些形態與它們本身聯結起來，所以稱之為自體聯結記憶模式（auto-associative memories）。

最重要的特色是你不需要有完整的形態，就能夠把這個形態提取出來。即使你可能只有部分形態，或是一些搞混了、不清楚的形態，這個自體聯結記憶模式仍能提取出正確如當初所儲存的形態。

這個自體聯結記憶模式不像其它的神經網路模式，它可以儲存一序列的形態，或是具有順序的形態。這個特質是因為它在回饋中加了延宕反應時間，因為有這個延宕的差異，你就能將一序列的形態，如一段旋律，呈現給自體聯結記憶模式的神經元，它便可以記住這個序列。

作者指出過去人工智慧、神經網路模式、認知科學及神經科學家，都忽略了神經元在時間上的交互作用。主要是受制於實驗技術的侷限。

作者特別強調回饋、時間及預測性。

至少有兩百年，人們將人腦能力先是跟鐘錶機械，再與抽水機和水管聯在一起，後來又被比為蒸氣機，最後變成電腦。

如果看一下科學史，不難發現我們的直覺是在探索真理路上最大的障礙。科學的架構通常很難發現，並不是因為它們很複雜，而是因為錯誤的直覺假設使我們不去看正確的答案。

歷史告訴我們，對於科學問題最好的回答都是既簡單又雅緻的，雖然這些細節望之令人生畏，而通往最終理論的路都是很艱鉅的，不過通常概念架構的本身卻是簡單的。

虫曰：功能主義(functionalism)重視的是各別的component扮演的角色，連結主義重視的是component與component的結構關係。

有些心智哲學家喜歡「認知迴輪」(cognitive wheel)這個比喻，這是人工智慧對某些問題的解決方法，雖然它與自然界的做法不同，但是它的功能跟自然界一樣好或是更好。

作者認為所有智慧的基本面都發生在新質皮，視丘(thalamus)及海馬迴(hippocampus)。

新皮質中約有三百億個神經元。

人的新皮質有六層，每一層約兩公釐厚（撲克牌的厚度）。如果把皮質攤開鋪平，它大約像是一張大桌巾般的大小。

克里克（發現DNA是雙螺旋狀的傢伙）寫了一本關於大腦的書叫“The Astonishing Hypothesis”(中譯《驚異的假說》，天下文化出版)，這本書在《基因，挑戰不可能的任務》及本書都提到。

最後，所有的感覺訊息被送到了聯結區(association areas)，這就是皮質接受一種以上感覺訊息的地方。例如：皮質有接受視覺和觸覺輸入的，因為有這個聯結區，我們才能在看到一隻蒼蠅在手臂上爬以及感到牠的腳在皮膚上造成刺癢的同時，明白這兩者源自同一個刺激。

訊息的流動是雙向的，在感覺區被稱為回饋的，其實就是運動區被叫做輸出的，反過來說也是如此。

向下傳遞的回饋判斷比向上傳送的要多得多。

最簡單的突觸改變形態是當兩個神經元幾乎同時活化時，這兩個神經元中間連結的強度就增加，這叫Hebbian learning。

不管突觸強度改變的細節是什麼，很確定的一點是突觸的形成與強度儲存了記憶。

皮質上有很多種神經細胞，為數最多者（約百分之八十）叫錐體細胞(pyramidal neurons)，這是由它的細胞體形狀有點像角錐體。除了皮質頂層之外（它有很長的軸突，很少的細胞），每一層都有錐體細胞，每一個錐體細胞都與它緊鄰的很多細胞有連結，每一個都從側面伸出很長的軸突到遠端皮質，或往下到大腦較低位的結構，例如像是視丘。

當一個神經元的軸突(axons，output)接觸到另一個神經元的樹突(dendrites，input)時，形成一個小的連結點叫突觸(synapse，logic gate)，突觸就是一個細胞的神經脈衝影響另一個細胞行為的地方。一個神經的訊號到達突觸時，可以使下一個細胞比較容易發射或比較不能易發射，因此突觸可以是促進的或是抑制的。

一個典型的錐體細胞有好幾千個突觸，我們也很難確定究竟有多少，因為它們很小又疊得很緊密。突觸的數量因細胞而不同，每一層也不同，每一區域又有所不同。假如我們採取比較保守的立場。那麼一個錐體細胞平均有一千個突觸（實際數量可能是五千或一萬），以我們的皮質總共就有三十兆的突觸。

物種間的相似性才正是令人驚奇、令人感興趣的地方。

Vernon Mountcastle說皮質的某個區域跟另一個區域有一點點的差別是因為它們的連結有所不同，而不是基本的功能不同。他總結說整個皮質有著共同的功能、共同的計算規則，並且這些是由整個皮質各區域所執行的。他說我們的基因決定大腦的區域該怎麼連結，這對功能及物種有很大的特異性，但是皮質組織本身無論在何處都在做同樣的事情。（作者在書中多次援用Mountcastle的說法）

大腦有同樣的方法看和聽，皮質的運作有普遍性(universal)，它可以應用到任何一種感官或運動系統上。

文化的發明才幾千年，不足以讓我們的基因演化出專門處理它的機制。

人類皮質有驚人的能力去學習和適應幾千種直到近代才出現的各樣環境，這代表著大腦是一個很靈活、能變通的系統，而不是內建了一個針對一千個問題預設好一千種解決之道的系統。

軸突所攜帶的神經訊號叫做action potential，一部分是化學的，一部分是電的。雖然我們感覺官能的來源很不一樣，不過它們一旦進入大腦、轉換成action potential後就相同了，它們都是形態而已，action potential的形態。（虫曰：這倒跟電腦很類似，無論是影像、圖形、聲音，輸入電腦後都先被轉換為數位訊號，才能進一步運算）

大腦是身體中唯一沒有感覺的地方。

所有進入大腦的訊息都化成軸突上時間性和空間性的形態。

空間性形態：是在時間性上同時出現的形態，或是因為是當同一個感覺器官上許多的感受體同時受到刺激。

對視覺來說，感覺器官就是視網膜。一個影像進入瞳孔，水晶體將它顛倒成像進到了視網膜，即產生了一個空間性形態。而人的眼睛大約每秒會跳動三次（saccade，眼球跳動），每一次眼球跳動，視網膜上的影像就變了。視覺就像潺潺不斷的流水，形態一直不停的流入大腦，此即視覺的時間性形態。所以作者說視覺更像一首歌而非一幅畫。（人們常常忽略了視覺的時間性形態）

相反地，人們常常忽略了聽覺的空間性形態。聽覺的感覺器官是耳蝸，它會把聲音轉換成action potential，然而聲音的高、低頻會引起耳蝸不同部位的震動，日常生活中，耳蝸隨時受到很多同步發出的不同頻率聲音而震動，所以無論任何時刻，耳蝸上都有不同的新空間形態模擬沿著耳蝸的位置在傳送處理，每時每刻，新的空間性形態不斷上傳進入聽覺神經。

一般我們很少把觸覺想成時間上的現象，但是它在時間上的特性絕不亞於它的空間性。

當用手指在未知物品上移動時，也同時把時間性的向度加進了觸覺的感官知覺。你能夠利用觸覺來做複雜的動作，例如扣上你襯杉的鈕扣，或在黑暗中打開你家的門鎖，這些都依賴隨著時間而改變的觸覺形態。

你的大腦並不是直接感覺外面的世界，皮質所知道的僅是輸入神經軸突所傳入的形態。你對外面世界的瞭解來自這些形態，包括你所意識到的自己。

對皮質來說，它所在意的就是形態，不管這個形態來自哪一個感覺管道，只要它們跟外界刺激在時間上有一致性，大腦就能找出這些形態的意義。（意謂著，感覺管道是可以被替換的，書上舉著用舌頭來代替視覺的真實研究案例。還有如何利用等量形態使假手搞混大腦視覺和身體感覺形態交會的區域，讓你感覺到施於假手上的刺激，彷佛它是你自己的手。）

只要我們可以把新皮質的算則解碼，找出形態的科學，就可以把它應用到任何我們想把它變得有智慧的系統上，而得自新皮質靈感的迴路，最大特點是我們不需要靠特別聰明的程式來設定它。

我們對這個世界所有的知識僅是基於形態的模式而已，而世界存在的確定性是基於形態的一致性，以及我們如何來解釋這個一致性。

這個世界的確是以一個絕對的形式存在，而我們所知覺到的與之非常類似，但是我們大腦不可能直接知道這個外在的絕對世界。

大腦對外面世界的瞭解是透過各種感官，而這些感官只能察覺到絕對世界的一部分，這些感官產生形態、輸入到皮質、皮質的算則處理它，這個算則也就是創造出外面世界模式的算則。

人腦是去計算問題的答案，它是將答案從儲存處提取出來。基本上，這些答案很早就被儲存在記憶中，它只要幾個步驟就可以由記憶中提取得到。費時的神經元不但快到足以能做到提取，而且它們自己本身就是記憶。整個皮質是個記憶系統，它根本不是電腦。

當一個球丟出來時，三件事發生了：首先，一看到球，適當的記憶就被自動提取；其次，這個記憶事實上自動提取的是肌肉控制指令的時間順序；最後，被提出的記憶配合當時情況的細節訊息而修正，例如這個球實際的飛行途徑和你身體的位置。這個如何接到一個球的記憶並不是設定在你的大腦中，它是透過多年來不斷的練習，而且它是儲存在你的神經元上，它不是靠神經元臨場計算出來的。

所以新皮質不像電腦，不論以平行處理或其他任何方面，這個比喻都不恰當。

新皮質的記憶與電腦記憶至少有四個基本的差異：
１．    新皮質儲存的是序列的形態。
２．    新皮質是自體聯結的回憶出形態。
３．    新皮質是以不變的結構形式儲存形態。
４．    新皮質以階層性儲存形態。

人無法跳出時間序列直接告訴你重點。

你不能把歌倒過來想，就像你無法一瞬間記起全曲，你只能依照當初你學這首歌的方式去回想它。

所有的記憶都儲存在連結神經元的突觸上頭。我們皮質上儲存了非常大量的記憶，只是在任何一個特定時間，我們所能回憶的只是一小部分的記憶，所以很明顯的可以推想在任何一個特定時間，只有一小部分的突觸和神經元被活化。

雖然我們儲存了這麼多東西，在任何一個時間也只能回憶一小部分，而且是靠著序列聯想的方式。

自體聯結性質（auto-associative memories）：形態是與它們本身自相聯結的，一個自體聯結的記憶系統是一個只要輸入部分或是變形的部件就能提取全部的系統，這對時間性和空間性形態的記憶都一樣有效。

在談天時，如果環境吵雜，我們常常沒有聽到所有的字，但是我們的大腦會填滿漏掉的字，我們根本沒有聽到所有的字，我們是用我們所預期的字去填滿漏掉的空缺。

大部分的時候，我們並不自覺我們不停的在填滿形態。

在任何時候，一個部件可以激發活化整體，這就是自體聯結記憶最重要的一點。

在每一個清醒時刻，每一個有功能的區域都在警覺的等待熟悉的形態或形態部件出現。

一個輸入進入大腦後便以自體聯結的方式串了起來，除了詳細記入當下所有訊息，再跟接下去所有可能將會發生的也以自體聯結的方式串起來，我們把這種一系列的記憶叫做思想，雖然它所要串連的途徑尚未決定，但我們也無法控制。

我們的大腦記得的是世界上事件的重要關係，而不是它的細節。

不變表徵（invariant representations）：比如說：我們在一定的視覺範圍內，看一個人臉的每個角度。視覺輸入皮質區(V1)都會因為看到的角度不同而活化的形態有所不同，但是在臉型辨識區（在皮質的階層上比V1高出好幾級）中的某一組神經元卻是持續活化，它不因臉的大小、位置、方向、角度、比例或臉上表情而有所不同，這個神經元發射的穩定性就是一種不變的表徵。

又如我們對狗的概念，雖然過去我們所見的每隻狗都不一樣，即使每次看到同隻狗，看到的角度也不同，我們也不曾重複看過同一隻狗的同一個樣子。但是我們過去所有對狗的經驗最後匯集成我們對狗的概念，這個概念是穩定的，適用在所有的狗身上。

從感覺皮質來說，變異程度甚廣的輸入形態可以激發一連串的感覺神經元同步發射，這些神經元代表著同一抽象形態，而依Hebbian learning同步發射的神經元會形成一個迴路，這個迴路其實就是我們的記憶。

就運動皮質來說，神經元穩定的同步發射代表了抽象的運動指令（簽名、接球），它就能夠在考慮許多變異的限制下用各種變異程度甚廣的肌肉組合把這些運動指令表達出來。

音樂的不變表徵很容易在一個地方看到，即用任何一個調號(G大調、C大調等)，你都很容易認出它的旋律。

我們的大腦僅會記住旋律，而會忽略所用的鍵高低。

我們記憶儲存的是音符之間的關係，而不是音符本身。

我們之所以能辨識出臉來最主要是相對的長、寬等向度、相對顏色、相對勻稱的比例，而不是上星期四她跟你一起共進午餐的那個樣子。她五官之間有「空間間隔」(spatial interval)就像音符之間有音高間隔一樣。當你記住她的臉時，你記住的是這些相對的特質。

記憶就是以能抓住關係精髓的形式儲存起來，絕對不是瞬間的細節。

新皮質接收到詳細又高度特殊的輸入，然後轉換成不變的形式。在新皮質儲存的是不變的形式，而每一次輸入的形態也是以它們不變的形式被拿去與記憶比對的。

大腦要作出特定的預測，必須將不變結構的知識與最新進來的細節相結合才能順利成功。

合併不變表徵與最新輸入做出詳細的預測，正是大腦每一時刻在做的事情。

我們了解世界的方式就是從這些變化無常、川流不息湧進來的訊息中，找到不變的結構。

儲存序列、自體聯結記憶和不變表徵，是大腦基於過去記憶而能做出未來預測的重要因素。

我們的大腦利用儲存的記憶無時無刻不在做預測－對任何我們聽到的、看到的、摸到的東西做預測。這些大量的預測發生在我們的意識之外。

但是當某些送進來的視覺形態訊息在情境中找不到它的記憶時，就違背了預測，這時我的注意力就會立刻轉到這個預測的錯誤上，於是我就發現房間出現的新物品。

大腦不停的對所生活世界的結構做預測，而且是以比對、比較的方式處理的。

我們所知覺到的其實是結合了我們的感覺與衍生自大腦的預測。

是以平行處理的方式，新皮質所有的區域都同時在預測它們下一步預期的經驗是什麼：視覺皮質區對外圍邊緣、形狀、顏色、物體、地點、運動作預測；聽覺皮質對音調、聲源方向、聲音形態做預測；身體感覺皮質對觸摸、質地、物體外形輪廓及溫度做預測。

預測表示處理對於門的感覺神經元在你實際接受到感覺輸入之前，就開始活化了，當感覺訊息被送達皮質時，已經有從記憶中提取出的預期與它相比較。

正確的預測就是我們的瞭解－這個門是正常的；不正確的預測得到的是混淆，它使你的注意力立刻轉移到門上頭去。

我們一直不停的同時對所有的感官做低層次的預測比對。

在科學界和產業界，沒有人發明一個全新的東西，人們通常是把現行的想法放到一個新的架構中去，一個新想法的部件在這個想法被發現之前，其實就已經飄浮在科學領域的上空，通常新的想法是組裝這些部件，將它們組成一致性、可用的整體而已。

當你聽著熟悉的旋律時，你的大腦在下一個音符真正出現之前便在腦海中聽到它了；當你聆聽你最喜歡的唱片時，在這首歌的最初的幾個音符出現前，你就已經聽到了。為什麼會這樣呢？因為你大腦的神經元在這首歌開始之就已經活化開始發射了，你聽到的是你腦中所唱的歌。

當你在聽別人說話時，常在那個人說完之前就知道他要說些什麼，或者至少你以為你都知道了。有時候我們並沒有好好聽別人說話，所聽到的是我們預期他會說的。

我們的眼睛有個盲點，那是視神離開你視網膜的地方，在盲點上沒有任何的光感受體，所以當物體落在那一點上時你是看不見的；但你平常並不會感覺到視野中有個盲點，這有兩個原因，一個平淡無奇，另一個則饒富意義。平淡的原因是左、右兩個眼睛的盲點通常並不重疊，所以它們互相彌補了視野中的這個缺陷。但很有趣的是，即使你閉上一隻眼睛，還是不會注意到盲點，因為你的視覺系統填補了所缺失的訊息。

當違反原先的預測時，你的注意力立刻會被激發，這就是為什麼我們很難不去看殘障缺陷的人。

你的大腦對外面世界形成一個模式，一直不停的將這個模式與真實世界相比較，透過這個模式正確的邏輯，你瞭解了你在哪裡，你在做什麼。

人類大腦比其他動物更有智慧是因為它可以對抽象的形態做預測，也可以對比較長時間性的形態序列做預測。

我們的智力測驗基本上是個預測測驗。

科學本身就是一個預測的練習。透過假設的驗證，我們增加對世界的知識。

我們用記憶的容量以及對世界形態的預測力來測量智慧。所謂智慧包括語言、數學、物體的物理特質和社會情境，你的大腦從外界接受形態把它們儲存在記憶中，根據比對過往發生過的以及現在正在發生的資訊做出對未來的預測。

這些預測就是我們的思想，當這些預測與感覺輸入結合起來時，它就是我們的知覺，作者把這個看法稱作智慧的「記憶－預測架構」(the memory-prediction framework)。

要對未來事件做預測，你的新皮質必須要儲存形態的序列，要把恰當的記憶回憶出來，它必須要依相似性去提取過去的形態（自體聯結記憶）。最後，記憶必須以一個不變的形式儲存，使過去事件的知識可以應用到新的、類似但又非一模一樣的情境。

從改變迅速、具空間專一性、只辨識微小特徵的V1細胞，到持續的發射、非空間專一性的物體辨識IT細胞。（虫曰：皮質低層許多細胞根據自己感受區內的微小特徵活化如：直線、角、曲線等，所以低層的形態不斷變化；高層細胞則包含整個視覺空間，如當它看到整個臉時，某個特定形態會穩定地持續活化。

當我們瞭解到大腦的基本核心功能是做預測時，就需要將回饋加到模式中，大腦必須能夠將訊息送回到一開始接受輸入的區域，因為做預測需要加入比較現在正發生什麼以及你預期將要發生什麼：現在正在發生的是向上送的輸入，你預期將要發生的是向下流的預測。

下　　－＞　　上
空間專一　－＞　空間不變
迅速改變　－＞　緩慢改變
細節特徵　－＞　物體

高階的細胞在處理上對時間的要求一定要大於個別輸入形態的時間要求。

聲音的輸入（貓身上的鈐噹聲）先創造了一個對貓的聲音辦認，這個訊息被送往聽覺階層又再上傳到把聲音和視覺結合起來的聯結區（由下向上），這個表徵傳回（由上向下）到聽覺和視覺的階層，導致聽覺和視覺的預測。

每一個感官輸入流程都預測了其他感官的反應，我所看到的導致我會聽到和接觸到的預測，聽覺的和觸覺的也導出不同感覺的預測，這是令人驚異的協調能力。

感覺區的任何輸入都會送上聯結區，聯結區會使形態流到運動皮質去，結果就產生動作。就像視覺輸入可以使形態流入聽覺和觸覺皮質，它也可以使形態流入運動皮質；在前者，我們把這個往下流動的形態解釋成預測，在後者運動皮質上，就是運動指令。

皮質中並沒有純粹的感覺區或純粹的運動區，感覺形態同步向上流到階層組織中的各個地方並由該處回流向下，產生預測或運動行為。

作者認為V1、V2和V4不應該被看成單一的皮質區，每一個應該是許多更小皮質區的匯合。（虫曰：即每一層都應水平切割成許多塊，而每一塊都負責滙合下一層的許多塊。）

V1是由許許多多分開的碎小皮質區透過間接的方式(經由較高階的區域連結、彙整)與其他碎小的區域相連結（虫曰：同層之間並無直接連接，可能是要迅速平行處理之故），在各個視覺區中，V1擁有最多這種碎小的次區域。V2、V4也都是一樣，但是當到達IT最高點時，已經變成單一區域了，這是為什麼IT有著對外面世界全面鳥瞰的觀點。（虫曰：V1, V2, V4, IT1, IT2, IT3六層）

一個單獨的區域並不知道這些輸入的訊息是什麼意思，它們也無法知道。最高階的聯結區則不需要知道它們所處理的輸入是來自視覺還是聽覺，皮質任何區域的工作是去找出這些輸入之間的關係、去記住它們之間相關的序列，再用這個記憶去預測這些輸入在未來該如何表現。

皮質的每一區域都形成不變的表徵。

每一個區域都可以從較它低階的輸入中形成不變的表徵，因此，V4、V2、V1根據傳入的訊息創造它們自己的不變表徵，它們只要看到世界的一小部分，所處理的感覺層次也很初級，但是它們也可以做IT的工作。

如何在任何一個皮質區中形成不變的表徵？

皮質的階層性結構儲存了外面真實世界的階層結構模式，而構築外面真實世界的結構就反映在構築皮質的階層性上。

構築或階層性結構究竟是什麼意思？用音樂做例子：音符可以組合成音程，音程再組合成旋律的樂句，樂句再組合成旋律或歌，歌再組合成專輯；如果以文字來說，字母組成音節，音節組合成字，字組合成子句或句子。

世界上的每一個物體都是由更小的物體所組成，大部分的物體都是更大物體的一部分。

人對事物的記憶以及大腦對這些事物的表徵，都是儲存在皮質階層性的結構中。你對你家的記憶並非儲存在大腦皮質的某一區上，它是存在於皮質的階層中，反映出的正是你家的階層性結構。大規模的關係儲存在階層的頂端，小規模的關係儲存在底端，階層性存在於外界及大腦之中。

皮質有一個很聰明的學習算則，很自然的會去找尋階層結構然後瞭解並掌握它；當找不到結構時，你就陷入困惑，甚至紛亂無頭緒。

作者所指的序列比較接近數學詞彙集合的意義。序列就是形態的集合，一般都相伴出現，但是不見得是按照固定的次序，重點在於序列當中的形態在時間上是隨同相伴的出現，即使出現的順序不是固定的。

學習序列是形成真實世界物體不變表徵的最基本條件。

大腦對待具體和抽象的方式都一樣，它們都是在某一段時間內一起出現、可預測的形態序列。

大腦可以說是儲存「序列的序列」，皮質的每一區學習序列，發展出作者所謂的名字或「序名」來稱呼它所學到的序列，然後把這個名字傳給皮質階層中它的上一級。

每一個皮質區對它所熟悉的序列也有名字，這個序名就是一組細胞，當集體發射時，代表了在這個序列中的一組物體。只要這個序列持續出現，這組細胞就會保持活化，而它的這個「序名」就會往上送到上一個階層去。只要輸入形態是可預測序列的一部分，這個皮質區便會對上一階的皮質不斷的呈現「序名」。

如此，某個事件可預測的序列便可以用「序名」來辨認，這個「序名」就是穩定的細胞活化形態。

當皮質把可預測的序列摺疊套縮成賦名物件時，越往上走，穩定性越高，最後產生不變的表徵。當形態往下走時，則穩定的表徵被展開成序列。

你不需要背它兩次－一次為口語、一次為書寫，單一的演講記憶就可以被展開成許多不同的行為形式。

階層性的構築序列允許我們分享和重複使用低階的物件，如字、音素、字母等。

記憶序列的方式以及用名字來代表序列，很像軍隊裡層層節制的指令。陸軍最高軍事領袖簡單一句：「把部隊開到佛羅里達州過冬。」這個扼要的高階指令被展開成越來越多的細節序列指令，例如開拔準備、運輸遷徙及抵達準備等。每一步驟又分解成更多、更細微專一的步驟，到最低階時，幾千個步兵在做幾萬件事，最後形成部隊調動的結果。每一個階層都要回報軍情，讓上級知道準備到什麼地步了，當這些回報的訊息在階層中流動時，訊息一再被整合，直到最高階將軍裡，他得到的每日軍情簡報是「冬季拔營到佛羅里達州已順利進行」，他並沒有收到所有細節。

假如事情不對勁了、下級人不能執行上級的指令的話，那麼這個問題會往上送，直到有人知道該怎麼修正為止。

當意料之外的事情出現時，訊息會往上送，直到有人知道該怎麼修正為止。

當意料之外的形態出現時，訊息會往上送到皮質階層直到某個區域可以處理它為止（有能力預測）。

皮質在設計上是用來儲存和回憶序列。

分類和找序列這兩者是創造不變表徵的兩個必要條件，皮質的每一個區域都在做這樣的事。

大部分的時候，你並不自覺你在利用你的序列記憶填補缺失的訊息或是解讀模稜兩可的東西。

皮質的所有區域都很有彈性，可以被經驗所改變，形成新的分類及新的序列正是你記憶這個世界的方式。

神經柱(columns，與層垂直)：一起工作的垂直細胞單位。神經柱的各層是以軸突相連結，它是上下走向，沿途形成很多的突觸。神經柱並不像建築物上的柱子那樣邊界分明。

活化就是在同個神經柱的細胞中往上和往下延伸散開。

皮質六層中，頂層是第一層，是最顯著的一層，神經元非常小，主要是整片的軸突，與皮質表面的走向平行；第二到第六層則是垂直走向。

每一個神經柱當中百分之九十的細胞突觸來自它本身以外的地區－有些連結是來自鄰近的神經柱，有些來自大腦的另一邊。

作者認為神經柱是預測的基本單位，當一個神經柱在決定它是否要發射時，它需要知道別的地方發生了什麼事－所以大部分的突觸連結是從外面進來的。

大量的突觸將神經柱中的細胞與大腦的其他地方相連，正好提供資訊使它可以預測它在許多不同情境之下應該做出的行動。

在第一層，軸突水平延伸擴展到遠處的低階皮質區。如此，順著階層往下流的訊息可能從一個神經柱活化好幾個在它皮質階層之下的神經柱。所以我們可以說當訊息是從階層往下送時，它的路線不那麼直接：透過在第一層的擴散（回憶出一首詩），它可以分岔到許多不同的方向去（書寫或口語）。

髓鞘是一種絕緣體，它防止訊號混淆並使它們流動得比較快（神經傳導速度可以到一小時三百公里）。

第一層包含了皮質哪一個神經柱剛剛被活化的資訊。

人類的視丘形狀和大小都像兩顆小鳥蛋，它座落在大腦的正中央、古老的腦頂端，周圍是白質和皮質。視丘接受皮質各處送來的輸入，再從軸突把綜合過的訊息送回來。視丘是一個非常複雜的結構，它的角色到現在還不十分清楚。視丘破壞會讓人變成植物人。

大腦有抑制的細胞專門就為防止其它神經元活化，它們強有力的抑制附近其它的神經元活化，有效控制只允許一位贏家。抑制的細胞只能作用到神經柱周圍的細胞，所以就算有很多的抑制，一個區域上的許多神經柱仍然可以馬上活化。

神經柱的一部分可以變得活化而不需要來自低層皮質的輸入。

在學習之前，神經柱只能靠第四層細胞活化，才被驅動活化；在學習之後，神經柱可經由記憶而局部活化。當某個神經柱經由第一層的突觸而活化時，就是預期將有由下到上的驅動活化，這就是預測。

細胞在接到來自下層所驅動的發射時，想要抓住任何可以幫助預測的訊息，通常相鄰神經柱間的活化有很強的相關，所以我們會看到許多直接的連結通往附近的神經柱。

在你學習一個序列之前，你可以傳遞細節，然而一旦你習得了序列、能夠成功的預測哪一個神經柱將要活化，你應該只傳遞固定的形態（就是這個序列的名字）。

當一個神經已經能預測它的活化形態時，我們需要一個關掉（活化一個抑制細胞）第二和第三層細胞輸出的方法；另一方面，當它們的神經柱不能預測時，便要使這些細胞活化。這是唯一可以製造出固定名字形態的方法。

在你清醒的每一個時刻，大腦皮質的每一個區域，都在比較由上到下驅動的預期神經柱及由下到上驅動的觀察神經柱，這兩組比對結果相交的地方就是我們所知覺到的。

第六層細胞除了向低階的皮質區域發射外，還把它的輸出送回到它們自身所在神經柱的第四層細胞去。當它們這樣做時，我們的預測就成了輸入，這就是當我們作白日夢或計畫時皮質所做的事，它使我們看到我們自己預測的結果。當我們在計畫未來、擔憂某事即將來臨時，大腦便是不停的在預測和驗證。資深神經科學家Stephen Grossberg把這叫做folded feedback。

記憶－預測皮質模式需要離細胞體很遠的突觸，以便能夠偵察到特定的形態。（虫曰：弱連結的威力）

皮質學習的兩個基本成分便是形態的分類以及建立序列，這兩個互補的記憶成分是交互合作的。

皮質學習歷程意外的結果是當重複學習時，物體的表徵會從高階往下移。當簡單的表徵往下移時，在頂端區域就可以學習更複雜、更細微的形態。

一個年輕的大腦在輸入的辨識上是很慢的，在運動指令上也很慢，因為這些作業所需用到的記憶仍然存在皮質的高階處，訊息必須一路從上到下跑遍各階，或許還要加上多次的折返才能解決不一致的衝突，這些神經元訊號在皮質階中來回上下的跑是需要時間的。一個年輕的大腦尚未在頂階形成複雜的序列，所以無法辨識及回饋複雜的形態。

我們從學習基本最簡單的結構開始，久一點之後，我們把累積的知識從皮質頂階往下移，所以，我們有機會在頂階學習更高階的結構，這個高階結構使我們經驗老到。專家和天才的大腦比其他人更機敏於看到結構中的結構以及形態中的形態。你可以透過練習變成專家，但是才能與天份絕對有基因的成分在內。

假如你失去了兩邊大腦中的海馬迴，你就失去了形成大部分新記憶的能力。沒有海馬迴，你一樣可以說話、走路、看、聽，在很短的時間之內你看起來是正常的，但事實上你是嚴重的失能：你無法記住任何新的事物；你記得在失去海馬迴之前就認識的老朋友，但你記不得新遇到的人；即使你一天見上你的醫生五次並持續個一整年，每當你見到你的醫生都像是第一次碰面。你在失去海馬迴功能之後的所有事情幾乎都記不得了。

海馬迴是新皮質最上端（金字塔的頂端）的組織，並非分離的結構。當一個全新、無法預期的訊息被新皮質的每一個區域不斷的向上傳送（因為無法按先前經驗解釋），最後會進入海馬迴。這樣的訊息不會永久儲存在海馬迴，它們要不是被輸到下面的皮質，或者是流失掉。

你知道的愈多，你記得的愈少。

海馬迴擅長快速的儲存它所見到的形態，它絕佳的位置正好處在皮質金字塔的頂端，可以記憶新奇的事件。你可立即在海馬迴記住一個新奇的事件，但是假如你一而再、再而三的經驗到這件事，不論是在真實世界還是在腦海中想著它，這個記憶會永久的被儲存在新皮質中。

當皮質上的任兩區直接連結在一個階層的架構中，它們都會間接與視丘連結，這第二條路徑只將訊息往上送、不往下傳。所以在我們要往皮質的高階傳送時，除了兩個階區之間有彼此直接的通路外，還有一個透過視丘的間接通路。作者認為這條通路可以讓皮質把平常在皮質低階處理的輸入提到高層去。如此我們便可將注意力由高階（整體）轉向低階（細節）。

單細胞生物無法學習，在它一生中無法學習利用水中營養梯度來獲取食物，它的學習是經由長期的演化而儲存在DNA上面。假如世界的結構突然改變了，這個單細胞生物將無法學著去適應，它無法改變它的DNA或因DNA所產生的行為。對這個物種來說，學習只能經由好多個世代、透過演化過程來達成。

在剛開始時，快速的突觸傳導和簡單的神經系統可能並未牽涉到任何學習，這個策略的目的僅在更快的傳送訊號。但是後來在演化的進程中，神經元之間的連結變成可以修改的。神經元可以依剛剛發生了什麼決定送或不送一個訊號出去，行為現在可以在有機體一生之間改善、修飾，神經系統變得有彈性，行為也是如此。因為可以很快的形成記憶，動物可以在一生的時間之內學習世界的結構。

作者認為人的智慧特別之處在於：我們的皮質比其它動物都大，所以可以學習更複雜的世界模式。另一個是我們有語言。

透過語言，一個人可以根據他個人對某個物體的記憶，在另一個未曾見過這物體的人心中，創造這個全新的物體記憶。語言是純綷的類比，透過它，我們可以使其他人學習和經驗到他們從未見過的東西。

智慧可以由三個時期來看：第一個時期：用DNA作為記憶的媒介，個體無法在有生之年學習和適應，只能以DNA為基礎的世界記憶透過基因傳給子孫。第二個時期：能夠快速形成記憶並可以修改的神經系統，個體可以在有生之年根據外在改變，修正行為。但是個體無法將知識傳給下一代。第三個時期：開始於語言的發明和新皮質的擴大，可以學習更複雜的世界結構，並將知識傳承給下一代。

創造力是每一個皮質區域都有的能力，它是預測的必要條件。

創造力是透過類比做預測，因為它四處可見我們反而不容易注意到它的存在。

一件藝術品是否偉大常有兩派爭執不下的情形，因為你要藝術品有點熟悉、使你可以接受它；但是同時你又希望它很獨特、跟你預期的不同。太高的熟悉度不過是俗氣的矯飾，太強的獨特性則令人不悅而難以引起共鳴，最好的作品是在教我們一些新的形態的同時，也打破一些預期的形態。

大腦中不變的表徵被一個陌生的情境激發了，我們看到兩個照理說不相干的東西之間出現了類比。

創造力就是適當的結合與比對你生命中所經歷過或知道的所有事物的形態。創意常一開口就是：「這有點像…」，這個神經機制在你大腦的每一個地方。

每個人的人生經驗不同，所以每一個皮質所發展出的模式和對世界的記憶也不一樣，這些差異會造成不同的類比和預測。

有些人在社會情境中比較有創造力，有些人則表現在語言、數學或外交上，這都與他們成長的環境有關。我們的預測，也就是我們的能力，是建構在我們的經驗上的。

創造力如何訓練？第一、必須誠實假設這個問題是有解的，很多人太容易就放棄了，你必須有信心，你一定要鍥而不捨的持續想這問題。第二、你必須讓你的心智漫遊晃蕩，你必須給大腦時間和空間去發現答案。找到一個問題的答案精確的說就是發現一個儲存在你皮質當中，可堪與目前待解的問題相類比的形態。假如你陷在問題中出不來，記憶－預測模式建議你應該找不同的方式來看這個問題，以增加從你過去經驗中看出類比的可能。但如你只是坐在那裡猛盯著問題看，你是走不遠的。

你的目標是尋找過去類似的情境經驗使你可以得出類比來，但是想要成功，你必須常常去思考這個問題，同時做些別的事情，使皮質有機會找出一個類似的記憶。

直到今天，我還聽到有人說電腦應該適應使用者，這其實不見得總是對的，我們的大腦喜歡一致性和可預測的系統，但千萬別忘了我們也喜歡學習新的技術。

大腦是一個喜歡建構模式、做創新預測的器官，但它的模式與預測很容易就將似是而非誤以為是正當可信的。我們的大腦不停的在尋找形態並做出類比，假如找不到正確的相關，大腦就會去接受不對的。

有些運動員假如在腦海中反覆練習的話，可以改善他們的技術。當閉上眼睛、想像每一個彎道及障礙物，甚至想像勝利的站在頒獎台上領獎，他們便增加了得牌的機會。想像是計畫的另一個說法，在心中想像等於是把這件事情計畫了一次。

你所知覺的大部分感覺並非來自你的感官，它來自你內在的記憶模式。所以「什麼是真實性」？這個問題，其實問的是你的皮質模式能多麼正確的反映出外在世界的真實性質。

我們沒有辦法使人們拋棄成見，因為運用刻板印象就是皮質的工作方式，刻板印象是大腦先天的特質。

防止刻板印象及偏見的方法，就是教導我們的孩子辨認錯識的刻板印象，要有同理心並對事情抱持懷疑的態度，必須提倡批判性思考的技術。

人類的心智不只是由新皮質所造出，它同時還與舊大腦情緒系統以及身體的複雜度有關係。要成為一個人，你必須有整個生物學上的經織構造，而不是僅有皮質而即可。

作者認為一部智慧機器並不須要在外表上、行為上或感覺上像個人。它會有智慧是因為它可以透過階層性模式與外界互動、瞭解外界，而且可以和你我一樣以類比的方式去思考外界。

作者認為智慧機器有四個特質是可以超越我們的能力的：速度、容量、複製性和感覺系統。

人類的大腦在演化受到兩個與時間有關的限制：一是神經細胞可以處理訊息的速度，另一個是世界改變的速度。對大腦來說，如果它要處理的外面世界是個改變很慢的世界，就沒有什麼理由去發展一個快速處理的機制；無端的硬是要比外面世界快上一百萬倍對人來說是完全不需要的浪費。

白痴的天才(savant)：是指智障的孩子有著異於常人的能力，例如像照相機一樣過目不忘的記憶能力，或眨眼就做出很困難的數學計算。

智慧機器可以用任何在自然界發現的感覺方式，也可以用完全是人工設計的方式來知覺外界。聲納、雷達和紅外線影像都是我們可以用在智慧機器上非人類感官的明顯例子，但這只是一個開端。