McCulloch and Pitts

剛看正規課本，
在Lecture 4結尾的Historical Notes看到眼熟的名字，
"Finite state transition systems were introduced by
McCulloch and Pitts in 1943.Deterministic finite automata in the
form presented here were studied by Kleene."

McCulloch and Pitts
不是第一個發表Neural Network整體架構的作者嗎?
而且我記得也是1943年提出來的.

我記得我在<<電腦生命天演論>>這本書上分別看到過McCulloch及Pitts，
剛翻了一下，終於找到，當初看的時候沒注意，
現在才發現這兩個人比我原先想像的更不簡單，
不過我猜真正不簡單的是Pitts，

上個月為報告Neural Network，Survey他的資料時，雖然發現他是個自學的超級天才，
但在wiki上看到的學術貢獻並不多，覺得很反常...
不過現在終於搞清楚了!

當時忽略了他們發明NN時，電腦還是打孔機時代，
看了下面他們對finite-state machines的貢獻時，
就知道天才總算是沒白混的....

<<電腦生命天演論>>有一頁寫著：
"1943年神經心理分析家W.S.McCulloch與W.Pitts發表的論文<<普遍存在於神經活動中
的觀念的邏輯算術>>顯示：原則上，對極為簡化的理論神經元而言任一個神經網路的
計算行為都能以一個等價的Turing Machine完全複製。

雖然翻譯的很熬口，(因為譯者是生物背景的)，
但看到"與Turing Machine等價"的字眼，
任何一個資科背景的人看到，
就知道能證明這件事，是很了不起的～
使我不禁想Google一下，
找到下面這篇，才大致明白真相...

http://www.dlsi.ua.es/~mlf/nnafmc/pbook/node10.html

"McCulloch and Pitts' neural logical calculus "

The paper by McCulloch and Pitts (1943) is commonly regarded as the inception
of two fields of research. One is the theory of finite-state machines as a
model of computation. The other one is the field of artificial neural
networks. This is an important and widely cited paper, yet a difficult one to
understand.

其中還講到Regular Expression的貢獻，
為何最後沒歸於McCulloch及Pitts，反而是歸給了Kllene......
是因為Pitts的符號令人太難懂了!
這令我想到牛頓與萊布尼茲對微積分的貢獻歸屬，似乎也是類似的情況。