預測編碼最初是一種為實施信號處理而開發的數據壓縮策略（相關歷史見Shi&Sun, 1999）。以一類基本任務，如圖像傳輸為例，在大多數圖像中，一個像素點的值穩定地預測其鄰近像素點的值，除卻一些例外情況——這些例外情況反映了圖像某些重要的特征，如對象之間的邊界。這意味著：通過僅對意料之外的變動（即真實值與預測值發生偏離之處）進行編碼，一幅圖像的代碼可以由一個「充分知情」的接收裝置進行有效地壓縮。一個最為簡單的預測原則是相鄰的像素點都具有相同的值（如相同的灰度值），當然更為複雜的預測也是完全可能的。只要存在可檢測的規律性，就可以實施預測（進而可以實施特定類型的數據壓縮）。我們感興趣的是真實值與預測值的偏離，它們被量化為實際信號和預測信號之間的差異（即「預測誤差」）。這種數據壓縮策略大大節約了帶寬，而節約帶寬正是20世紀50年代James Flanagan和貝爾實驗室的其他工作人員努力開發新技術背後的動力。…

人們為此設計了一系列算法，其中以「睡眠-覺醒法」（wake-sleep algorithm，見Hinton et al., 1995）最為典型，該算法讓識別（recognition）與生成（generation）任務彼此引導，允許系統在迭代評估（iterative…

以此觀之，預測加工過程是一種典型的「無上限自舉」。舉個例子，要想預測句子中的下一個單詞，熟練掌握英語語法是很有好處的。而熟練掌握英語語法的一條有效途徑，就是尋找最好的辦法預判句子中的下一個單詞。這正是世界本身自然地提供給我們的訓練方式，因為對應句子中下一個單詞的聲音或形狀會緊隨著預測呈現出來。由此，你可以一步步地引導自己建構起關於英語語法的知識，這些知識又會在後續的預測任務中派上用場。如果處理得當，這種自舉（即某種形式的「經驗貝葉斯方法」，見Robbins, 1956）能夠成為一種非常強大的訓練機制。…