單純的正義只是一種消極的美德, 它只是阻止我們去傷害我們的鄰人。一個僅僅是克製自己不去侵犯鄰居的人身、財產或名譽的人, 確實只有微不足道的積極功勞。然而, 他卻履行了被專門稱為正義的全部法則, 並做到了地位同他相等的人可以恰當地強迫他去做的每一件事, 或者因為他不去做他們便可以給予懲罰的每一件事。我們常常只要坐著不動, 一無所為, 便可以遵守正義的一切準則。」[6]82斯密對正義的這番描述是對消極德性的最好注解。

那麽, 一個人作為個體會受到哪些方面的傷害呢？斯密列舉了三個方面：一是身體上受到傷害、傷殘、殺害, 或人身自由上受到侵犯；二是名譽上的損害, 或是被錯誤地當作憤懣或責罰的適當對象, 比如被當作小偷、劫匪, 或被貶低實際價值等；三是財產上受到損害[11]399。這三方面的權利被侵害給個人帶來的傷害也是有程度差別的。斯密認為：「最神聖的正義法律, 那些被違反時要求報復和懲罰的呼聲最高的法律, 就是那些保護我們鄰居的生命和人身安全的法律；其次是保護其財產和所有權的法律；最後是那些保護所謂個人權利或因他人允諾而歸之於他的權利的法律。」[6]84

對這三個層次的劃分, 斯密的依據是旁觀者同情共感的程度。一名公正的旁觀者對他人受到的傷害會隨著受害人原有情感的程度而改變。在上述三個方面的權利上, 一個人所受到的最嚴重的傷害是對自己生命安全的傷害, 其次是對財產利益的侵犯, 再次是對自己名譽的詆毀。「斯密把一個社會正義法則的神聖性與違反正義的行為所能夠引起的憤恨激情的強烈程度聯系起來, 罪惡越大或越是不可挽回, 受害者的憤怒就越是自然增強, 旁觀者因同情共感而產生的憤慨也就越是強烈。」[12]106而與此相應的是, 旁觀者對受害者越是同情, 就越是希望懲罰施害者。

旁觀者通過同情共感評判受害者與施害者行為的心理機制, 在斯密的道德哲學中已經論述得非常清楚了。需要特別指出的是, 斯密對旁觀者的同情依據與休謨有很大差別。在休謨那裏, 遵守正義與維持社會秩序緊密相連, 與公共利益直接相關。但在斯密這裏, 公共利益卻不是維護正義法則的主要依據。在1766年的《法學講義》中, 斯密寫道：「損害當然會引起旁觀者的憤懣, 如果處罰能得到中立旁觀者的同情, 處罰就是合理的。這就是處罰的天然標準。一般認為公共福利是處罰的根據, 但應該指出, 我們最初同意處罰並不是基於我們對公共福利的考慮, 而是基於我們對被損害者憤懣的同情。」[13]154

在斯密看來, 一個人損害了他人利益, 懲罰這個人的依據是對受害者的同情, 而非這個人的行為破壞了社會利益。尤其是在涉及經濟利益時, 斯密認為, 旁觀者的評判依據並不是社會總利益。「當有人從我們身上不正當地拿走了一小筆金錢時, 我們之所以告發這一傷害行為, 與其說是出於一種保護自己全部財產的關心, 不如說是出於自己對已經失去的那筆錢的關心。」[6]89

同樣, 當別人受到傷害時, 我們贊同懲罰傷害他的人並不是因為我們關心社會總體利益———盡管傷害他人的行為也的確破壞了社會秩序, 危害到社會總利益, 而是因為我們所關心的是這個受到傷害的人, 我們同情他的憤懣之情。這一點完全不同於休謨的論述。然而, 在某種程度上, 斯密又不得不承認, 有些情形下, 人們執行正義是出於社會總利益的考慮。某個站崗時睡覺的士兵被處死的原因僅僅是因為眾人的利益, 盡管旁觀者內心萬般不願看到那樣的結局, 但也只能執行。旁觀者對懲罰士兵的遺憾和對懲罰殺人兇手的堅決態度是不同的, 但相同的是旁觀者對受害者所流露的同胞之情、關切之心。