유식학에는 삼종자성(三種自性)과 삼무성(三無性)이라는 학설이 있다. 이들 학설은 유식학의 원전이라고 할 수 있는 해심밀경(海深密經)과 유가사지론(瑜伽師地論), 그리고 섭대승론(攝大乘論)등에 설명되어 있다. 이러한 원전의 학설으 요약한 것이 세친(世親)의 유식삼십론(唯識三十論)이다. 그리고 유식삼십론의 게송(偈頌)을 주섟한 것이 성유식론(成唯識論)이다.

이와 같이 삼종자성과 삼무성에 대한 학설이 여러 곳에 설명되어 잇다. 삼종자성의 내용에 의하면 우리의 마음인 식(識)울 떠나서 외부세계에는 따로 진실한 경계<實境>가 없다는 사상을 세가지 성질로 설명하고 있다.

즉 삼종자성이란 ①인간은 아집(我執)과 법집(法執) 등의 번뇌를 야기하며 생활하는 모습을 설명하는 변계소집성(遍計所執性) ②인간의 정신생활과 그밖에 있는 외부의 물질계를 포함한 모든 자연계는 유일한 것이 창조한 것이 아니라 다인(多因)과 다연(多然)집합하여 창조하였음을 설명하는 의타기성(依他起性) ③변계(遍計)의 변뇌는 허구성이며 의타(依他)의 인연이 집합하여 성립된 삼라만상도 일시적 종재<假有>이며, 오직 진여성(眞如性)만이 영원한 존재이며 진실되고 또 만물의 체성<性>이라고 설명하는 원성실성(圓成實性) 등을 말한다. 그러나 이들 삼종자성은 고정되어 있는 것이 아니고 또 하나하나의 자성(自性)이 없다고 설명하는 것이 삼무성설이다.

삼무성이란 ①모든 번뇌의 성질은 허무한 것이기 때문에 자성이 없다고 설명하는 상무성(相無性) ②모든 것은 인연의 모임이고 자연생이 아니기 때문에 그 체성이 있을 수 없다고 하는 생무성(生無性) ③본래 진리는 허공과 같이 고정된 자성이 없다고 설명하는 승의무성(勝義無性) 등을 말한다.

이와 같이 삼종자성과 삼무성은 모든 번뇌와 물질 그리고 정신계의 내용을 종합적으로 관찰케하고 깨닫게 하는 교리이다. 그러므로 이 삼종자성과 삼무성은 앞에서 설명해 온 모든 교리를 간단 명료하게 정리한 것이며, 동시에 진리와 비진리성을 잘 분류하여 설명한 교리하고 할 수 있다. 이제 이들 삼종자성(三種自性)과 삼무성(三無性)의 내용을 차례로 살펴보고자 한다.

 삼종무성

삼종무성(三種自性)은 인간을 비롯하여 모든 중생의 현실을 세 가지로 분류하여 그 진리성을 알기 쉽게 설명하는 교리이다. 세 가지 성질이 서로 관계가 있으면서도 그 성질이 각각 다른 내용으로 설명된 것이 삼종자성의 특징으로서 그 내용은 다음과 같다.

1)변계소집성

변계소집성 (遍計所執性)의 변계는 주변계탁(周遍計度)의 뜻이다. 주변계탁은 진리를 두루 착각하고 집착하며 인식한다는 말이다. 예를 들면 제칠말라식(第七末那識)과 제육의식(第六意識) 등의 마음이 진실하고 초연한 진리와 그리고 인연의 모임에서 형성된 삼라만상<諸法>에 대해서 그 진리성을 망각하고 오히려 아집과 법집 등이 집착을 나타내어 지말번뇌까지도 두루 발생하는 것을 말한다. 교학에서는 능동적으로 망상을 나타내는 능변계(能遍計)와 수동적으로 집착되고 계탁(計度)되어지는 소변계(所遍計) 등 두가지로 나누어 설명하고 있다.

능변계는 제칠말라식이 제팔아라야식(第八阿 耶識)의 견분(見分)을 능히 망각하고, 또 진실성을 망각하여 집착하는 것을 말한다. 아라야식의 견분이란 아라야식의 체성에서 나타나는 작용을 뜻하는 것으로서 그 체성의 작용을 진실하게 관찰하지 못하고 고정된 실체로 망각(妄覺)하여 아집과 법집을 야기함을 뜻한다. 이것을 무명(無明)이라고 한다. 다시 말하면 체성이란 진여성(眞如性)과 불성(佛性) 또는 무아성(無我性) 등을 말하며 이를 계교(計較)하고 사탁(思度)한 것을 계탁이라 한다. 그러므로 계탁은 비진리적인 생각으로 진리를 대하거나 사물을 반연하는 심리작용을 뜻한다. 다음으로 제육의식(第六意識)이 육경(六境)을 상대로 능히 계탁하는 것을 들 수 있다. 이는 주변계탁이라는 말과 같이 주변(周遍)은 두루두루 어떤 것이나 다 상대한다는 말이다. 그러므로 주변계탁은 제육의식이 어떤 대상이든지 두루두루 상대하여 선(善), 악(惡), 무기(無記)등 삼성으로 구별하며 인식함을 뜻한다. 그러나 제칠말라식은 오직 아라야식의 견분만을 상대로 아집을 야기하기 때문에 계탁의 뜻은 있지만 주변의 뜻은 없다고 한다.

이와 같이 제육의식과 제칠말라식의 주변계탁에 대하여 다르게 해석하고 있다. 그런데 심식(心識의 변계에 대하여 각 학자마다 다르게 해석하고 있다. 즉 난타(難陀)와 호법(護法) 등은 능변계의 마음은 오직 의식과 말라식에만 있을 뿐이고, 그 밖에 전오식(前五識)과 아라야식 등 오 팔식(五,八識)에는 전혀 없다고 주장하였다. 이에 대하여 안혜논사(安慧論師)는 모든 마음에는 허망분별(虛妄分別)의 작용이 있기 때문에 능변계와 망집심(妄執心)의 작용이 있다고 주장하였다. 왜냐하면 만약 의식과 말라식을 제외한 전오식과 아라야식에는 능변계의 뜻이 없다고 한다면, 허망분별의 뜻도 없다고 보아야 하며 허망분별의 뜻이 없다면, 이는 곧 유루심(有漏心)이 아니라 무루심(無漏心)으로 보아야 하는 모순이 따르기 때문이라는 것이다. 이와 같이 안혜논사는 유루(有漏)란 이미 허망분별을 자성으로 하는 것이기 때문에 전오식과 아라야식은 비록 계탁과 같은 근본번뇌는 야기하지 않는다고 하더라도 지속적으로 그 자성에 대하여 유상(有相)망상을 나타내는 미세한 분별은 있다고 보았다. 그리하여 안혜논사는 심식 전체의 분별심을 할할 때 전오식과 아라야식은 법집만 있고, 말라식에는 인집(人執)만 있으며, 의식에는 아집 그리고 법집 등 이른바 구생기번뇌(俱生起煩惱)와 분별기번뇌(分別起煩惱)등을 함께 구비하고 있다고 하였다.