二级学院是大学实行的校、院两级管理模式中的第二级（学院制），因此称为二级学院，学院或系是构成大学的最基本的教学和行政单位。
学院（College、Institute或Academy）一词最早出现在1180年的巴黎大学，称为18人学院；中世纪后期，学院逐渐成为属于同一学科师生生活和学习的场所；20世纪50年代开始的中国高等学校管理体制，学习前苏联的大学行政管理模式，形成校、系、教研室三级管理模式。随着社会和经济发展，中国高校开始实行校、院两级管理模式，并以二级学院为运作组织的学院制，向学院放权，使学院成为能够自我发展的拥有相对独立和相应自主权的'办学组织。
二级学院分为两种不同类型。一是指普通高等学校中，由高校统一管理的二级教学单位；二是指普通高等学校设立，但以民办机制进行运作和管理的独立二级学院，即独立学院。
二级学院不等于独立学院。大学下设的部、院、系，是学校的有机单元，由大学统一管理。而独立二级学院虽由公立大学设立，但以民办机制进行运作和管理，其经营管理模式介于公立大学和民办大学之间，有别于大学下设的二级学院。