我国自古就有专门培养国家干部的机构，其中国子监最具代表性。不过，由于这个机构不是对所有人开放，所以他在我国历史上很少有人提到，它也因此多了一些神秘感。据北京大学历史系教授赵世瑜先生介绍，我国最早的国子监出现在西晋武帝咸宁四年（278年），后来国子监的名字几经更改，但最终还是沿用了本名。国子监的职能实际上有两种：一是全国各地官办教育机构（包括国子监）的行政中心；二是国家最高教育机构，负责培养国家的后备官员。
国子监的负责官员分为两级，一级是总管，称为国子祭酒，是行政官员，但同时也是学问精深的讲师，除了负责全国的教育工作外，通常也会负责皇储的教导工作。国子监中还设有若干个部门，具体部门各朝代有所不同，每个部门设一名管理人员，但他同时也是这个部门的讲师。所以国子监的官员都是一职多能，不仅负责管理，还负责教授课业。就国子祭酒来说，相当于今天的教育部长兼大学教授，当然，它主要教习的还是《四书五经》等儒家经典。
其实，国子监的入学资格并不是凭借成绩决定，而是身份地位。比如宋朝时规定，只有七品以上官员的子弟才有资格进入这里学习，但他们也必须有七品以上官员的推荐。到了各朝代末期，由于吏治腐败，贫民地主阶级的读书人多有通过贿赂进入国子监者。宋朝庆历四年（1044年），国家建立太学，国子监的教学功能被分离出去，开始主管教育行政。
辽国和金国也都设有国子监，但都隶属于不同的上级机构。元朝时国子监仍然是下属机构，隶属于集贤院并下辖国子学。也就是说，元朝的国子监仍然属于行政机构，国子学才是教育部门。此外，元朝的国子监也有二等，一等自然是蒙古国子监，负责蒙古族官员子弟的教育工作；二等是回回国子监，负责汉人官员子弟的教育工作。
明朝时国子监的行政和教学职能再次合并，但是由于明朝曾从南京迁都至北京，而南京的行政机构又都保留，所以有两个国子监，其中南京的国子监改称南京国子监，北京的国子监称为京师国子监。但实际上南京的国子监比北京的国子监规模要大，高丽、日本、暹（xian）罗等国都有留学生进入国子监学习。不过很可惜，南京的国子监并没有保留下来，而北京的国子监则一直到今天仍然存在，并对外开放。
清朝基本沿用了明朝的国子监制度，而且连地址也一并沿用，这也使得明朝北京的国子监得以保存。和明朝国子监的细微差别是规模，另外就是一些科目有所不同。清朝时因为统治阶级是满族，并且蒙古族也有一定地位，所以国子监也设立了一些曼玉和蒙语科目。清朝光绪三十一年（公元1905年）国子监并入学部，正是在我国历史上消失。
