此后，除在战乱及新旧两朝更替时出现暂时中断外，南京官办学堂历代延绵不绝。

317年（晋建武元年）晋元帝司马睿于建康（今南京）设太学，历经宋、齐、梁、陈四朝建康太学绵延不断。南朝宋时，建康太学分设文、史、儒、玄、阴阳五科学馆，为世界上第一所分科制高等学府、教育与研究合一的大学。

在经过隋唐南京太学被取消，仅余下地方性学校的低迷时期后，南唐在南京重新建立起太学，随后顺延至北宋江宁府学，南宋时期，建康成为行都，也设有国子监，元朝改集庆路学。

明朝定都南京，在原六朝皇家园林华林园旧址及南朝太学原址钦天山下建立起国子监。至1393年（明洪武二十六年）时，南京国子监监生达八千一百二十四人，为当时世界上规模最宏大的学府。到永乐年间，学生超过万人，东亚南亚诸国均派留学生来南京国子监学习，故译学盛兴。那时在南京下关设有造船场，掀起了中世纪的航海事业。而在南京国子监后面的钦天山上，建有明朝皇家天文台——钦天监观象台。这些都为南京国子监学生开阔眼界提供极大便利。