上院为原南洋公学建筑，原址在今上海交通大学徐汇校区，建于1900年，并于1954年拆除重建为新上院。
与中院一样，上院系在盛宣怀筹办创立南洋公学前与美国人福开森一同筹划设计，1900年建成。当时南洋公学设立三院，为外院（后改为附属小学堂）、中院（中学）及上院（大学）。建筑起初要给上院的学生使用，故也称作“上院”。但上院建筑建好了，上院却决定缓办，后只得作为北洋大学铁路四班和预科班的教室，后来也作为一些专业训练班的教室和行政机构用房。李叔同、凌鸿勋、黄炎培、邵力子、邹韬奋、陆定一等著名人物曾在此学习。
上院为一座“山”字形三层楼房，属英国文艺复兴式风格，有拱券长外廊，外墙以断山花为装饰，并有法国券式门窗。楼中部顶层有钟楼，底层有礼堂，是南洋公学的大学部，另有教室、实验室、办公室、食堂、学生宿舍。楼长60米，后方三幢楼房每幢纵深约30米，建筑面积6,500平方米，造价82,908两银元。楼前有半圆形花坛，中央树立旗杆，常飘扬五色旗或校旗。钟楼与1891年所建的上海海关大楼钟楼相似，内设大钟直径6尺，为当时沪西唯一的标准钟。
1926年，上院礼堂更名为“文治堂”，以纪念唐文治。该礼堂可容纳500人，常用于放映电影、举行校庆典礼、辩论会、名人演讲、学术报告、新生茶话会、募捐会等活动。上方还有月楼，可容纳一二百人。严复、孙中山、张元济、陈独秀、恽代英、蔡元培、黄炎培、马寅初、章太炎、陈果夫等人曾在此发表过演讲。后因此礼堂狭小，不能满足需要，就建设了大礼堂，也称文治堂；上院的文治堂则改称“旧文治堂”，新建的大礼堂则称“新文治堂”。
1953年上院年久失修，屋架墙壁倾斜严重。且保险公司不再续保，学校遂报教育部拆除并在原址修建新上院。
上海交通大学闵行校区有上院和东上院各一座，名字源于徐汇校区上院（及新上院），作为教学楼使用。
2012年后，新上院作为包兆龙图书馆整修后的图书室使用，现在挂牌图书馆（社科馆）。
新上院为一座中国古典主义样式的建筑，主体结构遵循苏联建筑风格，立面多以民族纹饰装饰。总平面呈工字型，面积为9746平方米。高五层，其中一二层为实验室，三层以上为教室，主楼后部有若干阶梯教室与活动室。
