本院於1927年開始籌設，1928年正式成立，第一任院長為蔡元培先生。抗戰前，本院先後成立10個研究所，分設京、滬兩地。1949年播遷來臺，及時撤遷者只有歷史語言與數學兩個研究所，圖書文物則暫放楊梅火車站倉庫。在朱家驊代院長多方奔走下，1954年於南港現址營建院區。來臺後，復經胡適、王世杰、錢思亮、吳大猷、李遠哲、翁啟惠等院長之戮力經營，始有今日規模。現任院長為廖俊智院士，接任於2016年6月21日。本院設有人文社會科學、數理科學、生命科學三組，並已成立32個所(處)中心。
