本院於1927年開始籌設,1928年正式成立,第一任院長為蔡元培先生。抗戰前,本院先後成立10個研究所,分設京、滬兩地。1949年播遷來臺,及時撤遷者只有歷史語言與數學兩個研究所,圖書文物則暫放楊梅火車站倉庫。在朱家驊代院長多方奔走下,1954年於南港現址營建院區。來臺後,復經胡適、王世杰、錢思亮、吳大猷、李遠哲、翁啟惠等院長之戮力經營,始有今日規模。現任院長為廖俊智院士,接任於2016年6月21日。本院設有人文社會科學、數理科學、生命科學三組,並已成立32個所(處)中心。