天岳書院始建于清代同治六年（公元一八六七年）因為書院門對小天岳山而定名。門首有“天岳書院”四個鎦金大字，兩側(cè)鐫刻石聯(lián)“天經(jīng)地緯、岳峙淵渟”字體蒼勁、雄渾，相傳為清代學(xué)者李次青所書。院內(nèi)原有講堂三間，住室三間，東西齋各十四間。其中藏書樓三間，屈子祠及九君子祠，均因年代久遠而廢之。正中心的四柱大廳，即現(xiàn)今的小禮堂，兩壁原有朱熹手跡”忠孝廉節(jié)”四個大字，早已粉刷干凈。大廳前的花園，長著奇花異草，四季蔥蘢繁茂，令人留連忘返。整個房舍布局井然有序。仍依稀保存舊貌。

第二次國內(nèi)革命戰(zhàn)爭時期，彭德懷同志率領(lǐng)的湖南獨一第四師第一團于一九二八年五月駐扎于此，同年七月二十一日，彭德懷與滕代遠、黃公略等同志在這里發(fā)動了著名的平江起義。成立了中國工農(nóng)紅軍第五軍，開辟了湘贛革命根據(jù)地。彭德懷及滕代遠同志當(dāng)年的住房至今保存著。

一九四五年，受黨中央、毛主席派遣，由王震、王首道同志率領(lǐng)的三五九旅南下，曾駐扎在這里。

一九四九年七月二十六日－三十日，程潛和陳明仁將軍的代表程星齡等人在這里會見了解放軍的和平談判代表團，促成了湖南全境的和平解放。

天岳書院于一九七二年七月被列為省重點文物保護單位。