流紋岩の貫入岩体が作る峰上に立地。会津攻めの伊達政宗軍が穴沢一族を討破ったあとに築いた中世の山城で、政宗が会津で築いた唯一のものである。地元で小谷山と呼ぶ山にある戦国時代の山城で「桧原城」とも呼ばれる。
1585(天正13)年、桧原に侵攻した伊達政宗が築城した山城で、6月28日に米沢へ帰陣するまでの間、在陣した。以後は家臣の後藤孫兵衛信康を城代とし、1589(天正17)年の摺上原(すりあげはら)の合戦に至るまで米沢から会津を侵略する拠点となり情報収集の要として維持された。
小谷山城は、政宗と信康の間でやり取りされた手紙が多数残るのも特徴で、天正13年、政宗が自らの二本松侵攻に関する信康への知らせや、信康が求める白の普請要望に対し、人足と普請奉行を送る旨を告げた天正14年政宗の返事、天正15年桧原警固の緩みに対し注意を促す政宗の手紙(いずれも伊達政宗書状)、桧原からシシの子を送ったことを記した記述(伊達家日記)などがあり、当時の白や領国境の維持管理について知ることのできる貴重な資料となっている。