桧原湖の北岸に位置する「桧原」は、桧原宿として15世紀末頃から旧米沢街道の宿場町として栄え、検断、問屋、住家などが軒を連ねていた。宿場町は、1888(明治21)年の磐梯山噴火により桧原湖が生成され湖底に沈んだが、北側の山麓にある山神社(大山祇神社)は水没を免れた。
当神社の始まりは不詳だが、中世に穴沢俊家が興し、大山祇命(おおやまづみのみこと)を祭神として祀ったと伝わる。男女の木造も安置し、境内には石灯籠が置かれていた(新編会津風土記)。
現在は、社殿が南側の湖面を向いて立つ。湖面に没した参道には一の鳥居が復元されて、遠く正面には磐梯山を見ることができることから、噴火前には小磐梯が正面であったと推測される。渇水期には二の鳥居が参道の杉並木樹根と共に姿を現し、往時の片りんをのぞかせてくれる。石灯籠は水没を避け桧原地区に移転した。