此山称“小佘湖山”始自唐代。唐时崇尚道教，申泰芝死后，朝廷令邵州为其建庙，岁时祭祀。申泰芝隐居修炼的佘湖山离州治甚远（今邵东县佘田桥镇），为便于祭祀，遂在此山建祠，称佘湖庙，山乃名为小佘湖山，逐渐通称佘湖山。山顶有毗卢阁，民国时期，香火旺盛，每年秋季，远近信徒到此进香拜佛的成群结队，络绎不绝。山脚有雷祖岩，履之空洞有声。

　　岩上有台，台侧有石如悬，石下滴水时，附近群众视为雨兆。