寺庙始建于东汉末年，距今已有1700多年的历史，原寺早已湮没。1993年重建，山门、天王殿、大雄宝殿等已具规模。山门建在香山老虎背中腰海拔125米的山坡上。山门上方的“香山寺”匾额由全国政协副主席赵仆初手书。
从山门向上攀登，跨过45级花岗岩台阶，就进入飞檐斗角、威严肃穆的天王殿。再向上拾级登攀，就是规模宏伟、气势非凡的大雄宝殿。这是一座双层楼阁式的大型建筑。殿东西长21米，南北宽13.8米，背高15.5米，建筑面积282平方米。黄墙红窗、雕梁画栋，造型格式依照苏州市灵岩寺的大雄宝殿。
寺内设东、西两花园，园内建有放生池、假山带、功德亭等。为方便信徒、游人和观光者，还建有佛光山庄、素斋馆、宿舍楼等。