由右碣文看来，寺之创立甚古，而在唐代宗朝就原有塔院建立伽蓝，敕名广胜。至宋英宗时，伽蓝想仍是唐代原建。但不知何时伽蓝颓毁，以致需要将下寺：
计九殿自（金）皇统元年辛酉（公元一一四一年）至贞元元年癸酉（公元一一五三年），历二十三年，无年不兴工。……
却是这样大的工程，据元延祐六年（公元一三一九年）石，则：
大德七年（公元一三○三年），地震，古刹毁，大德九年修渠（按即下寺前水渠），木装。延祐六年始修殿。
大德七年的地震一定很剧烈，以致“古刹毁”。现存的殿宇，用大昂的梁架虽属初次拜见，无由与其他梁架遗例比较。但就斗拱枋额看，如下昂嘴纤弱的卷杀普拍枋出头处之抹去方角，都与他处所见相似。至于瘦高的檐柱和细长的额枋，又与霍县文庙如出一手。其为元代遗物，殆少可疑。不过梁架的做法，极为奇特，在近数年寻求所得，这还是唯一的一个孤例，极值得我们研究的。