在豸峰村，有两座保存完好的祠堂，一座是资深堂，而另一座则是成义堂。
资深堂是典型的徽州祠堂形制，前后三进，入口门楼为“五凤楼”式样，整个屋顶分作五个段落高低跌落而下，气势巍峨。正面有三扇门，中间的这一扇门只在祭祀等正规场合才打开，而平时看管、打扫祠堂的其他人，只能从两旁小小的侧门进出了。
整个豸峰潘氏，因为人丁旺盛，在始祖潘椿年之后，逐渐地分为“一、二、三、四、五、六、七、八、九”九家分支。总族有总祠，每一个分支中也有分祠，而这座祠堂的前身“棣辉堂”，就是潘氏家族中的其中一支“五家”，为了纪念潘镒、潘铉两位同胞兄弟同时考中进士而修建的。据说，当年“棣辉堂”落成之时，正德皇帝还专门御赐牌匾，上书“同胞进士”、“科第联芳”八个大字，悬挂于棣辉堂上。
潘镒，字希平，号叠峰。正德年间十六年进士。历史记载，潘镒为人正直，为官也廉洁奉公。任南京户部主事监北新关时，削减镇守无名的支出年计 2000 金。升员外郎后，奉命清查九库。九库许多年来问题成堆，难以查究。他克服重重困难，终于将九库 20 多年来出入的帐目一一查清，另立清册，历年管九库官员中的蠹虫也全部受到惩处。
明嘉靖五年，潘镒升户部福建司郎中。原先这里的隶卒严重超员，经费全靠索取外地的运输者来填补。潘镒逐一清除多余的人员，整治旧弊，过往运输的人员自此再无处处遭盘剥的忧虑了。不久升任长沙知府。长沙当时号称“盗薮”（意思是强盗聚集的地方），有些盗贼与官员相互勾结有恃无恐。潘镒首先整治衙门中那些为非作歹的官员，贪赃枉法者严惩不贷。都察院副都御史的儿子，当地人称“混劫儿”，因抢夺郡校官家的财物被抓，他的母亲派人来求情，被潘镒拒绝。惩处了“混劫儿”，震慑了盗贼，自此一方平安。
潘铉，字希举，号春崖。正德十六年与哥哥潘镒同期考取进士。历任江西高安知县、户部主事、湖广漕运副使、山西解洲知府等职务。潘铉和他哥哥一样，不但为官清正廉明，而且非常关心百姓的疾苦。在山西解洲任知府时，他经常深入民间，了解百姓的生活和诉求。他每次出台政策之前，都要在官衙门口，张贴告示，虚心听取百姓和士子们的建议和看法。在解洲为官十五年，政治清明，百姓安居乐业，被当地百姓称为“潘青天”。
棣辉堂毁于清朝的太平天国时期，而这个时候的“五家”，因为家道衰落，已无力重新恢复了，只能在原祠堂余屋的位置盖了一个小规模的祠堂，前面的部分，就转给了比较富裕的潘氏家族的另一支“六家”子弟。19 世纪末，“六家”为了祭祀潘氏的另一位风云人物儒商“存三公”，在棣辉堂原址上斥资建造了这座资深堂。祠堂里面，有方形、圆形、八角、莲花形等六种柱础，而祠堂正中檐下的一根月梁，跨度有八米以上，是一根整株的樟木。支撑大梁两端的，为一对精美的木雕倒爬狮子，雄狮居左，母狮居右，母狮怀中还有一小狮子在翘首嬉戏。据《婺源县志》记载，当年在修建这座祠堂的时候，大家有钱出钱，有力出力，存三公的裔孙潘鸣铎，一个人就出资八千两银子。
据说，在资深堂建造之时，工匠们找遍了村子附近的山林都没有合适的大木料，最后来到松山村购买。松山村的人原不想出让，不想在谈判购买时，突然天现雷电，将一根极其粗大的樟树顶端击断，见此，村人只好同意出卖此树。豸峰人兴高采烈买下后却发现，该树太粗太重，根本没有办法运走。正在左右为难之际，天空突然下起倾盆大雨，而且一下就是三天三夜，河水猛涨，树木终于得以从水路顺利运至村中，于是也就建成了资深堂。
