明代嘉靖年间，里人杨潜购镇中心房舍后空地二十亩，筑花园寓所，名杨家花园。花园周挖小河，河边植树作围。园内稍作点缀，布局了一些花、草、石、凳、小亭、廻廊之类。大部分空地作跑马练武之地，一部分筑寓居。杨潜自小喜练武，拜过师，十八般武艺皆能。他招收学员，由他授教，收取费用，人称杨教练。
杨潜招收了一批又一批学员，经他调教，武艺大增。凡镇上遇大盗入侵，兵匪搔扰，他率学员前去除恶严景。他的德艺深得里人赞赏和钦佩，名杨四乡八镇。
浙江湖州有一李教练，体形剽悍，武艺高强。喜交友、重义气、爱比武。他得知甫里有杨教练，欲交友，磋武艺。托人带讯，终于约定他到甫里会见杨教练，观看学员的表演。
是日，李教练到甫里，杨教练到码头相迎，一起来到杨家花园。园里整齐地站立着二排学员，迎接李教练的光临。学员们逐一表演武艺。
李教练来甫里之前，曾与杨教练约定，在观看学员习武后，两人比试五项武艺：快马投标、射箭、散打、摔跤、举石担。胜三项者为赢者，输者设宴招待赢者。杨教练掂量了双方实力，前二项能胜他，三、四项逊于他。第五项举石器担，自己输多赢少。
比武开始，围观者数百，热闹非凡。杨、李各胜二项，不分高低。接着试比举石担。
场地上按重量大小依次放着五副石担。前三副石担，两人都挺举过头，不分胜负。李教练试举第四副石担，未成。杨教练说：“李教练可要试举下一副石担？”杨教练看到，第五副石担更大，重量远远超过前一副，便说：“不试了。请杨教练举吧。”
杨教练索紧腰间阔牛带，调正了一下护腕。走到石担前，弓步运气，鼓腮瞪眼，摩掌抚胸，抓扛把位。呀、呀声中，第五副石器担缓缓离地，随着一声狮吼，举担过头，稍停数秒，慢慢矮身，稳稳地放回石担。全场观众屏气凝视，连麻雀的叫声也可听见。观众惦量着，此举成败，有关甫里名声。杨教练一举成功，震撼全场，鼓掌声、呐喊彼此伏起。
李教练认输，要设宴款待杨教练。杨教练忙说：“李教练初次来甫里，我应尽地主之谊那有客人请客之理。酒席早已备好，就在园里堂中，请。”两人拉手入席，相见恨晚。
事后，学员向杨教练：“此副石担生达三百斤，师傅怎能举起？”杨教练笑笑说：“这是智斗。这副石担是我隔天叫石匠定制的，外壳确是大石提，内心一大圈已被凿去，嵌以圆木，圆木外粘了一层石粉而已。好得我是叫李教练也试举此石担的，但是他被吓退了。其实我也举不起第四副石担的。”学员们在笑。又问：“师傅为可出此策？”杨教练说：“按例第一次见面，不兴比武的。此人爱出风头，我无法推却。我俩比武是为友谊，并不是为了争输赢为王。我用智斗，告诉你们，只有智勇双全，才能有备无患。”
杨家花园慢慢败落。至清末已是荒芜一片。
清光绪15年（公元1889年）里人杨惠山（杨潜的后裔）考取武举人。杨惠山原是长工出身，喜习武，身强力壮，有一些身手。后入镇上陆氏染坊做工，勤劳厚实，被老板看中，将独生女儿嫁给他。不久，老板西归，杨惠山成了老板。有一次，他发现进货的染料中有两桶全是白银，他发了。他考中武举人后，县上拨了些银两，他自己出了大部分银两，在杨家花园遗址上购买了十亩田，用作骑马射箭之地。又在花园贴街处买下一处民房拆去了，造起了举人宅第。宅第除沿河照墙外，有五进：轿厅、茶厅、大堂、女厅、饭厅。后有马厩，占地一千平方米，可谓显赫一时。后来杨惠山败落，典宅於萧冰黎。现用直旅游景点“萧厅”即杨举人宅。杨家花园之名沿用至今。
