据一部潜江已失传而是从湖北省图书馆抄来的《潜江县志稿》说，北城亚侯街城门内外都曾有万氏世居，而城外者为“骏之孙德尊等”所居，这样，我们就可以断定曹禺祖居的地址是北门城外。曹禺的堂妹万家秀曾告诉辉煌村人，曹禺祖居的准确位置就是今天的妇幼保健院（站）后一带。前些天，我与80高龄的家秀老人座谈，她说她早年从北京回到武汉再回到潜江祖籍后，1937年和1938年就是在这所北门外的大院里住了两年，1939年，日寇占领潜江城，全家人弃家逃难。家秀老人还说，他们的祖居是坐北朝南，南可望城墙，北抵玛昌湖。又据万氏族人万德中医生送我的一本1983年手抄的《万氏家谱》复制件说，曹禺祖居占地十余亩。因为万家是一个耕读人家，所以像一般农家房子一样，屋前是一个大禾场，周植杨柳，天热打场，在此歇荫。照《万氏家谱》描述，曹禺祖居有四重：第一重为“朝门三间”，第二重是“过天井为大厅三间”，第三重为“厅屋及堂屋”，第四重为“台屋”。靠东又扩建了“厅堂”，西面是花厅。曹禺家族从七世祖万锟以后，各代都有不同的功名，各代都有皇朝不同的封赠，因此在第一、第二重的朝门和大厅高悬着不同的御赐匾额。万氏宅院前有一东西向的小路，沿路西行，走过龚家，便是城隍庙。南面过老衙台，是儒学。东西北三面为玛昌湖和湖田环绕，每到夏日，稻菽葱茏，绿荷田田，十里芙蓉，红白相间；入夜，渔舟唱晚，蛙鼓阵阵，凉风习习，流萤低飞。万氏塾馆的儒童就在这样的环境里，接受历代万氏塾师的教育，然后一批批走进了塾馆南不远的儒学。《万氏家谱》又说，因为万氏宅院所在的街道在老衙台后，所以这条街叫衙后街。而“衙后”与“亚侯”谐音。

  曹禺祖居始建于明末，经过历朝不断地整修扩建，规模日趋宏敞，成为潜江历史上少见的大户人家。后由于家族中许多人走上了仕途，跟着就有人出外谋生，所以宅院里便日渐空落；又因为潜江县城三年两水，毁坏甚烈，所以至民国初年，宅院倾圮坍塌近半，呈现出一片破败景象。后来抗战爆发，潜江城沦陷，兵燹水淹，家人外逃，至抗战胜利，潜江万宅也就只剩下几堆瓦砾了。