文震孟在家待了四年，其学生孙文赋诗悼念熊廷弼，其中多有讽刺阉党的言辞，御史门克新为了拍魏忠贤马屁，攻击孙文的诗为"妖言"，还把文震孟牵扯进去。结果，文震孟被夺宦籍，贬为平民。

文震孟为了生计只能靠在富豪设计庭院、鉴定古董谋生了。

这也是老文家的传统技能了，其家族历代研究园林。文家人把自己的书画才艺用之于造园或设计园林上面，从文徵明的父亲文林建停云馆开始，文徵明又在停云馆里边建了玉磬山房，以后到他的儿子、孙子，历代造园。