有一天早朝时，他曾经写的一首诗被某位同僚当堂翻了出来。那诗是他还在做秀才时写的，表的是山水，他自己都忘记是什么内容了，却被人扭曲成指摘朝政。

皇帝大怒，又计较起当初他拒绝了自己女儿，连个辩解的机会都没给他，就将他发落到了盈溪县，领着病弱的妻子来到这个荒凉又偏远的县城。

林安之被贬斥后，再不复当年一般意气风发，做官也变得佛系，得过且过。