可事实上，在皇帝登基之后，宋国公却急流勇退，并没有在百废待兴之时选择继续辅佐皇帝，而是撒手不再管事，连皇帝交给他的事情都推辞掉，每日就是在京城遛弯逗鸟。

有人说是因为他害怕兔死狗烹，也有人说是因为他的独子没出息，因为宋国公的儿子，几乎是个名满京城的纨绔，有个这样只知道吃喝玩乐的儿子，想来再身居高位，也后继无人。