他夫人出身极好，因此跋扈善妒，哪怕生了六个女儿，也不许他纳一房侍妾，甚至连个通房都没有。这也使得他哪怕想要找个伺候的人，都只能在义阳这么偏远的地方才敢找，而且，还找得小心翼翼的，因为他夫人时不时会派人来监视他。

得知李向荣死了的时候，他之所以没有抓狂失去理智，就是因为，他在义阳还有一个儿子，这个儿子是外室为他生下的，今年才刚刚五岁。