修孝祁和安远侯之间积怨很深。

他十六岁奉皇命从军，当时就是在安远侯的军营里，安远侯暴虐，士兵经常因为一点小错，就遭到他的毒打。

修孝祁年少气盛看不过，曾经仗义执言，安远侯根本不把他放在眼里，对他冷嘲热讽，让他背黑锅，在皇上跟前说他的坏话。他曾经立下的功劳，也被安远侯据为己有。

后来因李长史的女儿的事情，他忍无可忍，终于把安远侯告到皇上跟前，那件事虽然后来被苏相压了下来，可是皇上对安远侯已经没有之前那么信任了。