百官分作两方，辅政大臣却达成一致的意见，要将殷仲堪交付三法司联合审查，中书监王恭甚至提出立即罢免殷仲堪的侍中之职，连殷仲堪改任广州刺史一事都不再提。

徐宗文玩笑似的对百官说道：“广州地处海滨，番禺乃大晋与西洋诸国通会之地，坐享鱼盐之利，四周土地平坦，沃野千里，江海之水汤汤，此乃天赐佳水，又有航运财货之益。广州这样的风水宝地若交给殷仲堪这样私德有亏且无真材实料之人治理，只怕是尸位素餐，反倒是害了广州一地十郡数万户生民。”