北宋末年。金兵南侵，社会动荡，为保圣裔，孔子第48代孙袭封衍圣公孔端友背负孔子和亓官夫人楷木像，随高宗赵构南渡。

宋高宗敕赐孔子家族庙宅于衢州。孔家在衢州复设家庙，祭祀孔子。

而留在山东的其他孔子后裔，继续主持孔府事务，先后有孔端友之弟等多人被伪齐、金、元政权立为衍圣公。

金、元衍圣公并存9年，各拥势力，明争暗斗。至此便形成了南北两派孔子后裔，三位衍圣公并存的特殊局面。