靖康年间，金兵南下。

宋高宗只能选择南迁，孔子第四十八世传人“衍圣公”孔端友带领主宗族人随宋高宗南迁，而后定居衢州。

孔氏后人定居衢州后，建造府邸宗庙，开展儒学文化。自此，衢州成为江南儒学中心，奠定了衢州成为南孔圣地的根基。

但孔端友同父异母的弟弟孔端操留守曲阜，结果金军一到，孔家人立即出城逢迎，金国皇帝为了宣示正统，同样将其封为衍圣公。