李隆基仔细考虑了一番，决定在兴庆宫外相邻几坊，择其中最好之处建四王宅邸，待以后他搬进兴庆宫，他们兄弟就能一如往昔住在一起了。

兴庆宫起建之前，工部曾向李隆基呈上草图。李隆基先是对调了南外朝北内廷的固有格局，然后着令在兴庆宫西南角建两座高楼，其一为“勤政务本楼”，用于日后日常办公只用，另一座高楼则命名为“花萼相辉楼”，意在比喻他们五兄弟如花萼一般相辅相辉。