建康城东南方向的乌衣巷乃王谢大族的群居地，那块地是王谢专属的，其余建康士族只能隔着朱雀桁，隔着秦淮河，在另一面选择宅地，桓府就是建造在建康城西边，石头城南面，占地非常广，高墙厚院，后院西侧有一个小湖。

小湖东西两面是桓府内宅，再往里面是一处曲径通幽的雅静所在，那就是王氏安排徐宗文暂住的别院客房，虽然地方有限，但是雅致周正，与桓府兵后院东北方向的一片竹林相连，也算得上是个修身养性的好去处。