镰仓时代，藤原公经在鹿苑寺原址建立了西园寺，并作为山庄。

但是在镰仓幕府灭亡之后，身为主人的藤原公宗为了暗杀后醍醐天皇，将其招待到西园寺试图谋反，藤原公宗的计划败露，家族的庞大领地和财产被没收，西园寺也就此荒废。

百年后，室町幕府3代将军足利义满获得了这片土地的掌控权。

足利义满对其进行了翻新与增筑，并将其作为府邸。