熊本藩主・細川家の下屋敷があったところで、屋敷や回遊式の庭園が整備されました。その大名庭園の東庭園部分が現在の戸越公園。江戸時代以降、所有者も転々と変わっていますが、大名庭園の池泉の雰囲気は残されています。