Los Imperial Palace East Gardens (皇居東御苑, Kōkyo Higashi Gyoen) forman parte de la zona interior del palacio y están abiertos al público. Son el antiguo sitio de los círculos de defensa más internos del Castillo de Edo, el honmaru («círculo principal») y ninomaru («círculo secundario»). Ninguno de los edificios principales se mantiene hoy en día, pero los fosos, paredes, puertas de entrada y varias casas de guardia todavía existen.
El Castillo de Edo fue la residencia del shogun Tokugawa que gobernó Japón desde 1603 hasta 1867., El emperador Meiji también residió allí de 1868 a 1888 antes de mudarse al Palacio Imperial de Nueva Construcción.
los cimientos restantes de la antigua torre del castillo se pueden encontrar en la cima de la colina, donde una vez estuvieron los edificios más internos del castillo. La Torre del castillo se completó en 1638 como la Torre del castillo más alta de la historia de Japón., Pero solo unos años más tarde, en 1657, fue destruida por incendios en toda la ciudad y no ha sido reconstruida desde entonces.
en lugar de los antiguos edificios del Palacio del castillo en el círculo secundario de defensa (ninomaru) al pie de la colina, se ha creado un bonito jardín de estilo japonés.