A l’ Edat Mitjana es coneixia com plaça del Castell, que era un soc de
mercaders, i quan el mercat es va fer gran, es va canviar d’úbicació a la Plaça
Major. El Castell d’aquesta plaça era una residencia reial, que a més servia de
defensa a la antiga Vila d´Ontinyent.
Després va passar al patrimoni dels Blasco (Conde de Carlet) i va tindre
visites importants com la Infanta Margarida de Austria.
El segle passat va pasar a ser propietat de la Duquesa d’Almodovar i al
morir en 1814 va deixar la seua fortuna als
òrfens i fins socials.
Este Palau s´ha reformat integrament i actualment acull les sessions
plenàries de l'Ajuntament d'Ontinyent, el Museu del Tèxtil Valencià, el Museu
dels Gegants i Cabets l'Oficina de Turisme.