Se trata de un palacete señorial que mandó construir don José María Payá Alonso de Medina a finales del siglo XIX. El señor Payá, abogado de profesión, fué real notario de capilla de la reina regente María Cristina y ostento el título de caballero de casa y boca, gracias a la intercesión de su tío el cardenal primado de España Miguel Payá, arzobispo de Toledo.
La arquitectura de la casa es un ejemplo civil señorial de finales del siglo XIX, de estilo ecléctico . Tiene una planta rectangular, consta de planta baja y 2 pisos con una superficie total de 408 metros cuadrados cada una. Como elemento arquitectónico destaca la escalera de gran belleza, partiendo de una planta cuadrada con ojo eliptico en el interior, con la peculiaridad a diferencia de los palacios de la época, que esta escalera no acaba en la planta noble sino que continúa hasta la superior terminando en una torreta.
La Casa de l’Hort, toma el nombre, del jardín huerta que lo rodeaba.
Tras finalizar la guerra del 1939, la casa quedó deshabitada durante muchos años , hasta que finalmente en los años 70 del pasado siglo, fué adquirida por los empresarios de la industria del juguete de la localidad para que albergará un futuro museo de la muñeca. El precio de adquisición del palacete fue dividido a razón trabajador de cada una de las empresas quedando cada participación en 3300 pesetas.