El Palacio de San Telmo se concibió para instalar la sede del colegio-seminario de la Universidad de Mareantes, después fue vendido al Duque de Montpensier, marido de la Infanta Luisa Fernanda y, por tanto, padre de la Reina María de las Mercedes y suegro de Alfonso XII.