A antiga residência do barão de Vila Flor, João Manuel de Souza, é construção térrea com cobertura em telhas de barro tipo capa-canal, implantada junto da testada do lote, de frente para a praça. De fachada austera e simples, marcadamente horizontal, tem-se acesso à casa pelo pórtico alpendrado, em uma de suas extremidades. Cartela disposta sobre o vão central da fachada atesta a data de sua construção: 1847. Há registros de que a residência hospedou d. Pedro II, assim como o conde d’Eu e a princesa Isabel, quando de passagem por São Fidélis. Em 1957, os descendentes do barão de Vila Flor doaram o imóvel à Prefeitura. Hoje funcionam no local a bibiloteca e o museu municipal e o Departamento Municipal de Cultura e Turismo.