A família de Olavo Cardoso, que doou o prédio para a Prefeitura de Campos instalar o museu que leva seu nome, está revoltada com o roubo no prédio, de onde roubaram muita coisa, inclusive o mobiliário do escritório que pertencia ao empresário. Já há alguns anos a família chegou a cogitar em retomar o casarão, que na verdade é um solar urbano. Ainda não se sabe ao certo tudo que levaram, mas com certeza quadros da pinacoteca do Palácio da Cultura, que estavam lá, dançaram. A maioria dos quadros era de pintores campistas como Denanci Anomal.
No primeiro dia de 2021, essa coluna noticiou o caso, quando um grupo de 10 bandidos participou da ação com um caminhão baú, talvez com o apoio de mais um veículo. Roubaram mobiliário, prataria, relógios antigos, computadores, inclusive o escritório de Olavo Cardoso, livros, quadros, e peças de arte. O Museu Olavo Cardoso estava fechado para visitação há vários anos aguardando reforma.
As peças de arte mais importantes que tinham no Olavo Cardoso não foram roubadas porque acabaram sendo incorporadas pelo Museu de Campos, na Praça São Salvador.
