Section 7.1.6 of the book Grammatica italiana. Con nozioni di linguistica by Maurizio Dardano and Pietro Trifone (third edition) is devoted to Italian allocutive pronouns, beginning with the so called "pronomi allocutivi di rispetto o di cortesia", namely "lei" ("ella" in classical literary texts) and "voi" for singular and "loro" for plural (further in this section it is said that "al plurale, invece del pronome di cortesia loro, si usa più comunemente voi"; i.e., in plural, instead of courtesy pronoun loro, it's nowadays more common to use pronoun "voi"):
Quando, nel parlare o nello scrivere, ci si rivolge a un interlocutore di riguardo o a una persona con cui non si è in confidenza, si usano i pronomi allocutivi (dal latino ĀLLŎQUI 'rivolgere la parola') di rispetto e di cortesia: lei (letterario ella) e
voi per il singolare, loro per il plurale.
About singular courtesy pronoun "voi", the book asserts:
Il voi, già presente nel latino tardo e usato ora, per esempio, nel francese, è comune
soprattutto in alcune varietà regionali dell'italiano e nel linguaggio commerciale. Ebbe la sua massima diffusione durante il regime fascista, che ne sancì ufficialmente l'uso per richiamarsi, in campo linguistico come in quello politico, alla "tradizione romana". Ma il tentativo non ha avuto seguito.
That is,
The pronoun "voi", already present in late Latin and used nowadays, for example, in French, is mostly common in some regional varieties of Italian and in commercial language. It had its maximum diffusion during the Fascist regime, which officially sanctioned its use to refer to the "Roman tradition" in linguistic and in political fields. But such attempt was not followed up.
The book gives some examples to illustrate the usage of these courtesy pronouns. This is the one for singular pronoun "voi":
voi, Giuseppe, siete veramente fortunato
You can see how the adjective "fortunato" is masculine singular because "voi" in this case is used to refer to "Giuseppe", which is masculine singular. In a similar way, the formal pronoun "vi" in your sentence is used to refer to "conte": the speaker is implicitly using "voi" to address the count. So, past participle "accalorato" must agree with the noun "conte": this is why it's masculine singular.