Il corpo centrale dell’edificio sulla piazza è occupato dalla maestosa Facciata rinascimentale, ritmata in modo chiaroscurale per la presenza di finestre e nicchie dove si trovavano affreschi policromi di soggetto antico raffiguranti imperatori romani a mo' di statue.
Sono evidenti nell’architettura gli influssi dei modelli classicheggianti di derivazione romana, portati a Carpi dall’architetto senese Baldassarre Peruzzi. La facciata terminava all’altezza del grande pinnacolo angolare merlato, tuttora esistente, che si eleva a nord della Torre dell’Orologio. La facciata era collegata all’Uccelliera a nord e al Torrione a sud da una bassa muraglia, quanto rimaneva dell’antico muro perimetrale del Castello.
Tra 1582 e 1589 il corpo centrale fu ampliato verso nord, mantenendo e completando l’aspetto rinascimentale dell’edificio, con l’aggiunta di un’intera ala (aggiunzione estense) che collegava la parte cinquecentesca alla più antica torre del Passerino, a dare l’idea di un unico complesso palaziale.
