De ontwerper van het oorspronkelijke plan van de toren is niet bekend. Door de eeuwen heen was daar al heel wat discussie over. Wel staat vast dat vier leden van de beroemde architectenfamilie Keldermans – Andries, Anthonis I, Anthonis II en Rombout – bouwmeesters waren van de Sint-Romboutstoren.