Park se nachází v místě bývalých valů za městskými hradbami. Jeho dominantou je nárožní věž městského opevnění. Tato věž začala v roce 1768 sloužit jako vodojem, do nějž byla voda přiváděna z níže položené vodárny. Z věže byla voda rozváděna do kašen na náměstí a několika stírek v ulicích. Roku 1830 byla věž o dvě patra snížena a získala tak dnešní podobu.
Pozemek parku sloužil původně jako střelnice Měšťanských ostrostřelců. Park byl založen kolem roku 1882 a pojmenován na počest sňatku korunního prince Rudolfa Habsburského. Založení parku iniciovala První záložna ve Vysokém Mýtě. Původní dispozice parku představovala romantizující úpravu ve svažitém terénu s křivolakou cestou, která park členila na několik částí. Středobodem byl dřevěný altán. V roce 1937 byla v parku postavena budova kostela Husova sboru církve československé. V souvislosti s touto stavbou byla změněna podoba původního parku.
V letech 2019 až 2020 byl park upraven. Došlo k úpravě cestní sítě, vytvoření adekvátního předprostoru budově kostela, doplnění mobiliáře a vysazení nových stromů. V půdorysu původního altánu byla jako jeho připomenutí vytvořena kruhová plocha vyskládaná z kamene a osazena lavičkou.
Lukáš Štefl, zahradní architekt města Vysokého Mýta; René Klimeš a Vojtěch Barcal, RMVM. Foto Radek Štěpán