Budovu letohrádku nechal postavit za městským příkopem, v letech 1601–1602, majitel panství Jan Rudolf Trčka z Lípy (1557–1634), dle předlohy královského letohrádku v pražské oboře v Bubenči. Jednopatrová, původně renesanční stavba, je situována v rovinaté horní části parku. K budově přiléhá schodišťová věž propojující jednotlivá patra. Letohrádek se zámeckou budovou spojuje 270 m dlouhá nadzemní zastřešená chodba.

Na počátku 19. století byl letohrádek upraven v duchu klasicismu.

V nedávné minulosti se interiéry této budovy využívaly jako obřadní a výstavní síň města. V současné době je stavba veřejnosti nepřístupná.

Koncem roku 2022 byla zahájena rekonstrukce střechy a podkroví budovy, následně proběhne i rekonstrukce ostatních pater.