U prošlosti Kastel je bio jako vojno utvrđenje i štitio je kotlinu Vrbasa od neprijateljskih naleta, prije svega sa sjevera. Tvrađava je sa svih strana opasana debelim kamenim zidovima, na kojima su podignute puškarnice i osmatračnice. U njenoj unutrašnjosti pored ljetne bašte, igrališta za djecu i nacionalnog restorana danas se nalaze prostorije Zavoda za zaštitu kulturno istoriskog i prirodnog nasljeđa Republike Srpske, koji radi od 1976. godine.