Il castello è stato edificato nel XII secolo dai Ventimiglia, signori incontrastati di tutta la dorsale dei Nebrodi e delle Madonie. La struttura dei ruderi dell'antico fortilizio, lascia intendere che quella torre doveva proteggere le case sottostanti che, a ridosso, si accucciano nelle loro strette e brevi vie.
In una suggestiva descrizione storica, il Nicotra dà notizia che il castello "era composto di due torri riunite i due mura, uno a tramontana l'altro a mezzodì: l'entrata era a lato della torre posta ad oriente, mentre da quella a ponente partiva un altro muro e quando l'ombra della torre terminava di proiettarsi sopra di esso era precisamente mezzogiorno e perciò serviva di meridiana in ogni stagione. Da questo muro se ne staccava un altro, che girava attorno allo spazio del castello e serviva oltre che da difesa anche da cautela perchè nessuno precipitasse dal lato boreale. Dentro la piazza del castello vi era la cisterna".
Di tutto ciò, ma anche di altro, oggi rimane ben poco: dei resti delle opere murarie e quasi intatta solo la torre posta a oriente. Il motivo di questa "morte" va ricercato in una sorta di svendita - di pietre intagliate, tegole, ferramenta, laterizi e quant'altro potesse essere venduto e usato in altre costruzioni -, praticata nell'Ottocento dai duchi d'Agraz, ultimi proprietari del castello. è di un mastro dell'epoca, impiegato a demolire la struttura, che si hanno altre notizie sulla costruzione. Egli riferisce che le volte erano solidissime, costruite a laterizi di piatto, della lunghezza di circa un palmo, larghezza di mezzo palmo e spessore di un terzo di palmo, e che, egli, aveva molto stentato a farli saltare col piccone e col martello. Anche l'intonaco, era così forte che da solo era capace a sostenere un grave peso.