Només es conserven unes poques restes del castell d'Espinalbet, algunes filades del que fou una edificació de planta quadrada bastida directament sobre la roca. Probablement es tractava d'una torre de defensa que controlava el sector de Castellar del riu però que no adquirí mai la categoria de castell temenat. No s'hi veuen restes de muralles ni d'altres construccions car segurament la pedra de la torre fou aprofitada per a construccions posteriors, masies veïnes i la rectoria de St. Vicenç. Es conserven les restes del que fou una escala d'accés que s'enfilen dalt del turó que domina la vall.
Notícies històriques
Les notícies del castell es relacionen amb la família vescomtal del Berguedà. El 1187 és esmentat en el testament del trobador Guillem de Berguedà com una de les possessions que cedí al seu germà Berenguer.