L’abitato di Castello risale in massima parte al XVI sec., all’epoca del disarmo del castello vero e proprio: in seguito ai nuovi assetti politici, esso era venuto a trovarsi a ridosso del nuovo confine con la Confederazione elvetica, che ne chiedeva la demolizione. Edificato sulle fondazioni dell’antica rocca, l’abitato conserva l’andamento semicircolare delle vecchie mura di difesa attorno all’altura che ne aveva ospitato il nucleo: i percorsi all’interno del borgo consentono di farsene un’idea.

L’antica fortificazione, che in epoca medievale era detta “Castello di Albogasio”, dà il nome all’abitato.Un tempo feudo dei Confalonieri di Milano.
All’inizio del paese, dal lato ovest, si trova la chiesa di San Martino, titolo questo di origine franca.
Nelle sue forme attuali essa risale al Sei-Settecento ed è famosa per il soffitto magistralmente affrescato dal pittore Paolo Pagani, nativo di Castello, che lo realizzo’ al ritorno a casa dopo lunga permanenza in Moravia.
Sul lato nord partono da Castello comode mulattiere verso i pascoli e gli alpeggi. Va ricordato che fino agli
Anni Sessanta del secolo scorso la Valsolda era interamente tenuta a coltivo e a pascolo.