El Castillo de Alba está encaramado en un pequeño saliente rocoso de pizarra, que debió de ser lugar estratégico en la época castreña anterior a la venida de Roma a estos lares, quizás perteneciese a los Astures. Durante la época romana debió de seguir siendo un centro importante, hasta que durante la Repoblación de D. Alfonso III el Magno, rey de Asturias, a finales del s. X. se hizo como hoy lo vemos en parte. Luego le fue dado a los templarios, tras anularse la orden fue de DonáVaro de Luna y reinando Enrique IV pasó a ser la sede del Conde Alba y Aliste, parientes lejanos de otra rama de los Alba actuales. Cuando el Conde dejó de habitar el castillo e hizo su palacio en Zamora, la fortaleza empezó su declive, hasta lo que es hoy. La población que hoy es El Castillo de Alba, no debe de tener más de 15 habitantes durante todo el año, a excepción del verano. La iglesia podría ser de origen románico, sobre todo su espadaña en el cuerpo bajo, muy parecida a la de Manzanal del Barco, pero su remate más tardío y la ausencia de restos en la iglesia de época románica, impide asegurarlo, aunque es bastante seguro que allí hubiese un iglesia entonces, máxime, siendo un castillo perteneciente el Temple, que fue quien le dio su forma y tamaño. Al castillo se llega por una pista forestal desde la que sale un bello camino entre encinas y robledales hasta las ruinas. La parte más expuesta por la que se une la península al monte inmediato es la mejor fortificada. Desde ella el castillo se ve majestuoso y casi entero, pero una vez dentro por un boquete abierto en el muro, la desolación, que no las vistas, es total, media provincia, hasta la Sierra de la Culebra. En el muro que sobresale, en la foto de la izquierda arriba, tiene dos saeteras con forma de cerradura, hechas en granito y como es lógico abocinadas al interior. Lo única que estaba techado, una torre cuadrada que debió de servir de torre del homenaje, ha sido convertida en palomar, y ni siquiera eso la ha salvado de la ruina que ya ha tirado el tejado de madera y pizarra. Dentro sin embargo entre los montones de escombres ocultos por la vegetación se descubre un resto de otra torre de fundamentos románico a juzgar por el aparejo de sillería granítica. Y mas allá aún, se acaba el castillo, en una esquina de una torre que de nuevo, en sus fundamentos era románica, pero que con el tiempo la rehicieron. Todo el lado noreste del edificio se apoya, remetido hacia el centro del solar, sobre otro muro que se eleva 10 ó 15 metros según los lugares.