Die Festung von Gibralfaro herrscht über die Stadt. Sie erhebt sich auf dem Gipfel eines länglichen Berges mit einer Höhe von 132 m über dem Meeresspiegel. Die zerklüfteten Hänge dieses Berges reichen bis ins Meer und in die Stadt. Seit uralten Zeiten war diese Festung ein großer Aussichtspunkt, von dem aus man nicht nur die Siedlung am Westhang sehen konnte, sondern auch die Zugänge zu dem Ort vom Land und vom Meer her.
Der Verlauf der Festungsmauern von Gibralfaro ist ebenso wie in der Alcazaba unregelmäßig. Trotz der Länge der Mauer und der vielen Biegungen in ihrem Verlauf gibt es nur wenige Bastionen. Im Nordwesten des ummauerten Festungsgeländes erhebt sich ein mächtiger Festungsturm. Er befindet sich außerhalb der ummauerten Anlage, aber ist mit ihr mittels eines Anbaus verbunden. Es handelt sich um den Turm Torre Blanca.
Der Zugang zur Burg Gibralfaro erfolgt durch Durchgänge im Bereich der Barbakane im Osten, und in einem der Mauerabschnitte im Süden, neben dem Interpretationszentrum. Es gibt noch weitere drei perforierte Türen in den Mauern, alle aus der Zeit der Christen. Sie sind offen, um den Zugang in das Innere für die Versorgung oder zu militärischen Zwecken möglich zu machen.
Die Festung hat ein unregelmäßiges und unterbrochenes Profil, das sich an das Gelände anpasst. Es gibt zwei Mauerabschnitte, einer mit einer geringeren Höhe oder Barbakane, gekrönt von einem Wehrgang, der durch eine Brüstung geschützt ist. Darauf befinden sich abwechselnd massives Mauerwerk und Leerräume, die als Schutzelemente für die Truppen dienen. Als Baustoff wurde Tapial (Stampflehm) mit einem Sockel aus Mauerwerk aus Felsen des Berges verwendet. Es handelt sich um Schiefer, der mit Kalkmörtel verputzt ist, um ihn zu schützen und regelmäßiger zu machen. Die Mauerabschnitte passen sich an die Geländeform an.
Nach den in der Neuzeit durchgeführten Eingriffen besteht die Mauer aus dreißig Abschnitten, die durch acht Türme verstärkt werden, darunter der Torre Blanca, der besterhaltene Turm des Al-Ándalus. Er befindet sich im Nordwesten und ist hufförmig. Dieser Turm wurde über mehrere Epochen als Gefängnis benutzt. Er bewacht, wenn man vom Berg kommt, das einzige Zugangstor und schließt die Barbakane, die sich zur Coracha am Nordhang öffnet. Es handelt sich um ein imposantes Tor mit Biegung, vor dem sich ein Platz für die Wächter befindet. Ein Tor voller Symbolik mit einem Klostergewölbe, das mit Bandwerk aus geschnittenen Ziegelsteinen und zweifarbiger Keramik geschmückt ist. Im Inneren gab es eine Zisterne zum Auffangen von Wasser, Zimmer und Lager, sodass sich die Wachleute dort länger aufhalten konnten.
Der Torre Mayor befindet sich im Südosten und ist ebenfalls eine autonome befestigte Anlage mit Wasserversorgung, Lager- und Wohnraum. Er ist 17 Meter hoch und ist der beste Punkt zum Bewachen der Burg. Es fällt noch ein weiterer kleiner Turm auf, an der Ostecke, mit einer kleinen Treppe, die über mehrere Ebenen bis zum Raum der Wache aufsteigt.
Die Festung ist von einer Barbakane umgeben, die sich öffnet, um die Coracha zu bilden, ein ummauerter Weg, der steil nach unten führt und mit der Alcazaba verbindet. Das ist die einzige Verbindung nach draußen, und die Zickzacklinie vermeidet die Errichtung von teuren Wachtürmen.
Auf den Mauern der Burg erheben sich pyramidenförmige Zinnen und es gibt einen engen Patrouillenweg über der Mauer, einen großen Brunnen, der in den Fels gegraben ist, den Brunnen Airón. Er ist über 40 Meter tief. Außerdem gibt es mehrere Zisternen und Backöfen, und man konnte die Existenz einer Moschee feststellen, die von einer gepflasterten Straße umgeben war, unter einem Teil des heutigen Interpretationszentrums im Gebäude der ehemaligen Pulverkammer aus dem 18. Jh. Diese Moschee wurde nach der Eroberung als Klause San Luis geweiht.
Im Inneren der Burg blieben nur wenig arabische Elemente erhalten. Das ist auf die militärische Nutzung und die zahlreichen Eingriffe in der christlichen Epoche zurückzuführen. So sind beispielsweise die Moschee und verschiedene Räume verschwunden. Später wurde ein Teil der Festung von den Franzosen mit der Munition, die sie nicht mitnehmen konnten, in die Luft gesprengt, als diese während des Spanischen Unabhängigkeitskrieges die Stadt verließen. In der ehemaligen Pulverkammer der Burg befindet sich heute das Interpretationszentrum.