La fortaleza de Gibralfaro domina toda la ciudad, y se encuentra enclavada en la cresta de un alargado monte situado a 132 m. sobre el nivel del mar, cuyas escarpadas laderas descienden hacia el mar y hacia la ciudad. Desde tiempo inmemorial esta fortaleza fue la gran atalaya no solo para observar la población asentada al pie de su falda occidental, sino los accesos a ella por tierra y mar.
El trazado de las murallas de la fortaleza de Gibralfaro es muy irregular, como ocurre con la Alcazaba. Pese a la longitud de su perímetro, son muy escasos los bastiones existentes, pese a los quiebros que presentan el trazado de su muralla. Destaca poderosamente al noroeste del recinto murado una gran torre albarrana, es decir situada fuera del cerco amurallado pero unida a él por un apéndice de la fortificación, es la llamada Torre Blanca.
El acceso a Gibralfaro se realiza actualmente mediante pasos abiertos en la zona de la barbacana situada al este y en uno de los lienzos de muralla del frente sur, junto al Centro de Interpretación. Existen otras tres puertas perforadas en los muros, todas de época cristiana, y abiertas al objeto de facilitar el acceso al interior de suministros o pertrechos militares.
Responde a un perfil irregular y quebrado, adaptándose al terreno y con dos recintos murados, uno de menor altura o barbacana, coronado por un adarve, que está protegido por un parapeto rematado por una alternancia de macizos y vanos que actúan de elementos de protección de la tropa. El material de construcción es tapial con zócalo de mampostería de la roca del monte, esquistos, enlucido con mortero de cal para protegerlo y regularizar su imagen. Sus lienzos de murallas se van adaptando a la topografía del terreno.
La muralla después de las intervenciones realizadas durante la Edad Moderna cuenta en la actualidad con treinta lienzos de murallas, reforzados por ocho torres, entre ellas una gran torre albarrana, llamada la Torre Blanca, la mayor conservada en Al-Ándalus, situada al N-W con planta de pezuña, utilizada como prisión en varias épocas, y que domina, adentrándose en el monte, a la única puerta de acceso que se encuentra, cerrando la barbacana que se abre a la Coracha, en su vertiente norte. Se trata de una imponente puerta en recodo, precedida de un espacio para el cuerpo de guardia, cargada de simbolismo y cubierta con una bóveda vaída decorada con lacería realizada con ladrillos cortados y cerámica bícroma. En su interior contaba con un aljibe de recogida de aguas, habitaciones y almacenes, por lo que posibilitaba la estancia de prolongada de los miembros de la guarnición.
La Torre Mayor está situada al S-E, siendo también un elemento fortificado autónomo con abastecimiento de agua, almacenes y viviendas. Consta de 17 metros de altura y era el punto más privilegiado de vigilancia del Castillo. También destaca otra pequeña torre, en su ángulo este, con una estrecha escalera que asciende varios niveles con una habitación para la guardia.
La fortificación está encerrada dentro de una barbacana que se abre para formar la Coracha, el camino murado que desciende de modo abrupto hasta unir con la Alcazaba, su único punto de comunicación con el exterior, y cuyo original diseño en zig-zag evita la construcción de costosas torres albarranas.
Los muros del Castillo estaban rematados con merlones piramidales, posee un estrecho camino de ronda sobre las murallas, un gran pozo excavado en la roca viva denominado Pozo Airón, de más de 40 metros de profundidad, varios aljibes, hornos de pan y se ha constatado la existencia de una mezquita rodeada de una calle empedrada, bajo parte de lo que hoy es el Centro de Interpretación, en el edificio del antiguo polvorín del siglo XVIII. Esta mezquita, tras la conquista, se consagró como Ermita de San Luis.
Del interior del Castillo se conservan muy pocos restos árabes debido a su uso militar, y a las muchas intervenciones ocurridas en época cristiana, como la desaparición de la mezquita y dependencias. Después fue volado en parte por los franceses, junto a la munición que no pudieron transportar, cuando abandonaban la ciudad durante la Guerra de la Independencia. El polvorín del Castillo actualmente se encuentra ocupado por un Centro de Interpretación.