Geschützt und von Stadtmauern umgeben war der Ortskern Xábias bis ins Jahr 1874. In diesem Jahr wurden diese der Verteidigung dienenden Mauern endgültig abgerissen. Sie umschlossen die heute aktuellen Ringstrassen, Rondas genannt. Schon lange Zeit davor, seit Anfang des 14. Jahrhunderts, war der damals noch simple Ortskern von Xábia von einem Verteidigungswall umschlossen, von dem jedoch kaum noch Reste nachweisbar sind. Die aufgefundenen Reste im Bereich der Avenida Principe de Asturias, vormals Ronda und bekannt unter dem Namen " muralla de arriba" bzw. "obere Besfestigungsmauer", gehören zur Mauer und zu drei abgeschrägten Strebepfeilern die eine Art von Barbakane, ein der Verteidigungsmauer vorgelagertes Verteidigungswerk oder eine Schutzmauer bildeten. Dieses Verteidigunswerk war zu Beginn des 19. Jahrhunderts erbaut worden, vermutlich mit der Öffnung der Mauer für das Tor Portal Nou (eröffnet am 18. Mai 1805), oder vielleicht in der Folge der Napoleonischen Kriege. Diese Mauern, die lediglich mit einer Höhe von ungefähr 40 bis 50 cm erhalten geblieben sind, bestanden aus Bruchsteinmauerwerk, Kalkstein verbunden mit Kalkmörtel; die aus Toska bestehenden Blöcke wurden an der Vorderseite der drei abgeschrägten Strebepfeiler verwendet. Die aktuellen architektonischen Veränderungen bestanden darin, die originalen Teile der Auβenmauer zu verstärken und zu schützen und diese um etwa 60 cm zu erhöhen, um sie besser sichtbar zu machen.

Zwischen dem 13. und 14. Jahrhundert wurde der Gutshof von Calpe ummauert, um es vor muslimischen Angriffen zu schützen. Aufgrund seiner steilen Küstenlage litt die Bevölkerung unter den ständigen Angriffen von Piraten, sodass Charles V im 16. Jahrhundert die Reparatur dieser anordnete. Die Anwohner hatten Zugang zur dieser Zitadelle über ein einziges Portal - auch "El Portalet" genannt. 1637 erfolgte der härteste Angriff. Die berberischen Piraten überfielen das Dorf ohne nicht einmal gesehen zu werden. Die Wächter schliefen und sprangen über die Wände mit Hilfe der Treppen. Quasi alle Bewohner von Calpe wurden während dieses Angriffs als Gefangene genommen. Ein weiterer wichtiger Angriff, den das Dorf am 22. Oktober 1744 erlitt, gab Anlass zum Fest des Schutzpatrons. Nach diesem Piratenangriff wurde ein Projekt zur Stärkung der Stadt ins Leben gerufen und der Bau einer zweiten Stadtmauer angeordnet, die die Vorbezirke und die Altstadt umgibt. Der "Torreó de la Peça" verdankt seinen Namen einer Festung, die im 20. Jahrhundert niedergerissen wurde und welche zu früheren Zeiten ein Teil der Abwehr war.