Tenir Collioure et Port-Vendres, permet d'une part de dominer au nord Argelès, la plaine d’Elne jusqu’à Perpignan ( et au-delà grâce au Fort de Salses ) et d'autre part au sud d’ouvrir la route de Barcelone. Mais, pour s’y maintenir, fallait-il encore être maître des hauteurs surplombant ces rades et plus particulièrement du "puig Japone", où s’élève aujourd’hui le Fort Saint Elme !

Son origine remonte à plus de mille ans. C’est au IXème siècle que fut construite une vigie (tour) appelée "la Torre de la Guardia" permettant aux populations de se prémunir des invasions maritimes des Normands et des Barbaresques. Certains historiens font même remonter la construction de la Tour à l’occupation arabe de Collioure en 740. Cette vigie s’intègre dans un dispositif défensif plus global où l’on trouvait déjà les tours de la Madeloc, de la Massane et de Collioure.

Lors de la croisade contre les Albigeois, le roi d’Aragon prit partie pour ces derniers. A l’issue d’une guerre désastreuse, les Aragonais qui dominaient tout le Languedoc doivent céder leurs droits sur cette partie du territoire. En contrepartie, les Français abandonnent les leurs sur la Catalogne (Traité de Corbeil 1258).

Le 27 juin 1344, le roi d’Aragon Pierre IV le Cérémonieux prend Collioure, qui dépendaient alors du roi de Majorque. Il entreprend la construction de fortifications au pied de la tour.
Plus d’un siècle plus tard, lors de la première occupation française (1462 à 1493), sous Louis XI, des remparts furent reconstruits et complétés afin d’abriter une garnison plus importante.

C’est l’empereur Charles Quint, en 1538, qui décida de la construction d’un ouvrage défensif autour de la tour d’origine. Ses architectes bâtirent une forteresse à six branches capable de résister à toutes les artilleries de l’époque avec des murailles de plus de 8 mètres d'épaisseur ! Le Fort fut terminé en 1552. D'importants travaux furent également réalisés à Collioure, à Perpignan et à Salses.

Une fois la région fortifiée, l’empereur se consacra alors à son objectif, la reconquête de son héritage bourguignon. Sa grand mère n'était que Marie de Bourgogne, fille du Duc Charles le Téméraire. C’est pourquoi les guerres qui s’en suivirent se déroulèrent à l’est, dans le nord de la France, en Franche-Comté et surtout en Italie…