Tenir Collioure i Port-Vendres, permet d'una part dominar al nord Argelès, la planura d'Elne fins a Perpignan ( i al Fort de Salses ) i d'altra banda al sud d'obrir la reparteix de Barcelona. Però per mantenir-s'hi, calia encara ser mestre de les alçades que dominen aquestes rades i més particularment del "puig Japone", on s'eleva avui el Fort Sant Elme!

El seu origen es remunta a més de mil anys. És al segle IX que va ser construïda una guaita (torre) dita "la Torre de la Guardia" que permet a les poblacions que se les previngui de les invasions marítimes dels Normands i dels Barbarescos. Certs historiadors fan fins i tot pujar la construcció de la Torre a l'ocupació àrab de Collioure en 740. Aquesta guaita s'integra dins d'un dispositiu defensiu més global on es trobaven ja les torres de la Madeloc, de la Massane i de Collioure.

En el moment de la croada contra els Albigeois, el rei d'Aragon va prendre part per a aquests últims. Al Final d'una guerra desastrosa, els Aragonais que dominaven tot el Languedoc han de cedir els seus drets sobre aquesta part del territori. En contrapartida, els francesos abandonen els seus sobre Catalogne (Tractat de Corbeil 1258).

El 27 de juny de 1344, el rei d'Aragon Pierre IV el Cerimoniós pren Collioure, que depenia llavors del rei de Majorque. Intenta la construcció de fortificacions al peu de la torre.
Més d'un segle més tard, en el moment de la primera ocupació francesa (1462 a 1493), sota Louis XI, muralles van ser reconstruïdes i van ser completades per tal de protegir una guarnició més important.

És l'emperador Charles Quint, el 1538, que va decidir la construcció d'una obra defensiva al voltant de la torre d'origen. Els seus arquitectes van construir una fortalesa en sis branques capaç de resistir a totes les artilleries de l'època amb muralles de més de 8 metres d'espessor ! El Fort va ser terminat el 1552. Importants treballs van ser igualment realitzats a Collioure, a Perpignan i Salses.

Una vegada la regió fortificada, l'emperador es va dedicar llavors al seu objectiu, la reconquesta del seu heretatge borgonyó. La seva gran mare no era que Marie de Bourgogne, filla del Duc Charles el Temerari. És per què es van desenvolupar les guerres que se'n van seguir a l'est, al nord de França, en Franche-Comté i sobretot a Itàlia...