Erst kamen die Phönizier, dann die Kathager und danach kamen die Römer auf den Archipel. Plinius der Ältere schrieb: „Von der grösseren [Baleareninsel] liegt Capraria [Cabrera], in deren Nähe die Schiffe häufig scheitern, 12,000 Schritte über dem Meere hin entfernt; der Stadt Palma gegenüber liegen die Maenarien [Malgrates], Tiquadra [Dragonera] und die kleine Insel des Hannibal [Toro].“
Außerdem wird die kleine, heute unbewohnte Insel Conejera (Kanincheninsel), als Geburtsort des karthagischen Feldherrn Hannibal erwähnt.
Ab dem 5. Jahrhundert gab es auf Cabrera ein Kloster, das 603 von Papst Gregor erwähnt wird.
Auch zum Byzantinischen Reich gehörte Cabrera einige Zeit. Als die Burg zum Schutz vor Piratenüberfällen errichtet wurde, war der Archipel unter der Herrschaft der Krone von Aragonien.
Anfang des 19. Jahrhunderts, während des spanischen Unabhängigkeitskrieges wurde Cabrera als Internierungslager für französische Gefangene benutzt, die während der Schlacht von Bailén in spanische Hände gefallen waren. Ohne ausreichend Wasser, Nahrungsmittel und medizinische Versorgung, starben Tausende von ihnen auf der Insel. Ein Denkmal erinnert heute an diese tragische und fast vergessene Episode der Inselgeschichte.
Der folgende Link gibt einen eindrucksvollen Einblick in diese Zeit:
Im 19. Jahrhundert wurden auch die Leuchttürme der Insel errichtet und ein neuerlicher Besiedlungsversuch fand statt. Ein zu jener Zeit durch die Familie Feliu erbauter Weinkeller dient heute als Raum für das ethnografische Museum, das leider geschlossen war bei unserem Besuch.
Während des 1. Weltkrieges wurden aufgrund der strategischen Lage des Archipels die Besitzungen auf Cabrera enteignet und eine Garnison errichtet, die noch heute besteht .