V časoch Feničanov a Rimanov bol ostrov obchodným miestom pre prechádzajúce karavány z juhu Sahary.
Neskôr o ostrov bojovali Vandaly, Araby, Normani.
Djerba bola obsadená v r. 1134 až 1165 Normánmi. V r. 1154 tvrdo potlačili povstanie miestneho obyvateľstva.
V r. 1524 až 1551 bol ostrov pod kontrolou piráta Draguta.