Původní kořeny prvního osídlení pravděpodobně spadají do biblické doby, kdy se zde za krále Šalamouna obchodovalo s drahocenným zbožím. Svého významu se přístav dočkal ale až v 16. století, kdy ho používali portugalští mořeplavci, kteří zde vystavěli středověkou pevnost a dali městu jméno Galle (portugalsky kohout).
V roce 1640 se Galle dostalo do rukou Holanďanů. Ti zde zničili všechny portugalské stavby a v roce 1663 postavili pevnost. Ta je dnes opravená do původního stavu. Stará pevnost leží na výběžku do moře a rozkládá se na ploše zhruba 1 čtverečního kilometru.
Galle je cca 7 km od Unavatuny, takže se tam dá snadno dojet buď autobusem, nebo rikšou.