Le prime menzioni del villaggio risalgono al 1190 o 1234. La torre del castello medievale che rimane testimonia questo passato come la rue de la Tasco. Successivamente il villaggio si espanse all'interno del cortile del castello e poi nella periferia.

Sito elencato e classificato Borghi più belli di Francia, il villaggio collinare di Gassin è stato a lungo chiamato "La Vigie du Golfe". Per la sua posizione, da questa altezza era possibile monitorare il Golfo di Saint-Tropez - quindi il Golfo di Grimaud - e la Baia di Cavalaire alle Isole di Hyères.
Testimonianze storiche abbondano dal passato medievale: la porta saracena, aperta nel XIII-XIV secolo, i resti di una cerniera, o le porte della lunga strada, la più antica delle quali risale al 1422.
Rue de la Tasco è la strada più antica del paese. Portava al forte di Gassin, di cui rimane una torre a un piano, con le pietre sconnesse caratteristiche dell'architettura militare medievale in Provenza.

Appare Gassin - il villaggio viene poi chiamato Garcin - in diversi cartolari del Medioevo: quello di La Verne (1190) e quello dell'abbazia di Saint-Victor a Marsiglia (1234-1235). In precedenza, c'era una villa fortificata a Bourrian e un habitat a Ville Vieille.
Nonostante la presenza di un passaggio dei Templari, non c'è nulla che indichi che esistesse un simile stabilimento. Gli autori antichi hanno immaginato che il campanile quadrato della chiesa del villaggio, sulla cima della collina che domina il Golfo di Saint-Tropez, fosse un belvedere templare.

L'habitat di Gassin rimane arroccato a lungo perché l'insicurezza regna da diversi secoli. Le incursioni dei Saraceni continuano in ritardo: i pirati lasciano indietro i morti e riducono coloro che vengono catturati in schiavitù. Il rapimento diventa una fonte di reddito per i pirati che a volte consentono il riscatto dei prigionieri: diverse famiglie di Gassin vengono così riunite, a volte dopo diversi anni di prigionia nel Nord Africa. È il caso di uno dei due fratelli Magnan, rapito e detenuto a Bône.

Alla fine del Medioevo, Saint-Tropez fu staccato dalla signoria di Gassin.

Il catasto del 1516 mostra un villaggio fortificato costruito attorno a una sola strada (l'attuale rue de la Tasco), tra cui il castello e una chiesa, circondato da un sobborgo.

Durante i secoli seguenti, il villaggio si estese gradualmente verso ovest, nelle strade Longue, Tubassière, Rollet de Garcin, Moulin à Huile e Androuno.

Il villaggio continua a crescere con, in particolare, che appare sul catasto del 1728, l'ospedale a nord e la fucina a sud. Il recinto fortificato ha quindi due ingressi, uno a nord, attraverso il Nuovo portale, l'altro a ovest con il Gran Portale.

Nel XIX secolo, il borgo castrale raggiunse quasi la sua attuale composizione.