Las primeras menciones del pueblo remontan a 1190 o 1234. La torre del castillo medieval que permanece testifica de este pasado como la rue de la Tasco. Posteriormente, el pueblo se expandió dentro del patio del castillo y luego a los suburbios.

Sitio catalogado y clasificado Pueblos más bellos de Francia, el pueblo en la cima de una colina de Gassin se llamó durante mucho tiempo "La Vigie du Golfe". Por su posición, desde esta altura era posible monitorear el Golfo de Saint-Tropez, luego el Golfo de Grimaud, y la Bahía de Cavalaire hasta las Islas de Hyères.
Abundan los testimonios históricos del pasado medieval: la puerta sarracena, abierta en los siglos XIII-XIV, los restos de una bisagra, o las puertas de la calle larga, la más antigua de las cuales data de 1422.
Rue de la Tasco es la calle más antigua del pueblo. Conducía al fuerte de Gassin, del cual permanece una torre de un piso, con las piedras irregulares características de la arquitectura militar medieval en Provenza.

Gassin aparece, el pueblo se llama entonces Garcin, en varios cartulares de la Edad Media: el de La Verne (1190) y el de la abadía de Saint-Victor en Marsella (1234-1235). Anteriormente, había una villa fortificada en Bourrian y un hábitat en Ville Vieille.
A pesar de la presencia de un pasaje templario, no hay nada que indique que existiera tal establecimiento. Autores antiguos han imaginado que el campanario cuadrado de la iglesia del pueblo, en la cima de la colina que domina el Golfo de Saint-Tropez, era un puesto de observación templario.

El hábitat en Gassin permanece mucho tiempo encaramado porque la inseguridad reina durante varios siglos. Las incursiones de los sarracenos continúan tarde: los piratas dejan atrás a los muertos y reducen a los capturados en la esclavitud. El secuestro se convierte en una fuente de ingresos para los piratas que a veces permiten la redención de los cautivos: varias familias de Gassin se reúnen, luego del cautiverio de varios años en el norte de África. Este es el caso de uno de los dos hermanos Magnan, secuestrado y detenido en Bône.

A finales de la Edad Media, Saint-Tropez fue separado del señorío de Gassin.

El catastro de 1516 muestra un pueblo fortificado construido alrededor de una sola calle (hoy rue de la Tasco), que incluye el castillo y una iglesia, rodeada por un suburbio.

Durante los siglos siguientes, el pueblo se extendió gradualmente hacia el oeste, en las calles Longue, Tubassière, Rollet de Garcin, Moulin à Huile y Androuno.

El pueblo continúa creciendo, en particular, apareciendo en el catastro de 1728, el hospital al norte y la fragua al sur. El recinto fortificado tiene dos entradas, una al norte, a través del Nuevo Portal, la otra al oeste con el Gran Portal.

En el siglo XIX, el barrio castral casi alcanzó su composición actual.