Les premières mentions du village remontent à 1190 ou 1234. La tour du château médiéval qui subsiste témoigne de ce passé comme la rue de la Tasco. Le village s'est étendu par la suite à l'intérieur de la cour du château puis dans les faubourgs.

Site inscrit et classé Plus Beaux Villages de France, le village perché de Gassin fut longtemps appelée "La Vigie du Golfe". De par sa position, il était possible depuis cette hauteur de surveiller le golfe de Saint-Tropez - alors golfe de Grimaud - et la Baie de Cavalaire jusqu'aux Îles d'Hyères.
Les témoignages historiques abondent du passé médiéval : la porte des Sarrazins, ouverte au XIII-XIVe siècle, les restes d'un gond, ou les portes de la rue longue, dont la plus ancienne porte la date de 1422.
La rue de la Tasco est la rue la plus ancienne du village. Elle menait au fort de Gassin, dont il reste une tour d'un étage, aux pierres bosselées caractéristiques de l'architecture militaire médiévale en Provence.

Gassin apparaît - le village s'appelle alors Garcin - dans plusieurs cartulaires du Moyen Âge : celui de la Verne (1190) et celui de l'abbaye Saint-Victor de Marseille (1234-1235). Auparavant, il a existé une villa fortifiée au Bourrian et un habitat à Ville Vieille.
Malgré la présence d’un passage des Templiers, rien n’indique qu’il exista un établissement de cet ordre. Des auteurs anciens ont imaginé que le clocher carré de l’église du village, sur le sommet de la colline dominant le golfe de Saint-Tropez, fut une vigie templière.

L'habitat à Gassin reste longtemps perché car l'insécurité règne durant plusieurs siècles. Les razzias des Sarrazins se poursuivent tardivement : les pirates laissent derrière eux des morts et réduisent ceux qui sont capturés en esclavage. L’enlèvement devient une source de revenus pour les pirates qui permettent parfois le rachat des captifs : plusieurs familles gassinoises sont ainsi réunies, après parfois des captivités de plusieurs années en Afrique du Nord. C’est le cas de l’un des deux frères Magnan, enlevés et détenus à Bône.

À la fin du Moyen Âge, Saint-Tropez est détaché de la seigneurie de Gassin.

Le cadastre de 1516 montre un village fortifié construit autour d’une seule rue (l’actuelle rue de la Tasco) et comptant notamment le château et une église, entouré d’un faubourg.

Durant les siècles suivant, le village s'étend petit à petit vers l'ouest, dans les rues Longue, Tubassière, Rollet de Garcin, Moulin à Huile, Androuno actuelle.

Le village continue à grandir avec notamment, apparaissant sur le cadastre de 1728, l’hôpital au nord et la forge au sud. L’enceinte fortifiée compte alors deux entrées, l’une au nord, par le Portail Neuf, l’autre à l’ouest avec le Grand Portail.

Au XIXe siècle, le bourg castral a quasiment atteint sa composition actuelle.