L’histoire de la société est étroitement liée à celle du carnaval de Sainte-Croix qui est celui du Balcon du Jura Vaudois.

En effet, c’est à l’occasion du 1er carnaval de Sainte-Croix en 1985, qu’un petit groupe de tambours c’est formé, sur la demande de la jeunesse carnavalesque du Balcon du jura, afin d’animer ce carnaval. Le groupe comprend des personnes de Bullet et Sainte-Croix. Les musiciens se sont retrouvés en janvier 1985 afin d’effectuer quelques essais. N’ayant aucun point de comparaison par rapport à une véritable guggen, ce groupe de tambours n’avait pas encore l’idée de créer une guggen régionale.

Après s’être rendu dans d’autres carnavals et en observant d’autres guggens, le groupe accueille de nouveaux membres et porte pour la 1ère fois le nom de guggen en 1988. La Guggen se fait appeler dès début 1989 « L’Eau Bulle et Son ». A partir de là, les répétitions battent sont plein et non pas sans difficultés. La Guggen achète son 1er costume et ainsi de suite…

En 1990, La Guggen prend un coup de jeune, évolue et de ce fait change de nom, elle se fait appeler dès lors « L’Boxon » qui veut dire en bon français « Le Bordel ». Un nouveau logo est également trouvé ainsi qu’un nouveau style musical.

A l’heure actuelle, la Guggen se porte bien. Beaucoup de membres actifs, une commission musicale en ordre avec des musiciens qui connaissent bien la musique et un calendrier de répétitions bien rempli.