L’Association du Bâtiment de l’Etoile naît de la volonté de trois entités yverdonnoises de se réunir sous un même toit. Initié en 1895, ce rapprochement entre l’Union Chrétienne des Jeunes Garçons (UCJG), l’Union Chrétienne des Jeunes Filles (UCJF) et la Croix-Bleue est acté le 11 octobre 1900 lors de la signature des statuts de la société de l’Etoile. Ces trois entités se regroupent tout d’abord sous le nom de Société Immobilière de l’Etoile pour ensuite devenir l’Association du bâtiment de l’Etoile en novembre 1970. Le comité de l’Etoile se compose de trois membres (président, secrétaire, caissier) qui doivent être issus des sociétés propriétaires.
Après une tentative d’achat avortée qui occupe les premières années d’existence de La Société Immobilière de l’Etoile, l’assemblée approuve en 1920 l’achat de l’immeuble de la rue du Four 21 qui sera détruit et où sera érigé le bâtiment actuel de l’Etoile. Celui-ci, construit sous la direction de l’architecte Oberhänsli, mettra moins de deux ans à sortir de terre et est inauguré le dimanche 18 juin 1922.
Les années qui suivirent vont progressivement voir le nombre de location des salles du bâtiment augmenter tout comme le nombre de membres des sociétés y résidant. C’est pourquoi, en 1932, dans un souci de garder ces locataires, l’Etoile entreprend la jonction entre deux salles via la destruction du mur les séparant et avec la construction d’une paroi mobile.
Durant les années de guerre, certaines salles du bâtiment sont réquisitionnées par l’armée impliquant un manque à gagner. De plus, les restrictions d’utilisation du gaz et la difficulté à trouver de quoi alimenter les thé-vente grève un peu les finances de l’Etoile.
Entre septembre 1950 et mai 1951, la section yverdonnoise de l’Union Chrétienne des Jeunes Filles est dissoute faute de membres suffisants, impliquant que les obligations inhérentes à ce copropriétaire historique et locataire ne sont plus remplies. Les conséquences seront toutefois minimes car la section locale de UCJF se reforme rapidement.
Dans les années 1970, de grands travaux de rajeunissement sont entrepris peu avant la célébration des 50 ans du bâtiment de l’Etoile (1972). Depuis cet anniversaire, l’Association a ponctuellement fait des travaux plus ou moins conséquents, dont une rénovation complète en 2005, afin d’entretenir et de rénover les salles misent à la location.