Son origine remonte probablement vers 1316, au moment ou, après la grande peste qui ravagea la ville, celle-ci décida de transférer « extra muros » son hôpital et de séparer les orphelins des malades tant pour des raisons sanitaires qu’éducatives.

Un document du XV e siècle nous précise que l’orphelinat de la ville se situait alors à la Krutenau prés de l’actuelle place des Orphelins. Suite à la grande famine de 1518 et à la guerre des paysans le nombre des orphelins augmenta tant et si bien qu’après la Réforme et le départ des religieuses l’orphelinat fut transféré dans des locaux plus spacieux au couvent Sainte Catherine établi sur l’îlot de la Krutenove.

Au cours de la révolution , la loi du 16 Vendémiaire de l’an V rattacha cette ancienne fondation autonome qui possédait un important patrimoine aux Hospices civils sous le nom d’Hospice des orphelins.

En 1836, l’établissement fut transféré dans les bâtiments réaménagés du couvent Sainte Madeleine occupé jusqu’alors par l’armée. En août 1904 un terrible incendie ravagea l’église Sainte Madeleine et la majeure partie du couvent. Les orphelins furent hébergés à l’hôpital, à l’ancien Dépôt et à l’institution Jacoutot avant de rejoindre en 1909 leur nouvel établissement, l’actuel Foyer. L’édifice trés moderne pour l’époque et conforme aux idées nouvellesdéveloppées par les « hygiénistes » fut construit selon les plans établis par l’architecte Vetterlein à Neudorf, « un faubourg lumineux et bien aéré loin de l’atmosphère confinée du centre » pour le bien être des enfants.

Par la suite les orphelins furent encore évacués plusieurs fois, tout d’abord à l’hospice Lovisa quand en 1914 ses bâtiments furent réquisitionnés par le service de santé de l’armée pour devenir Seuchenlazarett, puis à Clairevivre- Salagnac  en Dordogne de 1939 à 1940 et lors des bombardements qui touchèrent tout particulièrement en 1943 le quartier de Neudorf et détruisirent toute une aile du bâtiment.

Dans les années 50, en complément à sa mission traditionnelle, l’établissement est appelé à élargir son action sociale en faveur de l’enfance et de la famille et change encore de dénomination en prenant le nom de l’ancien maire pour devenir le « Foyer de la Jeunesse Charles Frey »

En 1985, par effet de la loi de 1975 relative aux institutions sociales et médicales, le Foyer devient un établissement public autonome à vocation communale.

Enfin, en janvier 2007 tout en poursuivant son importante restructuration, il est par convention entre la ville et le Conseil Général rattaché à celui ci tout en conservant son statut d’établissement public autonome.