Het huis staat op of nabij de plek waar in de 12de eeuw een Praemonstratenser klooster heeft gestaan, de Olijfberg. Over dit klooster is weinig bekend. Volgens de kronieken zouden er bij de watervloed in 1287 twintig nonnen zijn verdronken. In 1480 werd er melding gemaakt van het feit dat de Prior van de Olijfberg uit het convent Cusemar in Groningen vijf jonkvrouwen had geroofd. In 1580, ten tijde van de reformatie, wordt het klooster, zoals alle kerkelijke bezittingen, geconfisceerd en wordt het eigendom van de Staten van Friesland. In 1639 wordt het door Theodorus van Fogelsangh, zoon van Jacob Pybes Doma, maar die zich naar zijn moeder Fogelsangh noemt, gekocht en in 1646 gaat het naar diens broer Pibo Doma. Het schilderij van Pibo Doma, met het net ondertekende koopcontract op tafel, geschilderd in 1667 door Pieter Nason, hangt in de Hall.In de 18de en 19de eeuw is het huis herhaaldelijk verbouwd; bij de laatste restauratie van 2001 tot 2003 werden verschillende bouwresten van de oorspronkelijke 17de eeuwse constructie teruggevonden. U kunt die o.a. zien op de bel-étage in het voorportaal van de lift. Met de reeds bekende en nu verzamelde gegevens is de bouwgeschiedenis van Fogelsangh State in
grote lijnen bekend.