Albrecht Fryderyk był feldmarszałkiem austriackim, w 1848 dowódcą Wiednia, gubernatorem cywilnym i wojskowym Węgier i naczelnym dowódcą w wojnie z Prusami. w 1866 roku w bitwie pod Custozzą pokonał wojska króla włoskiego Wiktora Emanuela II. Albrecht uniezależnił dobra żywieckie od Cieszyna. Utworzył w 1847 w Żywcu Dyrekcję Dóbr Żywieckich, przeprowadził remont starego zamku oraz zlecił budowę nowego zamku na bazie osiemnastowiecznych oficyn Wielopolskich. Pamiętał również o powiększaniu majątku. Zmarł bezpotomnie w 1895 roku i zgromadzone dobra przekazał synom swego brata Karola Ferdynanda. Dobra położone w Galicji otrzymał Karol Stefan Habsburg. Aż do końca pierwszej wojny światowej trwał proces nabywania posiadłości rolnych i leśnych. Powierzchnia dóbr żywieckich zgromadzonych przez Habsburgów osiągnęła swój punkt szczytowy około 1918 roku i wynosiła 53.263 ha ( w tym 48.446 ha lasów). Po roku 1919 zaczęła się kurczyć na skutek parcelacji, darowizn i podziałów rodzinnych. w 1923 r Karol Stefan podarował 15 ha ziemi pod budowę domów dla uchodźców ze Śląska Cieszyńskiego. w 1924 przekazano jako darowiznę dla Polskiej Akademii Umiejętności w Krakowie majątki rolne: Sporysz, Stary Żywiec, Lipowa itd łącznie 5.728 ha. Również Akademii Umiejętności przekazał lasy babiogórskie położone w gminach Zawoja, Skawica, Sidzina, Juszczyn łacznie 6.795 ha. w 1925 r podarowano Skarbowi Państwa na cele sanatoryjne, dla wojskowych chorych na płuca dawny pałac Lubomirskich w Rajczy wraz z parkiem o pow. 36 ha. Po śmierci Karola Stefana Habsburga w 1933 r dobra żywieckie uległy podziałowi pomiędzy jego dzieci. Karola Olbrachta, Leona Karola i Renatę Radziwiłłową. Część Renaty Radziwiłłowej czyli Pewel Wielka, Hucisko, Przyborów, Koszarawa, Spytkowice, Sidzina, Bystra k/Jordanowa została wyłączona z dóbr żywieckich i przeszła pod zarząd dóbr Radziwiłłów w Balicach. Dwaj bracia na podstawie dobrowolnej ugody pozostawili administrowanie swoich dóbr dalej przez Dyrekcję w Żywcu. Dobra żywieckie zgromadzone w rękach Habsburgów obejmowały oprócz większej części państwa żywieckiego, miejscowości położone wzdłuż dawnej granicy polsko-śląskiej od Białej aż po Oświecim, część lasów Beskidu Małego oraz północny stok masywu Babiej Góry po Maków i Jordanów. Nie weszły nigdy w posiadanie Habsburgów dobra łodygowickie, suskie i ślemeńskie. Te ostatnie do poł XIX w utrzymały się w rękach Wielopolskich potem przeszły w ręce Branickich i Tarnowskich. Nadszedł rok 1939 - 28 kwietnia zmarł Leon Karol Habsburg

      Niemcy po wkroczeniu do Polski aresztowali Karola Olbrachta, internowali jego rodzinę i objęli dobra żywieckie w zarząd komisaryczny, który przetrwał do marca 1945 r po wyzwoleniu spod okupacji niemieckiej w oparciu o dekret PKWN z dnia 6 września 1944 wszystkie posiadłości rolne i leśne Habsburgów zostały upaństwowione. Po upadku komunizmu i odzyskaniu suwerenności przez Państwo Polskie, sprawa zwrotu czy ewentualnego odszkodowania za utracony majątek nie została uregulowana z powodu braku ustawy reprywatyzacyjnej. w 2002 roku do Żywca powróciła księżna Maria Krystyna Habsburg i zamieszkała w swej rodzinnej siedzibie w apartamencie w zamku.