Karol Olbracht urodził się w 1888 roku w Pola k/Triestu. Po ukończeniu Technicznej Akademii Wojskowej w Modling koło Wiednia, wstąpił w 1910 roku do wojska austriackiego, gdzie służył do 1918 roku. Był oficerem artylerii i doszedł do stopnia pułkownika. Po uzyskaniu obywatelstwa polskiego wstąpił ochotniczo do wojska polskiego w Krakowie w listopadzie 1918 i był kolejno dowódcą 15-tej brygady artylerii pomorskiej, później twierdzy Grudziądz, wreszcie dowódcą artylerii w grupie generała Latinika. Po zakończeniu wojny polsko-radzieckiej, wystąpił z wojska w stopniu pułkownika i przeszedł do rezerwy. Ożenił się z Alicją z domu Ankarcrona, wdową po polskim arystokracie Ludwiku Badenim. Ślub odbył się 8 września 1920 roku i Alicja przeniosła się do Żywca (z Buska k/Lwowa). Nauczyła się dobrze języka polskiego, poznała polską kulturę i obyczaje jak pamiętamy była Szwedką. w tym małżeństwie urodziło się czworo dzieci: Karol Stefan, Maria Krystyna, Olbracht Maksymilian i Renata. Zaczęto remont całego nowego zamku, uporządkowano zbiory, rozbudowano piękny park planowany przez Brendę Colvin(architektkę z Anglii) przy pomocy ogrodniczki Kit Beckh.
Dom w Żywcu prowadzony był po polsku, dzieci wychowywały się w duchu polskim, rozmowa prowadzona była po polsku. Dzieci uczyły się prywatnie i na koniec roku zdawały egzaminy przed komisją państwową, otrzymując promocje do następnej klasy. Znały biegle języki: angielski, francuski, najsłabiej niemiecki, miały angielską wychowawczynię panią Cook. Ponieważ Habsburgowie mieli liczną rodzinę w Europie w Żywcu bywało wiele osób z śmietanki arystokratycznej Europy.
Habsburgowie uchodzili za działaczy społecznych w międzywojennej Polsce, interesowali się swoim regionem, polskie stowarzyszenia wspierali pokaźnymi środkami pieniężnymi. Łożyli spore sumy na rozwój harcerstwa, fundowali stypendia dla szczególnie uzdolnionych studentów Akademii Górniczo-Hutniczej w Krakowie. w czasie wakacji, umożliwiali młodzieży dobrze płatną pracę w swych dobrach. Zafascynowani ideą księdza Mieczysława Kuznowicza (jezuity) - polegającą na likwidacją ogromnych różnic między młodzieżą terminatorską a uprzywilejowaną - ofiarowywali swą pomoc i radę dla realizacji tego dzieła. Pomagali Związkowi Młodzieży Przemysłowej i Rękodzielniczej w Krakowie. Zachwycali się jego szeroką pracą wychowawczą i oświatową. Najbardziej owocną pomoc okazali podczas budowy bursy dla tego związku w Krakowie. Cały materiał drzewny, użyty na budowie tego czteropiętrowego gmachu pochodził od nich, od rusztowań poczynając a na dachu kończąc.
Dzieci Habsburgów brały udział w wycieczkach i obozach organizowanych przez związek. Habsburgowie za swoją działalność dla Polski otrzymali wiele odznaczeń: np. Arc. Karol Olbracht otrzymał Krzyż Komandorski Odrodzenia Polski, Krzyż Walecznych, medal Pamiątkowy za udział w wojnie polsko-rosyjskiej, był członkiem honorowym Towarzystwa Gimnastycznego "Sokół" w Żywcu i Busku oraz m. in. członkiem Towarzystwa Tatrzańskiego.