Sebastian Willibald (1781 – 1849) wurde von seinem Vater Sebastian Ludwig (1739 – 1818) schon früh in die Verwaltung der Besitztümer und in die Führung der gesamten Familie eingewiesen.
Im Jahre 1808 heiratete er Maria Anna Theresia Walburga Antonia Rosalia Freiin von Dürsch (1787 – 1839), Mitbesitzerin von Steinbach, Kreuzpullach und Rohrbach an der Ilm. Ihnen wurden sechs Kinder geboren:
Sebastian, Willibald
(1781 – 1849)
Emilie Anna Theresia (1809 – 1811): im Kindesalter verstorben
Eduard Sebastian Max (1811 – 1867): königlich-bayerischer Revierförster und Parkmeister, verheiratet mit Marie Fleckensteiner (1822 – 1872), neun Kinder
August (1813 – 1982): Dr. phil. h.c., Forstrat, Flechtenforscher und Schriftsteller zahlreicher Werke, verheiratet mit Antonia Aloysia Theresia von Baumgarten (1829 – 1918), vier Kinder
Emilie Maria Anna (1815 – 1871): ledig, ohne Nachkommen verstorben
Adolf Ludwig (1817 – 1818): im Kindesalter verstorben
Max Carl (1818 – 1869): Oberleutnant, Registrator der oberen Baubehörde, Philosoph und Schriftsteller zahlreicher Bücher, Besitzer von Steinbach, verheiratet mit Amalie Mauermaier (1811-1867), zwei Kinder
Sebastian Willibald versuchte mit Umsicht, Zähigkeit und auch Härte den Familienbesitz als Gesamtes zu erhalten. Durch Erbteilung, Forderungen der Familie "von Kobell" und finanzielle Unterstützung an die Familie "von Dürsch", aber auch durch die Zeiten des damaligen Umbruchs in Bayern und aufgrund der Kriegsnachwirkungen wurde der Besitz langsam aber unaufhaltsam zerstückelt. Zwei Jahre nach seinem Tod wurde zuletzt auch - gegen seinen ausdrücklichen Wunsch - die Hofmark Emingen verkauft.