Początkowo na terenie dzisiejszych ruin zamku, istniała wieża mieszkalno-obronna otoczona wałem i fosą wybudowana w 1357 roku. Następnie w 1523 roku przebudowano ją dla wrocławskiej rodziny Albrechta von Saurma, zamożnego kupca, który pełnił ważną funkcję seniora w radzie miejskiej. Budowla po przebudowie wciąż miała charakter obronny. Posiadała wieżę, a do środka obiektu można było dostać się mostem znajdującym się nad głęboką fosą.

Zobacz też: Atrakcje w powiecie wrocławskim. Pałac w Borowie Oleśnickiej

W 1843 roku posiadłość nabyła rodzina kupców i bankierów Wallenberg-Pachalych. Rodzina posiadała we Wrocławiu piękny pałac, który zaprojektował C.G. Langhans, natomiast z obiektu w Smolcu urządzili rodową wiejską rezydencję. Do obiektu zmodernizowanego na styl neogotycki dobudowano skrzydło oraz podwyższono część mieszkalną.

Podczas II wojny światowej zamek znacząco ucierpiał, co spowodowało, że z roku na rok popadał w coraz większa ruinę. Ze względu na brak prac konserwatorskich ruiny te coraz bardziej niszczeją i dochodzi o zawaleń pozostałych elementów obiektu.