Plemićka obitelj Pejačević u 18. stoljeću doselila se iz Bugarske u Osijek. Na južnoj su strani glavnog tvrđavskog trga kupili dvije kuće, a kasnije su na širokom području Slavonije postali vlasnici više posjeda, od Virovitice, preko Podgorača i Našica, do Retfale i Rume u Srijemu, na kojima su sagradili svoje reprezentativne jednokatne i prizemne dvorce. Jedan od dvoraca sagrađen je iza zapadne granice Gornjega grada, odmah nakon mitnice koja se nalazila na granici posjeda grada Osijeka i sela Retfala.

Dvorac je sagrađen u prostranom hortikulturno primjereno organiziranom perivoju, znatno odmaknut od glavne seoske ceste koja je povezivala grad Osijek s trgovištima Valpovom i Našicama. Izrazito široka visokoprizemnica, sa središnjim jednokatnim rizalitom, dvojim je krilima, simetrično izvučenima prema ulici, dobila "U“ tlocrt. Nad središnjim je jednokatnim dijelom dvorca dvostrešni krov, dok je nad ostatkom dvorca složeniji mansardni krov koji, osim što omogućava bolju iskorištenost tavanskog prostora, izvana ostavlja reprezentativniji dojam.Austrijska je carica Marija Terezija darovala 23. siječnja 1750. godine Marku III. barunu Pejačeviću posjede Viroviticu i Retfalu kao zamjenu za njihove posjede u Srijemu koji su uspostavom županijskog ustroja iz sastava Srijemske županije potpali pod upravu Petrovaradinske pukovnije koja se nalazila u sastavu Vojne krajine. Nakon smrti baruna Marka III., retfalački posjed nasljeđuje njegov bratić Josip II., koji je 1772. obitelji Pejačević priskrbio grofovsku titulu. Retfalu je, uz Podgorač i Rumu, naslijedio Josipov najstariji sin Sigismund I., koji je i sagradio retfalački dvorac 1801. godine. O tome svjedoči bijela mramorna ploča s latinskim natpisom postavljena na južnom pročelju koja u prijevodu glasi: „VJEČNOM JEDINSTVU I POŠTENOJ RADOSTI RODA POSTAVIO GROF SIGISMUND I.“. Unutrašnjost dvorca organizirana je duž središnjeg hodnika koji razdjeljuje prostrije prema ulici i perivoju, pri čemu su najreprezentativniji saloni i blagovaonica okrenuti prema jugu s pogledom na prostrani perivoj, dok su ostale prostorije orijentirane prema ulici i u bočnim krilima. U sklopu dvorca bila je, kao i u drugim dvorcima, smještena kapelica za koju su zvona bila izlivena u ljevaonici zvona Martina Feltla, u Grazu. Manje je zvono s reljefom Spasitelja, Majke Božje, sv. Pavla i sv. Judite izliveno 1759., a veće je zvono s reljefom sv. Sebastijana, sv. Franje Ksaverskog i Madone izliveno 1777. godine. U zapadnom dijelu perivoja 1891. godine Pejačevići su sagradili monumentalni mauzolej, oko kojega se danas prostire retfalačko groblje. Tijekom 19. stoljeća u dvorcu se odvijao iznimno raskošan život jedne od najznačajnijih slavonskih plemićkih obitelji, da bi udajom Franciske grofice Pejačević za grofa Manfreda Clary-Aldringena dvorac prešao u ruke njihova sina grofa Edmunda. On je 1924. godine dvorac prodao Hrvatskoj eskomptnoj banci i preselio se u Salzburg, u kojemu se i danas čuvaju brojne umjetnine, namještaj, biblioteka i arhiva obitelji Pejačević koje su se nekoć nalazile u retfalačkom dvorcu. Banka je golemi perivoj isparcelirala i gradilišta prodala za gradnju kuća, a dvorac je 1937. kupila Družba Marijinih sestara od čudotvorne medaljice i pretvorila ga u dom za starije i nemoćne osobe. Dio je dvorca koristila Opća bolnica Osijek kao Odjel za rehabilitaciju, sve do preseljenja u novu zgradu sagrađenu nedaleko od termalnog izvora u selu Bizovac, petnaestak kilometara zapadno od Osijeka.

MJESTO DOGAĐANJA ZAGORKINA ROMANA
Ne smijemo zaboraviti kulturno-povijesnu činjenicu da je retfalački dvorac mjesto događanja znamenitog romana “Vitez slavonske ravni“, Marije Jurić Zagorke. Riječ je o romanu iz 1938. godine, u kojem Zagorka opisuje istinite događaje iz povijesti Slavonije 18. stoljeća. Oko sudbine razbojničke družine okrutnog Stojana Varnice, koju je pozorno istražila, slavna je književnica ispreplela ljubavnu priču mitskog junaka, plemića Hrabrana i djevojke Krasanke.