Tvrz nebo menší zámeček byl v Louce postaven nejspíše na počátku 16. století, i když písemné prameny o tom mlčí. Rozšíření objektu na renesanční zámek uskutečnil kolem poloviny 16. století Jan mladší z Kunovic, významný diplomat a učenec. Mezi léty 1578–1581 zde na pozvání majitele panství žil teolog Jakub Palaiolog, potomek byzantského císařského rodu. Od roku 1625 vlastnili Louku knížata z Liechtensteinu. Je pravděpodobné, že objekt vážně poškodily války 17. století, zejména vpád turecko-tatarských vojsk na jihovýchodní Moravu v roce 1663.

Ve třicátých letech 18. století bylo šlechtické sídlo přestavěno na sýpku s obrannými prvky. Dílčí stavební úpravy se pak uskutečnily v letech 1805–1815, 1863–1865, 1880 a 1893. Šlo zejména o obnovu trámových podpěr, krovů, dřevěných podlah, vikýřů, schodišť atd. V roce 1924 koupil v rámci první pozemkové reformy zdejší zbytkový statek včetně sýpky Benedikt Čech z Domanína u Bzence. Část objektu nový majitel pronajímal družstevnímu lihovaru. V období Protektorátu byla na tento majetek uvalena vnucená správa. Po osvobození spravoval objekt opět Benedikt Čech, který ho v roce 1948 předal státu. Od padesátých let 20. století zde hospodařilo Jednotné zemědělské družstvo v Louce a později Jednotné zemědělské družstvo v Lipově. Někdy v sedmdesátých a osmdesátých letech se uskutečnila adaptace části sklepních prostor a prostor přízemí na vinárnu, avšak tento projekt zůstal nedokončený. Až do konce existence komunistického režimu zůstával objekt využívaný jako sýpka.

Po změně společenských poměrů byl objekt restituován potomkům bývalého majitele. V roce 1994 ministerstvo kultury prohlásilo budovu za nemovitou kulturní památku. Bývalá sýpka v té době již zůstávala bez využití a postupně chátrala. Vlivem špatného stavu střechy do objektu zatékalo. Také majitelé se poměrně rychle střídali. Obrat směrem k lepšímu nastal až poté, co se vlastníkem stal Jan Bazala ze Zaječí. Ten s pomocí státu nechal v letech 2011–2015 opravit střechu. Další nákladné opravy se připravují.