Pozdně gotickou tvrz pánů ze Žerotína, přestavěnou Ferdinandem Hoffmannem z Grünbüchlu, získal roku 1721 hrabě Alois Tomáš Raymund z Harrachu. Ve druhé polovině 19. století se stal zámek hlavním sídlem moravské větve Harrachů, z níž vynikal zejména ekonom, filantrop a přítel Františka Ferdinanda D´ Este hrabě František Harrach. Redaktor Antonín Žolnerčík Janovice navštívil a k mikrofonu si pozval kastelánku Mgr. Markétu Janákovou.