Předchůdci současného zámku Rájec nad Svitavou byly ve středověku dvě tvrze. Existence starší z nich je předpokládána již ve 13. století, společně s novější je v pramenech doložena ve století 14. a 15.
Tvrze byly pobořeny nejprve zřejmě za domácích válek mezi markrabětem Joštem a jeho bratrem Prokopem, posléze roku 1431 při nájezdu husitských vojsk; naposledy zmíněny jako pusté roku 1446.
Pravděpodobnými zakladateli tvrzí byli příslušníci vladycké rodiny pánů z Rájce, v jehož vlastnictví zůstaly až do poslední čtvrtiny 14. století.
Větší z tvrzí je lokalizována do místa zvaného Hradisko severozápadně od Rájce-Jestřebí, menší do blízkosti současného zámku, nicméně přesná poloha ani podoba není známa.
Tvrze byly společně s panstvím postupně ve vlastnictví vladyckého rodu pánů z Rájce, pánů z Kunštátu, z Lomnice a nakonec se už jako zpustlé staly součástí majetků olomouckého biskupa Pavla z Miličína.
Roku 1464 přešlo rájecké zboží do držby vladyckého a později panského rodu Drnovských z Drnovic, jehož příslušníci v 2. polovině 15. století menší z tvrzí obnovili v pozdně gotickém stylu,
Následně pak kolem roku 1570 nechal vynikající hospodář a nejvyšší dvorský sudí markrabství moravského Bernard Drnovský z Drnovic.
Dne 23. března 1763 panství koupil od bratrů své manželky Raffaely roz. z Rogendorfu (1726-1807) starohrabě Antonín Karel Salm-Reifferscheidt (1720-1769), tajný rada, nejvyšší komoří, diplomat a hofmistr ve službách Marie Terezie a Josefa II., jemuž byl vychovatelem.
Vlastní stavba zámeckého komplexu probíhala v letech 1763-1769, přičemž stavební práce započaly krátce po uzavření kupní smlouvy, už na jaře 1763, což společně s vyhotovením vícera plánů a nutnými terénními úpravami podporuje domněnku, že s přípravami na budování nového sídla v Rájci mohli začít již Roggendorfové.
Zároveň došlo k postupnému bourání trosek renesančního zámku, které posloužily jako laciný zdroj stavebního materiálu.
Na stavbě zámku se podíleli především řemeslníci z Rájce a okolí, stavební práce řídil vrchnostenský úředník František Nepomuk Brunn, který vždy přes zimu odjížděl na konzultace do Vídně, jinak zasílal starohraběti Salmovi týdenní písemné relace o průběhů prací, dnes velmi cenný materiál pro poznání zrodu zámku.
Zámek po svém dokončení sloužil starohraběcímu a posléze knížecímu rodu Salmů jako letní sídlo, a to až do doby první republiky, kdy se po zániku vídeňského habsburského dvora do Rájce přestěhovali natrvalo.
V roce 1945 byl zámek společně s dalším majetkem rodu Salm-Reifferscheidtů zkonfiskován na základě tzv. Benešových dekretů a přešel do vlastnictví státu.
Po roce 1989 vznesli příslušníci rodiny Salmů restituční nároky, které dodnes nebyly jednoznačně dořešeny, zámek tedy zůstává ve státním vlastnictví.
V prostorách zámku probíhají každoročně od roku 1999 noční prohlídky (šermířská vystoupení se zábavným, dobrodružným, pohádkovým či hororovým dějem), „Slavnostní sál“ slouží koncertům klasické hudby a svatebním obřadům.