Hrad byl založen pravděpodobně již v 1. polovině 13. století. Z roku 1222 je znám šlechtic Jimram z Boskovic, který však patrně sídlil na opevněném sídle, které stálo na místě, zvaném Bašta, případně někde jinde.
Pravděpodobně ještě tento původní hrad byl roku 1312 dobyt vojskem Jana Lucemburského, protože majitel Arkleb z Boskovic byl proti němu v odboji. Král Arklebovi na přímluvu panstva odpustil a jeho majetek mu roku 1313 vrátil. Ten postavil nové sídlo na místě současného hradu.
V moravských markraběcích válkách se Arklebův vnuk Jan Ozor z Boskovic postavil proti markraběti Joštovi, což mělo za následek trestnou výpravu. Při té byl hrad obléhán a dobyt. Jošt hrad zabavil a roku 1398 ho přidělil svému straníkovi Erhartovi z Kunštátu s povolením, že ho může obnovit.
Na počátku husitských válek držel Boskovice Viktorín z Kunštátu, avšak hrad zřejmě dobylo a obsadilo vojsko biskupa Jana Železného.
Roku 1424 byl však hrad znovu dobyt husity a poté zůstal v rukou pánů z Kunštátu až do roku 1458, kdy jej nově zvolený král Jiří z Poděbrad vrátil jako úhradu dluhů Vaňkovi Černohorskému z Boskovic.
Koncem 15. a zejména začátkem 16. století za Kryštofa z Boskovic byly na hradě prováděny rozsáhlé stavební úpravy. Kryštof se též v tomto období účastnil na tažení proti Turkům, které ho tak finančně vyčerpalo, že musel roku 1547 hrad prodat Šimonu Ederovi ze Štiavnice.
Jeho syn Vít prodal Boskovice roku 1569 Jarošovi ze Zástřizl. Ten provedl na hradě výrazné renesanční úpravy. Roku 1690 sňatkem se Zuzanou ze Zástřizl vyženil hrad Walter Xaver z Dietrichštejna (1664–1738), jenž byl posledním majitelem, který na hradě do roku 1720 bydlel.
Poté sloužil objekt k hospodářským účelům či jako kanceláře a stal se postupně zdrojem stavebního kamene pro výstavbu nového zámku a budov v Boskovicích. Úplně opuštěn byl roku 1784. V roce 1843 se dědička boskovického panství Terezie z Ditrichštejna provdala za hraběte Alfonse Mensdorff-Pouilly.
V roce 1856 Terezie zemřela a její dědictví se tak stalo majetkem rodiny Mensdorff-Pouilly, která jej s více než čtyřicetiletou přestávkou vlastní dosud. Z původně mohutné stavby se dochovalo torzo hradního paláce nabízející impozantní výhled do zdejší malebné krajiny.