Важными элементами обороны Мирского замка были земляные валы высотою около 9 м и водяной ров, окружавшие замок.

Строительство Мирского замка велось в три этапа. Его начало относится к первому десятилетию XVI в., когда были возведены стены и башни замка, а в юго-западном углу двора построено одноэтажное кирпичное жилое помещение. Второй этап дати-
руется 20 — 30-ми гг. XVI в., когда к южной и восточной стенам пристроили одноэтажный дворцовый корпус с обширным подвалом. Во второй половине XVI — первой половине XVII в. (третий этап) дворцовый корпус надстроили до трех этажей. Внешними стенами дворца стали северная и восточная стены замка. В них замуровали бойницы среднего боя, а на уровне второго и третьего этажей сделали большие оконные проемы.

Роду Ильиничей замок принадлежал до 1568 г., затем он перешел к Радзивиллам. С конца XVIII в. он был у графов и князей Гогенлоэ, Берленбургов, Витгенштейнов, а со второй половины XIX в. и до 1939 г. им владели князья Святополк-Мирские.