Крепость средневекового вида, которую называют замком Сфорца, - сооружение с долгой историей. На ее месте между 1360 и 1370 гг. был возведен и впоследствии расширялся замок Висконти. По имени калитки в прилегающей городской стене он назывался замком у ворот Юпитера (Castello di Porta Giovia). Здесь был заточен и умер низложенный родным племянником Бернабо Висконти. После смерти последнего правителя из рода Висконти, миланцы до основания разрушили Кастелло-ди-Порта-Джиова - символ ненавистного режима.
Нынешнюю крепость на старом месте стали строить Франческо Сфорца и его наследники. Над созданием и украшением замка в разное время трудились архитекторы Филиппе Брунеллески, Джованни да Милано, Филарете, Гадио да Кремона, и уже к XV в. он по праву считался самым роскошным в Северной Италии. Настоящего великолепия замок достиг при Лодовике Моро, который пригласил для архитектурных работ Донато Браманте и Леонардо да Винчи.
Позже он был и тюрьмой, и оборонительным сооружением, его разрушали и бомбили, достраивали и восстанавливали. В конце XIX в. сооружение пришло в столь плачевное состояние, что городские власти хотели полностью снести его, но Историческое общество Ломбардии запретило трогать старинный Кастелло — сердце Милана. Реставрационные работы, проведенные между 1893 и 1905 гг., не отличались исторической точностью.
Об их качестве можно судить по центральной проездной четырехгранной башне Филарете. Названная по имени флорентийского архитектора А.-П. Аверулина, или Филарете, она была уничтожена в 1521 г. Во время Итальянских войн здесь размещался пороховой склад, взорвавшийся от удара молнии. В 1904 г. башню отстроили, однако реставраторы не стремились воссоздать постройку XV в., а исполнили вольную фантазию на тему «средневековая башня», что, впрочем, не помешало ей стать одним из символов Милана.
На барельефе над воротами изображена сцена убийства короля Умберто I.
В замке по единому расписанию работают несколько музеев: Музей города, Герцогский двор, Музей музыкальных инструментов и Музей декоративного искусства. Однако самое замечательное художественное собрание хранится в Музее древнего искусства.