Традиционно замок служил также тюрьмой. Людовик Благочестивый держал здесь в заключении аббата Валу из Корвея. В середине XIV века, во время эпидемии чумы, в замке содержались и подвергались пыткам евреи, которых обвиняли в отравлениях источников воды.
По мере того, как Сен-Бернарский перевал стал уступать по значимости находящемуся восточнее Шильона перевалу Сен-Готард, значение замка как оборонительного сооружения постепенно падало, и он всё чаще использовался лишь как место заключения.
В Шильонском замке происходит действие поэмы Джорджа Байрона «Шильонский узник» (1816). Исторической основой для поэмы послужило заключение в замке по приказу Карла III Савойского Франсуа Бонивара в 1530—1536 гг. 29 мая 1536 г. после двухдневной осады замок был взят бернцами, а Бонивар был освобождён. Благодаря поэме Байрона заключение Бонивара стало одним из наиболее известных эпизодов в истории замка. Многое для романтизации образа замка сделали также Жан-Жак Руссо, Перси Шелли, Виктор Гюго и Александр Дюма.
В 1536—1798 гг. замок находился в руках бернцев, а в 1798 г., с объявлением независимости кантона Во, перешёл в его собственность.
С начала XIX века и по настоящее время в замке расположен музей.