Амфитеатр строился при трех императорах. Император Веспасиан начал строительство в 72 г. н.э. силами пленных иудеев, пригнанных из покоренного его сыном Титом Иерусалима. Для постройки амфитеатра Веспасиан выбрал территорию искусственного озера, вырытого когда-то в садах Золотого дома, грандиозного дворца Нерона. После самоубийства Нерона его преемники уничтожили Золотой дом (остатки дворцового комплекса можно посетить на соседнем холме Оппио.
Озеро осушили и заполнили смесью, похожей на современный бетон. Глубина фундамента таким образом составила 13 м, что обеспечило долговечность сооружения размером 188 х156 м. Внешняя стена делилась на 3 арочных яруса, причем арки каждого яруса опирались на колонны разных ордеров: первый - на дорические, второй - на ионические и третий - на коринфские. В проемах арок второго и третьего ярусов стояли статуи. Во II в. стену надстроили, и ее высота достигла 50 м. Колизей разделен радиальными стенами на 80 секторов, чтобы зрители могли покинуть его без давки. В дни представлений от палящих лучей солнца сидевших на трибунах (50-70 тыс. чел.) защищал огромный тент. Под усыпанной песком ареной располагались помещения для зверей и хитроумные механизмы, позволявшие в считанные минуты доставить на сцену любое количество животных и различные декорации. Гладиаторы попадали на арену из «казармы» по подземному ходу. В 80 г. Тит торжественно открыл амфитеатр. Празднества продолжались в течение 100 дней. За это время на его арене погибло множество гладиаторов и около 5000 зверей. Полностью строительство завершилось при втором сыне Веспасиана - Домициане.
В Средние века в Колизее совершались христианские обряды, порой он использовался как феодальный замок, а однажды его приспособили для производства селитры. В конце XII в. амфитеатр превратился в каменоломню — из его каменных блоков были построены 23 дома для знатных римлян, в XIV-XV вв. - 6 .церквей, в 1495 г. из материала Колизей построили папскую канцелярию, и XVI в. - мосты, в 1704 г. использовали для постройки гавани. Наконец, в 1750 г. папа Бенедикт IV провозгласил Колизей святым местом: было принято считать, что на его арене встретило смерть множество мучеников-христиан. Так амфитеатр был спасен от окончательного уничтожения.
На пл. Колизея сохранилась великолепно декорированная триумфальная Арка Константина (Агсо di Costantino). Это единственная арка в Риме, которую установили в честь победы не в войне с внешним врагом, а в гражданской войне. Барельефы для украшения этой арки сняты с более ранних сооружений.