Строительство здания было инициировано в 1520-х годах кардиналом Алессандро Фарнезе, который впоследствии стал папой Павлом III.
Проект был разработан Антонио да Сангалло Младшим и Бальдассаре Перуцци. Здание задумывалось как крепость с пятиугольной планировкой, высокими стенами, массивными угловыми бастионами и рвом вокруг.
Работы были приостановлены примерно в 1534 году, когда кардинал Алессандро Фарнезе был избран папой. Возобновление строительства произошло примерно через двадцать лет благодаря его старшему внуку, также кардиналу Алессандро Фарнезе, который стремился преобразовать деда в крепость в роскошную резиденцию. Проект был передан Якопо Бароцци да Виньоле.
К 1573 году, когда архитектор скончался, здание, считающееся его величайшим произведением, было почти завершено. С пятиугольным основанием внутренние помещения расположены на пяти этажах вокруг круглого двора.
Внутри резиденции трудились лучшие художники своего времени, а темы фресок были вдохновлены работами ученого Аннибала Каро.