飛鳥時代に活動した伝説的な山林修行者である役小角が開創したと云われ、蔵王権現を本尊としています。
ですが役行者とも呼ばれる役小角は伝説と化した人物であるため、金峯山寺の正確な創建時期などは分かっていないそうです。
平安時代に入り京都の
醍醐寺を開いた聖宝によって荒廃していた金峯山寺を再興。山岳信仰・密教・浄土信仰が融合し、参詣路を整備し諸堂を建てました。これにより皇族・貴族が参詣するようになり広く信仰されるようになりました。
室町時代になると修験道は「本山派」と「当山派」に分かれ、本山派は
園城寺の傘下である聖護院に、当山派は醍醐寺に活動していました。金峯山寺は聖宝の繋がりで当山派との繋がりが強かったそうです。
多くの僧兵を抱え吉野大衆と呼ばれ、
興福寺や
延暦寺の僧兵にも劣らないと云われていました。
寛治7年(1093年)、嘉禄元年(1225年)文禄元年(1264年)に焼失しましたが、その度に再建されています。
元弘の乱が起きると護良親王が金峯山寺の僧兵を味方につけ、吉野山を要塞化し「吉野城」として立てこもりました。鎌倉幕府の二階堂道蘊によって攻め込まれましたが、これを撃退しました。
その後、後醍醐天皇が吉野に入り南朝を興しましたが、貞和4年(1348年)足利尊氏の家臣・高師直によって焼討に遭い全山焼失しました。
蔵王堂は再建されましたが、天正14年(1586年)再び焼失、天正18年(1590年)豊臣秀吉の寄進で再建されました。
明治時代に入り廃仏毀釈が進み、金峯山寺も神社化するよう命令されました。明治5年(1872年)修験道が廃止され、明治7年(1874年)にはついに神社になり廃寺に追い込まれました。
それでも5年後には僧坊により再び寺院としての活動を始め、明治19年(1886年)「天台宗修験派」として再興し金峯山寺は寺院として復興されました。
平成16年(2004年)蔵王堂と仁王門がユネスコ世界遺産「紀伊山地の霊場と参詣道」として登録されました。