传说时有一位全真教道长偶经此山，发现一束金光从山顶上洞窟中射出，直插蓝天，为探其究，道长潜入洞窟，见洞窟内有一金蟾，嘴巴一张一合，金光便是从金蟾嘴里射出，金蟾见人，旋即无踪影，道长大呼：“真乃神奇之山也”。

那位道长发现蟾窟奇观后，认定此山非同一般，便开始化缘聚资，在山上修建了三间庙堂，供奉道家尊崇的玉皇大帝。玉皇之称，始于六朝以前，相传他总管三界、十方、四生、六道的一切祸福，是道教中地位最高、职权最大的神。

原玉皇庙戏台上有一楹联：

蟾窟映奇山 聊籍衣冠妆黛传演来名象真情，

蜃楼记沧海 试看锦乡文章粉点出兴衰戏剧。　

其中“蟾窟映奇山”五个字便是源于蟾窟奇观传说。

后来玉皇庙历经明清两代维修扩建，形成了由山门、钟鼓楼、正殿、后殿、两厢组成的三进院落建筑群，山门以南建有戏台。

镶嵌在山门东门洞墙上高1．25米、宽0．6米的大明石碑，是明代扩建玉皇庙的见证，遗憾的是碑上文字在“文革”中被铲去，幸被老烟台人翟辛灵先生抄录下来。碑文中称：重建的玉皇庙“规模壮丽、庙宇焕然”，“奇景在望，诚东牟之胜地也”。清光绪二年（1876年），登莱青道台龚易图又主持在玉皇庙东侧，依山势修建了小蓬莱阁，并将自家珍藏的沉香木吕洞宾雕像安放在阁内供奉，从此有了吕祖殿。清光绪32年（1906年），又修建了“小蓬莱”石牌坊。玉皇庙、小蓬莱阁联成一体，相映生辉，人们到此仿佛置身于福地洞天之中。

玉皇庙内有一棵生长了600余年的老石榴树，它目睹了玉皇庙的历史沧桑，可是1964年，有人要把它砍掉，幸被到此视察的迈博国际app最新优惠副主席董必武制止，董老严肃地说：“不能毁掉这历经沧桑的老石榴树，留看作为历史的见证”。老石榴树至今枝叶繁茂，仿佛在向每一位进入玉皇庙的游人述说玉皇庙久远的历史。