古墳時代に欽明天皇の勅命で、「岩屋」(現在の「第一岩屋」)に神様を祀ったのが「江の島信仰」の発祥といわれ、多くの高僧や武将がここを訪れて祈願のために籠ったという。かつては、夏になると「岩屋」に海水が入ったため、旧4月から10月の間は、「岩屋本宮」の本尊を山の上の「御旅所」(現「奥津宮」)に移していたといわれる。
「江の島」は、「岩屋」に始まる信仰の地。『江嶋縁起』には、「江の島」の出現、「龍口山」へと姿を変えた五頭龍、弁財天となって祀られた天女らの伝説が描かれている。弁財天は、鎌倉時代以降は「戦いの神」として、江戸期になると「芸能・音楽・知恵の神」として信仰され、江戸の庶民の間では「江の島参り」も流行した。「江の島三宮」は明治期の廃仏毀釈で「江島神社」となるが、古くからの信仰は連綿と続いている。