元明天皇の和銅三年（西暦710年）名僧行基（ぎょうき）が諸国行脚の途中、福石山の霊境を訪ねて嘆賞し、しばしの間草庵を結んだと伝わっております。
この時たまたま東乃浦の海に霊光を放つ仏木を発見して、これで三体の仏像を刻んだとのことです。
世に言う、行基一刀三霊の作で、その中の「十一面観世音菩薩像」をここの岩窟に安置しました。これが福石観音の始まりで、ご本尊を安置してある内殿を、行基岩と呼んでおります。
延暦、大同のころ（西暦805年頃）、弘法大師（こうぼうだいし）（空海）が行基菩薩行脚の跡を慕って来錫し、諸人救済の為御堂の傍らに清岩寺（せいがんじ）を建て、福石山の裏手にある岩窟に五百羅漢（ごひゃくらかん）を安置しました。
以来、九州七観音のひとつに数えられ、諸人信仰の霊地と仰がれて色々な仏跡を残し、また旧平戸藩時代には平戸八景のひとつに、大日本帝国海軍の軍港になってからは佐世保名所の随一にあげられて、さまざまな歴史の跡が刻まれました。
毎年八月八日から十日に行われる「四万六千日祭」は、昔から近郷第一の夏祭りとして賑わっています。この期間中にお参りすると、一日参れば四万六千日参ったのと同じ御利益が授かると参拝客の人気を集めています。