９４８年（天暦２年）神殿太夫武磨が菅原道真の霊を與喜天満宮に祀った時、与喜山は天照大神が降臨の山だから、その弟神の素藎雄命の霊を鎮めねばと云い、ここに社殿を構え、971年の鎮座と伝えられている。別に牛頭天王社（ごずてんのうしゃ）とも言われている。牛頭天王は仏教では祇園精舎の守護神である。

また、境内には歌人藤原家隆の供養のため藤原様式の十三重石塔婆がある。藤原家隆はここに静居していたらしく、大和名所図会には家隆墓と謳っている。

絵図にあるように、十三重石塔婆は今よりも大きく立派なものであったことが想像できる。（右：長谷寺所蔵の長谷寺境内図）