文献が残っておらず、詳細は不明。社殿の建築様式はおそらく権現造と思われます。
棟札を参考に、明治１８年に本殿が改築され、拝殿は昭和３２年に改築されたと伝えられております。老朽化により、平成２９年に氏子崇敬者のご協賛のもと本殿の改修工事を行い、同年１１月に竣功祭を執り行いました。併せて本殿まわりの透き塀工事も行い、石の玉垣へと改修を致しました。

古来より巨樹や古木には木霊(神様)が宿るとされており、飯玉神社の御神木である推定樹齢500年の二本のクスノキが力強く根を張り、空に向かって聳そびえ立つ様は人々にパワーを与えてくれます。
寄り添うように聳そびえ立つ木々であることから、夫婦和合、良縁成就の御利益があると言い伝えられ、その間を通れば御神木のパワーがお頒かちされ運が開けて大成するという御利益が得られるそうです。ご参拝の際は飯玉神社の御神木のパワーを頂きまして、お帰りください。

稲荷社は飯玉神社の御本殿を守り、また悪いものが外から入ってくるのを防ぐため北東(⻤門)の位置に鎮座しております。
古墳で使われていた岩の間に神の使いであるお狐様が住み着いていたことから、今現在の位置にお祀りしたと伝えられます。(稲荷社本殿の中に岩が当時のまま残っております。) お参りをして、稲荷の神様である宇迦之御魂大神うかのみたまのかみ様の御神徳を頂きまして、お帰りください。

安産、子育て、縁結びの信仰が深い女性の守護神である少彦名神すくなひこなのかみがお祀りされております。また少彦名神は医療の神様としても知られおり、神話の中で国⺠や家畜の病気を治すための方法を定めたとされ、医療・医薬の御利益があるとも伝えられております。

通称は天神様。学問の神様である菅原道真公すがわらのみちざねこうがお祀りされており、また所説ありますが、道真公を刺客からお守りしたという神使のお牛様も一緒にお祀りされております。右大臣まで昇りつめた道真公は政治家であり、優秀な学者、文人として広く勇名を馳せられ、試験合格、学業成就、諸芸上達の御利益が得られると伝えられます。

飯玉神社境内の入り口にひっそりと鎮座している飯玉双体道祖神。道祖神は厄災侵入防止、子孫繁栄などを願い村や集落の守り神としてお祀りされることが多いですが、双体道祖神は男女の仲睦まじい姿でお祀りされていることから、夫婦円満、縁結びの御利益が得られると伝えられます。