当山は日本仏教の大恩聖者聖徳太子が厄除け・病気平癒のため開創されたお寺と伝えられております。
即ち、太子４２歳の厄年の時（６１４年）東の四天王寺建立を発願せられ、この伊勢の地に来られたおり、急に病に罹られ造営も太子の意のままにならず、そこへ加えて都より使いの者が現れ、御母と正妃がご不例である旨を伝える。
太子は大層ご心配になり、師であった高麗の僧、慧慈に「如何せばや」と計られたところ、慧慈は徐に口を開き「聖体今年４２歳の厄難の悪しき年廻りにあらせられる。伏して乞う、伽藍の艮(うしとら)の方角に馬頭観世音菩薩を彫み、法報二身を併せ安置し除難の法を厳修したまえ」と申された。
太子はいと喜び、師の言を信じて刀を取り、一刀三礼厄除け観音を彫刻せられ、法身大日如来を慧慈に、報身阿弥陀如来を慧聡に刻ませ、鬼門の方に草堂を結んで安置し「馬宝山観音寺」と称し、当時高名な奈良法興寺(飛鳥寺)の善徳僧正を召して修法に当らせられた。
それらが効を奏し、７日の後には三人お揃いで全快の喜悦を得られ、伽藍の工事も無事に進んで竣工の日を迎えた。その日は推古天皇の２６戌寅年(６１８年）三月の初午の日にあたり、馬頭観音は当山の本尊として安置された。
当寺は永く法相宗であったが、仁治３年（１２４２年）藤原道家の子、法助僧正の教化により真言宗に属するようになった。
近世に至り、元和３年（１６１７年）国家鎮護の道場に当てられ、その後間もなく津藩主、藤堂高虎公の晩年に藤堂家守護の祈願所とされ、次いで二代藩主高次公は今の地に堂宇を建立、寛文１２年（１６７２年）に完成。藤堂家の除災修法寺に当てられた。
その後延宝８年（１６８０年）三代藩主高久公より「初馬寺」なる額を寄進され、以来藩下唯一の聖徳太子ゆかりの厄除観音として栄え、藤堂公もこのお寺の前は下馬して歩かれたと伝えられている。また寺子屋も開かれ、幕末の頃には生徒数７００人と藩下一の規模であったと云われる。
しかるに、昭和２０年６月２６日太平洋戦争の津爆撃で歴史ある当山も一瞬にして破壊された。同２７年、３０年に国宝仏を修理及び奉安庫、昭和５１年に本堂の再建を完成させ今日に至っている。
