Skarð hefur líklega verið kirkjustaður síðan um árið 1200. Í katólskri tíð voru kirkjur staðarins helgaðar Maríu Mey, Jóhannesi postula og Ólafi konungi helga. Skarðskirkja var löngum höfuðkirkja Skarðsþinga og aðrar kirkjur brauðsins voru í Búðardal og Dagverðarnesi.Núverandi kirkja að Skarði var byggð 1914-1916 úr viðum eldri kirkju, sem fauk. Kirkjan var mikið endurbætt á árunum 1977-1983. Margir mjög merkir gripir eru í kirkjunni.