Kirken ligger markant på toppen af den gamle strandvold ud mod Ringkøbing Fjord. Her har antagelig fra gammel tid været et anløbssted.
Klitboerne på den sydlige del af Holmsland Klit søgte Gammelsogn Kirke og kunne sejle hertil, indtil de i 1869 fik egen kirke. De blev begravet på den sydlige del af kirkegården, som nu bibeholdes med græs og vilde blomster.
Under den romanske kirkebygning, som er fra slutningen af 1100-tallet, er der fundet spor af en ældre trækirke, og i kirkens tagværk indgår tømmer, der måske stammer fra denne stavkirke. Våbenhus og tårn er sengotiske tilbygninger. ‘Tårnet var engang fem meter højere og fungerede som sømærke.
Nord for kirkegården ligger den gamle skolebygning fra 1834. Skolestuen i østenden er bibeholdt omtrent som den så ud, da skolen lukkede i 1965. Man må gerne kigge ind ad vinduerne.
