Kostel byl založen pravděpodobně již po vzniku obce, první písemná zmínka pochází z roku 1437, kdy se na holštejnském panství uvádí kostely v Jedovnicích, Lipovci, Ostrově a Housku. Původní lipovecký kostel vyhořel roku 1600 a o padesát let později byl obnoven. I tento kostel potkala pohroma, když roku 1822 při velkém požáru obce Lipovce vyhořel.

Tehdejší majitel rájeckého panství Hugo František Salm, který byl farním patronem, rozhodl o výstavbě nového kostela na jiném místě, ležícího několik desítek metrů jihozápadně od vyhořelého objektu. Základní kámen byl slavnostně položen roku 1828, stavba však byla pro finanční obtíže rájeckého panství v roce 1830 na devět let pozastavena. Práce byly obnoveny až roku 1839 a trvaly do roku 1842. Kostel byl vysvěcen dne 8. září 1843 na svátek Narození Panny Marie. V roce 1850 byl zakoupen obraz Narození Panny Marie od autora Matěje Šťastného, který je na hlavním oltáři.

V Lipovci působil jako farář známý národní buditel Jan Nepomuk Soukop.

Lipovecký kostel postihly dvě světové války, při nichž byly zkonfiskovány zvony. Od roku 1947 jsou v Lipovci tři zvony, které jsou vzájemně sladěny. Roku 1983 byla do kostela pořízena nová křížová cesta od akademické malířky Sabiny Kratochvílové.

Zdroj: Wikipedie