Pierwszym kościołem przy folwarku w Ostrówku była murowana kaplica p.w. Narodzenia N.M.P., ufundowana w 1604 r. przez ks. Henryka Firleja. Pragnieniem fundatora było, aby w kaplicy w niedziele i święta odprawiana była Msza Św. W tym celu w Lubelskiem Trybunale Koronnym zapisał na rzecz kaplicy prowizję z sumy kapitalnej 800 florenów polskich. Niestety lokalizacja kaplicy nie była najlepsza. Została wybudowana w miejscu bagnistym, wśród stawów (naprzeciw obecnego budynku remizy OSP w Ostrówku) zaczęła szybko niszczeć. W protokole wizytacyjnym z 1721 r. zanotowano, że kaplica w Ostrówku wystawiona przez ks. Henryka Firleja posiadała wygląd zaniedbany. Od samych fundamentów rozpadała się w ruinę. Ściany posiadały liczne pęknięcia, dach był znacznie zniszczony. W kaplicy odprawiane były tylko dwie Msze rocznie: w Święto Znalezienia oraz Podwyższenia Krzyża Św. Kaplica w Ostrówku nie posiadała własnych szat i sprzętów liturgicznych. Każdego roku, szczególnie w święto Znalezienia Krzyża Świętego do kaplicy schodziły się rzesz ludzi. Ponadto kilka razy w roku była tam odprawiana Msza Św. oraz udzielano innych sakramentów przez proboszcza parafii lub misjonarzy. Nieremontowana kaplica zniszczała i obecnie nawet najstarsi mieszkańcy nie pamiętają o jej istnieniu.
Mieszkańcy obecnej parafii Ostrówek i Leszkowic już w 1919 r. zaczęli czynić starania o utworzenie jednej parafii. Kiedy jednak powstał spór pomiędzy mieszkańcami wiosek, o to gdzie ma być wybudowany kościół, mieszkańcy Leszkowic sami rozpoczęli budowę kościoła w swojej wiosce. Wówczas mieszkańcy wiosek należących do obecnej parafii Ostrówek wykupili dom murowany od Michała Szymony w Ostrówku - Kolonii, aby zaadaptować go na kościół.
W swoich początkach kościół wyglądał nieco inaczej niż obecnie. W miejscu obecnego chóru znajdował się ołtarz, a w miejscu prezbiterium było mieszkanie księdza proboszcza. W latach 1922-1925 przebudowano kościół. W miejscu mieszkania powstało prezbiterium. Wybudowano 8 filarów, na których opiera się drewniane sklepienie. Posadzkę w kościele i prezbiterium ułożono z płyt zakupionych w cerkwi w Gęsi. Ksiądz zamieszkał w tymczasowej plebanii, która w przyszłości miała być przeznaczona na mieszkanie dla służby kościelnej.
26 kwietnia 1928 r. ks. Jan Kalicki zwrócił się do Kurii Biskupiej w Lublinie o zatwierdzenie projektu rozbudowy kościoła, na co otrzymał zgodę. Rozbudowa kościoła miała polegać na jego nadbudowie i pokryciu go dachem.
W 1932 r. z kościoła wydzielona zakrystię, przedsionek i wyremontowano kapitele na kolumnach kościelnych. Na zewnątrz kościoła dobudowano schodki cementowe do bocznego wejścia pod chórem. Teren wokół kościoła utwardzono brukiem.
W czasie II Wojny Światowej kościół nie poniósł większych zniszczeń. Natomiast w grudniu 1946 r. skradziono monstrancję z tabernakulum. Sprawcy, gdy zorientowali się, że nie jest ze złota porzucili ją za ogrodzeniem plebańskim. Szczęśliwie została znaleziona przez chłopca z Cegielni.
Parafii Ostrówek patronuje Matka Boska Częstochowska. Obraz Matki Boskiej Częstochowskiej przywieziono z Częstochowy z 1921 r. Obraz uważany jest przez ludzi za cudowny. Zdecydowały o tym wydarzenia nazywane „płaczem Matki Bożej”. Według relacji naocznego świadka Dionizego Szczęcha w jedną z niedziel stycznia lub lutego 1942 r. Zofia Jeżowska parafianka z Ostrówka, po odprawionej sumie zawiadomiła miejscowego proboszcza ks. Stanisława Piskałę, że „Matka Boska płacze”. Kiedy proboszcz wraz z kościelnym podeszli do głównego ołtarza zauważyli, że z obrazu Matki Bożej płynie ciecz. W lewym oku widoczna była łza, która spływała przez całą twarz Matki Bożej. Również w prawym oku była widoczna łza.
Po zakończeniu II Wojny Światowej obraz Matki Boskiej Częstochowskiej otaczany był coraz większym kultem. Na odpusty przychodziły zorganizowane pielgrzymki z okolicznych wiosek. O kulcie Matki Bożej świadczy zwyczaj obchodzenia ołtarza na klęcząco, który po kilkunastu latach przerwy (zabudowane podium uniemożliwiało obchodzenie ołtarza) jest dalej praktykowany w dniu dorocznego odpustu 26 sierpnia.
Największym zabytkiem historycznym kościoła jest obraz Matki Bożej - Umilenie z XVIII w. Znajduje się w bocznym ołtarzu kościoła. Pochodzi z cerkwi w Gęsi i został zakupiony przez parafian przy tworzeniu parafii. Zabytkiem historycznym jest obraz Matki Boskiej Częstochowskiej znajdujący się w głównym ołtarzu. Ponadto do rejestru zabytków wpisane są dwa posągi św. Apostołów Piotra i Pawła. Posąg św. Piotra jest to rzeźba drewniana z początków XX w. Św. Piotr trzyma w lewej dłoni miecz. Natomiast prawa dłoń, uniesiona w łokciu podtrzymuje przy pasie draperię płaszcza. Postać św. Pawła jest również wykonana z drewna. Pochodzi z początków XX w. Św. Paweł trzyma w ręku księgę Ewangelii, lewa dłoń spoczywa na piersi. W zakrystii znajduje się zabytkowa kropielniczka z XIX/XX w. Kropielniczka jest w kształcie pary uskrzydlonych aniołów, podtrzymujących przed sobą muszlę. Ponadto w zakrystii jest kociołek na wodę świeconą z I poł. XX w. Kociołek jest przykryty stożkową pokrywą, na szczycie jest krzyż. Ponadto zabytkowe są kielichy i lichtarze, jak również feretrony i obrazy procesyjne.
Interesująca historia wiąże się także z dzwonem kościelnym. Pochodzenie dzwonu jest opisane w kronice parafialnej. Stanisław Komar, mieszkaniec wsi Kamienowola, służył w wojsku w taborze kolejowym w 1921 r. Dzwon, który jest w Ostrówku i kilka innych były przywiezione prawdopodobnie aż zza Kijowa do pierwszej czy drugiej stacji za Dęblinem w stronę Radomia, przypuszczalnie do stacji Bąkowiec. Najprawdopodobniej dzwony te zostały skonfiskowane w trakcie I Wojny Światowej. Wszystkie dzwony oprócz tego, który jest w Ostrówku zostały zabrane do właściwych parafii. Stanisław Komar zakopał ten pozostawiony dzwon u jednego z gospodarzy niedaleko Dęblina. W ziemi przeleżał ok. 2 lata. Po zorganizowaniu się parafii Stanisław Komar pojechał po ten dzwon. Zawieszono go na drewnianej dzwonnicy, która po jakimś czasie runęła. Na jej miejsce w 1933 r. postawiono kolejną.
W trakcie II Wojny Światowej Niemcy wydali nakaz, aby wszystkie dzwony przewieźć na wyznaczone miejsce w celu przetopienia i wykorzystania jako amunicję. Stanisław Brzyski z synem Henrykiem w tajemnicy przed innymi, zakopali dzwon na polu za sadem. Ojciec w obliczu zagrożenia życia przekazał tajemnicę młodszym synom. Wszystko odbywało się w porozumieniu ze ks. Stanisławem Piskałą. Stanisław Brzyski zawiózł do Lubartowa nie główny dzwon, a sygnaturkę. Ludziom powiedzieli, że oddali dzwon Niemcom. Już 25 marca 1945 r. dzwon został zawieszony ponownie. Dzwon zachował się do chwili obecnej.
Do czasu wybudowania świątyni nabożeństwa miały miejsce w domu Włodzimierza Zdrowskiego. Kościół parafialny obecnie istniejący p.w. św. Józefa Oblubieńca NMP i św. Jana Chrzciciela, murowany, wybudowano w latach 1921-1924, wg projektu arch. Bogdana Krauzego z Lublina. Budową kierował Antoni Praczyk, miejscowy cieśla, organizatorem całości był ks. Józef Terebus. Przy pracach budowlanych częściowo pomocą służyli parafianie z Bystrzycy, gdzie poprzednio pracował ks. Józef. Poświęcenie nastąpiło 14.09.1924 r. przez bpa Mariana Fulmana. Po 1924 r. następowało stopniowe wyposażenie wnętrza. W 1932 r. zamieniono pokrycie dachu z gontu na blachę. W 1956 r. pomalowano kościół z zewnątrz. Posadzkę lastrykową wyk. w 1957 , a w 1968 – ściągnięto wewnątrz ściany sztabami, remont wnętrza był w 1972 r.
Kościół jest jednonawowy, przy prezbiterium zakrystia, na frontonie wieża z kruchtą w przyziemiu. Nad nawą znajduje się wieżyczka na sygnaturkę. Ołtarze drewniane, w głównym - obraz Chrztu Pańskiego, a w niszy figura św. Józefa, ołtarz pochodzi z lat 30-tych XX w. Po lewej - ołtarz boczny z 1972 r. z krzyżem, po prawej z figurą MB Różańcowej z 1972 r. Ponadto są jeszcze 2 małe ołtarzyki na ścianie w lewej i prawej nawie. Na chórze mieści się fisharmonia, chrzcielnica drewniana.
Obok kościoła stoi drewniana dzwonnica z lat 30-tych XX w.
W 1921 r. wraz z kościołem została zbudowana drewniana plebania. W okresie letnim 1957 r. były duże burze i huragany, które zrywały dachy, przewracały domy mieszkalne, łamały drzewa. Huragan zerwał między innymi część dachu plebani.
Fundamenty pod nową, murowana plebanię rozpoczęto 7 października 1998r., a ukończono w 2001r. Budynek poświecił ks. bp Mieczysław Cisło w dniu wizytacji kanonicznej.
W 1921 r. utworzono cmentarz parafialny. Jest oddalony od kościoła ok.750 m. Na cmentarzu spoczywa ciało jednego kapłana ks. Wojciecha Wójcikowskiego. W 1968 r. ogrodzono cmentarz parafialny. Natomiast w 2005 r. zmieniono fronton cmentarza grzebalnego. Od szosy wymieniono betonowy parkan na przęsła z cegły. Zrobiono nową metalową bramę wjazdową i furtkę.
Zabytki budownictwa stanowią zespół dworsko – pałacowy z II poł. XIX w. oraz kapliczka murowana z II poł. XIX w. Nazwę miejscowości i folwarku tradycja od wieków łączy z potężnymi dębami, które tu rosły. Układ przestrzenno-kompozycyjny dzięki pozostawieniu starodrzewia w alejach, a zwłaszcza na obrzeżach jest jeszcze czytelny, znacznie podnoszący walory krajobrazowe.