Nieopodal kościoła, na wzgórzu potocznie określanym przez mieszkańców „górkami plebańskimi” znajduje się drewniany krzyż, który – według miejscowych przekazów – ok. 1020 r. ustawiono na pamiątkę Mszy świętej, odprawionej w tym miejscu przez Biskupa Wojciecha. Z upływem czasu krzyż był wielokrotnie wymieniany, zaś istniejący obecnie został ufundowany i poświęcony 13 września 1987 r. Tradycyjnie, w pierwszą niedzielę po 14 września, na wzgórzu przy krzyżu odprawiana jest Msza św.

Aby dotrzeć do krzyża, z centrum Góry Puławskiej kierujemy się ul. Kozienicką (w stronę Bronowic). Gdy miniemy leżące po lewej stronie drogi zabudowania, bacznie wypatrujmy tablicy pamiątkowej, która wskaże nam ścieżkę wiodącą na wzgórze.