W 1873 roku Krempachy nawiedziła epidemia cholery. W jej wyniku zmarło 98 osób, w tym ówczesny proboszcz Józef Dziurilla, Słowak z pochodzenia, który ofiarnie pomagał mieszkańcom wsi w czasie zarazy. Wdzięczni parafianie ufundowali mu tablicę pamiątkową, wmurowaną w ścianę kościoła nad miejscem pochówku kapłana. Podczas konfliktów narodowościowych w 1965 roku tablicę skradziono z murów kościoła (później odnaleziono ją w lesie za wsią) i dopiero w 1998 roku odnowiona powróciła na swe dawne miejsce.