4 февраля 1905 года взрыв бомбы в Кремле, брошенной в карету московского экс-генерал-губернатора великого князя Сергея Александровича, унес жизнь не только самого князя, но и верного кучера Андрея Рудинкина. Он десять лет прослужил у генерал-губернатора и знал, что подвергает себя опасности вместе с Сергеем Александровичем, который, опасаясь покушения, старался по возможности ездить один. Карету великого князя террористы научились опознавать именно по кучерам, так как он и его супруга великая княгиня Елизавета Федоровна единственные в Москве ездили в экипажах с яркими ацетиленовыми фонарями. Огни слепили, и невозможно было понять, кто именно сидит в карете.

Физически сильный Андрей умер не сразу, некоторое время он еще мучился в больнице, вся спина его была изрешечена осколками. Вечером 4 февраля он пришел в сознание. Узнав об этом, в больницу поехала великая княгиня Елизавета Федоровна. Чтобы морально поддержать верного кучера, она, идя в больницу, сменила траурное платье на светлое и мужественно обманула Андрея, сказав, что ее к нему послал великий князь. Андрей, облегченно вздохнул. Он даже пошел на поправку, но от заражения крови скончался 7 февраля.

Елизавета Федоровна присутствовала на отпевании раба Божьего Андрея, по зимним сугробам пешком под руку с беременной вдовой сопровождала его гроб до Павелецкого вокзала и затем до могилы. Андрей Рудинкин похоронен в своем родном подмосковном селе Ивановское, рядом с алтарем храма Иоанна Предтечи. На могиле на средства великой княгини был устроен мемориальный комплекс, состоящий из надгробного камня и гранитного креста. Вдову кучера с шестью детьми Елизавета Федоровна устроила в Москве во Вдовьем доме на Болотной площади, при доме были и магазин, и лечебница, и школа, и церковь. Ей была назначена пенсия. Родившуюся после смерти отца девочку крестила сама великая княгиня.

После богоборческого переворота 1917 года кладбище, расположенное вокруг храма Иоанна Предтечи было почти полностью уничтожено, а храм осквернен. Могила Андрея Рудинкина уцелела, уцелел и надгробный камень. Венчавший надгробие крест исчез, а на гранитном постаменте сохранились надписи с четырех сторон:
"Здесь погребен кучер Великого Князя Сергея Александровича – Андрей Алексеевич Рудинкин. Крестьянин Московской губернии Серпуховского уезда Хатунской волости деревни Сумароковой".
"Умер от ран, полученных им от бомбы, убившей Великого Князя Сергея Александровича в Московском Кремле 4 февраля 1905 года".
"Добрый и верный раб. В малом ты был верен, над многими тебя поставлю; войди в радость господина твоего".
"Памятник сей поставлен Великой Княгиней Елисаветой Феодоровной Августейшей супругой в Бозе почившего Великого Князя Сергея Александровича".

Члены Московского областного отделения Императорского Православного Палестинского Общества ухаживают за могилой Андрея Рудинкина, служат по нему панихиды и прилагают усилия для увековечивания памяти невинно погибшего человека, преданного великому князю Сергею Александровичу всей душой и пожертвовавшего своей жизнью.