1881年3月1日，亚历山大二世准备签署法令，宣布改组国家委员会，启动俄罗斯君主立宪的政改进程，但在这一天他再次遇刺。民意党人刺客投掷的第一枚炸弹炸伤了亚历山大二世的卫兵和车夫，亚历山大二世不顾左右劝阻，执意下车查看卫兵伤势，结果刺客投掷的第二枚炸弹在他脚下爆炸，亚历山大二世双腿被炸断（以左腿情况最为严重），在抵达附近的军事医院前已经大量失血，陷入昏迷。当日下午3点30分，亚历山大因医治无效逝世，享年62岁。有当事者回忆道，在亚历山大的葬礼上，农民代表团向他敬献的花环被放在了他的胸口，“一如他生前我们农民在他心中所处的位置一样”。

亚历山大二世遇刺，打断了此前的改革进程，他的改革措施被继任者亚历山大三世逐步取消。此后亚历山大三世和尼古拉二世未能实行有效的改革措施，俄罗斯的各种隐患不断发展，最终导致了革命爆发，罗曼诺夫王朝被推翻。亚历山大二世遇刺身亡37年后，俄罗斯帝国灭亡。

亚历山大二世对俄罗斯历史的贡献是毋庸置疑的，唯一不足之处是仇视革命人士，对革命活动都是派军队镇压，但是镇压不仅没有起到作用，反而令革命活动更加猖狂，甚至已经发生了多次针对亚历山大二世的暗杀行动，但是都让亚历山大二世幸运躲过，暗杀行动没有成功。

到了公元1881年，革命人士趁着亚历山大二世的一次轻装出行，再次实施暗杀行动。这次暗杀行动中，革命人士向亚历山大二世投放炸弹，先是炸伤了他的侍卫和随从，他居然不顾危险，还要亲自检查侍卫和随从的伤势，结果第二颗炸弹投放过来，正正在他的脚下爆炸，他的双脚被当场炸断。

被炸成重伤的亚历山大二世被紧急送往医院救治，但是在当天就救治无效死去，终年63岁。

亚历山大二世死后，他的继任者是儿子亚历山大三世和孙子尼古拉二世，两人都没有继承他的优点，结果导致他死后的第36个年头，罗曼诺夫王朝终于在革命浪潮中被推翻。