В 1803 году Городская Дума отвела под новое кладбище участок земли «против водяной мельницы за Валом». Кладбище получило название Казанского.

Изначально на кладбище стояла деревянная часовня, перенесённая с Козобродской улицы (ныне улица Льва Толстого). В 1821 году «тщанием титулярного советника Григория Нечаева с помощью доброхотных пожертвователей» была построена и освящена кладбищенская церковь Казанской иконы Божией Матери.

Захоронения, за исключением единичных случаев, на Казанском кладбище были прекращены в 1960 году.

В период с 1803 по 1960 год на этом кладбище были захоронены многие известные великолучане, в том числе профессор, генерал-лейтенант Н.Н. Тыртов, краевед А.А. Редик, игуменья Вознесенского монастыря Палладия, дворяне Ратмановы, купцы Боженовы, Чудовы.

В военную пору на кладбище были захоронены погибшие при освобождении города солдаты, здесь же похоронен Герой Советского Союза Петр Иванович Шлюйков.

По сей день сохранились многие старинные надгробия. Среди них есть и могильные камни с надписями на иностранном языке.