Thời kỳ được xem là hưng thịnh nhất của Linh Ấn tự là vào thời Vương quốc Ngô Việt (907 - 978). Khi đó, chùa gồm có 9 lầu, 18 các và 72 điện đường rộng lớn. Tăng chúng trong chùa cũng đạt đến con số ngoài 3.000. Tuy nhiên theo thời gian, ngôi chùa bị phá hủy không ít và phải trải qua không dưới 16 lần lần tu bổ, xây dựng lại. Các tòa nhà hiện nay phần lớn được phục dựng từ cuối nhà Thanh.