Phủ Khống nằm tựa lưng vào hang Khống, xây dựng theo hình chữ Đinh, cửa đền hướng ra mặt hồ mênh mông. Phủ Khống thờ bảy vị trung thần nhà Đinh. Theo lời kể của các vị cao niên, khi vua Đinh Tiên Hoàng băng hà, bảy vị trung thần đã mang nhiều quan tài giả chôn ở nhiều nơi, rồi tự sát để có thể giữ kín bí mật địa điểm của ngôi mộ thật. Đinh Công tiết chế là một vị quan trong triều đã khâm phục trước hành động đó của các ông, nên đã lập bàn thờ tại phủ. Chữ “khống” mang ý nghĩa bí mật vị trí lăng mộ Vua Đinh Tiên Hoàng vẫn được giữ kín và là một bí ẩn cho đến ngày nay.
Trước Phủ Khống có một cây thị cổ thụ ngàn năm tuổi có tán hình con voi bao trùm cả Phủ Khống. Kỳ lạ thay, cây có hai loại quả tròn và dẹt, mỗi khi chín tỏa hương thơm ngát.