Tuy không đồ sộ, rộng lớn nhưng Linh Sơn Cổ Tự khá nổi tiếng vì là ngôi chùa lâu đời nhất ở Vũng Tàu. Trong chánh điện có thờ một tượng Phật cao 1,2 m bằng đá thếp vàng được điêu khắc rất khéo léo tạo nên vẻ từ bi và sống động trên nét mặt của đức Phật. Lúc đầu chùa được xây dựng trên triền núi Nhỏ nhưng năm 1919 khu vực này bị người dân Pháp chiếm dụng để xây cất biệt thự cho hoa tiêu ở. Ngay sau đó một ngôi chùa khác đã được xây dựng và tồn tại cho tới ngày nay.