Chùa Phật Đà thường được gọi là chùa Lò Gạch, nằm dưới chân núi Bình San, cạnh lăng Mạc Cửu. Xưa kia, nơi đây có cái lò gạnh bị bỏ hoang. Đến năm 1945, trên bước vân du hành đạo miệt Hà Tiên, Hòa thượng Thích Chí Hoà, (thế danh Nguyễn Văn Tịnh) đã dừng chân tại chỗ này và lập nên một ngôi chùa nhỏ bằng cây lá mang tên là Tịnh Xá Chí Hòa. Và vì cái lò gạch được sử dụng làm chánh điện, để tụng kinh bái sám, nên dân địa phương gọi là Chùa Lò Gạch.
