Trước năm 1945, thực dân Pháp đã bắt người tù trồng cây ăn trái, rau màu tại Sở Rẫy để phục vụ cho bộ máy cai trị của chúng. Sau năm 1975, Sở Rẫy bỏ hoang, cây rừng phát triển tự nhiên. Năm 2002, được sự tài trợ của Công ty BP, Vườn quốc gia Côn Đảo thực hiện Dự án trồng rừng sinh thái để khôi phục một số loài cây rừng quý, hiếm đồng thời trồng một số loài cây ăn quả để bổ sung nguồn thức ăn cho động vật rừng. Nằm trên độ cao 242 mét, hiện tại Sở Rẫy là điểm tham quan thú vị để chiêm ngưỡng cả thị trấn Côn Đảo và nơi nghiên cứu khoa học, giáo dục cộng đồng.
