Cũng chính trong quần thể đá khổng lồ tạo nên thác Bờ thì có Bia Lê Lợi. Gọi Bia Lê Lợi là gọi tắt. Thực ra là phần đá có khắc bài thơ của vua Lê Lợi mới đủ và đúng.
Trước khi chuyển dân, chuyển huyện lỵ từ Chợ Bờ về Tu Lý, các cơ quan, trường học, nhà dân nơi đây đều là nhà gỗ hoặc tranh tre, nứa lá. Duy nhất có Bưu điện huyện bên cạnh quốc lộ 6, đoạn giữa phố Bờ là nhà xây còn lại từ thời thuộc Pháp.