Phía trước đình có bức bình phong bằng gạch, mặt ngoài bình phong vẽ hình hổ, mặt trong bình phong viết chữ Hán 神農 - Thần Nông. Hai bên có hai trụ gạch vuông, đỉnh trụ đắp hình hai bông sen. Trên trụ có câu đối bằng chữ Hán: câu đối bên phải đã mờ, không còn rõ chữ; câu đối bên trái có nội dung là: 地利人和福壽增 - Địa lợi nhân hoà phúc thọ tăng. Dưới bình phong có đặt một bàn thờ. Hai bên sân có hai miếu thờ nhỏ. Trong khuôn viên đình còn có nhà Lưu niệm mặt trận Tân Hưng.
Ngôi đình hiện nay được xây dựng trên nền cũ bao quanh bằng đá hộc, phía trên nền là một hàng gạch ống 4 lỗ, mặt nền lót gạch tàu vuông 40 x 40 cm. Toàn bộ mái lợp bằng ngói máng, được đỡ trên giàn cột gồm 4 hàng 16 cột. Mặt trước là hàng 4 cột xi măng vuông vức. Các hàng cột còn lại bằng gỗ đã bị mối mọt nhiều. Dưới các chân cột được kê bằng đá tảng. Cấu trúc mái hình bánh ít, trên nóc đúc hai rồng chầu, viền mái bằng xi măng. Gian giữa có cửa rộng gấp đôi hai gian bên. Gian giữa đặt bàn thờ thần xây dựng bằng vữa, chính giữa thành và chân quỳ đều có đắp hổ phù, trên bàn thờ đặt một tấm biển sơn đỏ chữ vàng, ở giữa viết chữ 神 - Thần bằng chữ Hán lớn. Hai bên là hai bàn thờ “Tả ban liệt vị” và “Hữu ban liệt vị”.
Trong đình hiện còn hai bàn tròn, đường kính mặt 1 m, hai biển thờ đã hư, 1 kệ ván 1,4 x 2 m, hai bàn gỗ vuông và 1 bà thờ cũng bằng gỗ. Tất cả đều bị mối, mọt hư hại trên 70%. Ngoài ra còn một bia gỗ chữ Hán ghi nhận công của đóng góp xây dựng đình năm 1907, chữ đã mờ, bị sứt rất nhiều, khó đọc.
Hằng năm cứ vào ngày 10 - 11 tháng 5 âm lịch, người dân khắp nơi ở Cà Mau, lại tụ hợp về đình Tân Hưng dự lễ Kỳ yên, tưởng nhớ những tiền nhân khai phá ra vùng đất này. Mùa lễ năm 2009, tuy lễ cúng chính chỉ diễn ra từ 7h đến 9h ngày 11-05, nhưng ngay từ 12h trưa mùng 10-05, lễ rước sắc thần đã được tiến hành rất trang nghiêm. Ngoài ý nghĩa tâm linh, tỏ lòng thành kính đối với các vị thần, thành hoàng phò hộ, lễ Kỳ yên còn nhằm tưởng nhớ đến những người có công với nước, đã ngã xuống trên mảnh đất này. Cùng với đình thần Tân Hưng, xã Lý Văn Lâm còn có hai ngôi đình cùng tổ chức lễ Kỳ yên trong ngày mùng 10 và 11-05 âm lịch là đình Thạnh Phú và đình Tân Thành.
Kiến trúc sư Huỳnh Tấn Phát (Sáu Phát, Tám Chí), sinh ngày 15 tháng 3 năm 1913 tại xã Tân Hưng (nay là xã Châu Hưng), huyện Bình Đại, tỉnh Bến Tre. Khi đến tuổi học trung học, ông lên Sài Gòn học trường Pétrus Ký. Sau đó ông thi vào trường Cao Đẳng Mỹ Thuật Đông Dương (Hà Nội) và đậu thủ khoa kiến trúc trường này. Ông đi làm một thời gian và mở văn phòng kiến trúc tư đầu tiên ở Sài Gòn (1840). Ông đoạt giải thiết kế và xây dựng Hội chợ triển lãm Đông Dương (vườn ông Tượng, Tao Đàn, năm 1941).
Với nhiệt huyết của một trí thức yêu nước, ông chuyển sang hoạt động chính trị, tham gia phát triển nhiều phong trào yêu nước (Chủ nhiệm báo Thanh niên, truyền bá quốc ngữ, cứu tế nạn đói ở miền Bắc, đặc biệt là phong trào Thanh niên tiền phong mà ông là Trưởng ban cổ động).
Ngày 5 tháng 3 năm 1945, ông được kết nạp vào Đảng Cộng Sản Đông Dương và tham gia giành chính quyền tại Sài Gòn năm 1945.
Năm 1946, ông bị bắt tại nhà in số 160 đường Lagrandière (nay là đường Lý Tự Trọng). Trong khám ông được mọi người bầu làm Trưởng ban đại diện “Liên đoàn tù nhân Khám lớn Sài Gòn”, biến Khám lớn Sài Gòn thành trường học văn hóa, chính trị đào tạo đội ngũ cán bộ cách mạng.
Năm 1949, sau khi ra tù, ông về khu giải phóng và được cử làm Ủy viên Ủy ban Kháng chiến Hành chánh Nam bộ.
Ngày 6 tháng 6 năm 1969, tại Đại hội Đại biểu quốc dân miền Nam Việt Nam đã bầu ông làm Chủ tịch Chính phủ Cách mạng Lâm thời Cộng hòa miền Nam Việt Nam.
Ngày 20 tháng 12 năm 1960, ông cùng với các đồng chí Võ Chí Công, Phùng Văn Cung được bầu là những người đứng đầu Ủy ban Trung ương Mặt trận Dân tộc Giải phóng miền Nam Việt Nam.
Năm 1968, ông chỉ đạo Ban trí vận mặt trận khu Sài Gòn - Gia Định vận động trí thức yêu nước công tác ở Sài Gòn ra chiến khu thành lập Liên minh các lực lượng phong trào dân chủ và hòa bình miền Nam Việt Nam.
Năm 1976, ông được Quốc hội khóa VI cử làm Phó Thủ tướng Chính phủ nước Cộng hòa Xã hội Chủ nghĩa Việt Nam.
Năm 1981, Quốc hội khóa VIII cử ông làm Phó Chủ tịch Hội đồng Bộ trưởng nước Cộng hòa Xã hội Chủ nghĩa Việt Nam đến năm 1982.
Tháng 6 năm 1982, ông là Phó Chủ tịch Hội đồng Nhà nước, Chủ tịch Đoàn Chủ tịch Ủy ban Trung ương Mặt trận Tổ quốc Việt Nam.
Ngoài ra, ông còn giữ các chức vụ: Chủ nhiệm Ủy ban Xây dựng cơ bản Nhà nước, Phó chủ tịch Hội kiến trúc sư Việt Nam. Ông chỉ đạo và góp ý kiến các dự án thiết kế quy hoạch các đô thị trong cả nước như: Hà Nội, Hồ Chí Minh, Phan Thiết, Nha Trang, Vũng Tàu, Tây Ninh,… Ông được Đảng và Nhà nước tặng thưởng: Huân chương Hồ Chí Minh, Huân chương Kháng chiến hạng nhất,... Ông mất ngày 30 tháng 9 năm 1989 tại thành phố Hồ Chí Minh.
Ông Huỳnh Tấn Phát là một trí thức có nhiều uy tín trong xã hội nhưng ông không quan tâm làm giàu mà dành trọn đời mình để lo cho dân, cho nước. Chính vì thế nên khi ông mất, dân làng Tân Hưng đã rước di ảnh ông về thờ tại đình Tân Hưng nhằm giáo dục các thế hệ con cháu. Những hình ảnh, tư liệu, hiện vật liên quan đến cuộc đời hoạt động cách mạng của ông cũng được trưng bày trang trọng tại đình Tân Hưng.
Đình Tân Hưng xưa được xây dựng trên mảnh đất rộng 2.100m2, gồm 3 gian 2 chái liền nhau, mái lợp ngói âm dương. Ngôi đình chính gồm: gian đầu là nhà võ ca, gian giữa là nơi chức sắc trong làng hội họp, gian thứ 3 thờ thần. Tất cả vì kèo, xuyên, trính, bao lam, thành vọng, hoành phi, câu đối, long trụ, khánh thờ đều được làm bằng các loại gỗ quý và được chạm khắc hoa văn phong phú như chim, hoa lan, hoa cúc, trúc, lưỡng long tranh châu, kỳ lân,… được sơn son thếp vàng lộng lẫy.
Trong hai cuộc kháng chiến chống Pháp và Mỹ, đình Tân Hưng là nơi tập trung những người yêu nước để học tập, bàn bạc kế hoạch thực hiện chủ trương, chính sách của Đảng và Chi bộ cơ sở. Trong suốt thời kỳ đấu tranh chính trị (1954 - 1959), đình là nơi tập hợp nhân dân để phổ biến các chủ trương, chính sách của Đảng bộ Châu Hưng nhằm gây dựng cơ sở và tổ chức lực lượng, phát động đấu tranh chính trị. Năm 1963 - 1965, địch đem quân chiếm đóng đình để tiến hành khủng bố, đàn áp nhân dân. Trước sự đoàn kết, thống nhất đấu tranh của quần chúng nhân dân và sự tấn công của lực lượng du kích, địch rút chạy, ngôi đình được trả lại nhưng đã bị hư hại nhiều.
Trong những năm chiến tranh ác liệt, đình Tân Hưng là nơi bắn phá của địch vì nơi đây là địa điểm liên lạc và hoạt động của cán bộ, Đảng viên xã Châu Hưng, là nơi gây dựng cơ sở và cất giấu tài liệu, vũ khí. Năm 1972, địch ném 2 quả bom gây thiệt hại nặng cho đình.
Năm 2004, trên nền đình cũ, đình Tân Hưng được trùng tu khang trang, rộng rãi hơn gồm 2 ngôi nhà chính: một ngôi nhà thờ Thành hoàng bổn cảnh, một ngôi nhà thờ Kiến trúc sư Huỳnh Tấn Phát. Tuy không còn vẻ cổ kính, trầm mặc của thời gian nhưng đình Tân Hưng ngày nay vẫn uy nghi, là nơi thờ tự linh thiêng và đầy tự hào của nhân dân địa phương.