Ông là người có danh vọng cao, tiết tháo, giao du thân mật với các danh sĩ đương thời như Nguyễn Văn Siêu, Phan Thanh Giản, Trương Quốc Dụng, Phạm Phú Thứ... ông còn để lại tác phẩm chính:
Bộ Hành Thiện bản ấp lịch triều đăng khoa lục (Văn hội thông kì) (1 cuốn) do ông biên soạn, Nguyễn Xuân Tháp tục biên: thường gọi tắt là Bản ấp lịch triều đăng khoa lục.
Bản ấp lịch triều đăng khoa lục là một tập sách gồm nhiều danh sách các vị người làng Hành Thiện thi đậu các khoa thi từ triều Lê về sau. Sách không có tờ mặt. Bắt đầu trang đầu bằng dòng tên sách như trên. Thứ đến bài tựa của tác giả thứ nhất, đề năm Cảnh Hưng Ất Tỵ thứ 46 (1785): Cảnh Hưng tứ thập lục niên Ất Tỵ xuân giám sinh trúng thức Nguyễn Bá Nghi cẩn tự. Bài tựa thứ hai tức là bài tựa tập tục biên mà tác giả Nguyễn Xuân Tháp gọi tên là Thế khoa trùng biên. Bài tựa này đề năm Minh Mạng thứ ba (1822) là năm Nhâm Ngọ, đề rõ: “Minh Mạng tam niên Nhâm Ngọ xuân Quý Dậu khoa hương cống. Phù Li huyện tri huyện Tháp Phong tử Nguyễn Xuân Tháp cẩn tục biên.
Sách chép danh sách và lược truyện các vị người làng Hành Thiện thi đậu tiến sĩ, phó bảng, hương cống, cử nhân, tú tài v.v... từ khoa thi đầu tiên mà làng Hành Thiện có người thi đậu, vào khoảng năm Thiệu Bình, Đại Bảo (1434-1442) đến khoa Quý Mão. Thành Thái thứ 15 (1903). Về mỗi khoa thi, tác giả ghi rõ thể lệ khoa thi ấy, tên các vị chủ khảo giám khảo và số người thi đậu. Sau đó mới đến danh sách người làng Hành Thiện thi đậu. Về mỗi vị, ghi rõ tên tuổi, thi đậu những gì, khoa nào, làm chức vụ gì.
Ngoài ra có hai đặc điểm thuộc về sự kiện lịch sử. Một là về các triều đại vua, tác giả chua rõ: Tên húy vua và là con ai, ở ngôi mấy năm, niên hiệu là gì, thọ bao nhiêu tuổi; riêng các vua Lê có phụ biên theo tên chúa Trịnh. Thí dụ: Trang Tông Dụ hoàng đế tên húy là Ninh, con vua Chiêu Tông, ở ngôi 16 năm, niên hiệu Nguyên Hòa, thọ 34 tuổi; sau đó, chép luôn Thế tổ Minh Khang đại vương, họ Trịnh tên Kiểm, thời Lê Trung hưng, họ Trịnh làm phụ chính.
Đặc điểm thứ hai là tác giả chép rõ về tổ chức thi của triều Tây Sơn, hai khoa Canh Thân (1800) và Tân Dậu (1801) niên hiệu Cảnh Thịnh.