Di tích đền Cầu Khoai còn được gọi là đền Cô, một cánh gọi dân gian để tưởng nhớ tới người được thờ ở đền là hai cô Đàm Thị hiệu Dung Hoa và Đàm Thị hiệu Quế Hoa.

Theo gia phả họ Đàm và các tư liệu ở địa phương cho biết Đàm Thị hiệu Dung Hoa (sinh năm 1507) và Đàm Thị hiệu Quế Hoa (sinh năm 1510) quê ở làng Ông Mạc, huyện Đông Ngàn, tỉnh Kinh Bắc (nay là xã Hương Mạc, thị xã Từ Sơn, tỉnh Bắc Ninh). Hai cô là con gái của Đàm Thận Huy, vị quan lớn dưới triều Lê - Mạc (thế kỷ 16) đã có nhiều công lao với dân với nước được sử sách ghi nhận. Khi Mạc Đăng Dung cướp ngôi nhà Lê. Vua Lê Chiêu Tông phải trốn ra Mộng Sơn (một xã vùng Sơn Tây) để cầu quân Cần Vương. Khi đó, nhận được huyết chiếu, Đàm Thận Huy cùng một số người đứng lên tập hợp được 6.000 nghĩa binh ở vùng Bắc Giang chống lại nhà Mạc để phù Lê. Nhưng nhà Mạc đang mạnh, thế trận không cân sức. Biết không thắng nổi nhà Mạc, để thể hiện lòng trung thành với triều Lê, Đàm Thận Huy đã uống thuốc độc tuẫn tiết trên chiến trường Cầu Vồng - Tân Yên ngày nay. Đàm Thận Huy có vợ cùng hai người con gái là Đàm Thị hiệu Dung Hoa và Đàm Thị hiệu Quế Hoa cùng 38 người làng Hương Mạc theo ông lên vùng Yên Thế (Bắc Giang) chống lại nhà Mạc rồi mất ở thôn Cầu Khoai (nay thuộc xã Tam Hiệp, huyện Yên Thế) được dân địa phương lập đền tôn thờ. Sau này nhân dân địa phương lại dựng thêm một ngôi chùa phía sau đền thờ gọi là chùa Hoài Âm để cầu báo ân đức và lưu giữ tiếng thơm của hai cô con gái họ Đàm đã hy sinh ở vùng đất này.

Khu di tích đền Cầu Khoai không chỉ là nơi tôn thờ những nhân vật lịch sử có nhiều công lao với dân với nước mà cụm di tích này còn là nơi ghi dấu nhiều sự kiện lịch sử gắn liền với cuộc khởi nghĩa Yên Thế do Hoàng Hoa Thám lãnh đạo. Quần thể di tích còn nằm trong số đất đai do nghĩa quân Yên Thế cai quản trong thời kỳ khởi nghĩa, xung quanh khu vực đền là cả một hệ thống đồn lũy của nghĩa quân Yên Thế.

Đền Cầu Khoai là một trong số nhiều điểm căn cứ của nghĩa quân Yên Thế trong thời kỳ khởi nghĩa. Cũng tại khu di tích này, nghĩa quân Yên Thế và thực dân Pháp đã nhiều phen ở thế giằng co rất quyết liệt, nghĩa quân tiêu duyệt được nhiều sinh lực địch tiêu biểu như trận đánh Đồn Hom bên cạnh đền Cầu Khoai.

Với giá trị lịch sử văn hóa và là nơi ghi dấu sự kiện lịch sử của cuộc khởi nghĩa Yên Thế. Di tích đền Cầu Khoai là một trong 23 di tích và cụm di tích thuộcHệ thống di tích lịch sử Những địa điểm khởi nghĩa Yên Thế ở Bắc Giang được Thủ tướng Chính phủ ra Quyết định số 548/QĐ-TTg ngày 10/5/2012 xếp hạng là Di tích quốc gia đặc biệt.

Di tích đền Cầu Khoai nhìn ra đường 265 bên kia là khu căn cứ Đồn Hom của nghĩa quân Yên Thế. Quần thể di tích đền Cầu Khoai hiện nay gồm các hạng mục công trình: cổng đền, khuôn viên, khu đền chính và chùa Hoài Âm tất cả tọa lạc trong khu đất rộng đẹp bên cạnh trục đường 265.

Đền Cầu Khoai: được xây dựng năm 1524 và đã được tu sửa qua nhiều giai đoạn. Ngôi đền hiện nay có bình đồ kiến trúc kiểu chữ “Đinh” gồm tòa tiền tế và hậu cung. Kiến trúc vì mái đơn giản không chạm khắc cầu kỳ. Trong hậu cung bài trí tượng thờ hai Cô và các thị nữ hầu cận.

Chùa Hoài Âm: tọa lạc phía sau ngôi đền là chùa Hoài Âm được nhân dân địa phương xây dựng sau này với ý nghĩa cầu báo ân đức siêu thoát cho linh hồn hai cô con gái họ Đàm. Ngôi chùa có bình đồ kiến trúc hình chữ “Đinh” gồm tòa tiền đường và tòa thượng điện. Phần kiến trúc gỗ, liên kết vì mái đơn giản không chạm khắc. Tòa thượng điện bài trí hệ thống tượng Phật đầy đủ.

Quần thể di tích đền Cầu Khoai - chùa Hoài Âm là trung tâm sinh hoạt văn hóa tôn giáo, tín ngưỡng nơi tổ chức lễ hội truyền thống của nhân dân địa phương. Hội lệ hàng năm được tổ chức vào các ngày 23, 24, 25 tháng Giêng âm lịch. Lễ hội có nhiều nghi lễ và các trò chơi dân gian mang đậm bản sắc văn hóa dân tộc. Buổi sáng ngày 23 nhân dân địa phương rước kiệu từ đền Cầu Khoai lên chùa Diễn, rồi lại rước xuống chùa Lèo. Các trò chơi dân gian trong lễ hội như: đánh đu, ném còn, đua ngựa, đấu võ, hát lượn… thể hiện tinh thần thượng võ và khát vọng tự do của người dân địa phương. Buổi tối có các gánh hát về diễn trò, bày tỏ lòng tôn kính ngưỡng vọng các vị thánh được tôn thờ ở đây.