Hương Sơn là huyện miền núi nằm ở Tây Bắc của tỉnh Hà Tĩnh. Phía Bắc giáp tỉnh Nghệ An. Phía Nam giáp huyện Vũ Quang. Phía Tây giáp Lào. Phía Đông giáp huyện Đức Thọ.

Huyện lị của huyện là thị trấn Phố Châu. Các đơn vị hành chính của huyện bao gồm thị trấn Phố Châu, thị trấn Tây Sơn và các xã Sơn Tây, Sơn Kim 1, Sơn Kim 2, Sơn Hồng, Sơn Lĩnh, Sơn Diệm, Sơn Quang, Sơn Giang, Sơn Lâm, Sơn Hàm, Sơn Trung, Sơn Phú, Sơn Trường, Sơn Phúc, Sơn Mai, Sơn Thủy, Sơn Bằng, Sơn Ninh, Sơn Thịnh, Sơn Hòa, Sơn An, Sơn Lễ, Sơn Tiến, Sơn Châu, Sơn Bình, Sơn Hà, Sơn Trà, Sơn Long, Sơn Tân, Sơn Mỹ.

Phía Bắc và Đông Bắc, có dãy núi Thiên Nhẫn làm ranh giới với tỉnh Nghệ An. Sông Ngàn Phố, từ núi Bà Mụ gần đèo Kéo Nứa cao 754m chảy theo hướng Đông đến Linh Cảm thì hợp lưu với sông Ngàn Sâu ở Hương Khê chảy về thành sông La, chảy vào sông Cả.

Huyện có quốc lộ 8 đi theo lưu vực Ngàn Phố, qua huyện lị Phố Châu sang Lào, đường ô tô nối từ Nầm qua sông Phố bằng cầu treo rồi đi sang Thanh Chương, Anh Sơn nối liền với quốc lộ 7 ở xã Lĩnh Sơn. Đường Hồ Chí Minh qua huyện lị Phố Châu vào Quảng Bình.

Huyện Hương Sơn nguyên là huyện Dương Toại, thuộc quận Cửu Đức, đời Tấn Vũ Đế tách lập huyện Phố Dương, nay có 2 làng Phố Châu và Phúc Dương. Đời Đường là châu Phúc Lộc. Thời Đinh - Tiền Lê thuộc đất Hoan Châu, tức vùng Nghệ An và Hà Tĩnh ngày nay, gọi chung là Xứ Nghệ. Thời Lý thuộc câu Nghệ An. Thời Trần và thuộc Minh là huyện Đỗ Gia, phủ Nghệ An. Thời Lê Thánh Tông, là huyện Hương Sơn, thuộc phủ Đức Quang, trấn Nghệ An. Sau thuộc phủ Đức Thọ, tỉnh Hà Tĩnh. Năm 1867, đời Tự Đức, tách huyện Hương Sơn thành hai huyện là Hương Sơn và Hương Khê. Năm 1884, sáp nhập huyện Hương Khê vào Hương Sơn, năm 1886, lại tách ra. Sau năm 1975, sáp nhập hai tỉnh Nghệ An và Hà Tĩnh thành Nghệ Tĩnh. Từ năm 1991, lại tách thành hai tĩnh như cũ, huyện Hương Sơn thuộc tỉnh Hà Tĩnh cho đến nay.

Hương Sơn là một trong những vùng được coi là "đất học" của xứ Nghệ. Trong thời kì nhà nước quân chủ, Hương Sơn có hơn 20 người đỗ đại khoa. Trong huyện đến ngày nay vẫn còn nhiều dòng họ khoa bảng nổi tiếng như Đinh Nho, Tống Trần, Hà Huy, Lê Khánh, Nguyễn Khắc, Đào Duy, Lê Xuân, Văn Đình... cùng các làng giàu truyền thống hiếu học như Hữu Bằng, Tuần Lễ, Gối Vị, Thịnh Xá...

Huyện Hương Sơn là quê Trần Quang Cáp, Văn Đình Dận, Cao Đát, Phan Khải Đức, Đinh Nho Hạnh, Hồ Hảo, Lê Kính Hạp, Đinh Nho Hoàn, Phan Khắc kiệm, Cao Nữu, Văn Đinh Nhậm, Nguyễn Phong, Đinh Nho Quang, Lê Hữu Tạ, Đinh Doãn Tế, Nguyễn Thiệp, Đinh Nho Thục, Cao Thắng, Lê Hữu Trác, Nguyễn Tử Trọng, Đinh Nho Hiển. Hương Sơn cũng là quê của Lý Chính Thắng (1917-1946), nhà hoạt động cách mạng, tên thật là Nguyễn Đức Huỳnh.

Hương Sơn cũng là huyện có nhiều những di tích văn hóa, lịch sử như chùa Tượng Sơn, khu di tích Hải Thượng Lãn Ông, đình Tứ Mỹ, mộ và đền Nguyễn Lỗi, đền Nguyễn Tuấn Thiện, nhà thờ Cao Thắng, khu du lịch Sơn Kim...