Ngôi chùa trầm tịnh dưới chân núi nằm lọt giữa làng xóm. Những làng xóm ấy lại tựa vào cái thế uốn lượn hình rồng của dãy Nham Biền. Dù Yên Dũng đang mạnh mẽ trong sự phát triển đô thị hóa nông thôn mới, nhưng không gian làng quê với cây xanh, hương thơm của mùa trổ hoa đơm trái khiến du khách cảm giác như đi vào khu sinh thái. Theo tài liệu nghiên cứu của Tiến sĩ Hán Nôm Nguyễn Văn Phong, thì "Chùa kem được khởi dựng vào năm Đinh Hợi (ước định năm 1527). Vị sư Tổ hưng công xây dựng chùa là bà Hoàng Thị Tuế vốn theo dòng Thiền phái Trúc Lâm Yên Tử do Giác Hoàng Điều Ngự Trần Nhân Tông sáng lập. Đến thời vua Lê Hy Tông, niên hiệu Chính Hòa thứ 3 (1682), do bà Nguyễn Thị Đế, hiệu Diệu Nghiêm công đức tu bổ tòa Tiền đường, Thiêu hương và Thượng điện. Ngày 14 tháng 11 năm Cảnh Hưng thứ 36 (1775), khởi công xây dựng tháp Thanh Phong ở phía Bắc núi Đẩu Sơn; dựng một tòa nhà cho sư Từ Hải soạn Kinh, một dãy ký túc xá đủ chỗ cho hàng trăm tăng, ni, Phật tử hằng năm về an cư kiết hạ, tụng kinh niệm Phật. Năm Thành Thái thứ 18 (1906), sư trụ trì hiệu Đàm Tích cùng các Phật tử hưng công trùng tu tòa Tiền đường và Thượng viện”. Như vậy, ngôi chùa này như một đóa sen thơm nở giữa khe núi Biền Sơn. Dãy núi Biền Sơn được xem là một dải núi sót của núi Huyền Đinh - Yên Tử trong quá trình tạo hóa từ thuở hồng hoang. Và Biền Sơn lại bị chia đôi bởi khe núi vắt ngang thành hai đoạn, sau này một đoạn gọi là Nham Biền. Lại lý giải về Biền Sơn có hình ảnh rất đẹp, ý của người xưa muốn gọi tên núi tượng trưng hai con ngựa quý đứng mãi bên nhau chờ đợi. Xưa kia vùng đất này cây cối rậm rạp, khe núi là một ải hiểm trở, độc đạo. Sau này, con người ở trấn Kinh Bắc nói chung bắt đầu khai hoang lập nghiệp, dựng nhà cửa gần nơi có "dấu chân” của Phật. Chùa Kem dần dần nằm trong không gian ấm cúng của làng xã Nham Sơn. Với thế đất được chọn đặt chùa của người xưa, theo thuyết phong thủy được cho rằng là thế đất tốt, tựa lưng vào dãy Nham Biền, hướng chùa nhìn ra dòng sông Cầu. Trải qua bao thăng trầm cùng lịch sử của đất Yên Dũng, không gian chùa Kem đến nay đã có phần được mở rộng hơn nhưng vẫn giữ nguyên kiến trúc cổ kính. Sự thanh tịnh, giản dị cùng với khung cảnh bốn mùa ẩn hiện sau màu xanh của cây và thế núi trùng điệp, chùa Kem được ngợi ca là "ẩn hiện cảnh hư không”.

Chùa Kem được hình thành từ thế kỷ 15. Nơi đây, từ bao đời nay, lưu giữ những hiện vật mang trên mình giá trị văn hóa lớn như hệ thống tượng Phật quy chuẩn, mõ cổ, bệ thờ, bát hương, lọ hoa, khay thờ bằng sành, sứ, gốm cổ, cối đá giã gạo, cối đá để mài kiếm của nghĩa quân xưa, và vườn tháp, bia mộ, thư tịch… Chùa có 7 ngôi tháp cổ, một ngôi tháp Thanh Phong đặt xá lị của thầy Từ Hải được xây ở núi Đẩu Sơn, còn 6 ngôi tháp ở trong vườn phía trước chùa. Phía sau chùa, một không gian mở rộng với bóng cây to lâu đời tỏa xum xuê, tán đan xen vào nhau cảm giác như rừng già. Dưới gốc nhãn già, những chiếc cối đá nằm sát bên nhau. Chính là những chiếc cối giã gạo cho nghĩa quân Đề Thám. Chiếc cối đá còn đọng nước mưa trong vắt như một mảnh gương soi. Nhìn vào gương nước ấy, theo lời kể của người dẫn đường, tôi như phiêu về một thời quá vãng của tiếng gươm khua, tiếng kiếm mài sắc lịm những đêm trăng thanh dưới chân núi Nham Biền; rồi tiếng ngựa hí vang trời, rồi tiếng hô luyện quân của anh hùng áo vải… Những kỷ vật, dấu tích lịch sử ấy càng dày thêm lòng tự hào cho các thế hệ nối tiếp. Trước thời kỳ Hoàng Hoa Thám đưa quân về chùa lập căn cứ tập luyện thì đã có Nguyễn Cao, làm tán lý quan vụ tỉnh Bắc Ninh, người làng Cách Bi, huyện Quế Dương nay là huyện Quế Võ, tỉnh Bắc Ninh đã xây dựng căn cứ chống thực dân Pháp. Theo sử sách còn ghi, năm 1884, Nguyễn Cao cùng với Hoàng Văn Hòe tập hợp lực lượng nghĩa dũng, binh tướng lên đến hơn 5000 người. Từ căn cứ ở chùa Kem, lực lượng binh sĩ đã tỏa ra xây dựng các căn cứ khác ở nhiều nơi trong vùng Bắc Ninh, Bắc Giang. Năm đầu tiên tập hợp lực lượng, nghĩa quân đã giao chiến với quân Pháp ở Vân Cốc. Sau đó một thời gian, lại chặn đánh hai pháo thuyền của Pháp trên sông Cầu thành công. Nhưng hai năm sau, vào cuối năm 1886, cuộc khởi nghĩa do Nguyễn Cao lãnh đạo dần tan rã. Mấy năm sau, ông sa vào tay giặc và hi sinh vào 14/4/1897.

Những dấu tích còn lưu lại trên đất nhà chùa đến hôm nay là minh chứng cho lịch sử đấu tranh chống giặc ngoại xâm của các vị anh hùng. Chùa Kem trở thành một địa chỉ truyền thống của các hoạt động cách mạng sau này. Từ sau Cách mạng tháng Tám năm 1945, Sùng Nham tự trở thành trung tâm chính trị quân sự của địa phương. Nhiều đơn vị đã lấy chùa Kem làm nơi huấn luyện quân sự, chính trị. Trải qua bao thăng trầm lịch sử của cuộc đấu tranh giành độc lập của dân tộc, chùa Kem là nơi che chở, bao bọc cho các hoạt động cách mạng.

Chùa Kem có ba ngày hội lệ là ngày 11/6, ngày 21/8, và ngày 21/10 âm lịch hằng năm. Ba ngày hội lệ của chùa là ngày giỗ của ba vị sư trụ trì ở đây qua các thời kỳ. Nhà chùa chọn ngày 21/8 âm lịch làm ngày hội chùa to nhất. Đó là ngày giỗ tổ cụ Thích Đàm Cần. Vào ngày này, nhân dân trong xã và chính quyền xã cùng nhà chùa tổ chức nghi lễ long trọng, có nhiều khách thập phương về dự.

Dù cuộc sống đang mỗi ngày một năng động phát triển nhưng sự trầm tịch, cổ kính dung dị, gần gũi giữa đạo và đời của chùa Kem ẩn chứa giá trị văn hóa lịch sử, giá trị của sự thiện tâm ngày ngày đã thu hút người người đến chiêm bái, lễ Phật… Khu di tích chùa Kem cùng với Thiền viện Phượng Hoàng trở thành một cụm danh thắng góp phần vào mục tiêu phát triển du lịch sinh thái gắn với văn hóa tâm linh trên dãy Nham Biền, xã Nham Sơn, Yên Dũng là một địa chỉ danh thắng nổi tiếng trong tỉnh Bắc Giang.