Tỳ Điện vốn được hợp lại từ 2 xã Tỳ Bà và Điện Xuyên, xưa có tên là làng Mạc thuộc tổng Tỳ Bà, huyện Lương Tài, phủ Thuận An - nay thuộc xã Phú Hòa, huyện Lương Tài, tỉnh Bắc Ninh. Đây là làng cổ nằm bên bờ Nam sông Ngụ, có lịch sử hình thành và phát triển hàng trăm năm và sớm được con người khai phá, sinh cơ lập nghiệp tạo nên xóm làng trù mật. Quá trình phát triển, nhân dân Tỳ Điện đã tạo lập truyền thống văn hoá, xây dựng các công trình tín ngưỡng phục vụ cộng đồng trong đó có di tích chùa Sùng Quang.
