Sinh năm 1926, ông Kim Jong-pil tốt nghiệp Viện Hàn lâm Quân sự và đóng vai trò quan trọng, là một trong những thành viên chủ chốt của cuộc đảo chính quân sự năm 1961 do ông Park Chung-hee đứng đầu, người sau này lên làm Tổng thống Hàn Quốc trong 18 năm.
Sau khi ông Kim Dae-jung trở thành Tổng thống Hàn Quốc năm 1998, ông Kim Jong-pil làm thủ tướng theo kế hoạch chia sẻ quyền lực.
Ông Kim Jong-pil tuyên bố nghỉ hưu vào năm 2004. Ông từng có 9 nhiệm kỳ nghị sĩ và được xem là một trong những chính khách có tầm ảnh hưởng nhất Hàn Quốc trong thập niên 80, 90 của thế kỷ trước.
Ông cũng được biết đến là một trong “ba ông Kim” lừng lẫy trong lịch sử Hàn Quốc, cùng với các cựu Tổng thống Kim Yong-nam và Kim Dae-jung.