Ngọc Sơn sinh ra tại Đồ Sơn, Hải Phòng, nhưng quê quán ở Quảng Nam - Ðà Nẵng. Cha là Phạm Ngọc Thanh, hiệu trưởng trường Sinh viên miền Nam thời kỳ kháng chiến, đồng thời là trưởng đoàn văn công Quân khu 5. Ngọc Sơn sống trong gia đình có 4 anh chị em: chị Thu Hiền, Ngọc Sơn, Ngọc Hải và Ngọc Hà (sinh năm 1974).
Năm 1975, Ngọc Sơn theo bà vào Đà Nẵng. Năm 1977, anh vào Bạc Liêu sinh sống. Mãi đến năm 1987, Ngọc Sơn lên TPHCM và học trường nghệ thuật sân khấu. Hai năm sau đó, anh chuyển sang học thanh nhạc dân tộc và bước chân vào con đường sân khấu âm nhạc chuyên nghiệp. Anh lập tức trở thành hiện tượng thu hút khán giả bằng những sáng tác đầu tay như Lòng mẹ, Giận hờn, Nhớ về em…[5] Đỉnh điểm là tại Liên hoan ca múa nhạc nhẹ toàn quốc 1989 tại Nha Trang, với nhiều ca sĩ nổi tiếng cùng tham gia, Ngọc Sơn đã trở thành hiện tượng lớn nhất của kỳ Liên hoan này. Anh tham gia với tư cách đại diện cho Đoàn Ca múa Minh Hải. Với bài hát Thuyền và biển, anh gây sửng sốt cho giám khảo, khán giả và đồng nghiệp. Ngoài danh hiệu Ngôi sao Nhạc nhẹ, Ngọc Sơn là ca sĩ duy nhất được trao thêm giải thưởng “Ca sĩ được khán giả yêu thích nhất”. Từ đây, anh được các hãng băng nhạc săn đón, các bài hát được sáng tác từ lúc mới đi hát những năm 87 - 88 được anh giới thiệu và nhanh chóng trở thành những bài hit.[8]
Năm 1990, từ chương trình Gala 90, với bài hát “Lòng mẹ” do chính anh sáng tác, Ngọc Sơn trở thành cái tên số 1 với khán giả miền Bắc. Năm 1991, tại Cuộc thi đơn ca nhạc nhẹ chuyên nghiệp toàn quốc, Ngọc Sơn giành giải Nhì[9][8]. Hàng loạt giải thưởng danh giá cùng những thành công liên tiếp trên sân khấu biểu diễn và băng đĩa giúp Ngọc Sơn trụ vững chắc ở vị trí ca sĩ ăn khách nhất Việt Nam những năm đó. Cho đến nay, các hãng đĩa vẫn nhắc đến tên Ngọc Sơn như một trong những ca sĩ có lượng băng đĩa bán ra nhiều nhất.[8]
Ngày 6 tháng 9 năm 2014, Ngọc Sơn tổ chức buổi trình diễn "Dấu Ấn 13", được đông đảo người hâm mộ ủng hộ[10] và được tường thuật trực tiếp trên sóng kênh VTV9 Đài truyền hình Việt Nam.[11]
Ngày 12/09/2018, Ngọc Sơn thưởng nóng 250 triệu đồng cho U23 Việt Nam.[12]
Đời tư
Ngọc Sơn thường xuyên có những hoạt động từ thiện ý nghĩa như phát tiền, phát gạo và quà tới người nghèo trong mỗi dịp sinh nhật. Anh đã thực hiện công việc này đều đặn trong khoảng 15 năm qua. Thành thông lệ, khoảng 26/11 hàng năm, người dân lại kéo tới rất đông để nhận quà từ thiện. Anh cũng chia sẻ nguyện vọng bán căn biệt thự trăm tỷ để quyên góp vào quỹ từ thiện và chỉ giữ lại một khoản nhỏ cho bản thân.[13]
“ Mỗi lần người ta nói về Ngọc Sơn là nói tôi ăn chơi trác táng, bị bắt tại chỗ vì cởi quần cởi áo, mang bao cao su, tham gia tiệc thác loạn. Tôi khẳng định chuyện đó là sai sự thật. ”
— Ngọc Sơn
Năm 1992, Ngọc Sơn bị bắt và kết án 8 tháng tù vì tội "được trả tiền nhiều để hát những ca khúc chưa được cấp phép".[14]
Năm 2000, Ngọc Sơn đã đúc tượng của chính mình đặt trước sân nhà. Nam ca sĩ cho biết pho tượng có giá 1.000 cây vàng và chưa ai trên thế giới từng có[15]. Năm 2006, chính quyền buộc Ngọc Sơn phải gỡ bức tượng này xuống vì có tin đồn rằng bức tượng chảy nước mắt. Tin này là một kiểu ăn theo các tin tương tự trước đó như "tượng Đức mẹ chảy nước mắt"...
Năm 2006, anh cho in nhiều tờ poster tuyên truyền "8 điều chân tình của Ngọc Sơn" với kiểu ngữ pháp tương tự như "14 điều răn của Phật", trong đó có những câu: "Đạo đức nhất của con người là tôn trọng chữ hiếu", "Khó khăn nhất của con người là chiến thắng chính mình"... Tuy nhiên 20.000 tấm poster được in ra và phát miễn phí để tuyên truyền lại trở thành trung tâm của nhiều sự châm biếm khi anh để hình mình mặc áo thun ba lỗ ở kế bên những dòng chữ đó. Còn khi được hỏi: "anh có làm theo những lời chân tình đó không?" thì Ngọc Sơn trả lời: "Tôi nói người ta làm thôi, tôi đâu có làm!".[16]
Ngày 19 tháng 3 năm 2007, Ngọc Sơn đã ký vào đơn hiến xác cho y học.
Năm 2008, một đoạn clip được tung lên mạng được cho là của Ngọc Sơn và Duy Mạnh. Trong clip Ngọc Sơn đã có những hình ảnh không đẹp về việc chat qua Paltalk.[17]
Năm 2013, Ngọc Sơn tuyên bố đã mua bảo hiểm trinh tiết đời trai 1 triệu USD. Là nam nghệ sĩ dính nhiều tai tiếng liên quan đến giới tính nhưng Ngọc Sơn khẳng định mình là người rất nghiêm túc trong chuyện tình yêu và hôn nhân. Ngọc Sơn chia sẻ, việc anh bỏ số tiền lớn để mua bảo hiểm trinh tiết thể hiện quan điểm chỉ ‘trao’ cho người xứng đáng nhất và duy nhất.