Tăng Vỹ Quyền được cho là xuất thân trong gia đình giàu có. Ông nội từng là doanh nhân có tiếng ở khu vực Nam Dương, cha kinh doanh vải vóc, gia đình sống trong biệt thự lớn và có người giúp việc. Từ nhỏ, ông đã được kỳ vọng sẽ đi du học, sau đó trở về kế thừa sản nghiệp.
Tuy nhiên, Tăng Vỹ Quyền lại chọn con đường diễn xuất. Quyết định này từng khiến gia đình phản đối dữ dội, nhất là trong bối cảnh Hong Kong thập niên 1980, nghề diễn viên chưa được nhìn nhận hào nhoáng như hiện nay. Với nhiều người, vào showbiz khi đó là lựa chọn của những người phải kiếm sống bằng mọi giá.
