Sinh năm 1962 trong một gia đình nông dân ở huyện Vô Vi, tỉnh An Huy, Lữ Hướng Dương không phải là học sinh xuất sắc và cũng không xuất thân từ một gia đình danh giá. Năm 16 tuổi, ông bỏ học để đi làm, bất chấp sự phản đối từ cha mẹ.
Nhờ mối quan hệ bạn bè, ông được giới thiệu vào làm tại Ngân hàng Nhân dân Trung Quốc chi nhánh tỉnh An Huy. Nhờ sự chăm chỉ và năng lực, ông thăng tiến nhanh chóng, trở thành giám đốc chi nhánh khi chưa đến 30 tuổi.
