Trường được Toàn quyền Paul Doumer ký quyết định thành lập năm 1902 và là trường đại học có bề dày lịch sử lớn nhất còn hoạt động ở Việt Nam. Trước Đại học Y Hà Nội, nước ta chỉ có trường Đại học Quốc Tử Giám được thành lập từ năm 1076 và hiện nơi này trở thành khu di tích.
Tiền thân của Trường Đại học Y Hà Nội là École de Médecine de Hanoi (Trường Y khoa Hà Nội) do Pháp thành lập năm 1902. Trường Y khoa Hà Nội (sau là Trường Y khoa Đông Dương) là một trong những trường đại học ra đời sớm nhất và nổi tiếng nhất ở Việt Nam, là cái nôi đào tạo ra những bác sĩ đầu ngành nổi tiếng. Đây là trường đào tạo bác sĩ đầu tiên của Đông Dương.


