Đặc khu Cô Tô có tên cổ là Chàng Sơn, nơi trú ngụ của thuyền bè ngư dân vùng Đông Bắc. Để đối phó với nạn cướp biển, từ năm 1841, nhà Nguyễn cho lập đồn Hướng Hóa để canh phòng và bảo vệ ngư dân.
Đầu năm 1954, Cô Tô là xã thuộc huyện Móng Cái và sau đó người dân (chủ yếu là người Hoa) tập trung sinh sống, làm ăn ở quần đảo Cô Tô - Thanh Lân. Từ cuối 1978, do nhiều lý do khác nhau, người Hoa ở đây về lại Trung Quốc, trên đảo chỉ còn lại 10% dân số, mọi hoạt động suy giảm.
