Nhiều người khi lần đầu tiếp xúc với ChatGPT thường thử những yêu cầu đơn giản để kiểm chứng khả năng của trí tuệ nhân tạo này. Một trong những yêu cầu quen thuộc là “hãy đếm từ 1 đến 1 triệu”. Câu trả lời nhận được thường là sự từ chối, hoặc ChatGPT chỉ liệt kê được một đoạn ngắn rồi ngừng lại. Thực tế, điều này không phải vì mô hình không biết đếm hay thiếu năng lực logic, mà xuất phát từ những giới hạn kỹ thuật, định hướng thiết kế và cả bản chất của mô hình ngôn ngữ. Chính những yếu tố đó khiến một việc tưởng chừng đơn giản lại trở thành bất khả thi.
ChatGPT được xây dựng trên cơ sở các mô hình ngôn ngữ lớn, vốn hoạt động bằng cách dự đoán từ hoặc ký tự tiếp theo dựa trên chuỗi văn bản đã có. Mọi dữ liệu hệ thống sinh ra đều được chia thành những đơn vị nhỏ gọi là token. Một token có thể là một từ, một phần của từ hoặc một ký tự đặc biệt. Mỗi phiên trò chuyện, mô hình chỉ có khả năng xử lý và tạo ra một số lượng token nhất định. Với các phiên bản hiện nay, con số này dao động từ vài nghìn đến vài chục nghìn. Nếu yêu cầu đếm từ 1 đến 1 triệu, lượng dữ liệu cần sinh ra sẽ vượt xa giới hạn đó. Chỉ riêng việc in ra một triệu số nguyên đã đòi hỏi nhiều triệu ký tự, tương đương hàng chục triệu token. Không có mô hình nào có thể xử lý được khối lượng dữ liệu khổng lồ ấy trong một phiên duy nhất. Đây là rào cản kỹ thuật rõ ràng và không thể vượt qua với điều kiện hiện tại.
