Đây là bước tiến quan trọng trong hợp tác giữa Agora và OpenAI, khi Realtime API là mô hình ngôn ngữ đa phương thức quy mô lớn (MLLM) đầu tiên được tích hợp trực tiếp trên nền tảng Agora. Giải pháp kết hợp này giúp các nhà phát triển tạo ra AI agent tự nhiên, phản hồi nhanh nhạy và mang tính con người hơn, đồng thời giảm bớt độ phức tạp trong phát triển và khai mở nhiều khả năng tiên tiến trong tương tác thời gian thực.
Với những cải tiến đột phá tích hợp vào Realtime API, bộ máy AI hội thoại của Agora đưa trải nghiệm giao tiếp và tương tác với AI tiến gần hơn tới sự tự nhiên như con người
Ảnh: chụp màn hình
"Tương tác đa phương thức theo thời gian thực chính là mảnh ghép còn thiếu để AI trở nên thật sự giống con người", ông Tony Zhao, CEO Agora nhấn mạnh, "Việc tích hợp Realtime API là bước đột phá, mang đến cho nhà phát triển sức mạnh để tạo ra những trải nghiệm AI vượt xa mọi quy chuẩn trước đây".
Với Conversational AI Engine, Agora tiếp tục nâng cấp trải nghiệm hội thoại AI với các tính năng đưa giao tiếp gần gũi và tự nhiên hơn:
- Chào hỏi tự động: Khởi tạo cuộc trò chuyện một cách tự nhiên, thân thiện ngay từ ban đầu.
- Tương tác đa phương thức: Cho phép chuyển đổi linh hoạt giữa giọng nói và văn bản trong cùng một phiên trò chuyện.
- Nhịp hội thoại tùy chỉnh: Nhà phát triển có thể tinh chỉnh chi tiết cách AI bắt nhịp, ngắt lời và luân chuyển lượt thoại.
- Trò chuyện không gián đoạn: Công nghệ lọc tiếng ồn độc quyền của Agora giúp loại bỏ giọng nói xen ngang, đảm bảo tính liền mạch trong giao tiếp.
Với Conversational AI Engine, các nhà phát triển dễ dàng khai thác Realtime API và mở ra thêm nhiều tính năng cho cơ hội phát triển các ứng dụng AI đa phương thức. Việc kết hợp giữa mô hình ngôn ngữ thời gian thực của OpenAI, hạ tầng SDRTN toàn cầu của Agora và bộ công cụ lập trình chuyên biệt giúp đẩy nhanh tiến độ ra mắt, đơn giản hóa quá trình phát triển và nâng cao trải nghiệm AI hội thoại cho người dùng.
Ông Amogha Krishna Srirangarajan, CEO kiêm nhà sáng lập Carbon Origins nhận định: "Khi kết hợp Realtime API của OpenAI với công nghệ hội thoại của Agora, chúng tôi có thể điều khiển toàn bộ đội robot tự hành mà không cần thao tác tay. Công nghệ này chính là 'bộ não' tự động hóa các danh mục kiểm tra và quy trình phức tạp trong Constellation AI, cho phép con người tập trung vào chiến lược và điều phối, thay vì các thao tác thủ công".
