Đặc điểm riêng và thách thức của việc học theo hướng dữ liệu trong giao dịch điện tử
https://arxiv.org/pdf/1811.09549.pdf
- Sử dụng trí tuệ nhân tạo và thuật toán học tăng cường trong giao dịch chứng khoán điện tử:
- Bài viết nói về việc áp dụng thuật toán học tăng cường (RL) trong việc xây dựng các đặt hàng tối ưu và tối ưu hóa trạng thái của thị trường.
- RL cho phép các giao dịch tự động quyết định nên mua hay bán, ở mức giá nào và với khối lượng bao nhiêu.
- Sử dụng RL, các đặt hàng có thể được tối ưu hóa để đảm bảo hiệu quả tài chính và đáp ứng yêu cầu và ưu tiên của khách hàng.
- Các thách thức trong việc phát triển các biện pháp AI cho giao dịch chứng khoán điện tử:
- Sự không chắc chắn về kết quả: Các kết quả của giao dịch chứng khoán không thể đảm bảo chắc chắn và luôn tồn tại yếu tố rủi ro.
- Sự bất đồng chiều của các phần thưởng đa chiều: Phần thưởng trong giao dịch chứng khoán có nhiều yếu tố và mục tiêu khác nhau, ví dụ như tối ưu hóa lợi nhuận và kiểm soát rủi ro. Điều này tạo ra sự khó khăn trong việc định rõ phần thưởng và tìm cách kết hợp chúng.
- Tạo môi trường huấn luyện thực tế cho các điều kiện hoạt động của thị trường và thách thức về tính toán và mô hình hóa dữ liệu:
- Để huấn luyện các giao dịch tự động, cần tạo ra môi trường giả lập thúc đẩy các tình huống thực tế của thị trường chứng khoán.
- Cần xử lý lượng dữ liệu lớn và thay đổi liên tục của thị trường, đồng thời đảm bảo tính toàn vẹn và chính xác của dữ liệu.
- Cần đánh giá và phân tích dữ liệu thị trường để hiểu rõ các yếu tố và xu hướng quan trọng của thị trường.
- Hỗ trợ phân tầng và phát triển các đặc tính của RL để tối ưu hóa lợi nhuận và phân tách quyền kiểm soát của các đặt hàng và thị trường:
- Sử dụng phân tầng trong RL để phân chia các quyết định cấp cao và cấp thấp, giúp tăng cường hiệu quả về lợi nhuận và quản lý rủi ro.
- Cần phát triển các thuật toán RL có khả năng tách bạch quyền kiểm soát của các đặt hàng và thị trường, đồng thời tối ưu hóa hiệu quả hành động của giao dịch tự động.
Kết luận
Vẫn còn nhiều câu hỏi cần được trả lời. Chúng tôi hy vọng những câu hỏi này sẽ mang đến góc nhìn mới cho những vấn đề thách thức.
• Có cách nghiêm ngặt nào để tính đến các phần thưởng đa chiều? (multidimensional rewards)
• Làm thế nào để tích hợp khái niệm về quá trình kéo dài không chắc chắn vào mô hình quyết định theo Markov (MDP)?
• Làm thế nào để giải quyết các kết quả/phần thưởng không chắc chắn?
• Làm thế nào để tạo ra môi trường huấn luyện thực tế cho các tác nhân hoạt động trên thị trường? Một giải pháp khả thi có thể là phát triển môi trường nhân tạo tổng thể mô phỏng thị trường theo cách hiện tượng nổi lên từ hoạt động dựa trên quy tắc của nhiều tác nhân khác nhau. Thị trường đa tác nhân mô phỏng sẽ cung cấp giá trị cả trong thực tế và học thuật.
• Làm thế nào để kết hợp các phần thưởng địa phương và toàn cục mâu thuẫn/phụ trợ một cách nghiêm ngặt?
• Ngoài việc sử dụng kiến thức về lĩnh vực để phân tách các quy trình với tần suất thời gian khác nhau và sử dụng quá trình huấn luyện phân tầng, có cách nghiêm ngặt nào khác để thiết kế các tác nhân hoạt động trên nhiều tần suất thời gian? (multiple time scales)
• Có sự mở rộng tỷ lệ phù hợp không? Trong giao dịch điện tử, có vẻ rằng việc huấn luyện nhiều tác nhân hoạt động trong môi trường tương tự, nhưng cuối cùng là khác biệt, là một cách tính toán hiệu quả hơn so với việc sử dụng một tác nhân để xử lý tất cả các môi trường. Có cách nào để các tác nhân được đào tạo cho các môi trường khác nhau tận dụng kỹ năng của nhau? Ngoài việc kiểm tra chức năng, có cách nào để nhận biết rằng hai tác nhân đã được đào tạo có tính tương đồng về bản chất?
• Phương trình Bellman trong RL cổ điển hoặc CERL không phải là cơ bản và cuối cùng chỉ áp dụng cho các quy trình mà phần thưởng toàn cục là tổng tuần tự của các phần thưởng địa phương. Có thể phát triển một phương pháp tiếp cận tổng quát hơn cho quyết định tuần tự, tích hợp các đặc điểm trên.
• Có phương pháp cân đối và hệ thống nào cho phép các tác nhân RL được đào tạo để giải quyết những vấn đề ngày càng phức tạp và vẫn duy trì khả năng hiểu hành vi và giải thích hành động của chúng.
