Разработка системы автоматизированной торговли и риск-менеджмента с помощью ИИ
Применили технологии обучения с подкреплением и распределённые вычисления для оптимизации торговых стратегий
- Клиент
- Robinhood
- Год
- 2023
- Услуги
- Алгоритмическое моделирование и разработка
- Платформа
- Python, Reinforcement Learning
О проекте
К нам обратилась крупная финансовая компания с целью автоматизировать торговлю и управление рисками на бирже при помощи искусственного интеллекта. Основная задача заключалась в разработке системы, способной самостоятельно принимать торговые решения и эффективно управлять рисками, анализируя большие объёмы исторических данных.
Решение
Мы разработали эмулятор биржи, который проигрывал исторические данные, позволяя агенту обучаться в контролируемой среде. В ходе исследований было протестировано более 100 различных стратегий и подходов. В качестве агентов были протестированы различные методы обучения с подкреплением, включая: A2C (Advantage Actor-Critic) A3C (Asynchronous Advantage Actor-Critic) DQN (Deep Q-Network) Rainbow — комбинация DQN и множества улучшений DDQN (Double Deep Q-Network) и другие. Система обучалась на распределённом вычислительном кластере. Копии агентов и эмуляторы биржи были распределены на десятки серверов. Каждая такая связка собирала миллионы часов симулированной торговли и сделок, после чего данные отправлялись на центральный сервер для обучения моделей на графических процессорах. Примечание: Эта технология позже была использована для улучшения моделей в других областях, включая победы в киберспортивных соревнованиях и развитие методов обучения с подкреплением с обратной связью от человека (RLHF), которые лежат в основе современных чат-ботов.
Результат
Была разработана фундаментальная база проекта для дальнейшего поэтапного внедрения в алгоритмы платформы и продукты торговых ботов. Система продемонстрировала потенциал для повышения эффективности торговых операций и улучшения риск-менеджмента, предоставив компании инструменты для более информированных решений на бирже.
