J.P. 摩根基于深度学习和GPU的自然语言建模

本报告总结了2021年10月与NVIDIA在伦敦和纽约举行的视频会议中关于自然语言建模的DeepFin投资者教程。报告首先介绍了BERT，这是一种前沿的语言模型，它考虑了每个单词左右两侧的上下文。BERT有两个关键步骤：预训练和微调。预训练是通过对庞大的未标记数据集进行学习，通常是维基百科和图书语料库上的所有文章。微调是训练和调整BERT以执行专门的语言任务。BERT已经证明可以在足够的时间和最佳配置下达到85%的准确率。在研讨会上，我们采用了预先训练好的BERT模型，并使用SQuAD（斯坦福问答数据集）数据集对其进行了微调，以设计问答系统。在向用户提供之前，我们优化了BERT以使用TensorRT执行推理。针对实际财务查询进行测试，该模型按预期执行。报告还介绍了FinBERT，这是一种基于BERT的语言模型，用于解决金融领域的NLP任务。FinBERT预先训练以包含金融新闻文章，并进行微调以包含财务报表。最后，报告介绍了NVIDIA的GPU云基础架构，并提供了有关分析师认证和重要披露的信息。