演讲主题

向量数据库对大语言模型的支持和优化

自2023年以来，Pinterest内部开始设计并实现为大语言模型服务的工具和系统，包括VectorTableSearch, Text-To-SQL in QueryBook，以及automated table documentation。Pinterest采用业界generic GPT model， 比如openAI，为了提高系统的灵活性，并加入Pinterest自身的特性，我们大量采用Retrieval Augmented Generation (RAG)为大模型中增加Pinterest的特殊元素，比如engineering documentation, query history，以 及Slack聊天记录。在此过程中，我们面临着诸多挑战，比如训练的数据缺乏标准，很难复用。缺乏VectorDB 的开发和运维，各个团队经常各自为战。不能对大模型进行持续的优化等等。为解决上诉问题，我们在 Pinterest内部设计并开发了VectorDB as a service，包括公司统一的数据导入平台，数据索引和更新的支持，并提供高性能的查询服务。本次演讲将详细介绍Pinterest内部的VectorDB服务，以及我们在构建VectorDB 过程中客服的困难。