结论
多模态 RAG 是一种很有前途的方法，可以更好地利用丰富的信息源并创建有效的问答系统。由于强大的多模态 LLM 和多模态嵌入模型的出现，这种方法越来越容易实现。
然而，实施有效的多模态 RAG 流程可能具有 克罗地亚 WhatsApp 数据 挑战性，因为它可能需要专门针对输入文档格式进行大量数据准备步骤。考虑到这种流程的复杂性以及多模态模型的出现时间相对较晚，即使输入文档中存在相关信息，也有可能出现相当一部分不确定的答案。
感谢 Camille Cochener 和 François Phe 帮助构建 Dataiku 示例项目。
最近，在生成式人工智能中，我们讨论了揭开多模态 LLM 的神秘面纱、LLM 中的量化以及构建先进的 RAG 系统。