ПРОЕКТ

Программное обеспечение базы знаний на основе ИИ с ответами и цитатами

Разработка индивидуального ПО, Импорт приватных документов, Вопросы и ответы по документам с ИИ, Семантический поиск, Векторный поиск, Ссылки на источники, Анализ документов, Аналитика

  • Отрасль: Юридические услуги
  • Италия Местоположение: Италия
  • Срок выполнения: 16 недель
  • Технологии: Python, JavaScript / TypeScript (Node.js)
4+ месяцев

Этот клиент - итальянская юридическая фирма, которая тратит много времени на поиск надежных ответов в конфиденциальных документах. Программное обеспечение принимает приватные документы и файлы из облачных хранилищ, а затем возвращает ответы на естественном языке на основе базы знаний фирмы. Ссылки на источники, названия документов и номера страниц показывают происхождение каждого ответа. Платформа также поддерживает анализ документов, извлечение структурированных данных, управление доступом и отслеживание использования.

Краткое содержание

Проблема

Юридическая фирма тратит время на поиск и просмотр конфиденциальных документов, прежде чем ответить на правовые вопросы.

Решение

В результате создана приватная платформа на базе искусственного интеллекта для работы с документами: с семантическим поиском, ссылками, аналитикой и контролируемым доступом.

Результат

Платформа создана для сокращения ручной работы с документами и количества неподтвержденных ответов, при этом доказательства остаются доступными для проверки.

История клиента

Клиент - итальянская юридическая фирма, оказывающая профессиональные услуги. Компания работает с конфиденциальными юридическими документами и бизнес-данными, включая договоры, заметки по судебным делам и судебные документы.

Поиск нужных фрагментов и просмотр документов занимают время. Фирме нужны ответы, которые можно связать с представленными файлами.

Задача была простой: предоставлять ответы на естественном языке на основе приватных документов, с указанием источников и анализом содержимого документов.

Созданная система спроектирована как единая база знаний с контролируемым доступом, импортом документов, векторным поиском и ответами со ссылками на источники. Инструменты анализа и администрирования добавлены в виде отдельных модулей.

Что запросил клиент

  1. Отвечать на вопросы на основе представленных документов и данных организации
  2. Показывать ссылки на источники и сокращать количество неподтвержденных ответов
  3. Поддерживать семантический, векторный, гибридный и пошаговый поиск
  4. Извлекать данные из документов, сравнивать, обобщать, классифицировать их и составлять отчеты

Почему готовое решение не подошло

Готовые решения охватывали юридических помощников и анализ юридических данных, однако, судя по их описаниям, они не объединяли приватное содержимое фирмы, необходимые доказательства, импорт документов и аналитику в одной адаптированной системе. Решение было спроектировано с учетом контролируемого размещения и правил доступа. Оно также соответствовало собственному документообороту фирмы и требованиям к API.

Обзор проекта

Решение построено вокруг единой базы знаний. Пользователи добавляют юридические файлы и подключенные источники, а статусы обработки и права доступа обеспечивают прозрачность и ограничивают доступ.

Для работы с содержимым из разных источников платформа извлекает данные из PDF-файлов, документов Word и электронных таблиц. Она также обрабатывает сканированные документы, веб-сайты, содержимое Google Drive и Dropbox.

Содержимое разделяется на фрагменты, преобразуется в векторный формат и сохраняется для поиска.

Рабочее пространство для ответов на вопросы объединяет семантический или гибридный поиск с ответом искусственного интеллекта. Ссылки на страницы и выделенные фрагменты позволяют видеть доказательства непосредственно в тексте.

Отдельное рабочее пространство для анализа отображает пункты, даты и стороны. Оно также показывает обязательства, риски и сводные данные.

Результаты сравнительного анализа и анализа пробелов помогают компании сопоставлять содержимое документов с эталонными стандартами.

Администрирование включает пользователей, роли и права доступа. Также предусмотрены журналы чатов и аудиторские записи.

Платформа предоставляет API для обработки документов и поиска. Модульная архитектура оставляет возможности для добавления новых форм, автоматизаций, интеграций и аналитических функций.

Ключевые реализованные функции

  • Приватная база знаний по юридическим документам
  • Загрузка документов и фильтры источников
  • Вопросы к документам с помощью искусственного интеллекта
  • Семантический, векторный, гибридный и пошаговый поиск
  • Ссылки на источники с указанием страниц
  • Выделенные подтверждающие фрагменты
  • Анализ документов и пунктов
  • Извлечение структурированных полей
  • Сравнение и анализ пробелов
  • Ролевой доступ и журналы аудита

Можно добавить

+ Ассистент по работе с клиентами + Ассистент по продукту и поддержке + Дополнительные источники в облачных хранилищах + Индивидуальные отчеты + Дополнительная автоматизация работы с документами

Кому еще подойдет это решение

У этих компаний похожая задача поиска документов, и то же решение можно адаптировать под их содержимое и правила доступа.

Организация по соблюдению требований

Задача Она изучает нормативные документы и сравнивает их с эталонными стандартами.
Как помогает решение Решение находит релевантные фрагменты, показывает ссылки и представляет структурированные результаты и анализ пробелов.

Медицинская организация

Задача Она ищет информацию в приватных документах и анализирует материалы регулируемой отрасли.
Как помогает решение Решение объединяет контролируемый доступ, ответы со ссылками, извлечение данных из документов и доступную для поиска базу знаний.

Команда бизнес-поддержки

Задача Ей нужны ответы из приватных источников знаний о продуктах, поддержке, продажах или партнерах.
Как помогает решение Решение превращает файлы организации в доступного для поиска ассистента, который дает ответы на основе доказательств.

Технологический стек

Python

Обработка документов и API

Python поддерживает извлечение и обработку данных из документов, а также API приложения.

JavaScript / TypeScript (Node.js)

Интерфейс и поисковые сервисы

JavaScript и TypeScript поддерживают интерфейс приложения, интеграции и поисковые сервисы.

pymupdf

Извлечение содержимого PDF

pymupdf (библиотека Python для извлечения и обработки PDF) считывает содержимое PDF для базы знаний.

mammoth

Чтение документов Word

mammoth (библиотека для преобразования DOCX в читаемый HTML или Markdown) подготавливает содержимое Word для поиска.

langchain

Объединение компонентов RAG

langchain (набор инструментов для объединения языковых моделей, промптов, векторных представлений и векторных хранилищ) поддерживает ответы с дополнением поиска.

pgvector

Хранение векторных представлений

pgvector (поддержка векторного поиска в PostgreSQL) хранит представления документов для семантического поиска.

qdrant

Поиск векторов документов

qdrant (клиент векторной поисковой системы) находит фрагменты на основе семантического сходства.

PDF, DOCX, XLSX, CSV

Обработка исходных файлов

Платформа обрабатывает PDF, документы Word, электронные таблицы и CSV-файлы как источники документов.

Интеграции

Google Drive

Google Drive передает документы через выбор базы знаний или подключение к файлам.

Dropbox

Dropbox передает приватные файлы для импорта и поиска.

PostgreSQL

PostgreSQL хранит записи приложения и работает вместе с pgvector для векторных представлений документов.

Результат

Доступная для поиска база знаний хранит источники вместе

Первый экран дает фирме единое место для добавления приватных файлов и просмотра доступной для поиска коллекции. Права доступа сохраняют видимость источников в соответствии с правилами фирмы.

Экран показывает статус обработки документов и подключенных источников.

Как это работает

  1. Платформа принимает содержимое PDF, Word, DOCX, электронных таблиц, сканов, сайтов, Google Drive и Dropbox.
  2. Библиотеки обработки документов извлекают текст и подготавливают фрагменты источников к импорту.
  3. База знаний показывает документы, типы источников и файлов, статус обработки и права доступа.
  • Централизованная приватная коллекция документов
  • Фильтры источников и типов файлов
  • Контролируемый доступ к источникам знаний
Совет: Первую рабочую версию проверяют на типичных клиентских файлах, чтобы правила и настройки соответствовали стандартам фирмы.
База знаний и загрузка документов

База знаний и загрузка документов

Функции этого экрана
Загрузить документы Импортировать документы рабочего процесса

Ответы со ссылками упрощают проверку поиска по документам

Экран вопросов и ответов возвращает ответ на естественном языке на основе документов, предоставленных фирмой. Ссылки связывают ответ с исходными файлами, страницами и выделенными фрагментами.

История чата сохраняет связанные вопросы и ответы доступными для дальнейшего изучения.

Как это работает

  1. Платформа принимает вопрос пользователя и находит релевантные части документов.
  2. ИИ формирует ответ на основе найденных фрагментов и данных организации.
  3. Экран показывает ответ со ссылками на источники, названиями документов, номерами страниц и выделенными фрагментами.
  • Ответы ИИ на основе источников
  • Ссылки на документы и страницы
  • Выделенные подтверждающие фрагменты
Примечание: Ответ остается связанным с исходным материалом и не выдает необоснованных ответов без доказательств.
Ответы на вопросы по документам со ссылками

Ответы на вопросы по документам со ссылками

Функции этого экрана
Вопросы и ответы по документам с ИИ Найти релевантные части документов Ответить со ссылкой на источник

Статус поиска показывает, как работает поиск по документам

Техническое рабочее пространство делает импорт и поиск видимыми для ответственных за платформу сотрудников. Оно показывает фрагменты документов, векторные представления, результаты поиска и статус API.

В зависимости от настроек поиска можно использовать семантический, векторный, гибридный или поэтапный поиск.

Как это работает

  1. Очередь импорта подготавливает фрагменты документов и создает векторные представления.
  2. Векторное хранилище сохраняет векторные представления и возвращает результаты семантического или гибридного поиска.
  3. Статус API показывает состояние поиска по документам.
  • Статус векторных представлений
  • Статус векторного хранилища
  • Видимость режима поиска
Семантический поиск и статус векторизации

Семантический поиск и статус векторизации

Функции этого экрана
Создать векторные представления Сохранить векторные представления Разрабатывать конвейеры RAG

Анализ документов превращает фрагменты в понятные результаты

Рабочее пространство анализа представляет структурированную информацию из юридических документов, включая даты, стороны и обязательства. Оно также показывает риски и пункты.

Панель сводки, режим сравнения и результаты анализа пробелов помогают фирме сопоставлять содержание документов с эталонными стандартами.

Как это работает

  1. Рабочее пространство отображает извлеченные даты, стороны, обязательства, риски и пункты.
  2. Панель сводки представляет сводки документов, а режим сравнения показывает их содержимое вместе.
  3. Результаты анализа пробелов сопоставляют данные документа с эталонными стандартами.
  • Структурированные поля
  • Список пунктов
  • Сравнение и анализ пробелов
Рабочее пространство анализа документов

Рабочее пространство анализа документов

Администрирование делает доступ и действия видимыми

Экран администрирования дает фирме контроль над пользователями, ролями, правами источников и действиями платформы. Журналы, обратная связь и сообщения об ошибках поддерживают постоянный контроль.

Аналитика использования отображается вместе с историей чатов и журналом аудита.

Как это работает

  1. Платформа перечисляет пользователей, роли и права доступа к источникам знаний.
  2. История чатов, аналитика использования, обратная связь и сообщения об ошибках отображаются в панели администрирования.
  3. Журнал аудита сохраняет важные действия платформы для проверки.
  • Управление пользователями и ролями
  • Журналы чатов
  • Журнал аудита
Администрирование и аналитика использования

Администрирование и аналитика использования

Что предлагает решение

С помощью этого решения юридическая фирма может:

  • Искать в приватных юридических документах с помощью вопросов на естественном языке
  • Просматривать ответы со ссылками и выделенными фрагментами
  • Использовать семантический, векторный, гибридный или поэтапный поиск
  • Извлекать структурированную юридическую информацию для проверки
  • Сравнивать документы с эталонными стандартами
  • Управлять доступом, чатами и действиями аудита

Справились бы готовые решения?

До проектирования задачу сравнили с готовыми решениями на основе их собственных описаний.

Что нужно клиенту Юридические помощники на основе ИИ AI Legal Assistant, Harvey AI, Clio Work Платформы юридических данных Relativity, Rev, DISCO Platform Системы юридических рабочих процессов Filevine, Eve Legal, 8am DocketWise Индивидуальное решение
Отвечать на основе предоставленных документов частично частично
Показывать отслеживаемые ссылки на источники — — —
Поддерживать семантический и гибридный поиск — частично —
Извлекать и сравнивать данные документов —
Соответствовать собственным правилам клиента: этапам, ролям, отчетам частично частично частично
Все этапы в одном месте — — —
Без ручных действий между программами частично — частично

На основе общедоступных описаний продуктов и их категорий.

Необходимые компоненты есть в готовых решениях: юридических помощниках, платформах юридических данных и системах юридических рабочих процессов. Готового продукта может быть достаточно, если задача требует только одной части.

Этому клиенту требовалось собственное программное обеспечение, поскольку источники документов, ссылки, анализ, правила доступа и методы поиска должны были работать в одном процессе, а не быть распределенными между разными продуктами. Также требовалось контролируемое соединение между источниками, поиском, ответами и анализом.

Итоговый результат

В итоге создано решение, которое сокращает ручную работу между приватным юридическим документом и проверяемым ответом.

ЧАСТЫЕ ВОПРОСЫ

Думаете о создании похожей системы? Эти ответы объясняют основные варианты приватного поиска по документам и ответов ИИ со ссылками.