Полнотекстовые базы данных ИРБИС — различия между версиями

Материал из Wikipedia
Перейти к: навигация, поиск
(→‎Ссылки)
 
(не показаны 102 промежуточные версии этого же участника)
Строка 1: Строка 1:
−
==Действия администратора системы ИРБИС, необходимые для создания электронной коллекции полнотекстовых документов==
+
''Полнотекстовые базы данных ИРБИС'' – [http://intranet.gpntb.ru/subscribe/?journal=ntb&year=2005&num=11&art=13 решение, обеспечивающее возможность ранжированного полнотекстового поиска по коллекциям текстовых документов].
  
−
Для создания или пополнения электронной коллекции полнотекстовых документов необходимо выполнить следующие действия:
+
В основе данного решения:
−
* [[АРМ Администратор#Установка текущей базы данных|Выбор существующей]] или [[АРМ Администратор#Создание новой базы данных|создание новой]] полнотекстовой базы данных, куда будут добавлены тексты.
+
* программные продукты ''ИРБИС 64 для полнотекстовых баз данных'', в которых реализован [[Механизм полнотекстового поиска]] и
−
* [[Особенности работы АРМ Администратор с полнотекстовыми базами#Включение полнотекстовых документов в базу данных ИРБИС|Добавление текстов в базу данных]].
+
* [[Полнотекстовая база данных (вид баз данных ИРБИС)|''полнотекстовые базы данных ИРБИС'']] – как вид [[Базы данных ИРБИС#Виды баз данных ИРБИС 64|баз данных ИРБИС 64]].
−
* [[АРМ Администратор#Актуализация словаря базы данных ИРБИС|Актуализация]] или [[АРМ Администратор#Создание словаря базы данных ИРБИС|создание словаря базы данных]].
 
  
−
При добавлении текстов в базу данных добавляются соответствующие записи, содержащие ссылки на файлы с полными текстами. При этом тексты (текстовые данные) не извлекаются из файлов, а сами файлы остаются в неизменном виде на файловой системе.
+
==Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных==
  
−
При актуализации или создании словаря по содержащихся в записях базы ссылкам находятся соответствующие файлы (содержащие полные тексты), и тексты извлекаются из них. На основе извлечённых текстов строится словарь базы данных.
+
'''Возможности для создателей электронных коллекций текстовых документов''':
 +
* Сформировать полнотекстовую базу данных ИРБИС – указать текстовые документы, по которым система обеспечит возможность полнотекстового поиска.
 +
* С помощью программного обеспечения ИРБИС предоставить пользователям доступ к коллекции в локальной сети, Интернет или на CD/DVD.
  
−
'''Следует иметь в виду:'''
+
'''Возможности для пользователей''': получить доступ к коллекции текстовых документов для ранжированного полнотекстового поиска и просмотра найденных документов.
−
* В словарь попадут только те термины, которые присутствуют в полнотекстовых документах в текстовом виде (не в виде графического изображения).
 
  
−
==Рекомендации по включению полнотекстовых документов в базу данных ИРБИС с помощью АРМ Администратор==
+
Полнотекстовые базы данных ИРБИС обеспечивают возможность работы с текстовыми документами в форматах: HTML, TXT, RTF, PDF, DJVU, DOC, XLS, PPT.
  
−
Включение полнотекстовых документов в базу данных ИРБИС осуществляется с помощью специального диалогового окна, которое открывается при вызове пункта главного меню ''Полнотекстовый сервис – Добавить / удалить полнотекстовые документы'' (или ''Полнотекстовый сервис – Добавить (удалить) тексты в БД'' в версиях до 2010.1).
+
==Отличие возможности ''включения полнотекстовых документов в базу данных'' от возможности ''связывания документов базы данных с внешними объектами''==
 +
 
 +
Не следует путать ''возможность включения полнотекстовых документов'' с ''возможностью [[Связывание документов базы данных ИРБИС с внешними объектами|связывания документов базы данных с внешними объектами]]''.
  
−
Собственно включение полнотекстовых документов в базу данных ИРБИС происходит после нажатия кнопки ''Добавить''.
+
'''Сходства возможностей:'''
 +
* Обе эти возможности позволяют установить связь документов базы данных с внешними объектами.
  
−
Существует ряд настроек, касающихся особенностей включения полнотекстовых документов в базу данных ИРБИС, которым посвящены следующие подразделы.
+
'''Различия возможностей:'''
 +
* ''Возможность связывания документов базы данных с внешними объектами'' ограничивается обеспечением простоты перехода пользователя от документа базы данных к внешнему объекту.
 +
* ''Возможность включения полнотекстовых документов в базу данных'' обеспечивает полнотекстовый поиск, а также переход пользователя к найденным внешним объектам.
  
−
===Включение в полнотекстовую базу полнотекстовых документов, на которые имеются ссылки в <tt>951</tt> поле другой базы данных ИРБИС===
+
==Программные продукты для работы с полнотекстовыми базами данных ИРБИС 64==
  
−
Возможность осуществляется с помощью кнопки ''Добавить тексты из ЭК''.
+
Функциональность по работе с полнотекстовыми базами данных ИРБИС 64 обеспечивают следующие программные продукты:
 +
* [[АРМ Администратор полнотекстовых БД|''АРМ Администратор полнотекстовых БД'']] – рабочее место специалиста, которое позволяет формировать полнотекстовые базы данных и обслуживать их.
 +
* ''АРМ Читатель для полнотекстовых БД'' – рабочее место пользователя электронных коллекций.
 +
* [[Веб-ИРБИС#Версии Веб-шлюза ИРБИС|Веб-шлюз ИРБИС для полнотекстовых БД]] – обеспечивает доступ к коллекциям полнотекстовых документов пользователей Интернета (и/или локальной сети) с помощью веб-браузера.
  
−
Данная возможность предусмотрена для следующего случая: если в полнотекстовую базу данных нужно включить полнотекстовые документы, которые уже [[Связывание документов базы данных ИРБИС с внешними объектами|связаны с существующей базой данных ИРБИС через <tt>951</tt> поле]].
+
==Концепция полнотекстовых баз данных ИРБИС==
  
−
===Использование относительных путей в качестве ссылок на полнотекстовые документы===
+
Полнотекстовые базы данных ИРБИС отличаются возможностью индексирования текстов из внешних файлов. Что обеспечивает возможность организовать поиск этих текстов.
  
−
Относительные пути рекомендуется использовать в тех случаях, когда файлы полнотекстовых документов хранятся ''внутри'' папки соответствующей базы данных (непосредственно или в одной из вложенных папок).
+
Эта концепция позволяет реализовать перечисленные выше [[#Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных|возможности ИРБИС 64 по работе с полнотекстовыми базами данных]].
  
−
'''Достоинства:'''
+
Индексирование текстов из внешних файлов основывается на следующих идеях:
−
* тексты будут доступны при переносе базы данных;
+
* Связывать ''записи'' полнотекстовой базы данных с текстами из внешних файлов, чтобы воспользоваться механизмом индексирования в ИРБИС.
−
* тексты будут доступны через Веб-ИРБИС.
+
* Реализовать специальный [[Таблица выбора полей#Метод индексирования 9|''метод индексирования 9'']], позволяющий индексировать тексты из внешних файлов, связанные с ''записями'' полнотекстовой базы данных.
  
−
===Использование полных путей в качестве ссылок на полнотекстовые документы===
+
Для описания механизма связывания ''записи'' полнотекстовой базы данных с текстами из внешних файлов вводятся следующие понятия:
 +
* Понятие ''объекта полнотекстового поиска'' – что может быть связано с ''записью'' полнотекстовой базы данных (и впоследствии проиндексировано).
 +
* Понятие ссылки на ''объекта полнотекстового поиска'', посредством которой ''запись'' полнотекстовой базы данных связывается с ''объектом полнотекстового поиска''.
  
−
Для обеспечения работоспособности ссылок в локальной сети рекомендуется использовать полные сетевые пути с указанием имени компьютера.
+
===Формирование полнотекстовой базы данных===
  
−
'''Недостатки:'''
+
Формирование полнотекстовой базы данных предполагает добавление в полнотекстовую базу данных ''текстов'' (также принято называть ''включение текстов в базу данных'') и их последующее индексирование.
−
* тексты не будут доступны через Веб-ИРБИС.
 
  
−
Если эти тексты имеют URL-адреса, то для обеспечения доступа к ним через Веб-ИРБИС можно использовать перенаправление (при котором происходит замена их сетевых адресов на URL).
+
Фактически, при добавлении ''текстов'', они рассматриваются как [[#Объекты полнотекстового поиска в ИРБИС|объекты полнотекстового поиска]], в соответствие каждому из которых в базе создаётся ''запись'', содержащая [[Схема полнотекстовой базы данных#Ссылка на объект полнотекстового поиска|ссылку]] на данный объект. Подробнее см. в [[Схема полнотекстовой базы данных|статье ''Схема полнотекстовой базы данных'']].
  
−
Для этого в файле <tt>irbis_server.ini</tt>, который был создан при инсталляции в папке Веб-сервера для Веб-шлюза ИРБИС, в секции <tt>MAIN</tt> задать параметры (приведен пример значений параметров):
+
Включение текстов в базу осуществляется с помощью АРМ Администратор, подробнее см. [[АРМ Администратор полнотекстовых БД#Включение текстов в полнотекстовую базу данных|в подразделе ''Включение текстов в полнотекстовую базу данных'' статьи ''АРМ Администратор полнотекстовых БД'']].
  
−
FullTextPathDbn=\\Alio1\irbiswrk\lusia\PDF_text\
+
===Объекты полнотекстового поиска в ИРБИС===
−
FullTextPathWeb=ftp:\\ftp.gpntb.ru\pub\irbis\
 
  
−
В первом параметре следует указать сетевой путь на тексты, которые располагались по этому пути при их добавлении, в примере это - <tt>\\Alio1\irbiswrk\lusia\PDF_text\</tt>. Во втором параметре следует указать часть URL текстов (до их названия) их расположения. В примере это - <tt>ftp:\\ftp.gpntb.ru\pub\irbis\</tt>.
+
Концепция полнотекстовых баз данных ИРБИС предусматривает следующие виды ''объектов полнотекстового поиска'':
  
−
В формате <tt>BRIEFHTML_ft.pft</tt> имеется вставка (если нет, добавить), которая замещает в адресе текста (в подполе <tt>952^B</tt>) путь на файл при создании на URL местоположения текста. Часть формата:
+
'''Внешний текстовый файл'''
  
−
<nowiki>
+
Файл допустимого типа. Список допустимых форматов приведён [[#Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных|в подразделе ''Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных'']].
−
/* возможность замены формата через параметры irbis_server.ini из cgi
 
−
      if &uf('IMAIN,FullTextPathDbn,')<>'' and &uf('IMAIN,FullTextPathWeb,')<>'' 
 
−
          then
 
−
&uf('+7W10#',&uf('+9I?',,&uf('IMAIN,FullTextPathDbn,'),,'?#',,&uf('IMAIN,FullTextPathWeb,'),,'#',v952^B)),
 
−
          '<a  style="border:0px;font-size:12px;" target=_blank href="',G10,
 
−
          else
 
−
/*
 
−
</nowiki>
 
  
−
Здесь использован форматный выход <tt>&uf('+9I?исходная строка?#выходная строка#строка где замена)</tt>. Ограничители <tt>?</tt> и <tt>#</tt> могут быть любыми символами с кодом меньше <tt>128</tt>.
+
'''Отдельная страница многостраничного документа'''
  
−
===Включение указанных пользователем документов или всех документов из указанной пользователем папки===
+
Отдельная страница многостраничного документа (формата PDF или DJVU).
  
−
Выбор одного из вариантов осуществляется с помощью флажка ''Добавить директорию с текстами''.
+
'''Файл, ассоциированный с текстом-"''подложкой''"'''
  
−
===Включение полнотекстовых документов с копированием в специально предназначенный архив в версии 2009.1===
+
Файл допустимого типа, сопровождающийся текстовым файлом, содержащим текстовый слой. Список допустимых форматов приведён [[#Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных|в подразделе ''Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных'']].
  
−
'''''Примечание: начиная с версии 2010.1 планируется отказ от поддержки данной возможности в связи с недостатками. В связи с чем не рекомендуется использовать эту возможность.'''''
+
Понятие ''объекта полнотекстового поиска'' является одним из ключевых в концепции полнотекстовых баз данных:
 +
* в процессе формирования в базе данных сохраняется ссылка на ''объект полнотекстового поиска'';
 +
* текст, связанный с ''объектом полнотекстового поиска'' подлежит [[Таблица выбора полей#Метод индексирования 9|индексированию]];
 +
* список ''объектов полнотекстового поиска'' (соответствующих поисковому запросу) будет выдан конечному пользователю в качестве результатов поиска.
  
−
'''Опции включения полнотекстовых документов, совместимые с данной:'''
+
==Функциональные возможности ИРБИС 64 для полнотекстовых баз данных==
−
* Возможно включение как указанных пользователем документов, так и всех документов из указанной папки.
 
  
−
'''Достоинства:'''
+
===Добавление файлов в полнотекстовую базу данных===
−
* Компактное хранение полнотекстовых документов (это относится к документам, хорошо поддающимся сжатию при архивации).
 
−
* При перемещении папки с базой данных не требуется изменений в ссылках на файлы, поскольку ссылки являются относительными (только имя документа в архиве).
 
  
−
'''Недостатки:'''
+
При добавлении файла в полнотекстовой базе данных создаётся запись, в которой сохраняется ссылка на внешний файл.
−
* Дополнительные затраты времени на разархивирование при обеспечении доступа к полнотекстовому документу.
 
−
* Тексты не доступны через Веб-ИРБИС.
 
  
−
===Полнотекстовые базы в Веб-ИРБИС===
+
Файлы для добавления могут быть указаны выборочно или может быть указана папка, из которой будут добавлены файлы.
  
−
Если в полнотекстовом документе в формате HTML имеются ссылки на изображения или другие страницы, то они должны быть указаны в форме URL.
+
Можно установить список расширений, чтобы были добавлены только файлы соответствующих типов.
  
−
==Отличие возможности ''включения полнотекстовых документов в базу данных'' от возможности ''связывания документов базы данных с внешними объектами''==
+
===Добавление многостраничных документов с разбиением на страницы===
  
−
Не следует путать ''возможность включения полнотекстовых документов'' с ''возможностью [[Связывание документов базы данных ИРБИС с внешними объектами|связывания документов базы данных с внешними объектами]]''.
+
Файл PDF или DJVU может быть добавлен в полнотекстовую базу с разбиением на страницы (если выбрана [[АРМ Администратор полнотекстовых БД#Каждая страница файла как отдельный документ|соответствующая опция]]).
  
−
'''Сходства возможностей:'''
+
В этом случае объектом полнотекстового поиска является отдельная страница PDF или DJVU документа.
−
* Обе эти возможности позволяют установить связь документов базы данных с внешними объектами.
 
  
−
'''Различия возможностей:'''
+
В полнотекстовой базе данных создаётся запись, соответствующая каждой странице добавляемого файла, а в каждой записи сохраняется ссылка с указанием номера страницы.
−
* ''Возможность связывания документов базы данных с внешними объектами'' ограничивается обеспечением простоты перехода пользователя от документа базы данных к внешнему объекту.
 
−
* ''Возможность включения полнотекстовых документов в базу данных'' обеспечивает полнотекстовый поиск, а также переход пользователя к найденным внешним объектам.
 
  
−
==Известные проблемы и особенности процессов добавления полнотекстовых документов в базу и создания словаря==
+
Если пользователь в результате поиска получил отдельную страницу текста, он имеет возможность перейти к другим страницам.
  
−
===Разбиение PDF-файлов на страницы===
+
''Примечание: с разбиением на страницы НЕ могут быть добавлены файлы PDF или DJVU, находящиеся в архиве.''
  
−
Разбиение PDF-файлов на страницы выполняется при добавлении текстов в базу, если выставлена соответствующая опция, а также при создании словаря (для текстов, являющихся страницами многостраничного PDF-файла).
+
===Индексирование полнотекстовой базы данных===
  
−
Разбиение на страницы осуществляется с помощью одной из утилит: <tt>pdftk</tt> или <tt>pdf2pdf</tt>.
+
Индексирование полнотекстовой базы данных – процесс наполнения словаря базы данных словами из текстов из внешних файлов, добавленных в базу данных.
  
−
Утилита выбирается в соответствии со значением параметра <tt>PDFSplitter</tt> в [[Конфигурационный файл АРМ Администратор ИРБИС#Секция TEXTS|конфигурационном файле АРМ Администратор ИРБИС]].
+
===Индексирование документов, из которых невозможно извлечение текста===
  
−
'''Известные проблемы:'''
+
Если при включении полнотекстового документа найдена соответствующая ему подложка, то [[#Компоненты ссылки|в соответствующем подполе базы данных сохраняется ссылка на файл подложки]]. Таким образом происходит ''ассоциация'' полнотекстового документа с соответствующей ''подложкой''.
−
* Утилита <tt>pdftk</tt> не разбивает файлы, содержащие в имени файла русские буквы. Такие файлы следует либо переименовать, либо разбивать с помощью утилиты <tt>pdf2pdf</tt>.
 
−
* Утилита <tt>pdf2pdf</tt> не разбивает файлы версии 1.6. Такие файлы следует разбивать с помощью утилиты <tt>pdftk</tt>.
 
  
−
===Извлечение текста из <tt>PDF</tt>-файлов===
+
Если с полнотекстовым документом ассоциирована подложка, то при построении словаря будет использован содержащийся в подложке текст. Для показа пользователю будет использован сам включённый в базу документ.
  
−
Извлечение текста из <tt>PDF</tt>-файлов выполняется при создании словаря.
+
Подробнее см. [[АРМ Администратор полнотекстовых БД#Ассоциация текста-подложки с включаемым в полнотекстовую базу документом|в подразделе ''Ассоциация текста-подложки с включаемым в полнотекстовую базу документом'' статьи ''АРМ Администратор полнотекстовых БД'']].
  
−
Извлечение текста осуществляется с помощью одной из утилит: <tt>pdftotext.exe</tt> или <tt>docs2text.exe</tt>.
+
===Индексирование файлов PDF, защищённых паролем===
  
−
Утилита выбирается в соответствии со значением параметра <tt>Converter_PDF</tt> в [[Конфигурационный файл АРМ Администратор ИРБИС#Секция TEXTS|конфигурационном файле АРМ Администратор ИРБИС]].
+
В ИРБИС возможно индексирование файлов PDF, защищённых паролем. Предусмотрена возможность использования только одного пароля. Подробнее см. [[АРМ Администратор полнотекстовых БД#Извлечение текстовых данных из PDF-файлов, защищённых паролем|в подразделе ''Извлечение текстовых данных из PDF-файлов, защищённых паролем'' статьи ''АРМ Администратор полнотекстовых БД'']].
  
−
'''Следует иметь в виду:'''
+
===Поисковые возможности===
−
* В случае использования утилиты <tt>docs2text.exe</tt> в системе должна быть зарегистрирована библиотека <tt>docs2text.dll</tt>. Для регистрации библиотеки используется инструмент Windows <tt>Regsvr32.exe</tt>.
 
  
−
'''Известные проблемы:'''
+
В ИРБИС для полнотекстовых БД предусмотрены следующие поисковые возможности:
−
* Утилита <tt>docs2text.exe</tt> не извлекает текст из файлов версии 1.6. Такие файлы следует обрабатывать с помощью утилиты <tt>pdftotext.exe</tt>.
+
* полнотекстовый поиск;
 +
* поиск по элементам описания полных текстов (по умолчанию предусмотрен поиск по элементам Dublin Core);
 +
* полнотекстовый поиск, дополненный ограничением по элементам описания;
 +
* возможность уточнять полнотекстовый поиск при помощи ''поиска в найденном'' по элементам описания.
  
−
===Извлечение текста из <tt>DOC</tt>-файлов===
+
==Устаревшие возможности ИРБИС 64 по работе с полнотекстовыми базами данных==
  
−
Извлечение текста из <tt>DOC</tt>-файлов выполняется при создании словаря.
+
===Возможность размещения текстов в специально предназначенном архиве (не поддерживается с версии 2010.1)===
  
−
Извлечение текста осуществляется с помощью утилиты <tt>docs2text.exe</tt> или с помощью программы Microsoft Word (с использованием технологии Ole Automation).
+
'''''Примечание: начиная с версии 2010.1 данная возможность не поддерживается, в связи с чем не рекомендуется к использованию.'''''
  
−
Способ извлечения текста выбирается в соответствии со значением параметра <tt>Converter_Word</tt> в [[Конфигурационный файл АРМ Администратор ИРБИС#Секция TEXTS|конфигурационном файле АРМ Администратор ИРБИС]].
+
<small>'''Опции включения полнотекстовых документов, совместимые с данной:'''
 +
* Возможно включение как указанных пользователем документов, так и всех документов из указанной папки.
  
−
'''Следует иметь в виду:'''
+
'''Достоинства:'''
−
* Для извлечения текста вторым способом необходимо наличие установленного приложения Microsoft Word.
+
* Компактное хранение полнотекстовых документов (это относится к документам, хорошо поддающимся сжатию при архивации).
−
* В случае использования утилиты <tt>docs2text.exe</tt> в системе должна быть зарегистрирована библиотека <tt>docs2text.dll</tt>. Для регистрации библиотеки используется инструмент Windows <tt>Regsvr32.exe</tt>.
+
* При перемещении папки с базой данных не требуется изменений в ссылках на файлы, поскольку ссылки являются относительными (только имя документа в архиве).
  
−
'''Известные проблемы:'''
+
'''Недостатки:'''
−
* Практика показывает, что утилита <tt>docs2text.exe</tt> не извлекает текст из файлов, содержащих много графических изображений, файлов большого размера (например, десятки мегабайт). При извлечении текста из таких файлов следует выбирать способ с использованием программы Microsoft Word.
+
* Дополнительные затраты времени на разархивирование при обеспечении доступа к полнотекстовому документу.
−
* Практика показывает, что при извлечении текста с использованием программы Microsoft Word, не извлекается текст из автофигур. Для извлечении текста из автофигур следует выбирать способ с использованием утилиты <tt>docs2text.exe</tt>.
+
* Тексты не доступны через Веб-ИРБИС.</small>
  
 
==Ссылки==
 
==Ссылки==
  
 
См. также:
 
См. также:
−
* [[Электронные коллекции полнотекстовых документов на платформе ИРБИС 64]]
+
* [[АРМ Администратор полнотекстовых БД]]
−
* [[АРМ Администратор]]
+
* [[АРМ Читатель для полнотекстовых БД]]
−
* [[Особенности работы АРМ Администратор с полнотекстовыми базами]]
+
* [[Установка и использование ИРБИС 64 для полнотекстовых баз данных]]
−
* [[Конфигурационный файл АРМ Администратор ИРБИС]]
+
* [[Возможности АРМ Каталогизатор по работе с полнотекстовыми базами данных]]
−
* [[Полнотекстовые базы данных ИРБИС]]
+
* [[Известные проблемы и их решения, касающиеся работы с полнотекстовыми базами ИРБИС]]
 +
* [[Рекомендации по обслуживанию баз данных ИРБИС]]
 +
* [[Связывание документов базы данных ИРБИС с внешними объектами]]
 +
* [[Механизм полнотекстового поиска]]
 +
* [[Полнотекстовая база данных (вид баз данных ИРБИС)]]
 +
* [[Схема полнотекстовой базы данных]]
 +
 
 +
Источники информации:
 +
* [http://irbis.gpntb.ru/read.php?48,17749 Полнотекстовые базы данных в ИРБИС64]
  
−
[[Категория:АРМ Администратор]]
 
 
[[Категория:Полнотекстовые базы данных ИРБИС]]
 
[[Категория:Полнотекстовые базы данных ИРБИС]]
−
[[Категория:Продукты ИРБИС для работы с полнотекстовыми базами данных]]
+
[[Категория:Функциональные возможности ИРБИС]]
−
[[Категория:Работа с ИРБИС]]
+
[[Категория:Тексты документации, поставляемой с системой ИРБИС 64]]
 +
[[Категория:Анонсированные статьи]]

Текущая версия на 01:37, 17 февраля 2016

Полнотекстовые базы данных ИРБИС – решение, обеспечивающее возможность ранжированного полнотекстового поиска по коллекциям текстовых документов.

В основе данного решения:

Содержание

Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных

Возможности для создателей электронных коллекций текстовых документов:

  • Сформировать полнотекстовую базу данных ИРБИС – указать текстовые документы, по которым система обеспечит возможность полнотекстового поиска.
  • С помощью программного обеспечения ИРБИС предоставить пользователям доступ к коллекции в локальной сети, Интернет или на CD/DVD.

Возможности для пользователей: получить доступ к коллекции текстовых документов для ранжированного полнотекстового поиска и просмотра найденных документов.

Полнотекстовые базы данных ИРБИС обеспечивают возможность работы с текстовыми документами в форматах: HTML, TXT, RTF, PDF, DJVU, DOC, XLS, PPT.

Отличие возможности включения полнотекстовых документов в базу данных от возможности связывания документов базы данных с внешними объектами

Не следует путать возможность включения полнотекстовых документов с возможностью связывания документов базы данных с внешними объектами.

Сходства возможностей:

  • Обе эти возможности позволяют установить связь документов базы данных с внешними объектами.

Различия возможностей:

  • Возможность связывания документов базы данных с внешними объектами ограничивается обеспечением простоты перехода пользователя от документа базы данных к внешнему объекту.
  • Возможность включения полнотекстовых документов в базу данных обеспечивает полнотекстовый поиск, а также переход пользователя к найденным внешним объектам.

Программные продукты для работы с полнотекстовыми базами данных ИРБИС 64

Функциональность по работе с полнотекстовыми базами данных ИРБИС 64 обеспечивают следующие программные продукты:

  • АРМ Администратор полнотекстовых БД – рабочее место специалиста, которое позволяет формировать полнотекстовые базы данных и обслуживать их.
  • АРМ Читатель для полнотекстовых БД – рабочее место пользователя электронных коллекций.
  • Веб-шлюз ИРБИС для полнотекстовых БД – обеспечивает доступ к коллекциям полнотекстовых документов пользователей Интернета (и/или локальной сети) с помощью веб-браузера.

Концепция полнотекстовых баз данных ИРБИС

Полнотекстовые базы данных ИРБИС отличаются возможностью индексирования текстов из внешних файлов. Что обеспечивает возможность организовать поиск этих текстов.

Эта концепция позволяет реализовать перечисленные выше возможности ИРБИС 64 по работе с полнотекстовыми базами данных.

Индексирование текстов из внешних файлов основывается на следующих идеях:

  • Связывать записи полнотекстовой базы данных с текстами из внешних файлов, чтобы воспользоваться механизмом индексирования в ИРБИС.
  • Реализовать специальный метод индексирования 9, позволяющий индексировать тексты из внешних файлов, связанные с записями полнотекстовой базы данных.

Для описания механизма связывания записи полнотекстовой базы данных с текстами из внешних файлов вводятся следующие понятия:

  • Понятие объекта полнотекстового поиска – что может быть связано с записью полнотекстовой базы данных (и впоследствии проиндексировано).
  • Понятие ссылки на объекта полнотекстового поиска, посредством которой запись полнотекстовой базы данных связывается с объектом полнотекстового поиска.

Формирование полнотекстовой базы данных

Формирование полнотекстовой базы данных предполагает добавление в полнотекстовую базу данных текстов (также принято называть включение текстов в базу данных) и их последующее индексирование.

Фактически, при добавлении текстов, они рассматриваются как объекты полнотекстового поиска, в соответствие каждому из которых в базе создаётся запись, содержащая ссылку на данный объект. Подробнее см. в статье Схема полнотекстовой базы данных.

Включение текстов в базу осуществляется с помощью АРМ Администратор, подробнее см. в подразделе Включение текстов в полнотекстовую базу данных статьи АРМ Администратор полнотекстовых БД.

Объекты полнотекстового поиска в ИРБИС

Концепция полнотекстовых баз данных ИРБИС предусматривает следующие виды объектов полнотекстового поиска:

Внешний текстовый файл

Файл допустимого типа. Список допустимых форматов приведён в подразделе Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных.

Отдельная страница многостраничного документа

Отдельная страница многостраничного документа (формата PDF или DJVU).

Файл, ассоциированный с текстом-"подложкой"

Файл допустимого типа, сопровождающийся текстовым файлом, содержащим текстовый слой. Список допустимых форматов приведён в подразделе Основные возможности ИРБИС 64 по работе с полнотекстовыми базами данных.

Понятие объекта полнотекстового поиска является одним из ключевых в концепции полнотекстовых баз данных:

  • в процессе формирования в базе данных сохраняется ссылка на объект полнотекстового поиска;
  • текст, связанный с объектом полнотекстового поиска подлежит индексированию;
  • список объектов полнотекстового поиска (соответствующих поисковому запросу) будет выдан конечному пользователю в качестве результатов поиска.

Функциональные возможности ИРБИС 64 для полнотекстовых баз данных

Добавление файлов в полнотекстовую базу данных

При добавлении файла в полнотекстовой базе данных создаётся запись, в которой сохраняется ссылка на внешний файл.

Файлы для добавления могут быть указаны выборочно или может быть указана папка, из которой будут добавлены файлы.

Можно установить список расширений, чтобы были добавлены только файлы соответствующих типов.

Добавление многостраничных документов с разбиением на страницы

Файл PDF или DJVU может быть добавлен в полнотекстовую базу с разбиением на страницы (если выбрана соответствующая опция).

В этом случае объектом полнотекстового поиска является отдельная страница PDF или DJVU документа.

В полнотекстовой базе данных создаётся запись, соответствующая каждой странице добавляемого файла, а в каждой записи сохраняется ссылка с указанием номера страницы.

Если пользователь в результате поиска получил отдельную страницу текста, он имеет возможность перейти к другим страницам.

Примечание: с разбиением на страницы НЕ могут быть добавлены файлы PDF или DJVU, находящиеся в архиве.

Индексирование полнотекстовой базы данных

Индексирование полнотекстовой базы данных – процесс наполнения словаря базы данных словами из текстов из внешних файлов, добавленных в базу данных.

Индексирование документов, из которых невозможно извлечение текста

Если при включении полнотекстового документа найдена соответствующая ему подложка, то в соответствующем подполе базы данных сохраняется ссылка на файл подложки. Таким образом происходит ассоциация полнотекстового документа с соответствующей подложкой.

Если с полнотекстовым документом ассоциирована подложка, то при построении словаря будет использован содержащийся в подложке текст. Для показа пользователю будет использован сам включённый в базу документ.

Подробнее см. в подразделе Ассоциация текста-подложки с включаемым в полнотекстовую базу документом статьи АРМ Администратор полнотекстовых БД.

Индексирование файлов PDF, защищённых паролем

В ИРБИС возможно индексирование файлов PDF, защищённых паролем. Предусмотрена возможность использования только одного пароля. Подробнее см. в подразделе Извлечение текстовых данных из PDF-файлов, защищённых паролем статьи АРМ Администратор полнотекстовых БД.

Поисковые возможности

В ИРБИС для полнотекстовых БД предусмотрены следующие поисковые возможности:

  • полнотекстовый поиск;
  • поиск по элементам описания полных текстов (по умолчанию предусмотрен поиск по элементам Dublin Core);
  • полнотекстовый поиск, дополненный ограничением по элементам описания;
  • возможность уточнять полнотекстовый поиск при помощи поиска в найденном по элементам описания.

Устаревшие возможности ИРБИС 64 по работе с полнотекстовыми базами данных

Возможность размещения текстов в специально предназначенном архиве (не поддерживается с версии 2010.1)

Примечание: начиная с версии 2010.1 данная возможность не поддерживается, в связи с чем не рекомендуется к использованию.

Опции включения полнотекстовых документов, совместимые с данной:

  • Возможно включение как указанных пользователем документов, так и всех документов из указанной папки.

Достоинства:

  • Компактное хранение полнотекстовых документов (это относится к документам, хорошо поддающимся сжатию при архивации).
  • При перемещении папки с базой данных не требуется изменений в ссылках на файлы, поскольку ссылки являются относительными (только имя документа в архиве).

Недостатки:

  • Дополнительные затраты времени на разархивирование при обеспечении доступа к полнотекстовому документу.
  • Тексты не доступны через Веб-ИРБИС.

Ссылки

См. также:

Источники информации:

Источник — «http://wiki.elnit.org/index.php?title=Полнотекстовые_базы_данных_ИРБИС&oldid=2450»