Полнотекстовые базы данных ИРБИС — различия между версиями
Sokv (обсуждение | вклад) |
Sokv (обсуждение | вклад) |
||
Строка 3: | Строка 3: | ||
Идея включения полнотекстовых документов в базу данных ИРБИС – предоставить пользователю возможность осуществлять полнотекстовый поиск и просмотр найденных документов. | Идея включения полнотекстовых документов в базу данных ИРБИС – предоставить пользователю возможность осуществлять полнотекстовый поиск и просмотр найденных документов. | ||
− | В полнотекстовые базы данных ИРБИС могут быть включены полнотекстовые документы в форматах HTML, TXT, | + | В полнотекстовые базы данных ИРБИС могут быть включены полнотекстовые документы в форматах HTML, TXT, RTF, PDF, DJVU, DOC, XLS, PPT. |
==Отличие возможности ''включения полнотекстовых документов в базу данных'' от возможности ''связывания документов базы данных с внешними объектами''== | ==Отличие возможности ''включения полнотекстовых документов в базу данных'' от возможности ''связывания документов базы данных с внешними объектами''== | ||
Строка 36: | Строка 36: | ||
* Документы, явно указанные пользователем. | * Документы, явно указанные пользователем. | ||
* Все документы из папки, указанной пользователем. | * Все документы из папки, указанной пользователем. | ||
+ | * Все документы из архива ZIP или RAR, указанного пользователем. | ||
* полнотекстовые документы, на которые имеются [[Связывание документов базы данных ИРБИС с внешними объектами|ссылки в <tt>951</tt> поле указанной пользователем базы данных ИРБИС]]. | * полнотекстовые документы, на которые имеются [[Связывание документов базы данных ИРБИС с внешними объектами|ссылки в <tt>951</tt> поле указанной пользователем базы данных ИРБИС]]. | ||
Строка 46: | Строка 47: | ||
'''''Примечание: начиная с версии 2010.1 планируется отказ от поддержки данной возможности в связи с недостатками. В связи с чем не рекомендуется использовать эту возможность.''''' | '''''Примечание: начиная с версии 2010.1 планируется отказ от поддержки данной возможности в связи с недостатками. В связи с чем не рекомендуется использовать эту возможность.''''' | ||
− | В зависимости от выбранных опций, при включении полнотекстовых документов в базу данных | + | В зависимости от выбранных опций, при включении полнотекстовых документов в базу данных |
− | + | документы могут быть скопированы в специально предназначенный архив – файл с расширением <tt>.izp</tt> в папке базы данных. | |
− | |||
==Информация, вносимая в базу данных при включении полнотекстовых документов== | ==Информация, вносимая в базу данных при включении полнотекстовых документов== | ||
Строка 56: | Строка 56: | ||
Для ссылок на файлы полных текстов в полнотекстовой базе данных предлагается специальное поле (по умолчанию [[Использование в ИРБИС полей из блока локального использования формата RUSMARC|метка поля <tt>952</tt>]]). | Для ссылок на файлы полных текстов в полнотекстовой базе данных предлагается специальное поле (по умолчанию [[Использование в ИРБИС полей из блока локального использования формата RUSMARC|метка поля <tt>952</tt>]]). | ||
− | Поле доступно на рабочем листе ''Технологическая''. | + | Поле доступно на рабочем листе ''Технологическая'' в [[АРМ Каталогизатор]]. |
Для описания ссылки на полнотекстовый документ предлагаются подполя: | Для описания ссылки на полнотекстовый документ предлагаются подполя: | ||
Строка 65: | Строка 65: | ||
'''Примеры заполнения подполей''': | '''Примеры заполнения подполей''': | ||
− | |||
− | |||
− | |||
− | |||
* '''Относительная ссылка на документ''' | * '''Относительная ссылка на документ''' | ||
Строка 86: | Строка 82: | ||
^BD:\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ__0001.pdf^CD:\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf | ^BD:\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ__0001.pdf^CD:\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf | ||
− | * '''Ссылка на | + | * '''Ссылка на документ в архиве''' |
^BD:\FullTexts\rar\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf^CD:\FullTexts\rar\ИРБИС_документация.rar | ^BD:\FullTexts\rar\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf^CD:\FullTexts\rar\ИРБИС_документация.rar | ||
+ | |||
+ | * '''Ссылка на документ в архиве <tt>.izp</tt>''' | ||
+ | |||
+ | ^AТехническая документация для WEB ИРБИС64 и WEB ИРБИС32.doc | ||
==Рекомендации по включению полнотекстовых документов в базу данных ИРБИС с помощью АРМ Администратор== | ==Рекомендации по включению полнотекстовых документов в базу данных ИРБИС с помощью АРМ Администратор== | ||
− | Включение полнотекстовых документов в базу данных ИРБИС осуществляется с помощью специального диалогового окна, которое открывается при вызове пункта главного меню ''Полнотекстовый сервис – Добавить (удалить) тексты в БД''. | + | Включение полнотекстовых документов в базу данных ИРБИС осуществляется с помощью специального диалогового окна, которое открывается при вызове пункта главного меню ''Полнотекстовый сервис – Добавить / удалить полнотекстовые документы'' (или ''Полнотекстовый сервис – Добавить (удалить) тексты в БД'' в версиях до 2010.1). |
Собственно включение полнотекстовых документов в базу данных ИРБИС происходит после нажатия кнопки ''Добавить''. | Собственно включение полнотекстовых документов в базу данных ИРБИС происходит после нажатия кнопки ''Добавить''. |
Версия 18:13, 15 октября 2010
В версии АРМ Администратор полнотекстовых БД присутствует функциональная возможность включения полнотекстовых документов в базу данных ИРБИС.
Идея включения полнотекстовых документов в базу данных ИРБИС – предоставить пользователю возможность осуществлять полнотекстовый поиск и просмотр найденных документов.
В полнотекстовые базы данных ИРБИС могут быть включены полнотекстовые документы в форматах HTML, TXT, RTF, PDF, DJVU, DOC, XLS, PPT.
Содержание
- 1 Отличие возможности включения полнотекстовых документов в базу данных от возможности связывания документов базы данных с внешними объектами
- 2 Включение полнотекстовых документов в базу данных с точки зрения администратора системы ИРБИС
- 3 Настройки, доступные при включении полнотекстовых документов в базу данных ИРБИС
- 4 Информация, вносимая в базу данных при включении полнотекстовых документов
- 5 Рекомендации по включению полнотекстовых документов в базу данных ИРБИС с помощью АРМ Администратор
- 5.1 Включение в полнотекстовую базу полнотекстовых документов, на которые имеются ссылки в 951 поле другой базы данных ИРБИС
- 5.2 Использование относительных путей в качестве ссылок на полнотекстовые документы
- 5.3 Использование полных путей в качестве ссылок на полнотекстовые документы
- 5.4 Включение указанных пользователем документов или всех документов из указанной пользователем папки
- 5.5 Включение полнотекстовых документов с копированием в специально предназначенный архив в версии 2009.1
- 5.6 Полнотекстовые базы в Веб-ИРБИС
- 6 Известные проблемы и особенности процессов добавления полнотекстовых документов в базу и создания словаря
- 7 Ссылки
Отличие возможности включения полнотекстовых документов в базу данных от возможности связывания документов базы данных с внешними объектами
Не следует путать возможность включения полнотекстовых документов с возможностью связывания документов базы данных с внешними объектами.
Сходства возможностей:
- Обе эти возможности позволяют установить связь документов базы данных с внешними объектами.
Различия возможностей:
- Возможность связывания документов базы данных с внешними объектами ограничивается обеспечением простоты перехода пользователя от документа базы данных к внешнему объекту.
- Возможность включения полнотекстовых документов в базу данных обеспечивает полнотекстовый поиск, а также переход пользователя к найденным внешним объектам.
Включение полнотекстовых документов в базу данных с точки зрения администратора системы ИРБИС
К процессу включения полнотекстовых документов в базу данных ИРБИС относятся следующие действия:
- добавление текстов в базу данных,
- актуализация или создание словаря базы данных.
При добавлении текстов в базу данных добавляются соответствующие записи, содержащие ссылки на файлы с полными текстами. При этом тексты (текстовые данные) не извлекаются из файлов, а сами файлы остаются в неизменном виде на файловой системе.
При актуализации или создании словаря по содержащихся в записях базы ссылкам находятся соответствующие файлы (содержащие полные тексты), и тексты извлекаются из них. На основе извлечённых текстов строится словарь базы данных.
Следует иметь в виду:
- В словарь попадут только те термины, которые присутствуют в полнотекстовых документах в текстовом виде (не в виде графического изображения).
Настройки, доступные при включении полнотекстовых документов в базу данных ИРБИС
Возможности выбора полнотекстовых документов, которые необходимо включить в базу данных ИРБИС
В зависимости от выбранных опций, в текущую базу данных могут быть включены:
- Документы, явно указанные пользователем.
- Все документы из папки, указанной пользователем.
- Все документы из архива ZIP или RAR, указанного пользователем.
- полнотекстовые документы, на которые имеются ссылки в 951 поле указанной пользователем базы данных ИРБИС.
Виды ссылок на полнотекстовые документы (относительные или абсолютные)
В зависимости от выбранных опций в базе данных ИРБИС могут быть сохранены относительные или абсолютные пути к файлам.
Возможность размещения полнотекстовых документов в специально предназначенном архиве
Примечание: начиная с версии 2010.1 планируется отказ от поддержки данной возможности в связи с недостатками. В связи с чем не рекомендуется использовать эту возможность.
В зависимости от выбранных опций, при включении полнотекстовых документов в базу данных документы могут быть скопированы в специально предназначенный архив – файл с расширением .izp в папке базы данных.
Информация, вносимая в базу данных при включении полнотекстовых документов
Ссылки на файлы полнотекстовых документов
Для ссылок на файлы полных текстов в полнотекстовой базе данных предлагается специальное поле (по умолчанию метка поля 952).
Поле доступно на рабочем листе Технологическая в АРМ Каталогизатор.
Для описания ссылки на полнотекстовый документ предлагаются подполя:
- А – имя файла полного текста. Данное подполе используется только для хранения ссылок на полнотекстовые документов в архиве с именем базы данных и расширением .izp, находящемся в папке базы данных. Начиная с версии 10.1 данный вид ссылок не поддерживается.
- B – в зависимости от вида ссылки это относительный, полный или виртуальный путь к файлу полного текста, или же некоторые данные, дополняющие гиперссылку. Относительный путь используется для полнотекстовых документов, хранящихся в папке базы данных (относительный путь начинается с точки). Полные пути используются для ссылок на полнотекстовые документы, находящиеся вне папки базы данных. Виртуальные пути к текстовым документам используются для ссылок на полнотекстовые документы, хранящиеся в архивах .zip и .rar, а также в случае ссылок на отдельные страницы многостраничных документов .pdf и .djvu. Виртуальная ссылка, хранящаяся в этом подполе, позволяет узнать имя файла внутри архива или номер страницы многостраничного документа, но не имя файла архива или многостраничного документа.
- C – полный путь к файлу zip/rar/pdf/djvu. Данное подполе используется для ссылок на полнотекстовые документы в архиве или отдельные страницы многостраничного документа.
- I – URL текста, перенесённого из электронного каталога.
Примеры заполнения подполей:
- Относительная ссылка на документ
^B.\texts\irbis64_2008.doc
- Абсолютная ссылка на документ
^BD:\FullTexts\doc\ИРБИС_документация\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.doc
- Ссылка на 69-ю страницу pdf-документа (относительная ссылка на документ)
^B.\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ__0069.pdf^CC:\irbisFT-2010-02-15\IRBIS64\Datai\TEST-PDF\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf
- Ссылка на 1-ю страницу pdf-документа (абсолютная ссылка на документ)
^BD:\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ__0001.pdf^CD:\FullTexts\pdf\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf
- Ссылка на документ в архиве
^BD:\FullTexts\rar\ТЕХНИЧЕСКАЯ ДОКУМЕНТАЦИЯ.pdf^CD:\FullTexts\rar\ИРБИС_документация.rar
- Ссылка на документ в архиве .izp
^AТехническая документация для WEB ИРБИС64 и WEB ИРБИС32.doc
Рекомендации по включению полнотекстовых документов в базу данных ИРБИС с помощью АРМ Администратор
Включение полнотекстовых документов в базу данных ИРБИС осуществляется с помощью специального диалогового окна, которое открывается при вызове пункта главного меню Полнотекстовый сервис – Добавить / удалить полнотекстовые документы (или Полнотекстовый сервис – Добавить (удалить) тексты в БД в версиях до 2010.1).
Собственно включение полнотекстовых документов в базу данных ИРБИС происходит после нажатия кнопки Добавить.
Существует ряд настроек, касающихся особенностей включения полнотекстовых документов в базу данных ИРБИС, которым посвящены следующие подразделы.
Включение в полнотекстовую базу полнотекстовых документов, на которые имеются ссылки в 951 поле другой базы данных ИРБИС
Возможность осуществляется с помощью кнопки Добавить тексты из ЭК.
Данная возможность предусмотрена для следующего случая: если в полнотекстовую базу данных нужно включить полнотекстовые документы, которые уже связаны с существующей базой данных ИРБИС через 951 поле.
Использование относительных путей в качестве ссылок на полнотекстовые документы
Относительные пути рекомендуется использовать в тех случаях, когда файлы полнотекстовых документов хранятся внутри папки соответствующей базы данных (непосредственно или в одной из вложенных папок).
Достоинства:
- тексты будут доступны при переносе базы данных;
- тексты будут доступны через Веб-ИРБИС.
Использование полных путей в качестве ссылок на полнотекстовые документы
Для обеспечения работоспособности ссылок в локальной сети рекомендуется использовать полные сетевые пути с указанием имени компьютера.
Недостатки:
- тексты не будут доступны через Веб-ИРБИС.
Если эти тексты имеют URL-адреса, то для обеспечения доступа к ним через Веб-ИРБИС можно использовать перенаправление (при котором происходит замена их сетевых адресов на URL).
Для этого в файле irbis_server.ini, который был создан при инсталляции в папке Веб-сервера для Веб-шлюза ИРБИС, в секции MAIN задать параметры (приведен пример значений параметров):
FullTextPathDbn=\\Alio1\irbiswrk\lusia\PDF_text\ FullTextPathWeb=ftp:\\ftp.gpntb.ru\pub\irbis\
В первом параметре следует указать сетевой путь на тексты, которые располагались по этому пути при их добавлении, в примере это - \\Alio1\irbiswrk\lusia\PDF_text\. Во втором параметре следует указать часть URL текстов (до их названия) их расположения. В примере это - ftp:\\ftp.gpntb.ru\pub\irbis\.
В формате BRIEFHTML_ft.pft имеется вставка (если нет, добавить), которая замещает в адресе текста (в подполе 952^B) путь на файл при создании на URL местоположения текста. Часть формата:
/* возможность замены формата через параметры irbis_server.ini из cgi if &uf('IMAIN,FullTextPathDbn,')<>'' and &uf('IMAIN,FullTextPathWeb,')<>'' then &uf('+7W10#',&uf('+9I?',,&uf('IMAIN,FullTextPathDbn,'),,'?#',,&uf('IMAIN,FullTextPathWeb,'),,'#',v952^B)), '<a style="border:0px;font-size:12px;" target=_blank href="',G10, else /*
Здесь использован форматный выход &uf('+9I?исходная строка?#выходная строка#строка где замена). Ограничители ? и # могут быть любыми символами с кодом меньше 128.
Включение указанных пользователем документов или всех документов из указанной пользователем папки
Выбор одного из вариантов осуществляется с помощью флажка Добавить директорию с текстами.
Включение полнотекстовых документов с копированием в специально предназначенный архив в версии 2009.1
Примечание: начиная с версии 2010.1 планируется отказ от поддержки данной возможности в связи с недостатками. В связи с чем не рекомендуется использовать эту возможность.
Опции включения полнотекстовых документов, совместимые с данной:
- Возможно включение как указанных пользователем документов, так и всех документов из указанной папки.
Достоинства:
- Компактное хранение полнотекстовых документов (это относится к документам, хорошо поддающимся сжатию при архивации).
- При перемещении папки с базой данных не требуется изменений в ссылках на файлы, поскольку ссылки являются относительными (только имя документа в архиве).
Недостатки:
- Дополнительные затраты времени на разархивирование при обеспечении доступа к полнотекстовому документу.
- Тексты не доступны через Веб-ИРБИС.
Полнотекстовые базы в Веб-ИРБИС
Если в полнотекстовом документе в формате HTML имеются ссылки на изображения или другие страницы, то они должны быть указаны в форме URL.
Известные проблемы и особенности процессов добавления полнотекстовых документов в базу и создания словаря
Разбиение PDF-файлов на страницы
Разбиение PDF-файлов на страницы выполняется при добавлении текстов в базу, если выставлена соответствующая опция, а также при создании словаря (для текстов, являющихся страницами многостраничного PDF-файла).
Разбиение на страницы осуществляется с помощью одной из утилит: pdftk или pdf2pdf.
Утилита выбирается в соответствии со значением параметра PDFSplitter в конфигурационном файле АРМ Администратор ИРБИС.
Известные проблемы:
- Утилита pdftk не разбивает файлы, содержащие в имени файла русские буквы. Такие файлы следует либо переименовать, либо разбивать с помощью утилиты pdf2pdf.
- Утилита pdf2pdf не разбивает файлы версии 1.6. Такие файлы следует разбивать с помощью утилиты pdftk.
Извлечение текста из PDF-файлов
Извлечение текста из PDF-файлов выполняется при создании словаря.
Извлечение текста осуществляется с помощью одной из утилит: pdftotext.exe или docs2text.exe.
Утилита выбирается в соответствии со значением параметра Converter_PDF в конфигурационном файле АРМ Администратор ИРБИС.
Следует иметь в виду:
- В случае использования утилиты docs2text.exe в системе должна быть зарегистрирована библиотека docs2text.dll. Для регистрации библиотеки используется инструмент Windows Regsvr32.exe.
Известные проблемы:
- Утилита docs2text.exe не разбивает файлы версии 1.6. Такие файлы следует разбивать с помощью утилиты pdftotext.exe.
Извлечение текста из DOC-файлов
Извлечение текста из DOC-файлов выполняется при создании словаря.
Извлечение текста осуществляется с помощью утилиты docs2text.exe или с помощью программы Microsoft Word (с использованием технологии Ole Automation).
Способ извлечения текста выбирается в соответствии со значением параметра Converter_Word в конфигурационном файле АРМ Администратор ИРБИС.
Следует иметь в виду:
- Для извлечения текста вторым способом необходимо наличие установленного приложения Microsoft Word.
- В случае использования утилиты docs2text.exe в системе должна быть зарегистрирована библиотека docs2text.dll. Для регистрации библиотеки используется инструмент Windows Regsvr32.exe.
Известные проблемы:
- Практика показывает, что утилита docs2text.exe не извлекает текст из файлов, содержащих много графических изображений, файлов большого размера (например, десятки мегабайт). При извлечении текста из таких файлов следует выбирать способ с использованием программы Microsoft Word.
- Практика показывает, что при извлечении текста с использованием программы Microsoft Word, не извлекается текст из автофигур. Для извлечении текста из автофигур следует выбирать способ с использованием утилиты docs2text.exe.
Ссылки
См. также: