Список изменений ИРБИС версии 2014.1 — различия между версиями

Материал из Wikipedia
Перейти к: навигация, поиск
Строка 3: Строка 3:
 
===Версия 2014.1 (в разработке)===
 
===Версия 2014.1 (в разработке)===
  
−
====Доработки====
+
====Доработки АРМ Администратор и АРМ Читатель для полнотекстовых БД====
  
−
* Оптимизирован процесс создания словаря: при создании словаря текстовый слой сохраняется в БД, если не был сохранён ранее; если текстовый слой ранее был сохранён в БД, то он не извлекается. Это позволяет избежать повторного извлечения текста из тех текстовых документов, из которых он был извлечён ранее. Например, это ускоряет процесс создания словаря в том случае, если в БД были добавлены тексты, и осуществляется Создание словаря заново.
+
'''Доработка ''Формы добавления текстов'':'''
  
−
Для хранения текстового слоя в БД [[была изменена схема полнотекстовой БД: было добавлено поле 27]].
+
* Обеспечена "отзывчивость" формы для полнотекстовых баз данных со значительным количеством текстов (тысячи). На форме в списке добавленных по умолчанию отображается только часть текстов: в количестве, не превышающем значение, указанное в параметре <tt>FT_LIST_PORTION_SIZE</tt> секции <tt>MAIN</tt> (отсутствие параметра эквивалентно указанию 1000). При необходимости показа большего количества текстов можно воспользоваться кнопкой ''Показать больше текстов''.
  
−
Также, если текстовый слой ранее был сохранён в БД, то не обновляются: индекс естественно-тематического классификатора (поле 21), первые строки текста (поле 22), количество слов в тексте (поле 20). Соответственно, утратил актуальность параметр <tt>isNeedRefreshBriefText</tt>.
+
* Повышена выразительность: теперь в таблице одному PDF файлу соответствует одна запись (не показывается ссылка на каждую страницу PDF-файла).
  
−
* Изменения, касающиеся таблицы добавленных текстов в форме добавления текстов:
+
'''Доработки, касающиеся оптимизации процессов включения текстов в ПБД и создания словаря:'''
−
** Устранено "зависание" формы (необходимость длительного ожидания), проявлявшееся с увеличением количества добавленных текстов (тысячи). В результате, для устранения "зависания" решено, что могут быть показаны не все добавленные тексты: форма показывает количество текстов, не превышающее количество, указанное в параметре <tt>FT_LIST_PORTION_SIZE</tt> секции <tt>MAIN</tt> (отсутствие параметра эквивалентно указанию 1000). При необходимости добавлена кнопка ''Показать больше текстов''.
 
−
** Повышена выразительность: теперь в таблице одному PDF файлу соответствует одна запись (не показывается ссылка на каждую страницу PDF-файла).
 
  
−
* [[Включение текстов в полнотекстовую базу данных#Включение в полнотекстовую базу текстов из базы данных электронного каталога|Повышена гибкость алгоритма импорта текстов из электронного каталога.]] Обычно для поиска ссылок на тексты используется подполе <tt>v951^A</tt>. Ранее данное правило было жёстко закреплено. [[Теперь для получения ссылок используется формат, который можно указать в параметре]] <tt>EC_IMPORT_PATH_FORMAT</tt> секции <tt>TEXTS</tt>.
+
* Оптимизирован процесс создания словаря: при создании словаря текстовый слой сохраняется в БД, если не был сохранён ранее; если текстовый слой ранее был сохранён в БД, то он не извлекается. Это позволяет избежать повторного извлечения текста из тех текстовых документов, из которых он был извлечён ранее. Например, это ускоряет процесс создания словаря при повторном ''Создании словаря заново'' (после добавления текстов в БД).<br/>Для хранения текстового слоя в БД [[#Изменения схемы полнотекстовой БД|добавлено поле 27]].<br/>Также, если текстовый слой ранее был сохранён в БД, то не обновляются: индекс естественно-тематического классификатора (поле 21), первые строки текста (поле 22), количество слов в тексте (поле 20). Соответственно, утратил актуальность параметр <tt>isNeedRefreshBriefText</tt>.
  
−
* Проверка присутствия текста в БД для многостраничного документа:
+
* Алгоритм [[Включение текстов в полнотекстовую базу данных#Включение в полнотекстовую базу текстов из базы данных электронного каталога|импорта текстов из электронного каталога]] изменён таким образом, что ссылки могут быть сгенерированы в соответствии с указанным форматом. См. [[Включение текстов в полнотекстовую базу данных#Алгоритм получения ссылок из базы данных электронного каталога|подраздел ''Алгоритм получения ссылок из базы данных электронного каталога'' статьи ''Включение текстов в полнотекстовую базу данных'']].
 +
 
 +
* При включении текста в полнотекстовую базу [[Включение текстов в полнотекстовую базу данных#Исключение повторного добавления текстов|оптимизирована проверка присутствия текста в БД для многостраничного документа]]:
 
** Определяется номер последней страницы в документе (равный количеству страниц). Если количество страниц не удалось определить (для DJVU не определяется), то номер последней страницы считается равным 1.
 
** Определяется номер последней страницы в документе (равный количеству страниц). Если количество страниц не удалось определить (для DJVU не определяется), то номер последней страницы считается равным 1.
 
** Если последняя страница присутствует в базе, то считается, что данный многостраничный документ присутствует, и он пропускается.
 
** Если последняя страница присутствует в базе, то считается, что данный многостраничный документ присутствует, и он пропускается.
Строка 23: Строка 23:
  
 
* Для файлов PDF при добавлении документа не производится разбиение на страницы. Впрочем, нельзя однозначно считать это оптимизацией. Поскольку извлечённые страницы сохраняются в кеше (до закрытия АРМ Администратор, или на постоянной основе, если настроен кеш). При построении словаря всё равно возникает необходимость извлекать страницы. Разница в том, процесс отбора может быть многопроцессным. С другой стороны, в зависимости от настроек, при отборе может происходить разбиение на страницы (что быстрее, но теряет силу аргумент ускорения за счёт многопроцессного отбора), или извлекаться отдельные страницы (что значительно медленнее).
 
* Для файлов PDF при добавлении документа не производится разбиение на страницы. Впрочем, нельзя однозначно считать это оптимизацией. Поскольку извлечённые страницы сохраняются в кеше (до закрытия АРМ Администратор, или на постоянной основе, если настроен кеш). При построении словаря всё равно возникает необходимость извлекать страницы. Разница в том, процесс отбора может быть многопроцессным. С другой стороны, в зависимости от настроек, при отборе может происходить разбиение на страницы (что быстрее, но теряет силу аргумент ускорения за счёт многопроцессного отбора), или извлекаться отдельные страницы (что значительно медленнее).
 +
 +
'''Прочие доработки:'''
  
 
* Текст NO_TEXT_AT_PAGE для нераспознанных страниц и соответствующий параметр.
 
* Текст NO_TEXT_AT_PAGE для нераспознанных страниц и соответствующий параметр.
 +
 +
====Изменения схемы полнотекстовой БД====
 +
 +
* [[Добавлено поле 27.]]
 +
 +
====Список обновлённых файлов в дистрибутиве====
 +
 +
* <tt>Irbis64_FullTextAdministrator.exe</tt>
 +
* <tt>Irbis64_FullTextReader.exe</tt>
 +
* <tt>irbis64.dll</tt>
 +
 +
У данных запускаемых файлов и dll отсутствует совместимость с запускаемыми файлами и dll предыдущих версий.
 +
 +
====Список изменений в конфигурационных файлах====
 +
 +
=====<tt>irbisa_fulltext.ini</tt>=====
 +
 +
[main]
 +
# FT_LIST_PORTION_SIZE - отсутствует в исходной конфигурации
 +
 +
[texts]
 +
# EC_IMPORT_PATH_FORMAT - отсутствует в исходной конфигурации
 +
# isNeedRefreshBriefText - утрачивает актуальность, убран из исходной конфигурации
  
 
==Ссылки==
 
==Ссылки==

Версия 16:58, 24 декабря 2014

Продукты ИРБИС для работы с полнотекстовыми базами данных

Версия 2014.1 (в разработке)

Доработки АРМ Администратор и АРМ Читатель для полнотекстовых БД

Доработка Формы добавления текстов:

  • Обеспечена "отзывчивость" формы для полнотекстовых баз данных со значительным количеством текстов (тысячи). На форме в списке добавленных по умолчанию отображается только часть текстов: в количестве, не превышающем значение, указанное в параметре FT_LIST_PORTION_SIZE секции MAIN (отсутствие параметра эквивалентно указанию 1000). При необходимости показа большего количества текстов можно воспользоваться кнопкой Показать больше текстов.
  • Повышена выразительность: теперь в таблице одному PDF файлу соответствует одна запись (не показывается ссылка на каждую страницу PDF-файла).

Доработки, касающиеся оптимизации процессов включения текстов в ПБД и создания словаря:

  • Оптимизирован процесс создания словаря: при создании словаря текстовый слой сохраняется в БД, если не был сохранён ранее; если текстовый слой ранее был сохранён в БД, то он не извлекается. Это позволяет избежать повторного извлечения текста из тех текстовых документов, из которых он был извлечён ранее. Например, это ускоряет процесс создания словаря при повторном Создании словаря заново (после добавления текстов в БД).
    Для хранения текстового слоя в БД добавлено поле 27.
    Также, если текстовый слой ранее был сохранён в БД, то не обновляются: индекс естественно-тематического классификатора (поле 21), первые строки текста (поле 22), количество слов в тексте (поле 20). Соответственно, утратил актуальность параметр isNeedRefreshBriefText.
  • При включении текста в полнотекстовую базу оптимизирована проверка присутствия текста в БД для многостраничного документа:
    • Определяется номер последней страницы в документе (равный количеству страниц). Если количество страниц не удалось определить (для DJVU не определяется), то номер последней страницы считается равным 1.
    • Если последняя страница присутствует в базе, то считается, что данный многостраничный документ присутствует, и он пропускается.
    • В противном случае производится попытка добавить каждую страницу документа.
  • Для файлов PDF при добавлении документа не производится разбиение на страницы. Впрочем, нельзя однозначно считать это оптимизацией. Поскольку извлечённые страницы сохраняются в кеше (до закрытия АРМ Администратор, или на постоянной основе, если настроен кеш). При построении словаря всё равно возникает необходимость извлекать страницы. Разница в том, процесс отбора может быть многопроцессным. С другой стороны, в зависимости от настроек, при отборе может происходить разбиение на страницы (что быстрее, но теряет силу аргумент ускорения за счёт многопроцессного отбора), или извлекаться отдельные страницы (что значительно медленнее).

Прочие доработки:

  • Текст NO_TEXT_AT_PAGE для нераспознанных страниц и соответствующий параметр.

Изменения схемы полнотекстовой БД

Список обновлённых файлов в дистрибутиве

  • Irbis64_FullTextAdministrator.exe
  • Irbis64_FullTextReader.exe
  • irbis64.dll

У данных запускаемых файлов и dll отсутствует совместимость с запускаемыми файлами и dll предыдущих версий.

Список изменений в конфигурационных файлах

irbisa_fulltext.ini
[main]
# FT_LIST_PORTION_SIZE - отсутствует в исходной конфигурации

[texts]
# EC_IMPORT_PATH_FORMAT - отсутствует в исходной конфигурации
# isNeedRefreshBriefText - утрачивает актуальность, убран из исходной конфигурации

Ссылки

См. также:

Источник — «http://wiki.elnit.org/index.php?title=Список_изменений_ИРБИС_версии_2014.1&oldid=2334»