Просмотр исходного текста страницы Таблица выбора полей

'''''Таблица выбора полей (ТВП)''''' определяет правила выбора одного или нескольких '''''элементов''''' в контексте [[Базы данных ИРБИС#Виды баз данных ИРБИС 64|записи базы данных]]. '''''Элемент''''' может быть в общем виде определён как фрагмент записи, выделенный в результате определённой обработки. Хотя во многих случаях ''элементами'' будут ''элементы данных'' (поля или подполя), могут также употребляться слова, фразы или другие фрагменты данных, которые имеют определённое значение в специальных приложениях.

==Применение ТВП==

Выбранные элементы применяются в зависимости от конкретного варианта использования.

ТВП может использоваться для переформатирования записей во время операций импорта, экспорта или копирования.

===ТВП для инвертированного файла===

''ТВП для инвертированного файла'' – специальная ТВП, которая [[Индекс базы данных ИРБИС|определяет содержимое ''индекса'' (''словаря'') базы данных ИРБИС]].

==Общие сведения==

Таблица выбора полей как отдельная структура сохраняется в текстовом файле с расширением [[Файлы ИРБИС#Файлы таблиц выбора полей (ТВП) ИРБИС|<tt>.fst</tt>]].

Файл ТВП представляет собой набор строк, каждая из которых содержит следующие три элемента, разделенные знаком пробел:
* '''''идентификатор поля''''' (ИП);
* '''''метод индексирования''''' (МИ);
* '''''формат выборки данных''''', представленный на [[Язык форматирования системы ИРБИС|языке форматирования системы ИРБИС]].

Когда появляется необходимость в выборке элементов с использованием ТВП, система производит чтение требуемых записей [[Базы данных ИРБИС#Файл документов базы данных ИРБИС|файла документов]], и выполняет следующие действия по каждой записи и каждой строке ТВП:
# использует ''формат выборки данных'' для извлечения и форматирования соответствующих данных из записи;
# применяет указанный ''метод индексирования'' к данным, полученным с помощью предыдущего шага;
# присваивает каждому элементу, полученному подобным образом, указанный ''идентификатор поля''.
Процесс выборки элементов с использованием ТВП является чисто механическим, описанные шаги связаны только лишь данными, которые создаются при их выполнении. Например, тот факт, что на шаге 1 произошла выборка данных из конкретного поля, является несущественным на шаге 2. На шаге 1 могут использоваться все возможности языка форматирования для создания строки символов, которая затем поступает в распоряжение шага 2. На шаге 2 поступившие строки символов обрабатываются в соответствии с указанным методом индексирования. Методы индексирования представляют собой операции со строками символов, а не с записями или полями. Именно благодаря такому универсальному пониманию сути ТВП, предоставляется возможность использовать их для таких, на первый взгляд совершенно не связанных целей, как определение содержимого инвертированного файла и способ преобразования данных при импорте документов.

В самом общем смысле ТВП представляет собой механизм порождения элементов данных на основе имеющихся, применяемый для выполнения определенных задач.

==Параметры ТВП==

Ниже описаны параметры строк ТВП в том порядке, в каком они обрабатываются (в строке ТВП они расположены в обратном порядке).

===Формат выборки данных===

'''''Формат выборки данных''''' создается с использованием средств [[Язык форматирования системы ИРБИС|языка форматирования]].

Такие средства языка  форматирования как средства RTF и HTML и переменные метки нельзя применять в форматах выборки ТВП.

Для некоторых методов индексирования существенной является концепция ''строки''. В этом случае весьма ответственным является употребление команд перехода на новую строку.

Также весьма важным является употребление команд ''режима вывода'', так как некоторые методы индексирования фактически требуют наличия конкретного режима вывода. В связи с этим, пользователь сам должен побеспокоиться, чтобы тот или иной формат выборки данных содержал необходимые команды режима вывода.

Следует также отметить, что использование преобразования букв в прописные может повлиять на дальнейшую обработку данных, создаваемых с помощью ТВП. Как правило, не нужно использовать такое преобразование, то есть надо использовать режимы mpl, mhl, mdl, а не mpu, mhu, mdu. Система  автоматически производит преобразование букв в прописные, когда в этом появляется необходимость. Например, все элементы, создаваемые ТВП для инвертированного файла, переводятся в прописные буквы до их размещения в словаре, даже если ТВП порождает элементы в виде строчных букв.

===Методы индексирования===

'''''Метод индексирования''''' определяет специфическую обработку данных, созданных форматом. Имеется девять методов индексирования. Они идентифицируются числовыми кодами от 0 до 8.

====Метод индексирования 0====

Создаёт элемент из каждой строки, сформированной в соответствии с форматом. Этот метод обычно используется для индексирования в целом всего поля или подполя. Следует обратить особое внимание, что система в данном случае строит элементы из строк, а не из полей. В качестве выходного результата форматирования выступает строка символов, в которой нет никакого указания на ее принадлежность (или принадлежность части строки) тому или иному полю или подполю. Поэтому следует быть особенно внимательным, чтобы формат порождал корректные данные, особенно в тех случаях, когда индексируются повторяющиеся поля и/или более одного поля. Другими словами, при использовании данного метода, выводимые в соответствии с форматом отбора данные должны быть представлены отдельной строкой для каждого индексируемого элемента.

====Метод индексирования 1====

Создаёт элемент из каждого подполя или строки, созданных форматом. Так как в этом случае система будет производить поиск кодов разделителей подполей в строке, созданной форматом, то для обеспечения правильной работы метода в формате должен быть указан режим проверки mpl (или вообще не указан никакой режим, так как режим проверки выбирается по умолчанию), который обеспечивает сохранность разделителей подполей в выходном результате формата. Напомним, что режимы заголовка и данных заменяют разделители подполей на знаки пунктуации. Отметим, что метод индексирования 1 позволяет сделать описание более коротким, чем метод индексирования 0.

Ниже приведены примеры использования данного метода. Показано, как работает метод в режиме данных.

'''Содержание поля 26 используемой в примерах записи:'''
 26 ^aParis^bUnesco^c1965

{| class="standard"
 !ТВП||Результат форматирования||Порождённые ТВП элементы
 |-
 |<tt>1 1 mpl,v26</tt>||<tt>^aParis^bUnesco^c1965</tt>||
 {| class=""
  |Paris
  |-
  |Unesco
  |-
  |1965
 |}
 |-
 |<tt>1 0 mhl,v26^a/v26^b/v26^c</tt>||
 {| class=""
  |Paris
  |-
  |Unesco
  |-
  |1965
 |}
||
 {| class=""
  |Paris
  |-
  |Unesco
  |-
  |1965
 |}
 |-
 |<tt>1 1 mdl,v26</tt>||<tt>Paris, Unesco, 1965</tt>||<tt>Paris, Unesco, 1965</tt>
|}

====Метод индексирования 2====

Создаёт элемент из каждого термина или фразы, заключенных в угловые скобки (<tt><</tt>…<tt>></tt>). Любой текст, расположенный вне скобок, не индексируется. Заметим, что данный метод требует, чтобы в формате указывался [[Язык форматирования системы ИРБИС#Команды режима вывода|режим проверки]], так как любой другой режим вывода удаляет угловые скобки. Например, текст
 <Отчет> по использованию <информатики> и <программирования> в <средней школе>
приведет к порождению следующих элементов:
 отчет
 информатики
 программирования
 средней школе

====Метод индексирования 3====

Создаёт элемент из каждого термина или фразы, заключенных в косые черты (<tt>/</tt>…<tt>/</tt>). Во всём остальном он работает точно так же, как и метод индексирования 2. Например, текст
 /Отчет/ по использованию /информатики/ и /программирования/ в /средней школе/
приведет к порождению следующих элементов:
 отчет
 информатики
 программирования
 средней школе

====Метод индексирования 4====

Создаёт элемент из каждого слова в тексте, созданном форматом.

Подробнее о выборе слов см. подраздел ''[[#Алгоритм выбора слов|Алгоритм выбора слов]]''.

При использовании данного метода для индексации поля, содержащего разделители подполей, в формате выборки данных необходимо указать [[Язык форматирования системы ИРБИС#Команды режима вывода|режимы заголовка или данных]] (mhl или mdl) с тем, чтобы замена разделителей подполей произошла до индексации, так как в противном случае буква разделителя подполей будет рассматриваться как составная часть слова.

====Методы индексирования 5, 6, 7, 8====

Методы индексирования 5, 6, 7 и 8 аналогичны соответственно методам 1, 2, 3, 4 за исключением того, что они дополнительно предоставляют возможность присоединять к индексируемым терминам префиксы. Присоединяемый префикс определяется в формате выборки данных в виде безусловного литерала и имеет следующий вид:
 'dp...pd', [format]
где:
* <tt>d</tt> – выбранный по усмотрению пользователя ограничитель, который не попадает в текст префикса;
* <tt>p..p</tt> – собственно префикс.

Например, строка ТВП
 1  8  '/К=/',v200^a
приведет к индексированию каждого слова подполя <tt>a</tt> поля 200 с предварительным присоединением к каждому термину префикса <tt>К=</tt>.

Эти методы широко применяются в системе ИРБИС для определения принадлежности терминов к определенным элементам описания. Именно на основе этих методов создается модель словарей по различным элементам данных ("Авторы", "Заглавие" и т.д.). При этом при показе словарей соответствующие префиксы опускаются.

====Метод индексирования 9====

Метод индексирования 9 был разработан в качестве расширения концепции ТВП. Реализован в рамках технологии [[Полнотекстовые базы данных ИРБИС|полнотекстовых баз данных ИРБИС]], и работает только для функций создания и актуализации словаря.

Подробнее см. [[Механизм полнотекстового поиска#Метод индексирования 9|подразделе ''Метод индексирования 9'' статьи ''Механизм полнотекстового поиска'']].

===Идентификатор поля===

'''''Идентификатор поля''''' – это число, которое назначается каждому элементу, создаваемому на шаге индексирования. Смысл идентификатора поля зависит от целей последующего использования ТВП. В случае [[#ТВП для инвертированного файла|использования ТВП для создания инвертированного файла]] идентификатор поля представляет собой вторую компоненту индексной ссылки для соответствующего термина. При использовании ТВП для переформатирования (импорта, экспорта, копирования), идентификатор поля представляет собой метку, присваиваемую экспортируемому, импортируемому или копируемому полю.

==Алгоритм выбора слов==

Выбор слов происходит при использовании методов индексирования [[#Метод индексирования 4|4]], [[#Методы индексирования 5, 6, 7, 8|8]] и [[#Метод индексирования 9|9]].

Выбор слов необходим при [[Индекс базы данных ИРБИС|индексировании базы данных]].

''Примечание: см. также [[Рекомендации по обслуживанию баз данных ИРБИС#Настройка процесса выбора слов в словарь базы данных|рекомендации по настройке процесса выбора слов в словарь базы данных]].''

===Выбор слов из текста===

Разбиение некоторого текста на слова осуществляется на основе разделения символов на '''''алфавитные''''' (являющиеся частью слова) и '''''неалфавитные'''''.

Разбиение текста на слова осуществляется в соответствии со следующими правилами:
* словом считается непрерывная последовательность '''''алфавитных символов''''';
* '''''неалфавитные''''' символы отделяют одно слово от другого.

Символ считается алфавитным, если код символа присутствует в так называемой '''''таблице алфавитных символов'''''. '''''Таблица алфавитных символов''''' присутствует в системе ИРБИС в виде [[Файлы ИРБИС#Таблица алфавитных символов|текстового файла <tt>ISISACW.TAB</tt>]].

===Отбрасывание стоп-слов===

Система отбрасывает стоп-слова.

Список стоп-слов определён в [[Файлы ИРБИС#Файл стоп-слов|'''''файле стоп-слов''''']].

==Ссылки==

'''См. также:'''
* [[Базы данных ИРБИС]]
* [[Полнотекстовые базы данных ИРБИС]]
* [[Язык форматирования системы ИРБИС]]
* [[Язык запросов ИРБИС]]
* [[Индекс базы данных ИРБИС]]
* [[Механизм актуализации записи]]

'''Источники информации:'''
* [[Общее описание системы ИРБИС64]]

[[Категория:Языки и алгоритмы ИРБИС]]
[[Категория:Базы данных ИРБИС]]
[[Категория:Анонсированные статьи]]