Таблица выбора полей — различия между версиями

Материал из Wikipedia
Перейти к: навигация, поиск
Строка 15: Строка 15:
  
 
В самом общем смысле ТВП представляет собой механизм порождения элементов данных на основе имеющихся, применяемый для выполнения определенных задач.
 
В самом общем смысле ТВП представляет собой механизм порождения элементов данных на основе имеющихся, применяемый для выполнения определенных задач.
 +
 +
==Параметры ТВП==
 +
 +
Ниже описаны параметры строк ТВП в том порядке, в каком они обрабатываются (в строке ТВП они расположены в обратном порядке).
 +
 +
===Формат выборки данных===
 +
 +
Формат выборки данных создается с использованием средств языка форматирования (см. Приложение 4).
 +
Такие средства языка  форматирования как средства RTF и HTML и пе-ременные метки нельзя применять в форматах выборки ТВП.
 +
Для некоторых методов индексирования существенной является концеп-ция строки - в этом случае весьма ответственным является употребление ко-манд перехода на новую строку.
 +
Также весьма важным является употребление команд режима вывода (см. Приложение 4 п.3.), так как некоторые методы индексирования фактически требуют наличия конкретного режима вывода (см. ниже описание методов ин-дексирования). В связи с этим, пользователь сам должен побеспокоиться, что-бы тот или иной формат выборки данных содержал необходимые команды ре-жима вывода.
 +
Следует также отметить, что использование преобразования букв в про-писные может повлиять на дальнейшую обработку данных, создаваемых с по-мощью ТВП. Как правило, не нужно использовать такое преобразование, то есть надо использовать режимы mpl, mhl, mdl, а не mpu, mhu, mdu. Система  автоматически производит преобразование букв в прописные, когда в этом по-является необходимость. Например, все элементы, создаваемые ТВП для ин-вертированного файла, переводятся в прописные буквы до их размещения в словаре, даже если ТВП порождает элементы в виде строчных букв.
 +
 +
===Методы индексирования===
 +
 +
Метод индексирования определяет специфическую обработку данных, созданных форматом. Имеется девять методов индексирования. Они идентифицируются числовыми кодами от 0 до 8. Описание методов индексирования приведено ниже.
 +
 +
====Метод индексирования 0====
 +
 +
Создаёт элемент из каждой строки, сформированной в соответствии с форматом. Этот метод обычно используется для индексирования в целом всего поля или подполя. Следует обратить особое внимание, что система в данном случае строит элементы из строк, а не из полей. В качестве выходного результата форматирования выступает строка символов, в которой нет никакого указания на ее принадлежность (или принадлежность части строки) тому или иному полю или подполю. Поэтому следует быть особенно внимательным, чтобы формат порождал корректные данные, особенно в тех случаях, когда индексируются повторяющиеся поля и/или более одного поля. Другими словами, при использовании данного метода, выводимые в соответствии с форматом отбора данные должны быть представлены отдельной строкой для каждого индексируемого элемента.
 +
 +
====Метод индексирования 1====
 +
 +
Создается элемент из каждого подполя или строки, созданных форматом. Так как в этом случае система будет производить поиск кодов разделителей подполей в строке, созданной форматом, то для обеспечения правильной работы метода в формате должен быть указан режим проверки mpl (или вообще не указан никакой режим, так как режим проверки выбирается по умолчанию), который обеспечивает сохранность разделителей подполей в выходном результате формата. Напомним, что режимы заголовка и данных заменяют разделители подполей на знаки пунктуации. Отметим, что метод индексирования 1 позволяет сделать описание более коротким, чем метод индексирования 0.
 +
 +
Ниже приведены примеры использования данного метода. Показано, как работает метод в режиме данных.
 +
 +
Содержание поля 26 записи:
 +
26 ^aParis^bUnesco^c1965
 +
 +
{| class="standard"
 +
!ТВП||Результат форматирования||Создаваемый элемент
 +
|-
 +
|<tt>1 1 mpl,v26</tt>||<tt>^aParis^bUnesco^c1965</tt>||{| class="standard"
 +
  |Paris
 +
  |-
 +
  |Unesco
 +
  |-1965
 +
  |}
 +
|-
 +
|Ячейка 1*2||Ячейка 2*2||Ячейка 3*2
 +
|-
 +
|Ячейка 1*3||Ячейка 2*3||Ячейка 3*3
 +
|}
 +
 +
====Метод индексирования 2====
 +
 +
Создается элемент из каждого термина или фразы, заключенных в угло-вые скобки (<...>). Любой текст, расположенный вне скобок, не индексируется. Заметим, что данный метод требует, чтобы в формате указывался режим про-верки, так как любой другой режим удаляет угловые скобки. Например, текст
 +
 +
<Отчет> по использованию <информатики> и <программирования> в <средней школе>
 +
 +
приведет к порождению следующих элементов:
 +
 +
отчет
 +
информатики
 +
программирования
 +
средней школе
 +
 +
====Метод индексирования 3====
 +
 +
Создается элемент из каждого термина или фразы, заключенных в косые черты (/.../). Во всем остальном он работает точно так же, как и метод индекси-рования 2. Например, текст
 +
 +
/Отчет/ по использованию /информатики/ и /программирования/ в /средней школе/
 +
 +
приведет к порождению следующих элементов:
 +
 +
отчет
 +
информатики
 +
программирования
 +
средней школе
 +
 +
====Метод индексирования 4====
 +
 +
Создается элемент из каждого слова в тексте, созданном форматом. Словом является непрерывная последовательность алфавитных символов Алфавитные символы определяются с помощью системной таблицы ISISACW.TAB.
 +
При использовании этого метода можно предотвратить индексацию по некоторым незначащим словам, определив их в специальном файле, получив-шем название файла стоп-слов (файл с расширением STW в директории БД).
 +
При использовании данного метода для индексации поля, содержащего разделители подполей, в формате выборки данных необходимо указать режи-мы заголовка или данных (mhl или mdl) с тем, чтобы замена разделителей подполей произошла до индексации, так как в противном случае буква разде-лителя подполей будет рассматриваться как составная часть слова.
 +
 +
====Методы индексирования 5, 6, 7, 8====
 +
 +
Методы индексирования 5, 6, 7 и 8 аналогичны соответственно методам 1, 2, 3, 4 за исключением того, что они дополнительно предоставляют возмож-ность присоединять к индексируемым терминам префиксы. Присоединяемый префикс определяется в формате выборки данных в виде безусловного лите-рала и имеет следующий вид:
 +
 +
'dp...pd', [format]
 +
 +
где:
 +
 +
Вd выбранный по усмотрению пользователя ограничитель (который не попадает в текст префикса;
 +
 +
Pp..p собственно префикс.
 +
 +
Например, строка ТВП
 +
 +
1  8  '/К=/',v200^a
 +
 +
приведет к индексированию каждого слова подполя А поля 200 с предва-рительным присоединением к каждому термину префикса "К=".
 +
Эти методы широко применяются в системе ИРБИС для определения принадлежности терминов к определенным элементам описания. Именно на основе этих методов создается модель словарей по различным элементам данных ("Авторы", "Заглавие" и т.д.) При этом при показе словарей соответст-вующие префиксы опускаются.
 +
 +
===Идентификатор поля===
 +
 +
Идентификатор поля - это число, которое назначается каждому элемен-ту, создаваемому на шаге индексирования. Смысл идентификатора поля зави-сит от целей последующего использования ТВП, как это объясняется ниже.
 +
 +
ТВП для инвертиро-ванного файла: идентификатор поля представ-ляет собой вторую компоненту ин-дексной ссылки (см. ниже) для соот-ветствующего термина;
 +
 +
 +
ТВП для переформати-рования (импор-та/экспорта/копирования): идентификатор поля представ-ляет собой метку, присваиваемую экспортируемому, импортируемому или копируемому полю.
 +
  
 
[[Категория:Техническое описание ИРБИС]]
 
[[Категория:Техническое описание ИРБИС]]

Версия 18:50, 17 августа 2011

Таблица выбора полей (ТВП) определяет критерии выбора одного или нескольких элементов из записи базы данных. В зависимости от конкретного варианта использования ТВП выбранные элементы затем применяются либо для создания набора терминов инвертированного файла (словаря) для записи, из которой они были извлечены, либо для переформатирования записей во время операций импорта, экспорта или копирования. Элемент может быть в общем виде определён как фрагмент записи, выделенный в результате определённой обработки. Хотя во многих случаях элементами будут элементы данных, т.е. поля или подполя, могут также употребляться слова, фразы или другие фрагменты данных, которые имеют определённое значение в специальных приложениях.

Таблица выбора полей как отдельная структура сохраняется в текстовом файле с расширением .fst.

Файл ТВП представляет собой набор строк, каждая из которых содержит следующие три элемента, разделенные знаком пробел:

Когда появляется необходимость в выборке элементов с использованием ТВП, система производит чтение требуемых записей файла документов, и выполняет следующие действия по каждой записи и каждой строке ТВП:

  1. использует формат выборки данных для извлечения и форматирования соответствующих данных из записи;
  2. применяет указанный метод индексирования к данным, полученным с помощью предыдущего шага;
  3. присваивает каждому элементу, полученному подобным образом, указанный идентификатор поля.

Процесс выборки элементов с использованием ТВП является чисто механическим, описанные шаги связаны только лишь данными, которые создаются при их выполнении. Например, тот факт, что на шаге 1 произошла выборка данных из конкретного поля, является несущественным на шаге 2. На шаге 1 могут использоваться все возможности языка форматирования для создания строки символов, которая затем поступает в распоряжение шага 2. На шаге 2 поступившие строки символов обрабатываются в соответствии с указанным методом индексирования. Методы индексирования представляют собой операции со строками символов, а не с записями или полями. Именно благодаря такому универсальному пониманию сути ТВП, предоставляется возможность использовать их для таких, на первый взгляд совершенно не связанных целей, как определение содержимого инвертированного файла и способ преобразования данных при импорте документов.

В самом общем смысле ТВП представляет собой механизм порождения элементов данных на основе имеющихся, применяемый для выполнения определенных задач.

Параметры ТВП

Ниже описаны параметры строк ТВП в том порядке, в каком они обрабатываются (в строке ТВП они расположены в обратном порядке).

Формат выборки данных

Формат выборки данных создается с использованием средств языка форматирования (см. Приложение 4). Такие средства языка форматирования как средства RTF и HTML и пе-ременные метки нельзя применять в форматах выборки ТВП. Для некоторых методов индексирования существенной является концеп-ция строки - в этом случае весьма ответственным является употребление ко-манд перехода на новую строку. Также весьма важным является употребление команд режима вывода (см. Приложение 4 п.3.), так как некоторые методы индексирования фактически требуют наличия конкретного режима вывода (см. ниже описание методов ин-дексирования). В связи с этим, пользователь сам должен побеспокоиться, что-бы тот или иной формат выборки данных содержал необходимые команды ре-жима вывода. Следует также отметить, что использование преобразования букв в про-писные может повлиять на дальнейшую обработку данных, создаваемых с по-мощью ТВП. Как правило, не нужно использовать такое преобразование, то есть надо использовать режимы mpl, mhl, mdl, а не mpu, mhu, mdu. Система автоматически производит преобразование букв в прописные, когда в этом по-является необходимость. Например, все элементы, создаваемые ТВП для ин-вертированного файла, переводятся в прописные буквы до их размещения в словаре, даже если ТВП порождает элементы в виде строчных букв.

Методы индексирования

Метод индексирования определяет специфическую обработку данных, созданных форматом. Имеется девять методов индексирования. Они идентифицируются числовыми кодами от 0 до 8. Описание методов индексирования приведено ниже.

Метод индексирования 0

Создаёт элемент из каждой строки, сформированной в соответствии с форматом. Этот метод обычно используется для индексирования в целом всего поля или подполя. Следует обратить особое внимание, что система в данном случае строит элементы из строк, а не из полей. В качестве выходного результата форматирования выступает строка символов, в которой нет никакого указания на ее принадлежность (или принадлежность части строки) тому или иному полю или подполю. Поэтому следует быть особенно внимательным, чтобы формат порождал корректные данные, особенно в тех случаях, когда индексируются повторяющиеся поля и/или более одного поля. Другими словами, при использовании данного метода, выводимые в соответствии с форматом отбора данные должны быть представлены отдельной строкой для каждого индексируемого элемента.

Метод индексирования 1

Создается элемент из каждого подполя или строки, созданных форматом. Так как в этом случае система будет производить поиск кодов разделителей подполей в строке, созданной форматом, то для обеспечения правильной работы метода в формате должен быть указан режим проверки mpl (или вообще не указан никакой режим, так как режим проверки выбирается по умолчанию), который обеспечивает сохранность разделителей подполей в выходном результате формата. Напомним, что режимы заголовка и данных заменяют разделители подполей на знаки пунктуации. Отметим, что метод индексирования 1 позволяет сделать описание более коротким, чем метод индексирования 0.

Ниже приведены примеры использования данного метода. Показано, как работает метод в режиме данных.

Содержание поля 26 записи: 

26 ^aParis^bUnesco^c1965
ТВП Результат форматирования Создаваемый элемент
1 1 mpl,v26 ^aParis^bUnesco^c1965 class="standard" Paris
Unesco 
|-
|Ячейка 1*2||Ячейка 2*2||Ячейка 3*2
|-
|Ячейка 1*3||Ячейка 2*3||Ячейка 3*3
|}

Метод индексирования 2

Создается элемент из каждого термина или фразы, заключенных в угло-вые скобки (<...>). Любой текст, расположенный вне скобок, не индексируется. Заметим, что данный метод требует, чтобы в формате указывался режим про-верки, так как любой другой режим удаляет угловые скобки. Например, текст

<Отчет> по использованию <информатики> и <программирования> в <средней школе>

приведет к порождению следующих элементов:

отчет информатики программирования средней школе

Метод индексирования 3

Создается элемент из каждого термина или фразы, заключенных в косые черты (/.../). Во всем остальном он работает точно так же, как и метод индекси-рования 2. Например, текст

/Отчет/ по использованию /информатики/ и /программирования/ в /средней школе/

приведет к порождению следующих элементов:

отчет информатики программирования средней школе

Метод индексирования 4

Создается элемент из каждого слова в тексте, созданном форматом. Словом является непрерывная последовательность алфавитных символов Алфавитные символы определяются с помощью системной таблицы ISISACW.TAB. При использовании этого метода можно предотвратить индексацию по некоторым незначащим словам, определив их в специальном файле, получив-шем название файла стоп-слов (файл с расширением STW в директории БД). При использовании данного метода для индексации поля, содержащего разделители подполей, в формате выборки данных необходимо указать режи-мы заголовка или данных (mhl или mdl) с тем, чтобы замена разделителей подполей произошла до индексации, так как в противном случае буква разде-лителя подполей будет рассматриваться как составная часть слова.

Методы индексирования 5, 6, 7, 8

Методы индексирования 5, 6, 7 и 8 аналогичны соответственно методам 1, 2, 3, 4 за исключением того, что они дополнительно предоставляют возмож-ность присоединять к индексируемым терминам префиксы. Присоединяемый префикс определяется в формате выборки данных в виде безусловного лите-рала и имеет следующий вид:

'dp...pd', [format]

где:

Вd выбранный по усмотрению пользователя ограничитель (который не попадает в текст префикса;

Pp..p собственно префикс.

Например, строка ТВП

1 8 '/К=/',v200^a

приведет к индексированию каждого слова подполя А поля 200 с предва-рительным присоединением к каждому термину префикса "К=". Эти методы широко применяются в системе ИРБИС для определения принадлежности терминов к определенным элементам описания. Именно на основе этих методов создается модель словарей по различным элементам данных ("Авторы", "Заглавие" и т.д.) При этом при показе словарей соответст-вующие префиксы опускаются.

Идентификатор поля

Идентификатор поля - это число, которое назначается каждому элемен-ту, создаваемому на шаге индексирования. Смысл идентификатора поля зави-сит от целей последующего использования ТВП, как это объясняется ниже.

ТВП для инвертиро-ванного файла: идентификатор поля представ-ляет собой вторую компоненту ин-дексной ссылки (см. ниже) для соот-ветствующего термина;


ТВП для переформати-рования (импор-та/экспорта/копирования): идентификатор поля представ-ляет собой метку, присваиваемую экспортируемому, импортируемому или копируемому полю.

Источник — «http://wiki.elnit.org/index.php?title=Таблица_выбора_полей&oldid=937»