Анализ эффективности работы информационно-поисковых систем Введение Информационно-поисковые системы это системы, которые отыскивают документы или описания документов. Информационно-поисковая система не информирует потребителя о предмете запроса в том смысле, что как-то изменяет его знания по этому предмету. Она информирует его лишь о наличии (или отсутствии) документов, имеющих отношение к его запросу, и о том, где эти документы можно найти. Информационно-поисковая система может осуществлять поиск полных текстов документов, поиск вторичных документов (например, рефератов) или поиск названий и адресов документов, т.е. библиографических описаний. Систему, в конечном итоге выдающую потребителю полные тексты документов, правильнее было бы назвать системой поиска документов, тогда как систему, которая на запрос предоставляет только описание документов, – системой поиска ссылок. Поиск обычно включает несколько стадий. Первое выдача в поисковой системе может, например, иметь форму ссылок, среди которых потребитель производит отбор. Вслед за тем он может запросить уже полные тексты отобранных источников. В другом случае возможно следующая последовательность выдачи: а) номера документов, б) описание документов и в) полные тексты. Информационно-поисковую систему следует отличать от системы поиска данных, в название которой отражено ее назначение-поиск данных, предоставленных в словесной или числовой форме. Информационно-поисковая система (ИПС) представляет собой некий комплекс, охватывающий документы, запросы, формализованные описания этих документов и запросов, механизм, позволяющий сравнивать эти описания, и человека. Люди, входящие в систему, делятся не две категории: 1) информационные работники, обслуживающие систему, или операторы системы; в круг их обязанностей входит описание документов, поступающих на вход в систему (т.е. их индексирование), поддержание и обслуживание систематизированного массива описаний документов (указателя) и поиск в этом массиве; 2) потребители системы, которые направляют в систему запросы. Разумеется, операторы системы могут иногда являться одновременно и ее потребителями, обращаясь к поисковому массиву для удовлетворения собственных потребностей в информации. Точно так же потребитель системы может выступать в роли оператора, если он производит поиск в массиве без посредничества информационного работника. Указатель (index) является, по существу, фильтром, назначение которого заключается в том, чтобы пропускать нужные документы и задерживать нежелательные. Существует множество различных видов указателей к фонду документов. Одним из наиболее распространенных, безусловно, является авторский указатель, показывающий, какие работы определенного автора включены в фонд и где они размещены. Другие типы указателей могут быть составлены, например, по порядковым номерам документов, по организациям и учреждениям, выпустившим документы, или по языку, на котором они написаны. Однако, когда мы используем термин информационно-поисковая система, мы имеем в виду прежде всего систему, способную отыскивать документы в ответ на запросы по определенному «предмету». Поэтому основным указателем такой системы является предметный указатель, а метод описания документов для него носит название предметного индексирования. Предметное индексирование удобно рассматривать как операцию, состоящую из двух этапов: 1) анализа предметного содержания документа (т.е. определения, о чем идет речь в документе); 2) перевода понятий, выявленных в результате такого понятийного анализа, на язык индексирования, термины которого (index terms) играют по отношению к предметному содержанию документа роль своего рода стенографических символов или условных обозначений. В действительности такая схема является слишком упрощенной. Для эффективного предметного индексирования вовсе не обязательно присвоение документу условных обозначений на основе присущего ему предметного содержания. Большая эффективность может быть достигнута при описании документа в соответствии с типом потребителей, которые, по предположению, могли бы извлечь из него максимальную пользу, и в соответствии с типом вероятных запросов, для которых документ может рассматриваться как релевантный (т.е. относящийся к делу). Целью дипломного проекта является оценка и анализ эффективности работы информационно-поисковых систем 1. ОСНОВНЫЕ МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИПС 1.1 Критерии эффективности ИПС поисковы информационный индексирование Существуют три основных аспекта оценки эффективности информационно-поисковой системы: 1. аспект потребителей системы; 2. аспект «низшего звена управления», которое включает операторов и административный аппарат, обслуживающий систему; 3. аспект «высшего звена управления». Требования потребителей Потребителей (requesters) информационно-поисковой системы, направляющие в нее запрос, сознательно или неосознанно оценивают систему по тому, насколько хорошо она удовлетворяет их личные потребности в информации. Их интересует не то, как функционирует система, а лишь конечный результат ее работы. Имеет смысл более подробно рассмотреть требования потребителей к информационно-поисковой системе. Полнота поиска Потребитель, прежде всего, заинтересован в получении документов, которые способствуют удовлетворению его потребности в информации. В одних случаях для него будет достаточно единственно документа, в других – нескольких основных документов, а в определенных ситуациях потребитель стремится, получить как можно больше литературы по предмету своего запроса. Эти различия в требованиях могут быть проиллюстрированы на нескольких примерах. Типичной ситуацией при поиске патентов является поиск с целью определения новизны некоторого устройства или материала. Все что требуется при поиске такого характера, – это найти хотя бы один документ, опровергающий новизну и, следовательно, патентоспособность заявленного предмета. Как только такой документ выявлен, дальнейший поиск может быть прекращен. Для технической библиотеки требование подобрать содержится характерны «несколько запросы, хороших в которых статей» по определенному предмету. Эта ситуация отражает потребность научного работника или инженера войти в курс новой для него области интересов или сферы его непосредственно деятельности путем предварительного ознакомления с соответствующей литературой. Противоположным случаем является ситуация, возникающая на начальном этапе выполнения научноисследовательской работы. Здесь обычно требуется проведение исчерпывающего поиска литературы с целью установить, где и какие исследования по близкой тематике выполнялись ранее, чтобы вести плановую работу, опираясь на уже полученные результаты. В этом случае требуется отыскать максимально возможное количество потенциально полезной литературы. Хотя требования в трех приведенных ситуациях отличаются одно от другого, основное требование к поисковой системе остается неизменным: система должна отыскивать документы, релевантные различным предметным запросам. Способность системы отыскивать релевантные документы называется полнотой (recall). Полнота, очевидно, является наиболее важным требованием потребителя к поисковой системе, поскольку единственная цель его обращения к системе состоит в получении одного или более документов, полезных с точки зрения его информационной потребности. Показатель полноты ИПС может быть выражен количественно с помощью весьма простого коэффициента полноты, определяемого формулой 100 R/C, где C – общее число документов в системе, о которых известно, что они релевантны определенному запросу, а R – число этих релевантных документов, найденных в процессе поиска по данному запросу в указателе к фонду. Пусть мы определили, что по некоторому запросу, введенному в систему, имеется 10 релевантных документов, которые были заиндексированы в нашем поисковом массиве. Если при проведении поиска мы в состоянии отыскать восемь из них, мы говорим, что коэффициент полноты для данного конкретного поиска равен (8/10) * 100, или 80%. Хотя показатель полноты является наиболее важной для потребителя характеристикой поисковой системы, это отнюдь не единственная ее важная характеристика. Действительно, числовые значения показателя полноты поисковой системы сами по себе не имеют смысла. Это становится очевидным, если мы примем во внимание, что максимальной полноты для любого запроса можно всегда достигнуть путем выдачи всего фонда заиндексированных документов. Другими словами, мы всегда можем добиться 100% – ной полноты, вообще не используя указатель к фонду документов, а, обращаясь непосредственно к самим документам и последовательно просматривая каждый из них до тех пор, пока не будет отобраны все желательные документы. Точность В свете того обстоятельства, что 100% – ной полноты поиска всегда можно добиться путем просмотра всего фонда документов, становится ясно, что: 1. численное значение полноты еще не является мерой эффективности информационно-поисковой системы; 2. назначение указателя состоит в том, чтобы отсеять как можно больше нежелательных документов, потеряв при этом как можно меньше полезных документов. При таком подходе указатель по существу является фильтром. Его цель состоит в сокращении количества документов (или их заменителей), которые нам приходится просматривать, при сохранении приемлемого значения полноты выдачи. Поскольку коэффициент полноты есть мера способности фильтра пропускать желательные документы, необходимо располагать еще каким-то дополняющим его коэффициентом, который бы являлся мерой способности фильтра задерживать ненужные документы. Сирил Клевердон [1] предположил в качестве подходящей меры коэффициент точности 100 R/L, где R – по-прежнему число отысканных при поиске релевантных документов, а L – общее число документов, выданных при этом поиске. Рассмотрим снова наш пример, когда в фонде имеется 10 релевантных данному запросу документов, из которых при поиске в указателе мы можем найти только 8 (полнота 80%). Если при поиске этих восьми желательных документов нам выдается 100 документов (8 желательных, 92 ненужных), мы говорим, что коэффициент точности для данного поиска составляет 8/100, или 8%. Хотя ни коэффициент полноты, ни коэффициент точности в отдельности не характеризуют работу поискового аппарата или всей системы в целом, их совместное использование дает вполне разумный способ измерения рабочей эффективности (operating efficiency) системы, т.е. эффективности по отношению к требованиям потребителей. Если по достаточному числу поисков мы определили, что наша система функционирует, например, с показателями 8% полноты и 25% точности, мы знаем, что наша система в среднем а) отыскивает 8 из каждых 10 релевантных документов и б) на каждый найденный релевантный документ выдается 3 нерелевантных. Другими словами, мы располагаем полным критерием фильтрующей способности системы: ее способности задерживать нежелательные документы и пропускать полезные. Следует отметить, что оба эти параметра – полнота и точность – употреблялись нами как для характеристики поисковой системы в целом, так и для характеристики ее поискового массива, т.е. указателя. Это сделано не случайно: если бы мы измеряли только рабочую эффективность указателя, мы, очевидно, должны были бы выводить значения полноты и точность на основе непосредственных результатов поиска по указателю без специального вмешательства человека, например, в виде дополнительного «просеивания» или «прополки» (т.е. фильтрации второго порядка) выдачи оператором системы. Для автоматизированной системы, выдающей на печать найденные описания документов, мы должны выводить числовые значения полноты и точности по полным данным всей этой выдачи. Аналогичным образом при оценке ручного поискового аппарата, например картонного каталога, мы должны считать найденными все источники, содержащиеся в классах, указанных в поисковом предписании (т.е. удовлетворяющие логике поиска). Значения показателей рабочей эффективности выводятся на основании этой группы документов. Предположим, что мы ищем документы, связанные с аэродинамическими нагрузками, воздействующими на стреловидное крыло в сверхзвуковом полете а) в посткоординируемом дескрипторном указателе типа «пик-э-бу» и б) в предкоординированном указателе в форме алфавитно-предметного каталога. В первом случае мы приняли решение осуществить поиск по предписанию: [«Аэродинамическая сила» или «Аэродинамическая нагрузка» или «Подъемная сила» или «Лобовое сопротивление»] и [«Стреловидное крыло»] и [«Сверхзвуковой полет»]. Выдачей по этому поиску будет являться вся группа документов, которые удовлетворяют поисковой логике (т.е. все документы, которые заиндексированы одним из терминов, выражающих понятие аэродинамической силы, и одновременно термином «Стреловидное крыло» и одновременно одним из терминов, указывающим на «Сверхзвуковую скорость»). Значения полноты и точности должны выводиться по этой группе документов. Аналогично при поиске в алфавитно-предметном указателе мы можем обратиться к описаниям, систематизированным по рубрикам: Стреловидное крыло – Аэродинамические силы Стреловидное крыло – Лобовое сопротивление Стреловидное крыло – Подъемная сила Стреловидное крыло – Сверхзвуковой поток Чтобы получить числовые характеристики только одного указателя, мы должны считать найденными все источники, систематизированные под этими обозначениями классов (т.е. всю группу документов, описания которых просмотрены под выбранными рубриками), и вычислять полноту и точность по этой выдаче. Таким путем мы измеряем действительную фильтрующую способность указателя. При оценке рабочей эффективности функционирующей поисковой системы в целом в противоположность случаю оценки одного только указателя числовые значения полноты и точности должны выводиться на основании группы документов или их заместителей, выданных конечному потребителю. При выдаче с ЭЦВМ или в системе «пик-э-бу» человек оператор может просмотреть найденные описания и выдать потребителю только те из них, которые он сам считает «вероятно релевантными». Аналогично оператор ручной системы, производя поиск в предкоординированном указателе в форме карточного каталога, может решить, что одни источники «вероятно релевантны» запросу, а другие – «вероятно нерелевантны», и в соответствии со своим решением направить потребителю только первую группу документов или их описаний. Числовые значения полноты и точности являются удобными показателями эффективности как поисковой системы в целом, так и аппарата сравнения документов и запросов. Когда мы оцениваем поисковую систему в целом, мы должны выводить значения показателей по тому множеству документов, которое выдается конечному потребителю. Во втором случае мы должны определять эти значения по «сырой» выдаче из указателя. Важно отчетливо представлять себе, что мы фактически оцениваем, и в соответствии с этим выводить значения показателей. Легко видеть, что коэффициент точности фактически является мерой количества усилий, затрачиваемых для достижения определенного числового значения полноты. Приложим максимум усилий для сплошного просмотра всего фонда, мы всегда можем быть уверены в достижении 100% – ной полноты. Коэффициент точности (т.е. доля релевантных в общем числе просмотренных документов) при таком поиске, очевидно, будет очень низким. Вероятность достижения 100% – ной полноты, имеет тенденцию к понижению с уменьшением числа документов в выдаче, наоборот. Так, если по некоторому предметному запросу мы проводим очень широкий поиск и отбираем 100 документов, показатель полноты, вероятно, будет на много выше, чем в том случае, когда мы сужаем наш поиск и отыскиваем только 20 документов. Однако суженное поисковое предписание должно более точно соответствовать запросу, чем широкое. Следовательно, можно ожидать, что доля релевантных документов в выдаче при суженном поиске будет выше, чем при широком. Другими словами, значение коэффициента точности будет в этом случае выше. Таким образом, здесь наблюдается тенденция к обратной зависимости между полнотой и точностью: чем больше документов мы отбираем при поиске (т.е. чем обширнее класс просматриваемых документов), тем больше релевантных документов мы найдем, однако ценой пропорционального увеличения числа нерелевантных документов в выдаче. И наоборот, чем больше мы сужаем наш поиск, придерживаясь строгого, буквального перевода терминов запроса на язык системы, тем меньше релевантных документов получим, но в то же время тем больше будет отфильтровано нерелевантных документов. Мы уже отметили, что коэффициент точность есть мера усилий, затрачиваемых на достижение определенного значения полноты. Допустим, что имеется определенный предметный запрос, по которому в нашем фонде содержится 20 релевантных документов. При широкой формулировке поискового предписания из них будет найдено 15, а общий объем выдачи составит 150 документов. При суженном поиске мы отыщем 10 желательных источников при общем числе документов в выдаче, равно 50. Таким образом, для широкого поиска коэффициент полноты будет равен 75% (15/20 * 100) при коэффициенте точности 10% (15/150 * 100); в суженном поиске мы имеем коэффициент полноты, равный 50% при коэффициенте точности 20%. Поскольку на просмотр 150 документов или их заместителей и отбор из них 15 желательных источников требуется больше времени, чем на просмотр 50 источников и отбор из них 10, коэффициент точности действительно служит хорошей мерой затрачиваемых усилий, имея в виду как усилия потребителей системы, так и усилия оператора. Потребитель, который желает получить «несколько хороших статей» по предмету своего запроса, фактически требует проведения весьма точного поиска. Такому потребителю едва ли захочется просмотреть большое количество нерелевантных документов, чтобы отыскать среди них еще несколько релевантных. Для его потребностей полнота 50% при коэффициенте точности 20% является лучшим показателем, чем полнота 75% при точности 10%. Однако научный сотрудник, приступающий к работе над новым проектом и желающий получить исчерпывающий обзор литературы, очевидно, готов согласиться просмотреть дополнительно ряд нерелевантных источников, чтобы отыскать среди них дополнительно несколько интересующих его материалов. Для него 75% полноты при 10% точности являются более приемлемыми характеристиками. Таким образом, чтобы коэффициенты полноты и точности могли выполнять роль осмысленных показателей рабочей эффективности поисковой системы, они должны быть соотнесены с требованиями потребителя системы и их готовностью затратить определенные усилия. Затраты труда Коэффициент точности поиска есть мера усилий потребителя, необходимых для достижения определенного значения полноты поиска. Но это не только мера. Коэффициент точности отражает объем трудозатрат, расходуемых потребителем на просмотр непосредственно на проведение выданных материалов или поиска путем просмотра предкоординированного указателя ручного типа. Там, где потребитель передает функцию поиска оператору, лучший конечный результат может быть достигнут при большей затрате его личных усилий на начальном этапе процесса поиска. Вообще говоря, потребитель может приложить усилия на любой из следующих стадий поиска: 1. Он может потратить больше времени и усилий на более точное формулирование своей потребности в информации при передаче запроса оператору информационной системы. 2. Он может проанализировать предложенную ему формулировку поискового предписания до начала поиска и дать свои замечания о необходимости сужения или расширения поиска. 3. Он может проанализировать некорректированную машинную выдачу по указателю, а также выдачу, полученную после первой грубой аппроксимации. По результатам анализа выданных источников он имеет возможность затем уничтожить свой запрос перед проведением заключительного запроса. Этот тип поиска с обратной связью между системой и потребителем обычно называют итеративным поиском. Можно ожидать, что любая из этих форм воздействия потребителя и системы приведет к улучшению конечных результатов поиска в смысле повышения полноты или точности, а в некоторых случаях и обоих показателей. Время ответа Здесь подошли к другому важному требованию потребителя ИПС, а именно времени ответа (т.е. времени между предъявлением запроса и выдачей удовлетворительного ответа). В поисковой системе, где потребитель поручает функцию поиска персоналу информационной системы, увеличение усилий, затрачиваемых на корректировку его запроса в процессе взаимодействия с системой, может, с одной стороны, привести к улучшению показателей полноты и точности системы, а с другой – вызвать задержку ответа. В частности, это характерно для ситуации, когда потребитель, запрашивающий информацию, не удаленным информационным центром. имеет непосредственной связи с Аналогично тому, как возможны различные требования потребителей к полноте и точности системы в зависимости от их информационных потребностей, изменяются и их требования ко времени получения ответа. Требования к быстроте ответа связаны с требованиями к полноте и точности. Исследователь, для которого в первую очередь имеет значение достижение максимальной полноты, как правило, готов ждать какое-то дополнительное время, чтобы получить добавочное количество полезных документов. В его положении быстрота ответа играет меньшую роль, чем полнота поиска. Однако он может потребовать, чтобы система выдала определенную часть полезной литературы (например, 60% – ная полнота) в некоторое минимальное количество времени. Другая ситуация возникает в случае, когда потребитель нуждается в поиске с высокой точностью для отбора нескольких ключевых документов. Поскольку его требования к системе в этом случае в некотором смысле менее строги, он, вероятно, будет менее терпим к неоправданным задержкам ответа. На деле он может предпочесть получить два полезных документа в тот же день вместо ожидания 10 полезных документов в течение недели. В определенных поисковых ситуациях время ответа приобретает решающее значение. Быстрое отыскание множества совершенно нерелевантных документов (нулевая полнота при нулевой точности) не может считаться ответом, имеющим какую-либо ценность, за исключением возможных случаев, когда в системе предусматривается непосредственное взаимодействие с потребителем, позволяющее ему корректировать свой запрос по выданным источникам при осуществлении итеративного поиска. Форма выдачи результатов поиска Другим важным для потребителя системы фактором является форма представления результатов поиска. Результатами поиска могут быть номера документов, библиографические описания, рефераты или полные тексты документов в виде микрофильмов или копий. Форма выдачи оказывает существенное влияние на требования к точности. Потребитель скорее может примириться с низкими показателями точности системы, выдающей ему рефераты, чем с такими же показателями системы, которая выдает только библиографические описания или номера документов. Если система предоставляет потребителю рефераты найденных документов, для него не составит проблемы и не отнимет чересчур много времени просмотр даже сотни рефератов с тем, чтобы отыскать по ним, скажем, 10 полезных документов. В случае же, когда система выдает лишь библиографические описания, обычно бывает труднее решить, какие из документов представляют реальную ценность, так что потребитель вынужден обращаться уже к самим документам и должен просмотреть большое их число, чтобы в итоге найти среди них несколько действительно полезных. Если потребитель располагает только номерами документов, он должен обратиться непосредственно к первоисточникам или ко вторичному фонду рефератов, чтобы выявить источники, удовлетворяющие его потребностям. Разыскать и просмотреть 100 первоисточников, чтобы обнаружить среди них 10 действительно полезных, не всегда бывает приемлемо. Другими словами, потребитель системы может примириться с низким значением точности, если результаты поиска выдаются в форме, обеспечивающей возможность быстрого предварительного просмотра. Номера документов становятся эффективной формой выдачи лишь в тех случаях, когда техническое оборудование позволяет немедленно получить микрокопии соответствующих документов или их заместителей. Организационные требования Операторы и административный состав ИПС, очевидно, прежде всего заинтересованы в том, чтобы система как можно лучше отвечала требованиям потребителей. Удовлетворение нужд потребителей является первой целью, как оператора, так и администратора системы. Однако, разумеется, для руководства небезразлично, во сколько обходится удовлетворение нужд потребителей и каким альтернативными способами эта задача может быть решена. Таким образом, в экономической эффективности системы руководство заинтересовано в неменьшей степени, чем в ее рабочей эффективности. «Высшее звено управления» производит оценку системы на более высоком уровне – на уровне стоимости работы системы и экономической оправданности самого ее существования. 1.2 Факторы, влияющие на характеристики ИПС Полнота индексирования К двум наиболее важным факторам, влияющим на полноту и точность поиска по указателю, относятся: а) полнота (exhaustivity) индексирования и б) специфичность (specificity) языка индексирования. Полнота индексирования характеризует ту степень, в какой все отдельные предметы (темы), обсуждаемые в конкретном документе, распознаются при индексировании и переводятся на язык системы. Предположим, что имеется документ, в котором речь идет только о шести предметах (А, В, С, D, Е, Р). Если, на стадии понятийного анализа при индексировании выражаются все через эти предметы соответствующие распознаются комбинации в отдельности терминов и языка индексирования, то можно сказать, что достигнута исчерпывающая полнота индексирования данного источника информации. Очевидно, что если все шесть предметов заиндексированы, документ может быть найден независимо от того, какие предметы или комбинации предметов содержатся в запросе. Таким образом, высокий уровень полноты индексирования обеспечивает и высокую полноту поиска. При уменьшении полноты индексирования снижается полнота поиска. Если понятие F не выделено и специально не учтено при индексировании данного документа, он никогда не сможет быть найден в указателе в ответ на запрос о литературе, в которой говорится о F (если только термины, использованные для описания F в запросе, случайно не окажутся связанными иерархически или другим путем с терминами, использованными для описания понятий А-Е). При постепенном уменьшении уровня полноты индексирования путем последовательного исключения оставшихся предметов полнота поиска по отношению к конкретному документу соответственно уменьшается. Разумеется, это справедливо и для всех других заиндексированных документов. Индексирование каждого документа с максимальной полнотой обеспечивает максимальную полноту поиска по указателю. Однако, если высокий уровень полноты индексирования обеспечивает высокую полноту поиска, он одновременно снижает его точность. Это связано в основном с двумя причинами. Во-первых, если в каждом вводимом документе выделяются и учитываются все или по крайней мере существенная часть подлежащих индексированию предметов, то тем самым оказываются заиндексированными и многие предметы, которые лишь слегка затрагиваются в данном документе. Следовательно, и они также будут выдаваться в ответ на запросы, по отношению к которым они содержат очень мало информации. Предположим, что рассмотренный ранее документ, содержащий шесть предметов, является отчетом, описывающим определенные аэродинамические явления, и в нем говорится о применении конкретного математического метода, скажем метода Польхаузена для расчета одного из этих явлений. Предположим также, что этот математический метод был выделен на стадии понятийного анализа индексирования и выражен соответствующими терминами языка индексирования. Пусть этот метод будет предметом Р. По отношению к запросу (возможно, очень редкому), в котором потребитель требует всю литературу, описывающую применение метода Польхаузена, этот документ является релевантным и должен быть выдан. Высокий уровень полноты индексирования окажется полезным для данного запроса, требующего большой полноты выдачи. Однако рассмотрим запрос (вероятно, более частый), в ответ на который потребитель хочет получить документы, описывающие сам метод Польхаузена и способы его применения. Ему нужны только существенные статьи по этому методу; статьи, в которых он только упоминается, являются для его запроса нерелевантными. Однако поиск в массиве документов по аэродинамике, заиндексированных с высоким уровнем полноты, может привести к выдаче большого числа документов, в которых содержится лишь простое упоминание о данном методе. В этом случае высокий уровень полноты индексирования вызовет выдачу большого количества нежелательных источников (т.е. уменьшит точность поиска). Вторая причина уменьшения точности поиска при высоком уровне полноты индексирования заключаете в следующем. Чем больше предметов учтено при индексировании и чем больше терминов языка индексирования используется для выражения этих предметов, тем больше вероятность возникновения ложных координаций терминов при поиске (предполагая, что указатель посткоординируемый). Так, документ с [шестью предметам ABCDEF, в котором, допустим, А связан с В, С с D и Е с F, может быть ошибочно выдан в ответ на любой из 12 двухаспектных запросов (А в связи с С, А в связи с D, В в связи с С и т.д.). Если каждый из шести предмете выражен определенным числом отдельных несвязанных терминов языка индексирования, вероятность появления ложных координаций на уровне терминов чрезвычайно возрастает. С учетом всего выше сказанного нелишне все же еще раз подчеркнуть, что высокий уровень полноты индексирования приводит к большой полноте и низкой точности поиска. И наоборот, низкий уровень полноты индексирования вызывает малую полноту и высокую точность поиска. Рассмотрим ситуацию, в которой принята методика индексирования с минимальным уровнем полноты. Каждый документ в этом случае индексируется только по одному предмету – по главной теме документа. Очевидно, что полнота поиска по указателю будет крайне низкой: документ не будет выдаваться в ответ на запрос о предмете, несколько менее важном, чем главный предмет обсуждения. Вместе с тем всякий раз, когда документ будет найден при поиске в указателе, он окажется релевантным, так как в нем речь в значительной мере должна идти о предмете запроса. Кроме того, при индексировании с низкой полнотой (лишь отдельные ключевые слова) совершенно исключается возможность появления ложных координации на уровне понятий и существенно уменьшается возможность таких координаций на уровне терминов. Необходимо подчеркнуть, что уровень полноты при индексировании определяется решением, принимаемым руководством поисковой системы. Это решение не завит от свойств языка индексирования, если используемый язык подходит для обработки тематических областей, которые рассматриваются во вводимых документах, и если любой обсуждаемый предмет может быть выражен в терминах языка системы, хотя бы на более общем, родовом уровне. Специфичность языка индексирования В то время как полнота системы определяется скорее принятой полнотой индексирования, чем внутренними свойствами языка индексирования, точность поиска всецело зависит от способности языка индексирования точно описать обсуждаемые темы (т.е. от его специфичности). Это утверждение лучше всего можно проиллюстрировать на примере. Рассмотрим три различные поисковые системы А, В и С, в которых используются контролируемые словари, содержащие соответственно 2000, 1000 и 500 терминов. Предположим, что в каждой из этих систем заиндексирован тот же самый массив документов по аэродинамике. В некоторых из этих документов речь идет о «тонких дельтовидных крыльях». При индексировании таких документов в системе А, имеющей 2000 терминов, можно точно отразить их тематическое содержание с помощью класса, озаглавленного «Тонкие дельтовидные крылья». При индексировании этих же документов в системе В с 1000 индексационных терминов нельзя точно отразить их содержание. Возможно, их нужно отнести к более широкому классу под рубрикой «Дельтовидные крылья». Что же касается системы С то в ней, возможно, самым специфическим термином, который может быть приписан этому классу документов окажется термин «Крылья». При поступлении в систему А запроса по «Тонким дельтовидным крыльям» можно точно выразить этот предмет при формулировании поискового предписания так же, как и при индексировании документов, и можно ожидать, что в под массиве выданных документов будет много релевантных документов (т.е. коэффициент точности поиска будет высоким). С другой стороны, коэффициент полноты поиска будет, вероятно, низким, потому что система может не выдать ряд документов, которые содержат полезную информацию по теме «Тонкие дельтовидные крылья. Не будут выданы, например: 1. Документы, в которых идет речь о дельтовидных крыльях вообще, но содержится существенная информация по тонким дельтовидным крыльям. Они могли быть заиндексированы термином «Дельтовидные крылья». 2. Документы, в которых идет речь о тонких дельтовидных крыльях, но заиндексированные синонимичными терминами или комбинацией терминов, например «Дельтовидные крылья малого удлинения». Если тот же запрос направить в систему В, полнота поиска увеличится. В этом случае мы уже не можем точно отразить предмет «Тонкие дельтовидные «Дельтовидные крылья», крылья». поэтому Тем следует самым прибегнуть будет получено к термину некоторое дополнительное количество релевантных документов, пропущенных при поиске в системе А. Однако ряд потенциально полезных документов может быть все же пропущен (например, те документы по крыльям вообще, которые содержат существенную информацию по тонким дельтовидным крыльям, и те документы по дельтавидным крыльям, которые были заиндексированы синонимичными терминами или комбинацией терминов, например «Треугольные крылья»). Эти дополнительные полезные документы будут найдены при поиске в системе С, где недостаток специфичности языка индексирования заставляет проводить поиск под широким классом «Крылья». При переходе от системы А к системе В и далее к системе С число документов в каждом поиске будет увеличиваться и, таким образом, будет возрастать его полнота. Это происходит ввиду того, что число отдельных рубрик, обозначающих классы, уменьшается, а размер классов документов, отнесенных к этим рубрикам, соответственно увеличивается. В то же время точность имеет тенденцию снижаться: в ответ на запрос о документах по тонким дельтавидным крыльям класс документов, отнесенных к рубрике «Тонкие дельтовидные крылья», должен содержать более высокий процент полезных документов, чем класс, отнесенный к рубрике «Дельтовидные крылья», который в свою очередь содержит более высокий процент полезных документов, чем класс под рубрикой «Крылья». Другими словами, чем выше степень специфичности языка индексирования, тем более точно можно отразить предметное содержание и тем меньше создаваемые при этом классы документов, т.е. тем большую точность можно получить при поиске в системе. С другой стороны, если такая точность достигается путем точного определения класса искомых документов, полнота имеет тенденцию понижаться по сравнению с указателем, использующим язык с меньшей специфичностью, в котором образующиеся классы документов больше по размерам. Короче говоря, сильно детализированный язык индексирования позволяет получить высокую точность поиска при одновременном уменьшении полноты поиска. Язык индексирования, имеющий невысокую степень специфичности, обеспечивает высокое значение полноты, но не дает возможности получить высокую точность. Суммируя, можно сказать, что полнота индексирования определяет полноту поиска по указателю, а степень специфичности языка индексирования определяет его точность. В предыдущем изложении мы умышленно избегали употребления термина «глубина», который довольно распространен в литературе по информатике В том значении, в котором термин «индексирование набольшую глубину» употребляется в литературе, он означает просто использование большего числа терминов, чем при индексировании «на небольшую глубину». Однако при этом редко указывается, используются ли эти дополнительные термины для отражения новых, предметов (тем) документа (повышение полноты) или для более точного индексирования ограниченного числа предметов (тем) (повышение степени специфичности). Другими словами, термин «глубина индексирования» используется одними авторами для описания точности определения классов, а другими для описания степени подробности, с которой все предметы, обсуждаемые в документе, могут быть отражены при индексировании этого документа. Чтобы разграничить эти две совершенно различные характеристики, в Крэнфилдском проекте были введены и определены термины «специфичность» и «полнота» индексирования. Стратегия поиска Полнота индексирования и специфичность языка индексирования определяют полноту и точность поиска по указателю. Однако при поиске можно изменять полноту и точность для каждого отдельного поиска, применяя различные основанный на стратегии полностью поиска. Представим неконтролируемом себе словаре, указатель, в котором необходимо просматривать только один-единственный класс документов для любого поиска. В этой трудной ситуации для каждой группы проводимых поисков работают только на одной точке гипотетической кривой характеристик (т.е. для каждого поиска достигаются определенные значения полноты и точности, но при этом нет возможности расширить или сузить просматриваемый класс документов с целью улучшения полноты и точности). Если мы имеем возможность изменять поисковые предписания (чтобы получить большее или меньшее число документов в зависимости от конкретной ситуации) путем движения вверх или вниз по иерархической цепочке, путем замены синонимов или другими способами, мы можем осуществлять поиск с различной степенью общности. Для каждого поиска или группы поисков можно менять по выбору положение на гипотетической кривой характеристик поиска. Так, мы можем счесть целесообразным пожертвовать точностью ради достижения высокой полноты, пожертвовать полнотой для получения высокой точности поиска или пойти на компромисс и работать с характеристиками, имеющими промежуточные значения. Термины «полнота» (exhaustivity) и «специфичность» (specificity) применимы к поиску так же, как и к индексированию. Это легче всего показать на примере. Предположим, что в поисковую систему обращаются для нахождения документов, относящихся к дуговой сварке хромоникелевых сталей в защитной среде при производстве теплообменников типа трубка в трубке. Анализ запроса показывает, что он содержит три совершенно различных фасета, или аспекта (фиг. 2): фасет «Производство», фасет «Материалы» и фасет «Готовая продукция». Если поисковое предписание отражает все три фасета, можно сказать, что оно является полностью исчерпывающим выражением, запроса. Если же в поисковом предписании, кроме того, каждый фасет представлен на требуемом потребителем уровне точности, можно утверждать, что поисковое предписание является не только полностью исчерпывающим, но и полностью специфичным, т.е. детализированным. В отношении упоминавшегося выше запроса полностью специфичное и исчерпывающее поисковое предписание должно точно устанавливать, что искомый, документ принадлежит к классам, обозначенным рубриками «Дуговая сварка в защитной среде», «Хромоникелевые стали» и «Теплообменники типа трубка в трубке». Предположим, что в указателе производится поиск по этому детальному и исчерпывающему поисковому предписанию. Документы, которые будут найдены высокорелевантными Фактически при по (если таковые отношению поиске по окажутся), к запросу, должны быть первоначальному запросу. в степени максимальной исчерпывающему и специфичному, можно достичь 100%-ной точности (т.е. все найденные источники будут релевантны). С другой стороны, полнота выдачи при таком поиске будет довольно низкой: вероятно, в системе окажется много документов, релевантных запросу, поисковые образы которых в терминах языка индексирования не совпадают с поисковым предписанием на требуемом уровне специфичности и полноты. Для увеличения полноты можно уменьшить специфичность поискового предписания или его полноту или и то и другое. Например, можно уменьшить степень специфичности в фасете «Производство», оговорив, что приемлем любой документ, отнесенный к классам «Дуговая сварка», «Хромоникелевые стали» и «Теплообменники типа трубка в трубке». Фактически можно уменьшить специфичность этого фасета в нужной степени, поднимаясь все выше и выше по иерархическому дереву понятий: «Дуговая сварка в защитной среде» – «Дуговая сварка» – «Сварка» – «Соединение» – «Производство». Аналогично можно изменять степень специфичности в остальных фасетах, двигаясь по цепочке «Хромоникелевые стали» – «Стали» – «Черные металлы» – «Металлы» – «Материалы», или «Теплообменники типа трубка в трубке» – «Теплообменники» – «Технологическое оборудование» – «Оборудование» «Готовая продукция». Другая стратегия состоит в том, чтобы вместо уменьшения степени специфичности уменьшить полноту (исчерпывающий характер) предписания. Это означает, что опускаются один или несколько аспектов, первоначально присутствовавших в предписании. Так, требование, чтобы найденные документы принадлежали к классам «Дуговая сварка в защитной среде», «Хромоникелевые стали» и «Теплообменники типа трубка в трубке», можно ослабить, запрашивая только те документы, которые принадлежат к классам «Дуговая сварка в защитной среде» и «Теплообменники типа трубка в трубке». В этих случаях полнота предписания уменьшается за счет совершенного исключения одного из аспектов при сохранении полной степени специфичности оставшихся аспектов. Очевидно, можно одновременно уменьшить как полноту, так и специфичность (например, требуя только совместного присутствия терминов «Дуговая сварка» и «Теплообменники»). В конце концов, при дальнейшем снижении специфичности во всех фасетах можно прийти к положению, при котором уменьшение степени специфичности сольется с уменьшением полноты. В примере, изображенном на фиг. 2, можно снижать степень специфичности до тех пор, пока поиск не будет осуществляться по самому широкому классу контролируемого словаря, в данном случае по классу «Техника». Другими словами, обобщение возможно до тех пор, пока в выдаче не будет получен весь массив документов. Уменьшая полноту или степень специфичности поискового предписания, мы тем самым расширяем поиск (т.е. ослабляем требования и получаем больший класс документов). До тех пор пока расширение поиска осуществляется в разумных пределах, будут выдаваться дополнительные релевантные документы (т.е. полнота поиска будет увеличиваться). В то же время будет выдаваться большое количество нерелевантных документов (т.е. точность будет уменьшаться). В отношении ранее рассмотренного запроса уже было сказано, что предписание: «Дуговая сварка в защитной среде» и «Хромоникелевые стали» и «Теплообменники типа трубка в трубке», если по нему вообще выдается хоть один документ, обеспечивает 100%-ную точность поиска. При ослаблении требований до такой степени, что им уже удовлетворяет любой документ, заиндексированный каким-то термином «соединения» (т.е. любой документ, относящийся к самому общему классу «Соединение»), существует большая вероятность получения полноты поиска, приближающейся к 100%. Однако значение точности будет, вероятно, очень низкое, так как большая часть документов, полученных в ответ на столь широкий запрос, не будет релевантной по отношению к конкретной теме, интересующей потребителя. Итак, имеется две крайности. Возможность изменять степень специфичности и (или) полноты при поиске позволяет влиять на объем выдачи с целью получения желательных значений: полноты и точности поиска. Так, для определенного поиска можно подготовить три отдельных поисковых предписания различной степени специфичности. Наиболее широкий поиск позволяет получить значения 95% полноты и 2% точности, наиболее точный поиск – 10% полноты и 85% точности, а «находящийся на полпути» поиск – значения полноты и точности около 50%. Однако, хотя изменение стратегии поиска позволяет влиять на объем выдачи и тем самым на полноту и точность поиска, пределы этого» влияния ограничены и зависят от полноты индексирования и степени специфичности языка индексирования. В указателе к массиву металлургических документов нельзя получить очень высокое значение точности при поиске по запросу «Дуговая сварка хромоникелевых сталей в защитной среде при производстве теплообменников типа трубка в трубке», если наиболее специфичными терминами языка индексирования будут: «Соединение» в аспекте «Производство», «Стали» в аспекте «Материалы» и «Технологическое оборудование» в аспекте «Готовая продукция». Точно так же, если многотематический доклад содержит ценную информацию по сварке теплообменников типа трубка в трубке, но этот аспект не отражен при индексировании документа, соответствующий документ не сможет быть найден в ответ на рассмотренный выше запрос даже при расширении поиска за счет включения всех членов класса «Соединение». Таким образом, полнота поиска по указателю зависит от полноты индексирования, а его точность – от степени специфичности языка индексирования. При использовании исчерпывающего индексирования и чрезвычайно специфичного языка индексирования можно получить различные значения характеристик поиска (от высокой полноты при низкой точности до высокой точности при низкой полноте) за счет изменения стратегии поиска. Кривая коэффициентов полноты и точности Если имеется возможность изменять стратегию поиска в целях увеличения его полноты или точности, мы можем взять любую группу запросов и составить для каждого запроса поисковое предписание, состоящее из нескольких субпредпuсанuй с различными уровнями специфичности. Если теперь провести поиск для этой группы запросов и определить, значения полноты и точности для каждого поиска, становится возможным определить также наборы значений полноты и точности для всех частных поисков при различном уровне специфичности терминов запроса. По 100 поискам можно, например, определить, что в группе наиболее широких подпоисков получен коэффициент полноты 90% при коэффициенте точности 5%, тогда как в группе наиболее специфичных и исчерпывающих подпоисков – коэффициент полноты около 40% при коэффициенте точности примерно 60%. Будет также получено несколько промежуточных значений полноты и точности при поисках со средним уровнем специфичности. Следовательно, для этой группы поисков, проведенных для конкретной группы запросов, можно представить результаты в форме кривой зависимости коэффициента полноты от коэффициента точности, как показано на фиг. 3. Для любого конкретного фонда документов, по отношению к определенной группе тематических запросов и группе суждений о релевантности, сделанных о каждом документе по отношению к каждому запросу, имеется кривая максимально возможных значений характеристик системы. Известно, что всегда можно добиться 100% – ной полноты для всей группы запросов, получая полное множество релевантных документов в ответ на каждый запрос. Очевидно, что это значение полноты может быть достигнуто только при очень низком значении точности, так как подавляющее большинство выданных документов будет нерелевантно для каждого запроса. Например, если объем выдачи составляет 10 000 источников и на каждый запрос имеется в среднем 20 релевантных документов, то 100%-ная полнота, получающаяся при выдаче всех релевантных документов в ответ на каждый запрос, достигается при значении точности 0,2% или 20/10000 (точка А на фиг. 4). С другой стороны, сформулировать для стратегию каждого поиска запроса (т.е. можно составить так точно исчерпывающее предписание с высоким уровнем специфичности), что в ответ на него почти наверняка будут выдаваться только релевантные документы, если документы вообще будут выдаваться. Если в определенной группе запросов использовать только такие поисковые предписания высокой точности, можно ожидать, что система будет функционировать с точностью 100%, но с очень низкой полнотой. В реальных условиях, когда фонд документов был как-то заиндексирован (чтобы избежать необходимости выдачи всего множества документов в ответ на каждый запрос) и проводится поиск для некоторой группы запросов путем сопоставления поисковых предписаний с поисковыми образами документов, не будет иметь места ни одно из приведенных выше экстремальных значений. Вместо этого для всей группы запросов система будет функционировать на какой-то точке кривой характеристик поиска, соответствующей значениям полноты и точности, меньшим чем 100%. Если образовать согласованную систему документов, запросов и суждений о степени релевантности документов запросам так, что мы будем знать, какие документы релевантны каким запросам, можно повторно заиндексировать весь массив документов по отношению к данной группе запросов. После большого числа проб и ошибок мы сможем отыскать оптимальную систему индексирования и оптимальный набор поисковых образов для данного массива документов по отношению к данному множеству запросов. В результате в поисковые образы документов и запросов будут внесены такие индексационные термины, которые позволят добиться функционирования системы с максимально высокими характеристиками. Другими словами, имеется возможность создать такие описания документов, которые обеспечивают 95,90,85% или любой другой желаемый уровень полноты при максимально возможном уровне точности. Таким образом, на основе полного набора суждений о релевантности документов по отношению к запросам можно создать замкнутую систему, способную работать на кривой максимально возможных характеристик. Как было сказано ранее, для любого фонда документов и определенной группы запросов и суждений о релевантности имеется кривая характеристик системы с максимально возможными значениями. Однако точно не известно, как расположена эта кривая. Реально действующая поисковая система не функционирует при максимально возможном уровне характеристик для любой группы запросов. Этот уровень, может быть достигнут только при индексировании пост фактум имеющегося массива документов с учетом набора поисковых предписаний и суждений о степени релевантности. В повседневной работе поисковой системы, когда поиски проводятся по реально существующим запросам, кривая зависимости характеристик системы лежит где-то левее и ниже кривой максимально возможных значений. По существу, мы при оценке характеристик поисковой системы как раз и определяем положение фактической кривой характеристик поиска, а также меры, которые должны быть приняты для сближения реальной кривой с кривой максимальных значений характеристик. Положение кривой максимальных значений, а следовательно, и реальной кривой характеристик системы определяется в первую очередь двумя факторами: а) характеристиками языка. той тематической области, с которой мы имеем дело, и б) степенью общности запросов. В случае фактографической поисковой системы, в которой мы имеем дело с однозначными данными (например, выраженными в виде чисел), можно работать в верхнем правом углу графика полнота / точность, т. – е. при 100% – ной полноте и 100% – ной точности. Система, которая выдает документы на основе их библиографических описаний (например, авторский каталог), будет работать с кривыми, расположенными немного левее ввиду неточностей, вызываемых такими факторами, как наличие авторов с одинаковыми фамилиями, авторов, которые изменили свою фамилию или печатаются под псевдонимами, разных публикаций с одинаковыми названиями и т.д. Если речь идет об информационно-поисковой системе, отвечающей на тематические запросы, семантические неоднозначности и неточности сдвигают кривую характеристик системы значительно дальше от идеальных (т.е. еще далее влево). Насколько далеко влево расположена эта кривая, частично зависит от языка данной предметной области. Чем более точен и однозначен язык данной области, тем лучше будут характеристики работы системы. Например, поисковая система в области химии, имеющая дело с большим количеством собственных имен (названий соответствующих соединений), которые относительно однозначны, вероятно, будет при прочих равных условиях работать с значениями характеристик, расположенными дальше вправо, чем система, скажем, по общественным науДругой фактор, определяющий положение кривой, связан со степенью специфичности запросов и с «критерием релевантности» потребителей системы. В системе дифференцированного распространения информации (ДРИ) критерий релевантности будет, вероятно, значительно менее жестким, чем в системе ретроспективного поиска. Абонент службы ДРИ не обращается к системе по одному определенному информационному запросу. Он получает сообщение о документах по широкому кругу интересующих его тем, и каждый документ, относящийся к этому кругу, для него приемлем. При таком слабом критерии релевантности появляется возможность получения характеристик, значения которых расположены в правой части схемы полнота / точность. В противоположность этому потребитель службы ретроспективного поиска обращается к системе с каким-то конкретным запросом, имея в виду потребность в определенного рода информации, и документ, чтобы быть релевантным, должен представлять для него определенную ценность с точки зрения его информационных нужд. Поэтому критерии релевантности потребителя данной системы являются более строгими, чем критерии, предъявляемые потребителем службы ДРИ. Чем более строгие критерии релевантности используются, тем дальше влево будет находиться кривая характеристик поиска. Критерии релевантности потребителя ретроспективного поиска, очевидно, тесно связаны со степенью общности запросов. Представьте себе потребителя, обращающегося в информационно-поисковую систему в области военно-морской техники. Предположим, что его запрос относится к документам по подводным лодкам. Это очень общий запрос для данной системы. При поиске по данному запросу можно, поэтому достичь высоких значений полноты и точности, поскольку для потребителя будет полезен любой документ, в котором речь идет вообще о подводных лодках (т.е. критерий релевантности у него достаточно «мягкий»). Однако пусть тот же самый потребитель обратится в ту же поисковую систему через несколько дней, с запросом о документах, в которых идет речь о вибрационных характеристиках выступающих частей корпусов надводных кораблей. Вероятно, для этого запроса можно будет получить то же самое значение коэффициента полноты, что и для значительно более общего запроса по подводным лодкам. Однако это значение полноты будет, вероятно, достигнуто при очень низком значении коэффициента точности поиска, так как значительно большая часть документов данного массива не будет релевантна данному специфическому запросу. 1.3 Проектирование программы испытаний. Правильно составленная программа испытаний для оценки эффективности действующей поисковой системы может привести к улучшению обслуживания потребителей, уменьшению его стоимости или к тому и другому. Такая оценка является аналитической процедурой: анализ производится с целью определения степени удовлетворения системой требований потребителей, определения причин неудач в системе и наилучших путей их устранения. Полная программа оценки информационнопоисковой системы включает пять существенных этапов: 1. решение вопроса о том, что именно подлежит оценке (т.е. разработка руководством системы вопросов, на которые должна ответить программа оценки); 2. разработка теста для ответа на конкретные поставленные вопросы; 3. выполнение программы испытаний; 4. анализ результатов испытаний; 5. интерпретация результатов испытаний и определение целесообразных и экономичных путей улучшения системы на основе этих результатов. Перед началом разработки программы испытаний важно точно сформулировать цели испытаний. В этом документе следует перечислить все вопросы, на которые должна ответить программа оценки. При полной оценке действующей поисковой системы может возникнуть много специфических вопросов, требующих внимания уже на стадии подготовки программы оценочных испытаний. Ниже приводится примерный список вопросов, которые могут быть поставлены руководством большой поисковой системы, реализованной на ЭВМ. Общее качество функционирования Каков уровень общего качества работы системы по отношению к требованиям потребителей? Имеются ли существенные различия в ее функционировании для разных типов запросов и разных предметных областей? Широта охвата и обработка 1. Насколько обоснована существующая политика, касающаяся широты охвата источников при индексировании? 2. Существенно ли влияет на качество функционирования системы задержка между поступлением журналов и их обработкой в отделе индексирования? Индексирование 1. Имеются ли существенные различия в качестве работы различных индексаторов? 2. В какой степени это связано с опытом по индексированию и уровнем «контроля» за ним? 3. Распознают ли индексаторы специфические понятия, функционирования системы интересующие различные группы потребителей? 4. Какое влияние на качество оказывает принятая политика относительно полноты индексирования? Язык индексирования 1. Являются ли термины достаточно специфичными (конкретными)? 2. Существенно ли влияют на функционирование системы различия в специфичности терминов в различных областях? 3. Требуются ли дополнительные средства для повышения точности, такие, как введение весовых коэффициентов, указателей роли или какой-то формы взаимного связывания терминов? 4. Удовлетворяет ли качество связей терминов в тезаурусе? 5. Достаточен ли существующий словарь входов? Поиск 1. Каковы требования потребителей в отношении полноты и точности? 2. Может ли быть разработана стратегия поиска, отвечающая требованиям высокой полноты или высокой точности? 3. Насколько эффективно могут лица, производящие поиск, просматривать выдачу? Какое влияние оказывает просмотр на показатели полноты и точности? 4. Каковы наиболее перспективные методы взаимодействия между потребителем и системой: а) усиление связи на стадии предъявления запроса? б) усиление связи на стадии формулирования поискового предписания? в) итеративная процедура поиска, дающая потребителю выборку ссылок, найденных при поиске «первого приближения», и позволяющая ему переформулировать свой запрос с учетом этих найденных источников? 5. Каково влияние каждого из этих методов взаимодействия на время получения ответа? Ввод данных и машинная обработка 1. Связано ли с процедурой ввода, включая различные аспекты технической обработки данных, большое количество ошибок? 2. Являются ли машинные программы достаточно гибкими для получении желаемого уровня характеристик? Успешно ли они контролируют технические ошибки? 3. Какая часть общего, времени запаздывания ответа может быть отнесена на счет подсистемы обработки данных? Каковы причины задержки в этой подсистеме? Очевидно, что все перечисленные вопросы относятся к требованиям потребителей или к факторам, влияющим на эти требования. Из этих требований (широта охвата, полнота, точность, время обращения, затраты труда потребителем и форма представления результатов) наиболее важными являются требования по полноте и точности; их и труднее всего измерить. Чрезвычайно важным аспектом при проектировании любых испытаний является разработка подходящих методов для получения коэффициентов полноты и точности. Пример программы НАЦИОНАЛЬНАЯ МЕДИЦИНСКАЯ БИБЛИОТЕКА Бетисда, шт. Мериленд Запрос №68-R-938 Документ №12/31/67 ПРОГРАММА ОЦЕНКИ Форма для оценки документа 1. Знали ли Вы ранее о существовании этой статьи? Да [] Как Вы узнали о ее существовании? Нет [] 2. Оцените, пожалуйста, эту статью с точки зрения той потребности в информации, которая побудила Вас обратиться в MEDLARS, проставив в соответствующем месте крестик: а) Большая ценность [] Объясните, пожалуйста, почему: б) Небольшая ценность [] Объясните, пожалуйста, почему: в) Не представляет ценности [] Объясните, пожалуйста, почему: Довольны ли Вы тем, что узнали о ее существовании, в связи с какиминибудь другими потребностями или планами? Да [] Объясните, пожалуйста, почему: Нет [] г) Не могу оценить из-за незнания языка документа []. Решили ли Вы предпринять какие-нибудь шаги для определения содержания этого документа? Да [] Пожалуйста, укажите, какие шаги. Нет [] Пожалуйста, объясните, почему: Определение коэффициента полноты Получение правильных оценок полноты является значительно более трудным, чем получение коэффициентов точности. Однако знание полноты нар яду со значением точности чрезвычайно важно; в то же время данные о точности и полноте, взятые в отдельности, имеют небольшую ценность. Необходимо знать, при каком значении точности работает система, когда достигнуто определенное значение полноты. Единственный «безупречный» коэффициент полноты – это коэффициент, полученный на основе изучения и оценки потребителем полного массива документов. Это иногда осуществимо в определенных экспериментальных ситуациях, в которых размер фонда не очень велик. Клевердону фактически удалось это сделать на массиве в 1400 документов при 200 запросах в последнем Крэнфилдском исследовании, давшем в результате матрицу релевантности запрос/ документ размером 1400 * 200 [2]. Однако изучение всего массива в большинстве реальных ситуаций, очевидно, неосуществимо. Поэтому необходимо найти способы получения приемлемых оценок полноты. Метод, который был использован для определения полноты при оценке Системы дифференцированного распространения информации (ДРИ), основан на обычной случайной выборке. Он включает получение случайной выборки из остаточного массива (residual file, т.е. массива не найденных документов). Участник эксперимента, послав сообщение о полученных документах, которые отвечают его информационным потребностям, посылает также несколько дополнительных сообщений о документах, не отвечающих его интересам, выбранных случайно из остаточного массива. Утверждается, что таким образом можно оценить количество нужных источников, не выявленных в результате несовершенства критерия смыслового соответствия документов и запросов, и определить коэффициент полноты для системы ДРИ. К сожалению, этот метод не может быть использован для сколько-нибудь крупных систем ретроспективного поиска ввиду размеров случайной выборки, которая должна быть получена из остаточного массива с целью нахождения хотя бы одного ненайденного релевантного документа. Рассмотрим, например, систему из 10000 документов, работающую с точностью приблизительно 25% и выдающую при типичном поиске около 20 документов. Другими словами, мы можем ожидать получения 5 релевантных документов в общей выдаче из 20 документов. Предположим также, что система работает с коэффициентом полноты, равным 50%. Тогда в остаточном массиве должно оставаться еще пять ненайденных релевантных документов. Однако остаточный массив содержит 9980 документов, так что наша случайная выборка должна включать 9980/5, или почти 2000 документов для того, чтобы был хоть какой-то шанс отыскать дополнительно хотя бы еще один релевантный документ. Если полнота больше 50%, величина случайной выборки должна быть пропорционально еще больше. Другой метод оценки полноты предполагает проведение параллельного поиска в другой, обычно большей, системе. Полнота системы 1 оценивается по сравнению с характеристикой системы 2. Этот метод дает лишь сравнительное, а не истинное значение полноты. Метод, использованный с некоторым успехом в предыдущих программах испытаний, предусматривал использование «подготовленных запросов» («prepared requests»), основанных на документах, о которых известно, что они имеются в фонде («исходные документы», «source documents»). Для применения этого метода, мы обратились снова к помощи потребителей, попросив их представить реальные запросы, которые должны были служить основой для определения показателей точности. После получения от потребителя запроса и заручившись его согласием сотрудничать в эксперименте, ему предъявляют документ, выбранный случайно из той части фонда документов, которая соответствует общему направлению его интересов. Затем потребителя просят составить запрос, для которого, по его мнению, этот исходный документ был бы ценным ответом. Поиск по этим подготовленным запросам проводится так же, как поиск по реальным запросам, и найденные источники или случайная выборка из них представляются составителю запроса для оценки его релевантности. Таким путем определяется значение точности для подготовленных запросов. Значение полноты оценивается для всей группы подготовленных запросов как отношение найденных при поиске исходных документов к общему их количеству. Предположим, что использовано 100 подготовленных запросов, каждый из которых основан на одном-единственном исходном документе. Если в результате 70 поисков найдены соответствующие исходные документы, можно утверждать, что полнота системы для этих поисков составляет 70% в предположении, что коэффициент полноты по отношению к любой другой группе из 100 релевантных документов также будет 70/100. Таким образом, для подготовленных запросов мы получаем коэффициенты полноты и точности, а для реальных запросов – только коэффициенты точности. Однако при проведении экспериментальных поисков в виде подпоисков на различных уровнях общности можно получить значения полноты и точности для каждого подпоиска. Таким способом можно нанести диапазон значений характеристик для подготовленных запросов на графике зависимости полноты от точности, как показано на фиг. 6, где А – точка работы системы для поиска с наивысшим уровнем общности, а Е – соответствующая точка для по иска с наименьшим уровнем общности. Теперь можно взять значение точности для реальных поисков и нанести их на кривую полнота / точность для подготовленных запросов. Этот способ позволяет получать оценки значения полноты для реальных поисков путем экстраполяции значений полноты / точности, достигнутых для подготовленных запросов. Использование «исходных документов» как средства установления коэффициента полноты было подвергнуто резкой критике, главным образом на основании возможности неестественно сильного сходства между заголовком исходного документа и словами основанного на этом документе запроса. Такая неестественно сильная связь может исказить результаты эксперимента в выгодную для системы сторону, так как темы, упоминаемые в заголовке, вероятнее всего, будут выбраны и при индексировании. Однако при известных мерах предосторожности исходные документы могут все же успешно использоваться в качестве средства установления полноты системы. Эти предосторожности следующие: 1. Составителями подготовленных запросов должны быть те же потребители, чьи реальные запросы используются для установления коэффициента точности системы. Их просят составлять подготовленные запросы возможно более близкими по степени детализации (специфичности) и сложности к их реальным запросам. 2. Потребителям должны даваться строгие инструкции не переделывать заголовки при подготовке запросов. 3. Не допускается подача «обманных» запросов (например, запроса, для которого единственной релевантной частью документа является одна позиция в какой-то единственной таблице). 4. Второго специалиста по данной тематике просят рассмотреть подготовленный запрос в сопоставлении с исходным документом и указать, считает ли он данный запрос «приемлемым» или нет. Возможно, наиболее эффективным методом установления значения полноты для действующей поисковой системы является метод, использованный в Национальной медицинской библиотеке при оценке системы MEDLARS. Он предполагает нахождение для каждого экспериментального запроса ряда релевантных документов методами, совершенно не имеющим отношения к оцениваемой системе. Такими документами могут быть: 1. документы, уже известные потребителю до предъявления запроса системе; 2. дополнительные документы, полученные от авторов материалов, заранее известных потребителю; 3. документы, обнаруживающие сильную связь по ссылкам с материалами, известными потребителю заранее; 4. документы, найденные при поиске литературы с помощью традиционных библиотечных средств; 5. документы, найденные некоторыми другими специализированными информационными центрами. В случае если найденные документы относятся к пунктам 2, 3, 4 и 5, они являются только «возможно релевантными» по отношению к запросу. Они не признаются релевантными до тех пор, пока сам потребитель не оценит их как таковые. Эти дополнительные документы могут быть объединены для оценки релевантности со случайной выборкой, взятой из экспериментального поиска, и представлены на рассмотрение потребителю. Группа источников, признанная потребителем релевантной и найденная без обращения к системе, является группой, по которой устанавливается значение полноты для поиска. Это хорошо видно из табл. 1. В данном конкретном случае потребитель знал о четырех релевантных источниках до того, как он попросил провести поиск литературы. С помощью указателя библиографических ссылок к ним были добавлены 12 документов, сильно связанных библиографическими ссылками с четырьмя известными релевантными документами. Три дополнительных «возможно релевантных» источника были найдены с помощью традиционного библиотечного поиска в опубликованных библиографических списках. Эти 15 документов были представлены для оценки потребителю и 10 из них признаны релевантными. Теперь имеется возможная основа из 14 документов для установления значений полноты для данного запроса. Однако требуется еще подтвердить, что все эти источники присутствуют в фонде оцениваемой системы. Предположим, что четыре документа отсутствуют, в результате чего основа для определения полноты сокращается до 10 источников. Теперь необходимо проверить наличие этих 10 источников, найденных при поиске в оцениваемой системе. Если из 10 источников были найдены 6, можно утверждать, что коэффициент полноты системы относительно данного запроса составляет 6/10 * 100 = 60% в предположении, что система будет работать при таком же уровне полноты и для любой другой группы из 10 релевантных документов. Другой путь рассмотрения указанного метода получения оценки полноты проиллюстрирован на фиг. 7. Здесь область Х представляет весь массив MEDLARS, состоящий из 70000 источников. Для любого конкретного запроса, направленного в систему, запрашивающее лицо может, просмотрев сплошь все источники фонда. найти в нем подмножество источников Y, которые оно считает ценными с точки зрения его информационной потребности. Все остальные источники в массиве (Х – Y) не представляют ценности (т.е. нерелевантны). К сожалению, кроме полного просмотра всего фонда, нет другого надежного метода установления точного подмножества релевантных источников Y – для любого конкретного запроса. Однако можно установить некоторое подмножество первого подмножества (т.е. методом, описанным ранее, можно найти некоторую группу статей Y1 которые потребитель оценит как релевантные). После этого можно получить оценку полноты на основе качества функционирования системы по отношению к этой конкретной группе релевантных источников. Так, если известно о 10 релевантных статьях в фонде и система MEDLARS находит 7 из них, но пропускает 3, говорят, что коэффициент полноты для этого поиска равен 70%. При этом предполагают, что «коэффициент успеха» («hit rate») для группы документов Y1 будет приближаться к «коэффициенту успеха» для большей группы Y. Необходимо напомнить, что значения полноты и точности являются только критериями, с помощью которых измеряется влияние определенных изменений в системе или методов функционирования системы. Но, хотя оценка полноты, полученная в результате таких испытаний, может оказаться несколько завышенной или заниженной по отношению к «истинной полноте», метод, использованный для получения оценки, остается неизменным на протяжении всей программы оценки. Так что получаемые значения этих параметров все же могут служить ценными указателями изменений качества функционирования системы в различных ситуациях. 2. Экспериментально-практическая часть 2.1 Анализ экспериментальных данных Единственной целью программы оценки является получение данных для их последующего анализа. Различают два типа данных: 1) численные показатели качества функционирования поисковой системы и 2) данные о неудачах при поиске. После проведения испытания системы одной из первых задач должно быть выявление и суммирование результатов по полноте и точности поиска. Известны два альтернативных способа осреднения численных значений полноты и точности для серии экспериментальных запросов. В первом случае суммируются результаты отдельных поисков, и полученная сумма делится на общее число поисков. Таким образом получаются средние значения коэффициентов полноты и точности поиска. Этот метод известен как метод вычисления среднего отношений. Второй метод сводится к подсчету числа документов, выданных по всей экспериментальной серии запросов, и получению обобщенных значений коэффициентов полноты и точности в виде отношения средних. Например, если в 100 экспериментальных поисках найдено в сумме 1000 документов, 800 из которых признано релевантными, то коэффициент точности в соответствии с методом отношения средних равен 80%. Каждый из указанных методов имеет свои преимущества и недостатки, однако если экспериментальные данные достаточно однородны, результаты, получаемые в обоих случаях, оказываются близкими. Важно, чтобы в процессе выполнения экспериментальной программы используемый метод расчета оставался неизменным. Коэффициенты полноты и точности поиска независимо от того, представлены ли они в виде таблиц или графическим способом, сами по себе имеют малую ценность. Их нельзя использовать для сравнения характеристик систем с различным характером документов и запросов, различными требованиями потребителей к полноте и точности поиска, отличающихся допустимым временем поиска и степенью участия потребителей в процессе поиска. Подобное сравнение бессмысленно. Коэффициенты полноты и точности по существу являются измерительными стандартами. В рамках программы оценки системы они используются аналогично другим измерительным средствам, например так, как это имеет место при измерении величины предметов. В качестве первого шага, можно измерить поисковую характеристику системы по отношению к экспериментальной серии запросов и сопоставить ее с идеальными значениями полноты и точности поиска, равными 100%. Более важной представляется возможность определения степени удовлетворения информационных нужд потребителей, поскольку члены группы потребителей, привлеченной к участию в эксперименте, предъявят различные требования к полноте и точности поиска. Кроме того, можно измерить разницу в характеристиках качества системы по отношению к запросам, касающимся различных широких предметных областей или полученным от групп потребителей различного состава. Мы можем проследить вариацию поисковой характеристики в зависимости от режима функционирования системы, например от ступеней и уровней взаимодействия потребителя с системой. Можно также использовать эти измерительные стандарты для измерения эффекта вносимых в систему изменений, таких, как добавление или изъятие указателей роли, использование весовых коэффициентов, а также введение промежуточного человеческого звена для предварительного анализа и сортировки результатов поиска на выходе системы перед выдачей их потребителю. Если единственно мы как рассматриваем средства коэффициенты для измерения полноты изменений и точности поисковой характеристики в рамках нашей собственной системы и в границах проводимого эксперимента, очевидно, что любой метод, обеспечивающий допустимую степень точности при оценке параметров эффективности поиска, является равнозначным при условии его неизменности в ходе выполнения всей программы оценки. Даже в тех случаях, когда применение данного метода приводит к небольшому занижению или завышению оценок полноты и точности поиска, получаемые численные значения характеристики с полным правом могут быть использованы для сравнения эффектов, вызванных в системе изменениями вследствие постоянства используемого метода. При рассмотрении результатов единичного поиска статистическая достоверность получаемых. значений коэффициентов полноты и точности мала, хотя она, очевидно, и зависит от количества исходных данных для каждой конкретной оценки. Мы можем, например, быть гораздо более уверенными в значении полноты 15/17, чем 0/1. Кроме того, анализ не основывается на численных значениях показателей (будь то коэффициент полноты или коэффициент точности) для одиночных поисков. Анализ основан на группировании и усреднении численных значений характеристик для ряда поисков, имеющих некоторые общие признаки (например, относящихся к одной и той же широкой предметной области). Достоверность среднего значения характеристики, полученного по результатам нескольких индивидуальных оценок полноты, очевидно, намного больше достоверности самих оценок. Определив значения характеристики, соответствующие отдельным экспериментальным поискам, и усреднив их, мы можем найти ее общее среднее значение для системы. Допустим в качестве гипотетического примера, что по результатам 200 поисков коэффициенты полноты и точности системы оказались равными соответственно 72 и 23%. В некотором смысле коэффициент полноты, вычисленный с учетом лишь документов, «имеющих основную ценность», рассматриваемый совместно с общим коэффициентом точности, является более надежным показателем качества функционирования системы, чем общий коэффициент полноты. В общем случае под документом, определенным потребителем как «имеющим основную ценность», вероятно, понимается документ, которого потребитель не хотел бы лишиться при поиске. Тогда как «менее ценным» документом будет считаться такой, который потребитель: охотно получил бы в случае его отыскания, но без которого он вполне может обойтись. Для той же группы из 200 экспериментальных поисков мы могли бы сказать, что система отыскивает 81% документов, имеющих основную ценность, при коэффициенте точности 23%. Необходимо помнить, что средние значения могут иметь обманчивый характер. Обычно имеется широкий разброс результатов экспериментальных поисков. Например, по недавней оценке системы MEDLARS средние значения полноты и точности поиска равнялись 58 и 50% соответственно. Анализ неудач при поиске После вычисления и регистрации численных значений поисковой характеристики, соответствующих экспериментальной серии запросов, следующим шагом является детальный смысловой анализ причин потерь и шумов при поиске. Рассмотрим гипотетический поиск, в котором система выдает 6 и теряет 4 из 10 «известных как релевантные» документов (т.е. коэффициент полноты равен 60%). Потребитель оценивает случайную выборку, включающую 25 документов, определяя 10 из них как имеющих ценность и 15 – как нерелевантных (т.е. коэффициент точности равен 40%). Тогда для данного поиска необходимо исследовать 4 случая невыдачи релевантных документов и 15 случаев выдачи нерелевантных документов. При этом следует подчеркнуть, что указанные значения потерь (ошибок по полноте) и шумов (ошибок по точности) не являются в действительности единственными в процессе поиска. Это лишь те ошибки, о которых мы знаем и которые мы используем для представления общей величины шумов и потерь (т.е. они симптоматичны для проблем, встречающихся при поиске). «Ретроспективный» анализ поисковых неудач – наиболее спорный аспект программы оценки. Для каждого случая «неудачи» он включает исследование следующих элементов: 1. полного текста самого документа; 2. поискового образа этого документа (т.е. приписанных документу терминов языка индексирования); 3. формулировки запроса; 4. поискового предписания, по которому осуществляется поиск; 5. изложенной в полной форме оценки потребителя, особенно (при исследовании шумов) причины отнесения документа к разряду источников неудачи нерелевантных. На основании анализа перечисленных принимается решение об основной причине или причинах каждой исследуемой неудачи. Почти все неудачи будут отнесены к тем или иным аспектам процессов индексирования и поиска, языка индексирования, процессов обработки на ЭВМ или области взаимодействия потребителя с системой. В правильно организованном исследовании по крайней мере отнесение шумов к той или иной причине будет совместным решением потребителя и лица, производящего оценку, так как суждение потребителя относительно причин «нерелевантности» каждого документа оказывает существенную помощь при анализе неудач поиска. Предположим, например, что потребитель читает данный документ нерелевантным, так как «в нем идет речь об электронных генераторах шума, в то время как меня интересуют механические генераторы шума». Получив такое объяснение со стороны потребителя, мы лично знаем, почему найденный документ не удовлетворяет его информационных потребностей. Следовательно, теперь необходимо изучить соответствующую поисковую документацию, чтобы определить причину неправильной выдачи документа: проводился ли поиск слишком широко, или язык индексирования был недостаточно специфичным для данного запроса (т.е. он позволял определить «генераторы шума», но не давал возможности отличать электронные генераторы от механических), ли был неверно заиндексирован документ, или неточно был сформулирован запрос (т.е. не был отражен факт заинтересованности только в механических генераторах шума). Всякий раз, когда это возможно, для каждой отдельной неудачи выделяется «наиболее важная» причина. Иногда, однако, подобное отождествление невозможно из-за наличия двух адекватных в этом смысле элементов системы. Для некоторых случаев потерь мы можем сказать, что документ был бы выдан, если бы индексатор использовал дополнительный термин Х. С другой стороны, столь же важно, что если бы лицо, осуществляющее поиск, обобщило в разумных пределах принятую стратегию поиска: «А1 u В и С» на «А u В u С», документ также был бы выдан. В таких случаях неудача должна быть отнесена одновременно и к индексированию, и к процессу поиска или к каким-либо другим элементам системы, совместно являющимся причинами неудач. Очевидно, что относительное число неудач (и их точный тип) внутри каждой категории будет меняться от системы к системе. Однако основные типы неудач при поиске будут одинаковы для большинства действующих систем. Имеет смысл рассмотреть их более подробно. 2.2 Неудачи при поиске, обусловленные несовершенством языка индексирования Качество языка индексирования является, вероятно, наиболее важным единичным фактором, влияющим на характеристику поисковой системы. Плохая стратегия поиска, несовершенное или непоследовательное индексирование могут снизить поисковую характеристику, но хорошее индексирование и хороший поиск не в состоянии компенсировать несовершенство языка индексирования. Другими словами, индексаторы и лица, осуществляющие поиск, могут достигнуть только такого уровня результатов, который соответствует возможностям языка индексирования. Неудачи при поиске, обусловленные недостатками языка индексирования, бывают двух основных типов: 1) неудачи, являющиеся следствием недостаточной специфичности терминов языка индексирования, и 2) неудачи за счет неоднозначной или ошибочной связи терминов. Недостаточная специфичность языка индексирования может привести как к потерям, так и к шумам при поиске. Если мы при отнесении документа к конкретному классу не можем точно определить последний в терминах языка индексирования, хотя и используем словарь входов, следствием недостаточной специфичности словаря будут шумы, а потери, относимые к этой причине, будут отсутствовать. Результатом пропуска понятия, имеющегося в словаре входов, будут как шумы, так и потери. Для примера рассмотрим тему «Нарушения зрительного восприятия». Предположим, что мы не можем однозначно определить это понятие, но решили его заиндексировать, используя комбинацию терминов «Зрение» и «Иллюзию». Представим себе теперь, что имеется запрос на документ по данной теме. Поскольку понятие присутствует в словаре входов, нам известно, какую комбинацию терминов необходимо использовать в поисковом предписании. Поиск будет сопровождаться шумом, поскольку логическое произведение классов «Зрение» и «Иллюзии» «Зрительные иллюзии» – шире точного класса «Нарушения зрительного восприятия». Однако потерь не будет, так как наличие данного понятия в словаре входов дает возможность сохранять неизменным результат его идентификации при индексировании и позволяет точно определить конкретный характер этой идентификации лицу, производящему поиск. Предположим теперь, что мы не имеем точного термина для понятия «Нарушения зрительного восприятия» И не можем отразить его какой-либо комбинацией других терминов, хотя документ по данной теме введен в систему. В этом случае возможны следующие исходы: 1. Пропуск этого понятия индексатором. Вероятно, что при индексировании документа, в котором говорится о нарушениях зрительного восприятия, причем данная тема не обязательно является в нем центральной, она будет опущена индексатором, если ни в словаре входов, ни в словаре терминов индексирования не имеется точного термина для ее отражения. 2. Не идентичность результатов индексирования. Одни индексаторы могут использовать «Зрение» и «Иллюзии», в то время как другие – иную комбинацию терминов. 3. Потери в процессе последующего поиска по данной теме. Некоторые из них будут следствием пропусков понятий при индексировании, другие – неидентичности результатов индексирования (лицо, осуществляющее поиск, не знает, к какой категории был отнесен запрашиваемый предмет, и не охватывает всех возможных комбинаций терминов, необходимых для достижения высокой полноты). 4. Появление дополнительных шумов при поиске. Поскольку лицо, осуществляющее поиск, не знает результатов индексирования данного понятия, оно будет вынуждено использовать большое число альтернативных комбинаций терминов, часть которых приведет к выдаче большого числа иррелевантных документов. Из сказанного выше можно сделать некоторые выводы. Потери, обусловленные недостаточной специфичностью терминов, означают, что тема поиска или некоторые из ее аспектов не отражены даже в словаре входов системы. Шумы, обусловленные недостатком специфичности, указывают на неадекватность объемов индексируемого понятия и понятий, используемых для его определения в словаре индексационных терминов. Устранение шумов этого типа должно осуществляться путем включения в словарь терминов или их комбинаций, адекватно по объему определяющих искомое понятие. Для устранения потерь нам нет необходимости адекватно определять понятие, но мы должны включить его в словарь входов. Чтобы лучше понять смысл недостаточной специфичности языка индексирования, удобно классифицировать все экспериментальные запросы по предметным областям и подсчитать количество запросов в каждой предметной области, затронутых недостаточной специфичностью терминов словаря с точки зрения неудач при поиске. По отношению к запросам, сформулированным для данной конкретной системы, словарь, относящийся к составу и структуре металла, крайне несовершенен (свыше трети всех поисков по этой теме отмечено недостатком специфичности) и требует принятия немедленных мер по его доработке. Неопределенность и ложность отношений между терминами является другим источником приписываемые шумов. документу В в некотором процессе смысле все термины, индексирования, должны рассматриваться как связанные определенным отношением, даже если эта связь является весьма слабой (т.е. состоит в том, что оба термина находятся в одном и том же поисковом образе документа). Тем не менее рассмотрим поиск, включающий простое отношение двух терминов в виде логического произведения, т.е. А 8 отношении к В. Несмотря на то что все найденные с помощью этой координации документы должны быть заиндексированы и термином А и термином В, некоторые из них могут оказаться нерелевантными ввиду отсутствия непосредственной связи между А и В (ложная координация) или наличия связи, представленной иным видом отношений, чем было указано потребителем (неадекватная взаимосвязь терминов). Различие между ними можно пояснить на некоторых примерах. Рассмотрим запрос по теме «Нейрологические осложнения болезней почек». Одна из комбинаций терминов, используемых в поисковом предписании, включает «Уремия» и «Миозит». В одном из найденных нерелевантных документов обсуждаются результаты определения кальция в сыворотке при различных заболеваниях, в том числе при уремии и полимиозите. Очевидно, что в этом документе указанные термины не находятся в прямой взаимосвязи (т.е. в нем не идет речь о больном, страдающем и уремией, и миозитом). Данный пример является иллюстрацией случая ложной координации. Рассмотрим другой запрос, касающийся «Нарушения менструаций после прекращения перорального приема противозачаточных средств». Одной из поисковых комбинаций является «Применение противозачаточных средств, перорально» и «Нарушения менструации». Однако при данной стратегии поиска использованию находится вводимых ряд документов перорально по терапевтическому противозачаточных средств (эстрогенов) для лечения нарушений менструаций. Это пример неадекватной взаимосвязи терминов: два термина определенным образом связаны в нежелательном документе, но не тем отношением, которое имел в виду потребитель (случаи, когда нарушения менструации были следствием перорального приема противозачаточных средств). Ложных координаций можно избежать путем использования средств объединения терминов [обычно называемых указателями связи (links)], тогда как неадекватность отношений терминов устраняется применением указателей роли. Число неудач этого типа можно существенно снизить путем большей спецификации терминов словаря. Предположим, что мы осуществляем поиск по рыбным токсинам (т.е. токсинам, вырабатываемым рыбами, таким, как тетродоксин) путем координации терминов «Токсины» и «Рыбы». В некоторых из найденных документов рассматриваются токсины (например, бактериальные), имеющие отношение к рыбам, но не производимые ими. Очевидно, можно было бы избежать подобных выдач, если бы мы подразделили класс токсинов следующим образом: Токсины, Животные (т.е. вырабатываемые животными) Токсины, Бактерии (т.е. вырабатываемые бактериями) Токсины, Растения (т.е. вырабатываемые растениями) В этом случае был бы возможен поиск рыбных токсинов путем координации терминов Токсины, Животные и Рыбы. Это не исключило бы все неоднозначные и ложные связи, однако уменьшило бы их число. По крайней мере, мы были бы в состоянии избежать выдачи документов по бактериальным токсинам. Одним из способов, существенно повышающих специфичность терминов словаря и позволяющих избежать многих типов ложных координаций и неадекватности связей терминов, является использование подзаголовков. Подзаголовками служат термины, выражающие общие понятия, которые могут быть добавлены к основным заголовкам. Так, записывая «Уремия / Осложнения» и «Миозит / Этиология», мы соединяем термин «Уремия» с термином «Миозит» (т.е. связываем оба термина) и в то же время указываем точное взаимоотношение между ними (миозит является осложнением уремии). Аналогичным способом можно избежать упомянутых ранее неадекватных отношений терминов. «Противозачаточные средства, перорально / Вредное действие» и «Нарушения менструации» является комбинацией, необходимой для нахождения релевантных документов. При этом будет отсутствовать нерелевантная литература по терапевтическому использованию противозачаточных средств (заиндексированная терминами «Противозачаточные средства, перорально» и «Терапевтическое использование»)» До сих пор мы рассматривали шумы, обусловленные отсутствием указателей отношений терминов в словаре, Со своей стороны, наличие в системе указателей отношений потенциально приводит к потерям при поиске. Это особенно справедливо по отношению к указателям роли, которые, в силу того, что они придают словарю большую специфичность и позволяют выражать более точные оттенки значения терминов, трудно применять в логически последовательном виде [1]. Аналогичный вывод, повидимому, справедлив и в отношении подзаголовков, хотя в настоящее время еще не имеется прямых доказательств этого. В качестве примера рассмотрим запрос «Применение зализывающих устройств для снижения лобового сопротивления при установке обтекателей гидролокаторов». «Зализы» в этом случае трактуются как средства установки обтекателей гидролокаторов. Поиск поэтому осуществляется по следующей комбинации терминов: «Обтекатели гидролокаторов» (роль 9 – пассивный объект операции установки) и «Зализы» (роль 10 – средства достижения установки). Для выявления предметных областей, в которых обсуждаемые проблемы языка индексирования находят наиболее частое отражение, будет снова полезным представить результаты эксперимента в виде таблицы. Путем разнесения по предметным областям мы можем определить шумы, обусловленные наличием неадекватных связей терминов, и получить результаты, аналогичные по форме приведенным в табл. 4. Из табл. 4 следует, что шумы, являющиеся следствием неадекватности взаимоотношений терминов, присутствуют более чем в половине поисков по биологическим эффектам физических явлений. Этот результат не может не заинтересовать нас. Для выяснения причин подобной ситуации необходимо выполнить дальнейший анализ. При этом мы обнаружим, что большинство запросов, относящихся к этой широкой предметной области, касается биологического воздействия радиации и что причиной шумов является недостаточная специфичность языка индексирования, проявляющаяся в невозможности установления ясного различия между вредным действием радиации и ее терапевтическом использовании (радиотерапия). В связи с этим, очевидно, необходима доработка данного фрагмента словаря. Наоборот, там, где мы сталкиваемся с проблемами использования указателей роли, Подобное табулирование позволит определить, какой указатель роли труднее всего применить в логически последовательной форме при индексировании и поиске. В свою очередь это дает нам также возможность принять соответствующие корректирующие меры. Мы обсудили основные причины неудач при поиске, обусловленные несовершенством элементов языка индексирования. Возможны и другие недостатки языка, однако они, вероятно, оказывают менее существенное воздействие на характеристики системы. Дефекты или аномалии в иерархической структуре словаря могут привести к потерям и шумам. Рассмотрим, например, поиск по теме «Процессы развития, регенерации и дегенерации нервной системы». Одна из стратегий включает поиск по термину «Заживление ран» и любому термину из иерархического дерева понятия «Болезни нервной системы» (т.е. родовой поиск по болезням нервной системы). Эта иерархия включает, к сожалению, термин «Боль», и комбинация «Боль» и «Заживление ран» приводит к выдаче ряда совершенно нерелевантных документов, включая документы по геморроям. Неудачи при поиске могут быть также следствием несовершенства системы перекрестных ссылок в тезаурусе. Например, поиск ведется по теме «Конструктивная устойчивость сотовых стержней» с использованием терминов «Устойчивость» и «Неустойчивость». Но эти термины не связаны в тезаурусе с другими терминами, имеющими определенное отношение к «устойчивости» В текстах документов по строительной технике (например, «Разрушение» и «Усталость»). Результатом этого будут потери. Существуют два различных типа неудач, обусловленных недостатками процесса индексирования: 1) неудачи, вызванные ошибками индексатора, и 2) неудачи, являющиеся следствием решения относительно среднего числа терминов, приписываемых документу при индексировании. В свою очередь ошибки индексатора могут быть также двух типов: а) пропуски термина или терминов, необходимых для описания важных тем, обсуждаемых в документе, и 2) использование терминов, не соответствующих предметному содержанию документа. Пропуски обычно приводят к потерям, в то время как использование неподходящих терминов (т.е. совершенно неверное индексирование) может вызвать как шумы (лицо, осуществляющее поиск, использует этот термин в поисковой стратегии и находит нерелевантные документы), так и потери (лицо, осуществляющее поиск, использует правильный термин, но нужный документ не будет найден, так как он представлен в массиве неверным термином). Различие между потерями, обусловленными ошибками индексатора, и потерями за счет недостаточной полноты индексирования заключается в следующем: 1. Пропуск индексатора: центральная тема обсуждаемого в документе предмета совсем не отражается при индексировании. Вместе с тем пропущенная тема ощущается настолько важной, что должна быть отражена даже в случае индексирования с малой полнотой. 2. Недостаточная полнота: при индексировании не отражены второстепенные аспекты содержания. Тема не является основной в документе и, по-видимому, исключена в пользу других тем в соответствии с принятым решением относительно среднего числа приписываемых терминов. К сожалению, если при индексировании документа пропущен важный термин, документ, вероятно, останется не найденным в ряде поисков, для которых он, возможно, является в большой степени релевантным. Более того, ошибки этого типа, хотя и могут вскрыты в ходе выполнения программы оценки, останутся не обнаруженными при обычном режиме функционирования системы. Несомненно, что некоторого числа пропусков индексатора нельзя избежать в условиях сжатых графиков работы. Однако, по-видимому, относительное число неудач при поиске по этой причине большего числа неудач из-за использования неподходящих терминов. Если работа одного индексатора контролируется («перепроверяется») вторым, ошибочное использование терминов при индексировании будет в большинстве случаев выявлено и может быть легко исправлено. Пропуски же определить гораздо труднее, поскольку здесь требуется внимательное изучение самого документа в ходе контрольной проверки. Ранее уже указывалось, что чем полнее мы описываем (с помощью терминов языка индексирования) содержание документа, тем большей будет ожидаемая полнота поиска. Наоборот, вследствие обратной зависимости между полнотой и точностью, чем больше полнота индексирования, тем больше вероятность появления шумов. Частично это объясняется наличием больших потенциальных возможностей для ложной координации терминов, частично же тем фактом, что полное, исчерпывающее индексирование приводит к выдаче документов, имеющих весьма слабое отношение к запросу. В процессе функционирования любой поисковой системы, вероятно, будут потери вследствие недостаточно полного индексирования. В то же время при полном индексировании возможно и появление шумов, главным образом за счет выдачи документов, малоинформативных по отношению к сформулированному запросу. Наиболее трудной проблемой, связанной с методикой индексирования, в любой системе является решение о приемлемой полноте индексирования. При анализе результатов эксперимента надо попытаться выявить все поиски, в которых наиболее вероятны потери, обусловленные недостаточной полнотой индексирования. И наоборот, надо выявить поиски, в которых возможны шумы вследствие большой полноты индексирования. Например, может выявиться невозможность осуществления успешных поисков по определенным методам медицинской диагностики (например, биопсии костного мозга), так как эти способы, зафиксированные в историях болезней на различных их стадиях, не отражены должным образом при индексировании. Аналогично мы могли бы обнаружить, что другие типы поиска неизменно приводят к низкой точности вследствие способа использования определенных затруднительным проведение терминов. успешного Например, поиска может по оказаться конкретным приложениям электронных вычислительных машин для обработки данных (например, по машинному считыванию электрокардиограмм), так как термины языка индексирования, относящиеся к «обработке данных», использовались без дальнейшей детализации во всех случаях, когда в документе рассматривались вопросы применения ЭВМ (например, «расчеты были выполнены на ЭВМ IВM 7094»). Если в системе заиндексированные с имеются различной различные степенью типы документов, полноты, необходимо протабулировать результаты поиска для каждого типа, чтобы точно выяснить влияние степени полноты, индексирования на коэффициенты полноты и точности поиска. Такое табулирование может оказать помощь в установлении «оптимального» уровня полноты индексирования. С другой стороны, оно, возможно, выявит неадекватность индексирования ряда документов. Из этих данных отчетливо видна неадекватность индексирования (по отношению к сформулированным запросам) введенных в систему журнальных статей. Как и ожидалось, они заиндексированы с меньшей полнотой по сравнению с научно-техническими отчетами, в поисковых образах которых присутствует значительно большее число терминов. В подобной ситуации, вероятно, должна наблюдаться своего рода компенсация в виде большей точности поиска журнальных статей, однако это не так. В действительности, и полнота, и точность их поиска ниже соответствующих показателей для научно-технических отчетов. Чтобы выяснить причины такой аномалии, очевидно, необходимо провести определенный анализ. Вероятно, мы при этом обнаружим, что журнальные статьи (поскольку они в результате принятой методики описаны меньшим числом терминов) заиндексированы и менее полно, и менее специфично. Рассмотрим, например, статью по производству сосудов высокого давления. В ней описывается производство методом дуговой сварки в защитной среде и обсуждается использование различных защитных газов. Ввиду ограничения среднего числа приписываемых терминов мы индексируем статью термином «Дуговая сварка в среде защитных газов», но не отмечаем особыми терминами конкретные упоминаемые газы. Следовательно, при поиске по теме «Аргонная дуговая сварка сосудов высокого давления» статья не будет выдана, хотя она и релевантна данному запросу. Отсутствие гибкости при установлении среднего числа приписываемых в процессе индексирования терминов весьма опасно, особенно когда это приводит к слишком общему отражению содержания некоторых типов документов, как в приведенном примере. Полнота индексирования является, конечно, относительным понятием. Представим себе поиск по предмету «Хрусталик глаза позвоночных», проводимый по термину «Хрусталик глаза» и терминам, относящимся к позвоночным. Один из найденных документов, признанный нерелевантным, касается тучных клеток и содержания гистамина в глазу крупного рогатого скота. При изучении документа обнаружено, что упоминание о хрусталике имеется в нем лишь в одном месте. В этом случае мы должны сказать, что данная неудача при поиске во многом обусловлена исчерпывающей полнотой поиска; поэтому по отношению к приведенному запросу приписывание документу термина «Хрусталик глаза» следует признать неоправданным. С другой стороны, возьмем гораздо более специфический запрос на документы, касающиеся содержания гистамина в хрусталике глаза. По отношению к этому запросу упомянутый выше документ является более релевантным и может действительно оказаться одним из немногих, содержащих сведения о численных значениях соответствующих величин. В этом случае присутствие в документе термина «Хрусталик глаза» полностью· оправданно. В целом можно сказать, что лучше ошибаться при индексировании в сторону большей полноты. Трудно найти документ по предмету Х, если термин Х не отражен при индексировании документа. Вместе с тем имеются, однако, и различные способы уменьшения полноты индексирования (и соответствующего повышения точности) при поиске. Наиболее очевидным из них является использование весовых коэффициентов. 2.3 Неудачи, обусловленные несовершенством процесса поиска Существуют три основных типа неудач, относимых к самому процессу поиска: 1. явные ошибки включающие использование терминов или неправильной стратегии поиска; неподходящих 2. неудачи, обусловленные принятыми в поисковой стратегии уровнями специфичности и / или полноты; 3. потери, обусловленные тем фактом, что лицо, осуществляющее поиск, не использовало всех «разумных» способов для отыскания релевантных документов. Неудача, связанная с не использованием всех разумных способов для отыскания релевантных документов, часто является основной причиной потерь. К этой причине следует отнести любой пропущенный релевантный документ, который мог бы быть найден по терминам или комбинациям терминов, если производящий поиск учел бы «разумные» возможности выбора терминов при составлении поискового предписания. На практике встречаются два вида неудач этого типа: 1. пропуск одного релевантного термина или комбинации терминов в формулировке запроса, которая во всех других отношениях хорошо отражает интересы потребителя; 2. пропуск целого аспекта запроса в том виде, как он сформулирован потребителем. Первый тип менее опасен по своим последствиям, чем второй, но и он может существенно уменьшить коэффициент полноты поиска. Пусть, например, ищется материал по лечению (т.е. восстановлению) ампутированных кончиков пальцев. Лицо, осуществляющее поиск, не использовало ни одного термина, относящегося к понятию «Лечение», целиком полагаясь лишь на термины, относящиеся к понятиям «Пальцы» и «Ампутация». Однако не все документы по поврежденным кончикам пальцев заиндексированы термином «Ампутация» (который используется скорее в смысле терапевтической, чем травматической ампутации), и полнота поиска будет поэтому очень низкой. Или рассмотрим поиск материалов по эмбриологии хрусталика глаза. Лицо, осуществляющее поиск, координирует термин «Хрусталик глаза» с терминами, относящимися к эмбриологии, но не полностью отражает последнюю группу терминов (например, термины «Эмбрион» и «Куриный эмбрион» пропущены). В этом случае полнота поиска также снижается. Более пагубные последствия возможны в случае пропуска лицом, осуществляющим поиск, целых аспектов темы, эксплицитно выраженных в запросе. Этот тип неудач особенно часто встречается в довольно длинных многоаспектных формулировках запросов. Основной причиной его, повидимому, является небрежное чтение запроса. В то время как пропуски нужных терминов в поисковом предписании приводят к потерям, использование неподходящих терминов будет вызывать шумы. Рассмотрим, распознаванию например, клеток. Лицо, поиск материалов осуществляющее по поиск, машинному координирует термины, относящиеся к «Обработке данных», с терминами, отражающими понятие «Клетка», но ошибочно включает в первую группу термин «Кибернетика». Этот термин не имеет отношения к поиску по теме «Распознавание клеток», которое по существу является частным случаем проблемы распознавания образов, поэтому такая ошибочная координация приведет к выдаче многих нерелевантных документов, в которых клетки трактуются как кибернетические системы. Неподходящие комбинации терминов будут чаще всего появляться в относительно сложных поисковых предписаниях, в которых множество терминов одной логической суммы «пересекается» с множеством терминов второй суммы. В то время как общая стратегия поиска может быть вполне разумной, некоторые из комбинаций, являющиеся продуктом пересечения, могут оказаться неподходящими для данного поиска. Например, на запрос о литературе, касающейся деятельности медицинских школ, врачебных пунктов и органов здравоохранения в области планирования деторождения, поиск проводится по следующей комбинации: [Термины, указывающие на область медицины] и [Термины, отражающие планирование семьи] К сожалению, в первую группу входят также термины, обозначающие медицинские специальности, среди которых имеется термин «Акушерство», в то время как термин «Беременность» включен во вторую группу. Не удивительно, что комбинация «Акушерство» u «Беременность» приводит к выдаче большого числа документов по охране материнства, и доля шумов при поиске составляет 90%. Неправильная логика поиска может вызвать ряд неудач, хотя она и не должна быть их основной причиной. В довольно сложном булевом выражении, включающем суммы, произведения и отрицания, легко ошибиться и поставить и там, где подразумевается или (или наоборот), или же неумышленно связать при помощи символа и термин с самим собой. Многие потери и шумы связаны с вариациями полноты и / или специфичности поискового предписания. Несомненно, что изменение полноты и специфичности является существенным элементом поисковой стратегии. Действительно, центральной проблемой поиска является принятие решения относительно оптимального уровня полноты и специфичности для каждого конкретного запроса. Чем менее специфична и полна формулировка, тем больше документов будет найдено; при этом полнота поиска будет иметь тенденцию повышаться, а точность – понипонижаться. Чем более специфична и полна формулировка, тем меньше документов будет найдено, полнота будет стремиться к понижению, а точность – к повышению. Для каждого конкретного запроса следует решить, в каком направлении лучше двигаться, другими словами, насколько потребитель на деле хочет приблизиться к полноте поиска, равной 100%, учитывая, что чем ближе мы подходим к этой цифре, тем большее число документов, вероятно, будет выдано и тем ниже будет вероятная точность поиска. Полным, или исчерпывающим (exhaustive), поисковым предписанием является то, которое требует совместного появления всех запрашиваемых потребителем понятий в каком-то отношении (хотя и не обязательно на том же уровне специфичности, на котором сформулирован запрос). Рассмотрим поиск по различным специфическим кишечным микроорганизмам, вызывающим понос или дизентерию при белковой недостаточности или квашиоркоре. Данный запрос включает отношения между тремя отдельными понятиями: 1) определенные специфические кишечные микроорганизмы, 2) расстройство деятельности кишечника в форме поноса или дизентерии и 3) нарушения функций организма в форме белковой недостаточности или квашиоркора. Стратегия поиска для этого запроса была бы полной (исчерпывающей), если бы выдача документа осуществлялась только в тех случаях, когда он 1) заиндексирован термином «Белковая недостаточность» или «Квашиоркор»; 2) заиндексирован термином, отражающим наличие некоторого микроорганизма; 3) заиндексирован термином, отражающим понос или дизентерию. При такой полной формулировке запроса мы можем ожидать высокой точности поиска (т.е. большая часть найденных документов будет, вероятно, релевантной). С другой стороны, стратегия может быть слишком полной: она может требовать слишком многого, чтобы можно было ожидать, что какой-то релевантный документ действительно был заиндексирован с помощью всех понятий, на которые указывает потребитель. Ожидаемая полнота поиска будет более высокой для менее полной формулировки, скажем: Белковая недостаточность и Термины, относящиеся к поносу или Квашиоркор Полнота поискового предписания, очевидно, связана с уровнем координации (т.е. с числом совместно встречающихся терминов индексирования, требуемых для выдачи документа), но строго однозначного соответствия между полнотой и уровнем координации не может быть. Например, «Белковая недостаточность» и «Дизентерия» и «Кишечные микроорганизмы» является координацией трех терминов, исчерпывающей, или полной, в том смысле, что она охватывает все запрашиваемые потребителем соотносимые понятия. Однако эти понятия совершенно так же отражены в комбинации «Белковая недостаточность» и «Дизентерия, бактериальная», которая является координацией двух терминов. Более того, изменяя уровень координации, мы регулируем скорее специфичность, чем полноту поиска. Пусть запрашиваются материалы по «Метастатическому жировому некрозу как осложнению панкреатита». Формулировка «Панкреатит» и «Некроз» полная в том смысле, что она требует совместного появления двух специфицируемых понятий. Координация трех терминов – «Панкреатит» и «Некроз» и «Жировая ткань» является более специфичной по отношению к этому запросу. Очевидно, полные (исчерпывающие) формулировки приведут к потерям, в. то время как неполные формулировки будут вызывать шумы. Аналогично специфичные формулировки будут вызывать потери, а недостаточно специфичные приведут к шумам. Неспецифичный поиск не означает, что для специфичного термина А1 мы используем непосредственно следующий за ним более общий термин А на иерархическом дереве. Многие поиски могут быть неспецифичными в том смысле, что в них требуемый специфичный термин А1 заменяется термином В1, принадлежащим к совершенно другой иерархии. Другими словами, вместо поиска только по термину А1 лицо, осуществляющее его, производит обобщение в виде А1 или В1. Ясно, что при выборе поисковой стратегии опасен всякий догматизм. Не существует общезначимого «правильного» уровня общности. Однако всегда можно найти оптимальный уровень по отношению к поисковому требованию конкретного потребителя. С помощью детального анализа поисков, включающего исследование а) потерь, обусловленных специфичностью и / или полнотой стратегий, и б) шумов за счет недостаточной специфичности и / или полноты стратегий, мы можем помочь лицу, производящему поиск, решить, когда ему следует расширить поиск, каким способом лучше всего осуществить такое расширение и какие типы обобщения поиска не гарантируют получения ожидаемых результатов. 2.4 Неудачи при поиске, Обусловленные несовершенством Взаимодействия потребителя с системой Неправильно организованная взаимосвязь потребителя с системой может явиться серьезным источником потерь и шумов при поиске, особенно в очень больших системах. При оценке системы MEDLARS 25% всех потерь и 11% шумов были отнесены к этой причине. Потери, обусловленные неправильным взаимодействием, означают, что сформулированный запрос является более специфичным, чем действительная область информационных нужд потребителя. Документы, ценные для потребителя с точки зрения его нужд, не отыскиваются по той причине, что лицо, осуществляющее поиск, строго придерживается сформулированного запроса. Шумы, являющиеся следствием несовершенного взаимодействия, означают, что сформулированный запрос имеет большую степень общности, чем действительные информационные потребности. В результате выдаются документы, не имеющие ценности для потребителя. Эти документы соответствуют сформулированному запросу, но бесполезны в силу какого-то дополнительного ограничения или условия, которое не было указано в формулировке пересечение запроса. между В некоторых реальными и поисках возможно сформулированными частичное в запросе информационными потребностями. В этих случаях также вероятно, что и потери, и шумы будут результатом несовершенного взаимодействия. В ходе выполнения программы оценки несоответствие между сформулированным запросом и информационной потребностью определяется на основании следующих факторов: 1. оценок релевантности, выполненных потребителями, особенно причин отнесения одних документов к разряду имеющих ценность, а других – к разряду бесполезных; 2. представленных потребителем исправленных запросов после его ознакомления с результатами поиска; формулировок 3. любых документов, считавшихся потребителем релевантными до того, как производился поиск; 4. контактов с потребителем, когда они были необходимы, для выяснения отдельных моментов в процессе анализа результатов поиска. Если в оцениваемой системе действительно существуют различные формы взаимодействия, полезно протабулировать поисковые результаты в соответствии с этими формами, как это сделано в табл. 7. Гипотетические данные, приведенные в таблице, показывают, что «наилучшими» являются запросы, присылаемые по почте непосредственно потребителем. Запросы, сформулированные при личном посещении им центра или присылаемые через филиалы библиотеки, менее точно отражают реальные нужды потребителей. Это может быть подтверждено определением для каждого способа взаимодействия с потребителем доли всех обработанных поисков, в которых имеют место неудачи. Вопрос об областях соприкосновения системы с ее потребителями является весьма важным. 2.5 Неудачи при поиске, обусловленные другими причинами Основные причины неудач при поиске были рассмотрены в предыдущих разделах. Другие возможные причины, доля которых обычно гораздо меньше, включают следующие: 1. Неудачи, обусловленные процессами машинной обработки (1% от всех неудач при исследовании системы MEDLARS). К ним относятся: а) ненахождение релевантного документа, несмотря на то что его поисковый образ точно соответствует требованиям поискового предписания, и б) выдача нерелевантного документа, поисковый образ которого не соответствует требованиям поискового предписания. Такие неудачи могут быть результатом ошибок программирования, проблем, связанных с магнитными лентами, при поиске или процессов эксплуатации поискового массива. 2. Неудачи, обусловленные техническими аспектами работы персонала системы. Характер и точный тип неудач этой категории изменяются в широких пределах от системы к системе. Они, например, могут явиться следствием ошибок в различного рода процессах, связанных с работой на клавиатурах (печатание и перфорация индексных терминов или стратегии поиска) и в других ручных процессах преобразования информации (например, записи буквенно-цифровых кодов для индексных терминов). 3. Шумы, связанные с «определением ценности» документа. Некоторая часть шумов должна быть отнесена к тому факту, что потребитель, несмотря на то, что он считает конкретный документ до некоторой степени релевантным запросу; отказывается от него ввиду его бессодержательности, тривиальности или плохого качества. 4. «Неизбежные» неудачи. Некоторая часть шумов, возможно, должна быть определена как «неизбежная». Сюда относятся случаи, когда выданный документ правильно заиндексирован, точно соответствует поисковому предписанию и в то же время нерелевантен запросу, причем нельзя указать разумных мер, которые позволили бы избежать подобной ситуации. Резюмируем еще раз основные причины неудач при поиске в информационно-поисковой системе, сведя их в таблицу. Некоторые из этих неудач имеют место не в каждой конкретной системе (очевидно, потери не могут вызываться использованием указателей роли, если последние отсутствуют в системе). Большинство этих причин, однако, характерно для любой системы. Отметим особо, что характер влияния некоторых аспектов индексирования и поиска на полноту и точность противоположен: то, что мы делаем для улучшения полноты, снижает точность, и наоборот. Заключение Проект выполнен в соответствий с проектом в масштабном объеме, целью которого явилось исследование вопросов эффективности ИПС. Теоретические исследования и вопросы оценки анализа эффективности ИПС в качестве основных критериев исследований эффективности ИПС. Рассмотрены полнота поиска, затраты труда, время ответа, форма выдачи, результат поиска, составления фонда и организация требования. Рассмотрены факторы вычисления на характеристики ИПС, в их числе исследовались полнота исследований, специфичность языка. Стратегия поиска, коэффициенты полноты и точности. Указанные выше вопросы исследуемые как теоретически и практически. Дан анализ неудач и ошибок при поиске информации. В дипломном проекте нашли отражение экономика и раздел безопасности жизнедеятельности. Список рекомендуемой литературы. Работа носит практичную направленность т.к. будет использоваться при разработке ИПС. Внедрение ИПС позволит в значительной мере ускорить поиск информации во всех архивах, снизить затраты рабочего времени на действия, просмотреть статистические данные по поиску. Список рекомендуемой литературы 1. Ч. Мидоу Анализ ИПС. Изд-во. Мир. М. 1970. 2. Белоногов Г.Г., Котов Р.Г., Автоматизированные ИПС. Изд-во. Советское радио. 1988. 3. Ф.У. Ланкастер ИПС. 1986. 4. Методические указания к выполнению контрольных работ по курсу: «Охрана труда и окружающей среды». КПИ, 1990 г. 5. В.Г. Олифер, Компьютерные сети Размещено на Allbest.ru
