ОЦЕНКА И УПРАВЛЕНИЕ КАЧЕСТВОМ ПРЕДОСТАВЛЕНИЯ БИБЛИОТЕЧНЫХ УСЛУГ

Оценка или измерение показателей работы — центральный вопрос в управлении библиотекой. Без ясного понимания того, чего вы действительно достигли, невозможно двигаться вперед и совершенствовать обслуживание. Сопоставление достижений с целями и задачами позволяет выявить истинную направленность услуги и судить о том, действительно ли человеческие, финансовые и иные ресурсы используются наилучшим образом. Сбор данных, касающихся различных этапов обслуживания, формирует базу для сравнительных оценок.

Оценка показателей эффективности работы — не более чем инструмент. Соответствующие технологии и методы призваны помочь руководителям разобраться, насколько разумно организовано обслуживание, что нужно сделать и каким образом можно проконтролировать достигнутый результат. Оценка эффективности работы подразумевает как измерение, так и общую оценку качества. Термин «оценка эффективности работы» относится к неточным наукам, особенно если мы исследуем гуманитарные аспекты работы библиотеки. Иногда отдается предпочтение термину «индикаторы работы».

Библиотекари и другие специалисты по работе с информацией уже давно заинтересовались измерением показателей обслуживания. В начале 1970-х гг. проблему качества обслуживания исследовал Ричард Орр. Он подчеркнул важность различия вопросов «насколько хороша эта услуга?» (что соответствует понятию качества) и «что хорошего происходит от использования этой услуги?» (что характеризует ценность). В 1977 году Ланкастер опубликовал книгу «Измерение и оценка библиотечных услуг», которая ознаменовала включение этой проблемы в круг основных задач библиотечного дела. В 1990 году Хосе Мария Гриффитс и Дон Кинг подготовили руководство по индикаторам качества работы публичных библиотек. Большое внимание уделялось сравнительным измерениям показателей работы с электронными и традиционными документами. В рамках инновационной программы создания электронных библиотек в Великобритании проводилось изучение вузовских библиотек. В отчете «Эффективная вузовская библиотека» было, описано пять показателей, которые следует учитывать при работе «гибридной» библиотеки, в которой обслуживание, осуществляется традиционными способами, и вместе с тем используются электронные технологии.

Интеграция. Уровень интеграции миссии, целей и задач вышестоящей организации и библиотеки.

Удовлетворение запросов пользователя. Мера удовлетворенности пользователей или потенциальных пользователей предлагаемыми услугами.

Исполнение. Мера выполнения поставленных задач и отдачи от вложений.

Эффективность. Отношение полученных результатов к вложенным ресурсам. Иными словами, отдача на единицу вложений.

Экономичность. Стоимость обслуживания одного пользователя.

Ведущими исследователями в области измерений показателей обслуживания электронными документами в США были Чарльз МакКлюр и Джон Берто. В 2001 году они опубликовали сборник работ «Оценки параметров обслуживания сетевыми документами». Ассоциация научных библиотек в это же время реализовала проект «новые измерения». Проект оказался инновационным и практическим. Среди результатов проекта можно назвать программу (LibQUAL+ tm) — удовлетворение запросов пользователей, и проект COUNTER — ресурсы. В Европе в рамках научно-исследовательского проекта EQUINOX был разработан набор индикаторов для оценки электронной библиотеки. Не остались без внимания и традиционные технологии. Был разработан международный стандарт показателей работы библиотеки ISO 11620. Активно работает в этой области Международная федерация библиотечных ассоциаций и учреждений (IFLA). В последние годы интерес к точным измерениям показателей работы усиливался по ряду причин. Во-первых, можно отметить настоятельные требования тех, кто обеспечивает финансирование библиотек: расходование общественных средств должно быть полностью подотчетно и прозрачно. Элементом этой подотчетности является обязательная публикация результатов измерения показателей работы.

Оценивая показатели своей деятельности, библиотека должна учитывать мнение и интересы следующих групп людей:

• • тех, кто действительно пользуется услугами библиотеки;
• • кто является потенциальным пользователем, но пока не обслуживается;
• • кто считает стратегически значимым само существование библиотечного обслуживания;
• • библиотекари из других организаций, ощущающие пользу совместного использования ресурсов;
• • кто поставляет какие-либо ресурсы, необходимые для существования библиотеки;
• • кто еще не родился, но в будущем получит пользу от существования организации, сохранившей информационные материалы и документы.

Данные группы людей могут по-разному (в том числе и негативно) относиться к работе библиотеки, но все они заинтересованы в измерении ее показателей. Методики измерения качества работы библиотеки должны исходить из того, насколько успешно библиотека выполняет задачи по отношению к сообществу своих пользователей. Однако важны и другие вопросы:

• • своевременно ли доставляется информация,
• • удобен ли для пользователей формат доставки документов,
• • сформирована ли инфраструктура, поддерживающая использование документов,
• • созданы ли важные поддерживающие сервисы, такие как развитие грамотности. Группы чтения, группы повышения квалификации?

О качестве зачастую судят, делая упор на один из трех показателей: экономичность, эффективность, результативность. Показатель «экономичность» отвечает на вопрос, является ли данный сервис наиболее дешевым из всех возможных? При этом совершенно не исследуется, насколько этот сервис нужен или насколько разумно им управляют. Однако в случае осуществления нескольких конкурирующих видов обслуживания экономичность может оказаться решающим критерием. Эффективность означает минимум затрат и отвечает на вопрос: сколько продукта производиться на единицу вложений? Эффективность касается процессов (сколько документов один библиотекарь выдает в течение одного часа). Если у вашего конкурента более высокая эффективность, он, даже снизив цены, все равно сможет получить прибыль. Возможно, он сумеет вытеснить вас с рынка услуг. В общественном секторе экономики неэффективность процесса может сказаться весьма болезненно. Результативность означает, что вы делаете то, что востребовано. Она связывает воедино фундаментальные цели, внешних по отношению к библиотеке организаций (например, правительства) с долговременными результатами работы. Важным элементом оценки результативности является измерение ценности и воздействия. Но именно эти показатели наиболее трудно поддаются измерению. Измерение качества работы библиотеки предполагает рассматривать библиотеку как систему, и проводить анализ данной модели организации. При таком рассмотрении организация использует имеющиеся ресурсы для того, чтобы создать конечный продукт посредством определенных процессов:

Ресурсы — процессы — продукт — последствия — воздействие. Конечный продукт влечет немедленные последствия, которые в свою очередь, переходят в долговременное воздействие. Сами по себе измерения качества работы касаются оценки каждого из этих аспектов, таким образом, при управлении библиотекой полученные данные можно использовать для того, чтобы изменить входные ресурсы и процессы их обработки посредством формирования цепи обратной связи. Точно также знание последствий может быть использовано для изменения баланса различных ресурсов и процессов их обработки, а значит, и конечного продукта, последствий и воздействий.

Организация измерений эффективности работы План проведения исследований

Прежде всего желательно разработать план необходимых измерений. План позволит удостовериться, что ничто не упущено, поможет распределить ресурсы и уяснить этапы анализа процесса измерений. В плане должны быть отражены следующие моменты.

1. Что вы собираетесь оценивать. Во многих случаях полезно выстроить цепочку основных результатов, которая покажет, каковы воздействия и последствия. В этом суть анализа по этапам системной диаграммы, приведенной в табл. 8.1. На основе этого можно будет уточнить вопросы для выполнения исследования.

Таблица 8.1

Разработка плана проведения исследований

• 2. Кто участвует в процессе. Кого затронет эта работа и каковы интересы затронутых сторон? Сеть следует забросить достаточно широко, поскольку группы заинтересованных людей будут включать команду, работающую над проектом, субъектов исследования (библиотечных пользователей), администрацию библиотеки и, возможно, представителей финансирующих и руководящих организаций.
• 3. Каковы временные рамки проекта. Будет ли это краткое исследование какого-либо конкретного аспекта обслуживания, привлекшего внимание? Или следует охватить определенный период, чтобы зарегистрировать типичные проявления, в том числе повторное взаимодействие с данным видом обслуживания? Или следует проявить повышенную активность, например, в случае изучения последствий обучения на курсах повышения квалификации информационных работников, которые, возможно, придется проводить периодически на основе анализа поведенческих моделей поиска информации?
• 4. Каковы подходящие критерии качества. Какие обработанные данные (а они могут быть в формате текстовых свидетельств, или количественных отношений, или соответствия стандартам) требуются для получения информации о реальном положении вещей? Согласно концепции SMART, показатели должны быть:
  • • конкретными (Specific). Исследования должны быть направлены как можно точнее на то, что вы хотите оценить,
  • • измеряемыми (Measurable). Должна быть предусмотрена возможность сбора данных, на основе которых будет рассчитываться величина показателя,
  • • согласованными (Achievable). Требуется ясное интуитивно оправданное определение того, какое направление «хорошее», а какое «плохое, ненужное», чтобы можно было осмысленно идентифицировать действия по внесению улучшений,
  • • релевантными (Relevant). Необходима нацеленность на то, что действительно важно для сервиса и пользователей,

• • своевременными (Timely). Необходимые данные должны быть получены тогда, когда они нужны, а не где-то в будущем, после завершения исследования.
• 5. Подходящие методы и разработка методов сбора данных. Очевидно, измерение качества зависит от сбора и анализа данных, касающихся обследуемого сервиса.

Следует четко различать количественные и качественные методы.

Количественные методы предназначены для демонстрации величины данного показателя. Например, они показывают среднее количество журнальных статей, полученных конкретным пользователем библиотеки за определенный период.

Качественные методы призваны объяснять, почему что-то

происходит. Например, они могут помочь понять цель, с которой пользователь запросил эти журнальные статьи, а возможно, и выявить эффект, который оказывает на его работу получение этих статей на компьютере.

• 6. Возможно ли комбинировать различные методы. Зачастую полезно сравнить количественные и качественные данные по одному и тому же сервису, чтобы увидеть различные стороны проблемы. Это можно сделать с помощью триангуляции. Как следует из названия, в этой методике используются три (хотя их может быть и больше) независимые методики, позволяющие рассмотреть вопрос с разных точек зрения. Существуют различные виды триангуляции, в частности:
  • • триангуляция методологий. В ней используются различные методы, зачастую содержащие как количественные, так и качественные методики,
  • • триангуляция наблюдателей. Результаты, полученные несколькими наблюдателями, анализируются независимо и только затем подвергаются сравнению,
  • • триангуляция данных. Здесь используются различные наборы данных, собранные в разные отрезки времени или полученные от разных аудиторий.
• 7. Какова предполагаемая аудитория. Методика выбора представительной аудитории изложена.
• 8. Пилотный проект. Как правило, каждый из экспериментов по сбору данных должен включать в себя пилотную стадию. Например, если вы используете анкетирование, состав анкеты надо опробовать на небольшой аудитории, чтобы при необходимости внести поправки к разрабатываемому вопроснику. Это делается, чтобы убедиться в том, что вопросы понятны респондентам, что они однозначны, что методы распространения анкет практически реализуемы и что собранные данные доступны для анализа. На более глубоком уровне проработки пилотное исследование дает возможность убедиться, что в результате анкетирования массив информации будет сформирован на требуемом концептуальном уровне. Например, если вы собираетесь исследовать мотивацию респондентов, то наличие в вашей анкете лишь односложных ответов (да/нет) не принесет никакой пользы и не прояснит проблему доступности обслуживания.
• 9. Как осуществить ревизию инструментов сбора данных, выбранного состава аудитории и методов распространения анкет по результатам пилотного обследования. В плане следует указать возможный масштаб изменений, которые придется предпринять на этой стадии.
• 10. Процедура анализа данных. План проведения исследования должен содержать краткое указание используемых методов и, если необходимо, сведения о потребности в ресурсах (например, в программном обеспечении). Если для освоения программного обеспечения требуется переподготовка персонала, эти позиции тоже следует отразить в плане.
• 11. Представление результатов. В плане должны быть предусмотрены методы показа результатов, аудитория, для которой предназначен показ, и наиболее выразительный формат. Следует предусмотреть возможность представления результатов исследования достаточно широкой аудитории, возможно — всем пользователям библиотеки.
• 12. Этические аспекты проводимых исследований.
• 13. Необходимые ресурсы. План должен содержать подробный перечень необходимых ресурсов на весь период исследования, должны быть ясно и однозначно указаны ответственные за это.
• 14. Границы. Необходимо сделать предварительное заявление о границах предполагаемого исследования; это заявление должно быть пересмотрено и представлено как часть финального доклада.
• 15. Выводы. И, наконец, желательно указать, кому следует предпринимать какие-либо действия исходя из результатов исследования.

Конечно, для небольшого исследования в одной ведомственной библиотеке такой подробный план не понадобится. Тем не менее полезно придерживаться приведенных принципов и точно записать намерения.