QUALITY ASSESSMENT OF MEDICAL CARE BY INTEGRAL INDEX
- Authors: Kolomiychenko M.E1
- Affiliations:
- N.A. Semashko National Research Institute of Public Health
- Issue: No 2 (2021)
- Pages: 82-89
- Section: Articles
- URL: http://bulleten-nriph.ru/journal/article/view/1537
- DOI: https://doi.org/10.25742/NRIPH.2021.02.010
- Cite item
Abstract
The redundancy of the proposed indicators for assessing the same fact, as well as the heterogeneity of the proposed indicators (quantitative and qualitative, referring to different objects, etc.) require minimizing their number by developing some generalized (composite, integral) indicators. In addition, these indicators are required at various levels of management to identify problems in the managed system. This publication provides an overview of the methodological approaches found in scientific sources for defining complex assessments (“universal”, which can be used for all types and conditions of health care and “special”, considered for a specific profile of health care, level of management, etc.). Many authors propose integrated methods that take into account not only a set of indicators formed in a certain way, but also the importance of each of the indicators; in addition, it is proposed to take account all components of medical care (general, medical, social and economic efficiency).
Full Text
Уже более 50 лет учеными предпринимаются попытки разработать и систематизировать показатели для оценки качества и эффективности оказываемой медицинской помощи. Крайне важным, по мнению ряда авторов, является, во-первых, дифференциация показателей качества медицинской помощи и показателей состояния здоровья населения, во-вторых, – терминов «качество медицинской помощи», «результативность медицинской помощи» («медицинская результативность») и «эффективность медицинской помощи». Важно учитывать, что показатели состояния здоровья населения (которые часто используются для оценки медицинской, социальной и экономической эффективности системы здравоохранения) определяются не только и не столько качеством оказанной медицинской помощи и деятельностью системы здравоохранения, сколько целым рядом иных факторов (демографических, социальных и т.д.). Причем, если рассматривать данные показатели в качестве показателей результативности работы системы, то целесообразнее говорить об «эффективности всей системы охраны здоровья» [1; 2, с. 20; 3, с. 97–103; 4, с. 28]. По мнению профессора Богатырева И.Д., необходимо дифференцировать объем информации и периодичность ее поступления при определении перечня показателей оценки качества и эффективности деятельности медицинских организаций с учетом иерархического уровня [5]. Кроме того, следует учитывать избыточность предлагаемых показателей для оценки одного и того же явления (события), а также неоднородность предлагаемых показателей (количественные и качественные, относящиеся к разным объектам и т.д.). Это обуславливает необходимость минимизации их числа путем разработки неких обобщенных (комплексных, интегральных) показателей. Гасников В.К. и соавт. отмечают, что руководитель должен получать информацию только в случае «возникновения проблем в управляемой системе» (т.е. в случае отклонения полученного показателя от базового), а множество показателей требует формирования комплексных показателей, необходимых для управления с учетом этапа оказания медицинской помощи и уровня управления [6, с. 13]. Цель исследования Анализ методических подходов к определению и возможности применения интегральных показателей с целью оценки качества и эффективности медицинской деятельности. Материалы и методы Настоящее исследование осуществлялось в рамках плановой темы НИР «Организационно-экономические основы разработки системы управления качеством и эффективностью медицинской деятельности». Источниками информации являлись научные публикации. Использован комплекс методов, включающий: изучение и обобщение опыта, метод монографического описания, группу аналитических методов. Необходимо отметить использование в настоящей публикации современной терминологии (например, не «учреждения здравоохранения», а «медицинские организации» и др.). Результаты исследования В исследовании Г.Ф. Церковного с соавт. с целью оценки эффективности использования коечного фонда представлена методика разработки обобщенного показателя – «приведенного времени занятости койки» (определенный стандарт в виде времени занятости койки, рассчитанного с помощью специальной математической формулы), учитывающего все основные показатели (оборот койки, число дней занятости койки, средняя длительность пребывания больного на койке) и позволяющего проводить комплексную оценку использования коечного фонда, как в целом по системе здравоохранения, так и по отдельным медицинским организациям и по профилям коек. Авторы предлагают ввести следующие термины: показатель неполного использования коек, показатель «сверхиспользования» коек, показатель неравномерности (показатель неравномерности использования коек относительно норматива). Отмечается, что данный подход, основанный на определении стандартов и отклонений от них, применим и в других случаях необходимости комплексной оценки деятельности системы здравоохранения [7]. Сивый Н.Ю. с соавт. предложили следующий количественный метод комплексной оценки деятельности медицинских организаций: 1. Определение перечня разделов деятельности, по совокупности которых можно провести комплексную оценку. В данный перечень рекомендовано отдельно включать вопросы, наиболее актуальные для конкретной территории. 2. Разработка экспертами (работниками органов управления здравоохранением, медицинских организаций, главными специалистами и т.д.) перечня показателей и критериев количественных оценок по каждому разделу работы (оценочные таблицы). Поскольку предлагается проводить оценку по пятибалльной системе, на данном этапе устанавливается соответствие параметров значений каждого показателя и конкретной балльной оценки. 3. Определение экспертами значимости (веса) показателя (максимальный вес показателя – 15 баллов). 4. Предоставление всеми медицинскими организациями количественной оценки деятельности по данным показателям в орган управления здравоохранением. 5. Определение обобщающего показателя деятельности с учетом степени приближения значения показателя к норме (к 5 баллам) и веса показателя [8]. Малинский Д.М. отмечает, что комплексный критерий объединяет в единой оценке многочисленные показатели, каждый из которых имеет соответствующую единицу измерения, вследствие чего затрудняется непосредственная интеграция единичных показателей. Автором предлагается исходные единичные показатели преобразовывать в безразмерную форму (безразмерный показатель), наилучшей формой которого обозначена наглядно отражающая степень приближения фактического результата к некоторому эталону, к которому можно относить нормативные величины, среднестатистические данные или наилучшие значения показателей. Таким образом, безразмерная форма показателя определяется соотношением наилучшего и фактического значений показателя (в диапазоне от 0 до 100). Автором предлагается два варианта расчета: 1) в случае, если увеличение показателя соответствует повышению эффективности (например, охват диспансеризацией и эффективность работы врача-терапевта), он рассчитывается как отношение фактического значения к наилучшему; 2) в случае, если рост показателя свидетельствует о снижении эффективности (например, частота послеоперационных осложнений, расхождений клинического и патологоанатомического диагноза), он рассчитывается как отношение наилучшего значения к фактическому. С целью получения корректных результатов при определении группового (интегрального) показателя, рекомендуется минимизировать число показателей и их «групп», отбирая наиболее объективные показатели. Автором отмечается необходимость учета важности (веса) показателей, которая устанавливается в соответствии с приоритетностью целевых функций, результаты которых отражают. Вес показателей предлагается определять с предварительной их группировкой в зависимости от направлений деятельности медицинской организации. Для оценки веса рекомендуется использовать стоимостный, расчетный, вроятностный и экспертный методы. Вес показателей обязательно нормируется. Комплексный критерий определяется на основании безразмерных форм единичных показателей (с учетом степени важности), универсальным методом является вычисление средних взвешенных величин (средней арифметической, средней геометрической, средней гармонической), однако, наиболее подходящей формой обозначена средняя геометрическая. Данный подход позволяет обобщать любые показатели, условиями включения показателей в «группу» являются: непосредственное отношение к оценке качества/эффективности, наличие весовой функции, наличие наилучшего/нормального значения. Отмечается, что комплексный критерий отражает вклад каждого направления работы, учитывает положительные и отрицательные тенденции единичных показателей, способствует выявлению «проблемных зон», обеспечивает возможность сравнительной оценки и позволяет принимать адекватные управленческие решения [9]. Гасниковым В.К. с соавт. отмечается, что число анализируемых показателей для получения обобщенной оценки не должно превышать 25– 30, и предлагается следующий алгоритм: 1. На основании мнения экспертов конкретной территории определить перечень анализируемых показателей и методику их получения, а также коэффициент относительной важности показателя (относительного вклада показателя в интегральную оценку) – экспертам необходимо распределить 100 баллов между всеми показателями в соответствии с их значимостью. 2. Определить эталоны (базовые значения) для показателей (в том числе в виде диапазона; могут соответствовать нормативным, оптимальным или средним значениям с учетом территориальных особенностей, данных научных источников и др.). 3. Определить фактические значения показателей (по статистическим данным и др.). 4. Выбрать систему оценки («+» – ухудшение, «–» – улучшение) фактического показателя и определить уровень его отклонения от базового (ожидаемого). 5. Определить отношение отклонения фактического показателя от базового к значению базового показателя (с учетом «знака» из пункта 4), которое далее умножить на коэффициент относительной важности показателя. 6. Все полученные произведения суммировать (с учетом «знака»), а сумму разделить на 100, именно это значение и будет обобщенной оценкой. Авторы отмечают, что предлагаемая методика не учитывает взаимосвязи между показателями, не предусматривает выделения четких интервалов оценки конечного результата, а также требуется разработка методов отбора показателей и определения их базовых значений [6]. Спиней Ф.Д. и Менчер Э.М., отмечая верный подход Гасникова В.К. и соавт., высказывают мысли о том, что суммирование вкладов отдельных показателей может привести к компенсации низких значений важных показателей высокими значениями других, а также о том, что соблюдение условий определения важности показателя вызывает затруднения в связи с тем, что сумма коэффициентов всегда должна быть равной 100. Авторами предлагается модифицированная методика создания обобщенного критерия оценки эффективности стационарной помощи: в результате экспертной оценки были определены 14 показателей, на основе анкетного опроса специалистов каждому из них были присвоены веса, после чего рассчитывался обобщенный критерий оценки качества стационарной помощи (допустимый диапазон значений от 0 до 1), вклады каждого единичного показателя выступают в виде сомножителей (а не слагаемых, как предлагается в методике Гасникова В.К.). Отмечается, что данная методика позволяет объединить неограниченное количество показателей, характеризующих деятельность однородной системы (стационарная, амбулаторно-поликлиническая, скорая помощь и т.д.) [10]. Евдокимовым Д.В. подвергается критическому анализу разработанная авторами «нового хозяйственного механизма» методика оценки качества, определяющая уровень качества как отношение суммы оценки набора мероприятий (процесса) и оценки качества (результата) к 200 (как средняя арифметическая из оценок по двум разным критериям). Автор высказывает сомнение относительно возможности вычисления среднего значения из разноименных величин. Предлагается разработанный «пошаговый» алгоритм оценки, учитывающий критерии результативности, рациональности и процесса оказания медицинской помощи, и определяющий объем оплаты медицинских услуг, то есть предполагается не «отвлеченный балл, коэффициент или процент качества», а «конкретная денежная сумма, соответствующая полной, частичной или нулевой оплате медицинской услуги» [11]. В НИИ социальной гигиены, экономики и управления здравоохранением имени Н.А. Семашко была разработана универсальная система (может быть адаптирована для медицинских организаций любого типа) и предусматривающая возможность оценки с использованием интегрального коэффициента эффективности (для медицинской организации в целом, ее структурного подразделения, любых категорий медицинских работников). Данный коэффициент представляет производное коэффициентов медицинской результативности (отношение числа случаев с достигнутым медицинским результатом к общему числу оцениваемых случаев оказания медицинской помощи), социальной удовлетворенности (отношение случаев удовлетворенности потребителя к общему числу оцениваемых случаев) и коэффициента соотношения затрат (отношение нормативных затрат к фактически произведенным). Рекомендуется сопоставлять полученный интегральный коэффициент с коэффициентом качества (доля случаев полного соблюдения технологий). Данное сопоставление производится с целью уточнения в каждом конкретном случае связи снижения эффективности с качеством работы медицинского персонала [12]. Гайдаровым Г.М. данные методические подходы были дополнены для получения более детальной информации. Качество и результативность процесса оказания медицинской помощи оценивались на основании данных экспертизы первичной медицинской документации каждого выписанного пациента. По результатам экспертизы определялись показатели, характеризующие медицинскую результативность (коэффициент результативности) и уровень качества лечения, которые варьировали в диапазоне от 0 до 1. Также учитывались: категория сложности лечения, число пролеченных больных и др. Для медицинской сестры определялся коэффициент соответствия технологии медицинской помощи. Коэффициент социальной удовлетворенности определялся на основании анализа результатов опросов пациентов, проводящихся регулярно. Кроме опроса пациентов осуществлялся опрос врачей об удовлетворенности работой параклинических отделений, результаты которого являлись основой для расчета коэффициента социальной удовлетворенности работой данных структурных подразделений. Коэффициент соотношения затрат рассчитывался как отношение установленной средней стоимости одного койко-дня (расчетная стоимость одного койко-дня, включенная в тарифы на лечение) к фактическим затратам. Кроме интегрального показателя эффективности определялись частные показатели, позволяющие определить причины снижения качества оказываемой медицинской помощи. Кроме того, определено, что величина коэффициента соотношения затрат (при сопоставлении с остальными показателями) может служить основой оценки обоснованности затрат на лечение [13]. Горловым А.А. рассматривается возможность применения интегральных показателей для оценки эффективности медицинской помощи различным социальным группам, в частности, инвалидам. Автором предлагается следующая методика расчета интегрального показателя, включающего в рассматриваемом примере 5 единичных показателей: статистические значения каждого показателя, выражаемые в процентах, пересчитать в доли единицы; суммировать полученные значения показателей. В данном случае диапазон значений интегрального показателя будет варьировать от 0 до 5 (по числу единичных показателей). Кроме того, возможно определение доли полученного значения интегрального показателя от максимально возможного [14]. Методика интегрированной оценки качества медицинской помощи кардиологического профиля разработана Алмазовым В.А. и соавт. Основой данной методики является анализ врачебного процесса, который разделен на блоки (табл. 1). Интегральный показатель рассчитывается как среднее арифметическое оценок всех блоков операций (все значения находятся в диапазоне от 0 до 1). Авторы отмечают возможность изменения компонентов данного алгоритма. Кроме того, предложены: «коэффициент корреляции» для сравнения качества медицинской помощи на двух этапах оказания медицинской помощи и коэффициент для определения уровня организационно-методической работы специализированной помощи [15]. Таблица 1 Алгоритм оценки качества медицинской помощи Блок Название Варианты Градации оценки Результирующая оценка А оценка диагностических мероприятий а1 врачебные 0 – не проведены или проведены неверно, 0,5 – наличие ошибок, 1 – обследования выполнены, результаты учтены и оценены верно средняя арифметическая (а1, а2, а3) а2 лабораторные а3 диагностические B основной диагноз b1 корректность формулировки 0 –неверно, 0,5 – наличие ошибок, 1 – корректно средняя арифметическая (b1, b2, b3) b2 обоснованность диагноза b3 совпадение с мнением эксперта C лечебные мероприятия – определение адекватности лекарственной терапии и других методов лечения 0 –неверно, 0,5 – наличие ошибок, 1 – корректно – D преемственность d1 преемственность каналов направления (поступления) пациента 0 –неверно, 0,5 – наличие ошибок, 1 – корректно средняя арифметическая (d1, d2, d3, d4) d2 профильность d3 цель направления пациента d4 обоснованность следующего этапа медицинской помощи Поляковым Л.Е. и Малинским Д.М. был предложен метод комплексной оценки состояния здоровья населения. В основу данного метода положен принцип оценки отклонений отдельных показателей здоровья от соответствующих средних значений изучаемых признаков. Комплексная вероятностная оценка и качественная характеристика здоровья складывается из вероятностной оценки общей заболеваемости, случаев нетрудоспособности, дней нетрудоспособности, инвалидности, а также с учетом «граничных значений» вероятностной оценки. Авторами сформулированы требования к комплексной оценке: – обеспечение суммарной количественной характеристики, которая может служить основой получения качественной оценки здоровья; – целесообразность включения показателей, наиболее полно характеризующих здоровье; – возможность сопоставления полученных показателей (например, со средними данными); – возможность повсеместного практического использования (в том числе с применением компьютерных технологий) [16]. Предлагаемая методика позволяет «перевести» количественные показатели в качественные с применением математических методов. Таким образом, с одной стороны, необходимость комплексной оценки отмечается не только для качества медицинской помощи, но и для оценки состояния здоровья населения; с другой стороны, данная методика может быть использована и для расчета интегрального показателя качества и эффективности медицинской деятельности. Заключение На различных иерархических уровнях управления требуется различный набор показателей: на более высоком уровне целесообразно проводить комплексную оценку (с учетом всех показателей, оцениваемых на предыдущих уровнях). С одной стороны, методика расчета значений показателей должна быть «унифицирована» для возможности сопоставления результатов, при этом она должна быть достаточно простой для возможности ее использования любым специалистом. Проведенное исследование выявило наличие целого ряда методик, направленных на определение интегрального показателя качества не только медицинской помощи, но и медицинской деятельности в целом. Полученные результаты могут быть использованы для формирования таких интегральных (обобщенных, комплексных) показателей в зависимости от уровня управления здравоохранением.About the authors
M. E Kolomiychenko
N.A. Semashko National Research Institute of Public Health
Email: niiskni@mail.ru
Moscow, Russian Federation
References
- Богатырев И.Д. О показателях для оценки качества и эффективности работы врачей, медицинских учреждений и органов здравоохранения / И.Д. Богатырев // Советское здравоохранение. - 1968. - № 10. - С. 30-34.
- Линденбратен А.Л. Об оценке качества и эффективности медицинской помощи / А.Л. Линденбратен // Советское здравоохранение. - 1990. - № 3. - С. 20-22.
- Попов Г.А. Экономика и планирование здравоохранения // Г.А. Попов. - М.: Издательство Московского Университета, 1976. - 376 с.
- Щепин О.П. Актуальные проблемы оценки качества медицинской помощи населению / О.П. Щепин, А.Л. Линденбратен, В.Н. Голодненко, Р.М. Зволинская // Проблемы социальной гигиены, здравоохранения и истории медицины. - 1996. - № 3. - С. 24a-29.
- Богатырев И.Д. О принципиальных подходах к установлению объема информации для управления органами и учреждениями здравоохранения и разработке показателей качества и эффективности их деятельности / И.Д. Богатырев // Советское здравоохранение. - 1972. - № 5. - С. 9-14.
- Гасников В.К. К вопросу о получении обобщенной оценки показателей функционирования подсистем и учреждений здравоохранения / В.К. Гасников, И.Б. Эдлинский, Н.Н. Энгвер, М.Ю. Карчева, Н.А. Ершова, Ю.П. Кононова // Советское здравоохранение. - 1980. - № 5. - С. 12-19.
- Церковный Г.Ф. Обобщенные показатели для оценки эффективности использования коечного фонда / Г.Ф. Церковный, Ю.М. Комаров, И.Б. Погожев, А.Г. Твердохлеб, С.П. Ермаков // Советское здравоохранение. - 1975. - № 4. - С. 15-23.
- Сивый Н.Ю. Из опыта оценки деятельности органов и учреждений здравоохранения области / Н.Ю. Сивый, Н.С. Брожик, Ю.Н. Пафнутов // Советское здравоохранение. - 1978. - № 10. - С. 14-17.
- Малинский Д.М. К методике комплексной оценки деятельности органов и учреждений здравоохранения / Д.М. Малинский // Советское здравоохранение. - 1978. - № 9. - С. 16-21.
- Спиней Ф.Д. О методике получения обобщенного критерия оценки качества стационарной помощи населению в учреждениях здравоохранения / Ф.Д. Спиней, Э.М. Менчер // Советское здравоохранение. - 1988. - № 6. - С. 18-22.
- Евдокимов Д.В. Алгоритм оценки качества медицинской помощи / Д.В. Евдокимов // Здравоохранение Российской Федерации. - 1993. - № 8. - С. 6-8.
- Щепин О.П. Оценка качества и эффективности медицинской помощи / О.П. Щепин, А.Л. Линденбратен, Т.М. Шаровар, В.С. Васюкова. - М.: РАМН, НИИ социальной гигиены, экономики и управления здравоохранением имени Н.А. Семашко, 1992. - 91 с.
- Гайдаров Г.М. Контроль качества и эффективности медицинской помощи в клинике медицинского ВУЗа / Г.М. Гайдаров // Проблемы социальной гигиены, здравоохранения и истории медицины. - 1996. - № 3. - С. 16-20.
- Горлов А.А. О применении интегральных показателей для оценки эффективности медицинской помощи различным социально-общественным группам населения (на примере контингентов инвалидов Великой Отечественной Войны) / А.А. Горлов // Советское здравоохранение. - 1987. - № 10. - С. 29-31.
- Алмазов В.А. Качество - основной критерий состояния и перспектив кардиологической помощи населению / В.А. Алмазов, Б.Г. Бершадский, В.Ф. Чавпецов, А.Р. Шамелашвили // Здравоохранение Российской Федерации. - 1989. - № 2. - С. 16-21.
- Поляков Л.Е. Метод комплексной вероятностной оценки состояния здоровья населения / Л.Е. Поляков, Д.М. Малинский // Советское здравоохранение. - 1971. - № 3. - С. 7-15.
- Bogatyrev I.D. On indicators for assessing the quality and effectiveness of the work of doctors, medical institutions and health authorities. Sovetskoe zdravoohranenie [Soviet healthcare], 1968, no. 10, pp. 30-34 (in Russian).
- Lindenbraten A.L. On the assessment of the quality and effectiveness of medical activity. Sovetskoe zdravoohranenie [Soviet healthcare], 1990, no. 3, pp. 20-22 (in Russian).
- Popov G.A. Ekonomika i planirovanie zdravookhraneniya [Economics and health planning]. Moscow, Moscow State University Press, 1976. 376 p. (in Russian).
- Shchepin O.P., Lindenbraten A.L., Golodnenko V.N., Zvolinskaya R.M. Actual problems of assessing the quality of medical care to the population. Problemy social'noj gigieny, zdravoohraneniya i istorii mediciny [Problems of Social Hygiene, Health Care and History of Medicine], 1996, no. 3, pp. 24a-29 (in Russian).
- Bogatyrev I.D. On fundamental approaches to determining the volume of information for the management of health authorities and institutions and the development of indicators of the quality and effectiveness of their activities. Sovetskoe zdravoohranenie [Soviet healthcare], 1972, no. 5, pp. 9-14 (in Russian).
- Gasnikov V.K., Edlinsky I.B., Engver N.N., Karcheva M.Yu., Yershova N.A., Kononova Yu.P. On the issue of obtaining a generalized assessment of the performance indicators of subsystems and health care institutions. Sovetskoe zdravoohranenie [Soviet healthcare], 1980, no. 5, pp. 12-19 (in Russian).
- Tserkovny G.F., Komarov Yu.M., Pogozhev I.B., Tverdokhleb A.G., Ermakov S.P. Generalized indicators for evaluating the effectiveness of the use of the bed fund. Sovetskoe zdravoohranenie [Soviet healthcare], 1975, no. 4, pp. 15-23 (in Russian).
- Siviy N.Yu., Brozhik N.S., Pafnutov Yu.N. From the experience of evaluating the activities of regional health authorities and institutions. Sovetskoe zdravoohranenie [Soviet healthcare], 1978, no. 10, pp. 14-17 (in Russian).
- Malinsky D.M. On the methodology of comprehensive assessment of the activities of health authorities and institutions. Sovetskoe zdravoohranenie [Soviet healthcare], 1978, no. 9, pp. 16-21 (in Russian).
- Spiney F.D., Mencher E.M. On the method of obtaining a generalized criterion for assessing the quality of inpatient care to the population in health care institutions. Sovetskoe zdravoohranenie [Soviet healthcare], 1988, no. 6, pp. 18-22 (in Russian).
- Evdokimov D.V. Algorithm for assessing the quality of medical care. Zdravoohranenie Rossijskoj Federacii [Healthcare of the Russian Federation], 1993, no. 8, pp. 6-8 (in Russian).
- Shchepin O.P., Lindenbraten A.L., Sharovar T.M., Vasyukova V.S. Ocenka kachestva i effektivnosti medicinskoj pomoshchi [Evaluation of the quality and effectiveness of medical care]. Moscow, Russian Academy of Medical Sciences, N.A. Semashko Research Institute of Social Hygiene, Economics and Health Management, 1992. 91 p. (in Russian).
- Gaidarov G.M. Monitoring the quality and effectiveness of medical care in the clinic of Medical University. Problemy social'noj gigieny, zdravoohraneniya i istorii mediciny [Problems of Social Hygiene, Health Care and History of Medicine], 1996, no. 3, pp. 16-20 (in Russian).
- Gorlov A.A. On the application of integral indicators for assessing the effectiveness of medical care for various social groups of the population (on the example of the contingents of disabled people of the Great Patriotic War). Sovetskoe zdravoohranenie [Soviet healthcare], 1987, no. 10, pp. 29-31 (in Russian).
- Almazov V.A., Bershadsky B.G., Chavpetsov V.F., Shamelashvili A.R. Quality is the main criterion of the state and prospects of cardiological care to the population. Zdravoohranenie Rossijskoj Federacii [Healthcare of the Russian Federation], 1989, no. 2, pp. 16-21 (in Russian).
- Polyakov L.E., Malinsky D.M. Method of complex probabilistic assessment of the state of public health. Sovetskoe zdravoohranenie [Soviet healthcare], 1971, no. 3, pp. 7-15 (in Russian).