Стандарт актуарной практики КПА № 56

«Моделирование»

Стандарт актуарной практики КПА, основанный на Actuarial Standard of Practice No. 56 «Modeling», Actuarial Standards Board (ASB, США).

Настоящий документ является профессиональным переводом и адаптацией указанного источника для целей Казахстанской Палаты Актуариев (КПА). При расхождениях официальным считается текст, утверждённый КПА.

Стандарт актуарной практики (ASOP) № 56

Моделирование

Разработан Целевой группой по моделированию (Modeling Task Force) Общего комитета (General Committee) Совета по актуарным стандартам (ASB).

Утверждён Советом по актуарным стандартам (ASB) в декабре 2019 года.

Документ № 195.

2.1 Допущение — 2
2.2 Данные — 2
2.3 Управление и контроль — 2
2.4 Удерживаемые данные (hold-out data) — 2
2.5 Входные данные — 2
2.6 Предполагаемая цель — 2
2.7 Предполагаемый пользователь — 3
2.8 Модель — 3
2.9 Модельный риск — 3
2.10 Прогон модели — 3
2.11 Выходные данные — 3
2.12 Переобучение — 3
2.13 Параметр — 3

Раздел 3. Анализ вопросов и рекомендуемые практики — 3

3.1 Соответствие модели предполагаемой цели — 3
- 3.1.1 Проектирование, разработка или изменение модели — 3
- 3.1.2 Выбор, рассмотрение или оценка модели — 4
- 3.1.3 Использование модели — 4
- 3.1.4 Структура модели — 4
- 3.1.5 Данные — 4
- 3.1.6 Допущения, используемые в качестве входных данных — 4
3.2 Понимание модели — 6
3.3 Использование данных или иной информации, предоставленных другими лицами — 6
3.4 Использование моделей, разработанных другими лицами — 6
3.5 Использование сведений экспертов — 6
3.6 Оценка и снижение модельного риска — 7
- 3.6.1 Тестирование модели — 7
- 3.6.2 Валидация выходных данных модели — 8
- 3.6.3 Проверка другим специалистом — 8
- 3.6.4 Разумные управление и контроль — 8
- 3.6.5 Снижение риска ненадлежащего использования и неверного толкования — 8
3.7 Документирование — 8

Раздел 4. Сообщения и раскрытие информации — 9

4.1 Обязательное раскрытие в актуарном отчёте — 9
4.2 Дополнительное раскрытие в актуарном отчёте — 9
4.3 Конфиденциальная информация — 9

ПРИЛОЖЕНИЯ

Приложение 1 — Предпосылки и текущие практики — 10

Приложение 2 — Комментарии к четвёртому проекту для обсуждения и ответы на них — 12

Сопроводительный меморандум

Декабрь 2019 года

КОМУ: Членам актуарных организаций, на которых распространяются стандарты практики Совета по актуарным стандартам, и иным лицам, заинтересованным в вопросах моделирования

ОТ: Совета по актуарным стандартам (ASB)

ПРЕДМЕТ: Стандарт актуарной практики (ASOP) № 56

Настоящий документ содержит Стандарт актуарной практики № 56 «Моделирование».

История стандарта

Совет по актуарным стандартам (ASB) впервые приступил к работе над стандартом по моделированию в конце 1990-х годов. Движимая прежде всего необходимостью урегулировать роль, которую моделирование катастроф (землетрясений и ураганов) играло в тарификации в общем страховании (casualty), эта работа была сосредоточена на использовании специализированных моделей, при котором актуариям приходилось полагаться на модель, разработанную специалистами, не являющимися актуариями. В результате этой работы в июне 2000 года ASB утвердил Стандарт актуарной практики № 38 «Использование моделей за пределами области компетенции актуария» (Using Models Outside the Actuary's Area of Expertise), сфера применения которого была ограничена областью практики имущественного и общего страхования (Property/Casualty). Исторически Стандарт актуарной практики № 38 был единственным стандартом, который непосредственно касался моделирования.

В последнее время число и значимость приложений моделирования в актуарной науке возросли, причём результаты актуарных моделей иногда отражаются в финансовой отчётности. Признавая эту тенденцию, в 2010 году ASB поручил Комитету по страхованию жизни (Life Committee) начать работу над стандартом актуарной практики, посвящённым моделированию. Комитет по страхованию жизни сформировал целевую группу для решения этого вопроса, и в феврале 2012 года был выпущен дискуссионный проект под названием «Моделирование в страховании жизни и аннуитетах» (Modeling in Life Insurance and Annuities), на который было получено девятнадцать писем с комментариями. В сопроводительном письме также упоминалось, что сфера применения может быть расширена на все области практики, и предлагалось высказать комментарии по этой идее.

С учётом полученных отзывов и многочисленных иных обсуждений по теме моделирования, в декабре 2012 года ASB создал две междисциплинарные целевые группы под руководством Общего комитета: i) общую Целевую группу по моделированию (Modeling Task Force), которой было поручено разработать стандарт актуарной практики, охватывающий приложения моделирования во всех областях практики, и ii) Целевую группу по моделированию катастроф (Catastrophe Modeling Task Force) для рассмотрения вопроса о распространении Стандарта актуарной практики № 38 на все области практики с исключительной сосредоточенностью на использовании моделей катастроф. Состав этих целевых групп обладает опытом во всех областях актуарной практики, включая управление рисками предприятия.

Первый проект для обсуждения

Первый проект для обсуждения был выпущен в июне 2013 года со сроком представления комментариев до 30 сентября 2013 года. Было получено сорок восемь писем с комментариями, которые были рассмотрены при внесении изменений, отражённых во втором проекте для обсуждения.

Второй проект для обсуждения

Второй проект для обсуждения был выпущен в ноябре 2014 года со сроком представления комментариев до 1 марта 2015 года. Было получено тридцать семь писем с комментариями, которые были рассмотрены при внесении изменений, отражённых в третьем проекте для обсуждения.

Третий проект для обсуждения

Третий проект для обсуждения был выпущен в июне 2016 года со сроком представления комментариев до 31 октября 2016 года. Было получено двадцать восемь писем с комментариями, которые были рассмотрены при внесении изменений, отражённых в четвёртом проекте для обсуждения.

Четвёртый проект для обсуждения

Четвёртый проект для обсуждения был выпущен в декабре 2018 года со сроком представления комментариев до 15 мая 2019 года. Было получено двадцать шесть писем с комментариями, которые были рассмотрены при внесении изменений, отражённых в настоящем окончательном стандарте. Краткое изложение вопросов, содержащихся в этих письмах с комментариями, см. в приложении 2.

Существенные изменения по сравнению с четвёртым проектом для обсуждения

Существенные изменения, внесённые в четвёртый проект для обсуждения, обобщены ниже. Были внесены также дополнительные изменения для улучшения удобочитаемости, ясности или последовательности.

Раздел 3.1.6(b) «Маржа» был исключён, поскольку он не содержал достаточно ясных руководящих указаний. Хотя маржа надлежащим образом используется или даже требуется для определённых предполагаемых целей, для других предполагаемых целей маржа неуместна и не используется.
Понятие «удерживаемые данные» (hold-out data) в предиктивном моделировании было определено и добавлено в перечень элементов, которые могут включаться в валидацию выходных данных модели в разделе 3.6.2(b).
Термин «параметр» был исключён из Раздела 3 стандарта; ссылка на него сохранена только в определении «допущения», поскольку эти два термина часто синонимичны, а руководящие указания зачастую были идентичными.

В качестве следующего шага ASB рассмотрит ранее утверждённый, но находящийся в ожидании Стандарт актуарной практики № 38 «Моделирование катастроф (для всех областей практики)» (Catastrophe Modeling [for All Practice Areas]) на предмет любых изменений, обусловленных настоящим стандартом, и предпримет соответствующие действия.

ASB благодарит всех, кто нашёл время внести комментарии и предложения по проектам для обсуждения.

ASB также благодарит бывшего члена целевой группы Aaron R. Weindling за его содействие в ходе более ранней работы над данным стандартом.

В декабре 2019 года ASB проголосовал за принятие настоящего стандарта.

Целевая группа по моделированию

Dale S. Hagstrom, председатель

Maryellen J. Coggins
Julie H. Fried
Kenneth R. Kasner
Stephen Mildenhall
Judy K. Stromback

Общий комитет ASB

Margaret Tiller Sherwood, председатель

Ralph S. Blanchard III
Andrew M. Erman
Dale S. Hagstrom
Robert S. Miccolis
Susan E. Pantely
Judy K. Stromback
Hal Tepfer
Christian J. Wolfe

Совет по актуарным стандартам (ASB)

Kathleen A. Riley, председатель

Christopher S. Carlson
Maryellen J. Coggins
Robert M. Damler
Mita D. Drazilov
Darrell D. Knapp
Cande J. Olsen
Barbara L. Snyder
Patrick B. Woods

Совет по актуарным стандартам (ASB) устанавливает стандарты надлежащей актуарной практики в Соединённых Штатах посредством разработки и принятия стандартов актуарной практики (ASOP). Эти стандарты описывают процедуры, которым актуарию следует следовать при оказании актуарных услуг, и определяют, что актуарию следует раскрывать при сообщении результатов таких услуг.

Примечание для целей КПА: настоящий документ адаптируется как стандарт Казахстанской Палаты Актуариев (КПА); ссылки на законодательство и институты США сохранены как ссылки на источник.

СТАНДАРТ ПРАКТИКИ

СТАНДАРТ АКТУАРНОЙ ПРАКТИКИ № 56

МОДЕЛИРОВАНИЕ

Раздел 1. Назначение, сфера применения, перекрёстные ссылки и дата вступления в силу

1.1 Назначение — Настоящий стандарт актуарной практики (ASOP, или стандарт) содержит руководящие указания для актуариев при оказании актуарных услуг в части проектирования, разработки, выбора, изменения, использования, рассмотрения или оценки моделей.

1.2 Сфера применения — Настоящий стандарт применяется к актуариям в любой области практики при оказании актуарных услуг в части проектирования, разработки, выбора, изменения или использования всех типов моделей. Например, актуарий, использующий разработанную другими лицами модель, в отношении выходных данных которой актуарий несёт ответственность, подпадает под действие настоящего стандарта.

Если актуарные услуги актуария связаны с рассмотрением или оценкой моделей, рассматривающему или оценивающему актуарию следует быть в разумной мере удовлетворённым тем, что актуарные услуги были оказаны в соответствии с настоящим стандартом. Рассматривающему или оценивающему актуарию следует применять руководящие указания настоящего стандарта в той мере, в какой это практически осуществимо в пределах задания актуария.

Руководящие указания настоящего стандарта применяются к актуарию тогда, когда, по профессиональному суждению актуария, использование предполагаемым пользователем выходных данных модели имеет существенное значение для предполагаемого пользователя. Такое суждение следует выносить в контексте использования выходных данных модели и потребностей предполагаемого пользователя, исходя из фактов, известных актуарию на момент оказания актуарных услуг. Например, применение руководящих указаний настоящего стандарта может потребоваться для актуарных услуг, оказываемых в связи с моделями взносов в пенсионный план и прогнозирования расходов, моделями ценообразования в страховании, предиктивными моделями, моделями расчёта резервов и моделями финансового планирования страховой компании. При оценке существенности актуарию следует руководствоваться Стандартом актуарной практики № 1 «Вводный стандарт актуарной практики» (Introductory Actuarial Standard of Practice), раздел 2.6.

Руководящие указания настоящего стандарта не применяются к актуарию при оказании услуг в части индивидуальных расчётов пенсионных выплат и проверки на отсутствие дискриминации (nondiscrimination testing), как описано в разделе 1.2 Стандарта актуарной практики № 4 «Измерение пенсионных обязательств и определение расходов или взносов пенсионного плана» (Measuring Pension Obligations and Determining Pension Plan Costs or Contributions).

Настоящий стандарт применяется только в пределах ответственности актуария. Ответственность актуария может распространяться на оказание актуарных услуг в отношении всей модели либо только небольшой её части.

Иные стандарты актуарной практики могут содержать руководящие указания для актуарных услуг, связанных с моделями. Если актуарий определяет, что руководящие указания другого стандарта актуарной практики противоречат руководящим указаниям настоящего стандарта, преимущественную силу имеют руководящие указания другого стандарта.

Если актуарий отступает от руководящих указаний, изложенных в настоящем стандарте, в целях соблюдения применимого права (законов, подзаконных актов и иных юридически обязательных актов) либо по любой иной причине, актуарию следует обратиться к Разделу 4. Если существует противоречие между настоящим стандартом и применимым правом, актуарию следует соблюдать применимое право.

1.3 Перекрёстные ссылки — Когда настоящий стандарт ссылается на положения иных документов, такая ссылка включает документы, на которые делается ссылка, в том виде, в каком они могут быть изменены или изложены в новой редакции в будущем, а также любой документ, заменяющий их, под каким бы наименованием он ни именовался. Если любой изменённый или изложенный в новой редакции документ существенно отличается от первоначально указанного документа, актуарию следует учитывать руководящие указания настоящего стандарта в той мере, в какой они применимы и уместны.

1.4 Дата вступления в силу — Настоящий стандарт актуарной практики вступает в силу в отношении работы, выполненной 1 октября 2020 года или позднее.

Раздел 2. Определения

Приведённые ниже термины определены для использования в настоящем стандарте актуарной практики и выделены полужирным шрифтом по всему тексту стандарта.

2.1 Допущение — Тип явных входных данных модели, который выводится из данных, представляет возможности, основанные на профессиональном суждении, либо может быть предписан правом или другими лицами. Будучи выведенным из данных, допущение может иметь статистический, финансовый, экономический, математический или научный характер и может описываться как параметр.

2.2 Данные — Факты или информация, являющиеся либо непосредственными входными данными модели, либо основой для выбора входных данных. Данные могут собираться из таких источников, как записи, опыт (статистика), эксперименты, обследования, наблюдения, положения плана выплат или полиса либо выходные данные других моделей.

2.3 Управление и контроль — Применение совокупности процедур и организационной структуры, призванных снизить риск того, что выходные данные модели не будут надёжно рассчитаны или не будут использованы по назначению.

2.4 Удерживаемые данные (hold-out data) — Подмножество данных, намеренно изымаемое при разработке предиктивной модели, с тем чтобы модель впоследствии могла быть валидирована на данных, не использовавшихся для разработки модели.

2.5 Входные данные — Данные или допущения, используемые в модели для получения выходных данных.

2.6 Предполагаемая цель — Цель или вопрос, обобщённого или конкретного характера, на которые модель отвечает в контексте задания.

2.7 Предполагаемый пользователь — Любое лицо, которое актуарий определяет как способное полагаться на выходные данные модели.

2.8 Модель — Упрощённое представление взаимосвязей между переменными, сущностями или событиями реального мира с использованием статистических, финансовых, экономических, математических, неколичественных или научных понятий и уравнений. Модель состоит из трёх компонентов: компонента информационного ввода, который передаёт в модель данные и допущения; компонента обработки, который преобразует входные данные в выходные данные; и компонента результатов, который переводит выходные данные в полезную деловую информацию.

2.9 Модельный риск — Риск неблагоприятных последствий, обусловленных опорой на модель, которая неадекватно представляет моделируемый объект, либо риск ненадлежащего использования или неверного толкования.

2.10 Прогон модели — Процесс преобразования конкретного набора входных данных в конкретный набор выходных данных в модели. Прогон модели может включать весь процесс преобразования или часть процесса в зависимости от обстоятельств.

2.11 Выходные данные — Результаты модели, включая, помимо прочего, точечные оценки, вероятные или возможные диапазоны, данные или допущения (в качестве входных данных для других моделей), ожидания относительно поведения либо качественные критерии, на основе которых могут приниматься решения.

2.12 Переобучение (overfitting) — Ситуация, при которой модель настолько точно подгоняется под данные, использованные для её разработки, что точность прогноза существенно снижается при применении модели к иным данным.

2.13 Параметр — Тип статистической, финансовой, экономической, математической или научной величины, используемой в качестве входных данных некоторых типов моделей. Примерами параметров являются математические ожидания в распределениях вероятностей и коэффициенты при переменных формул. Некоторые типы моделей, такие как предиктивные или статистические модели, выдают оценки параметров в качестве выходных данных, которые могут использоваться в качестве входных данных для других моделей.

Раздел 3. Анализ вопросов и рекомендуемые практики

3.1 Соответствие модели предполагаемой цели — Актуарию следует понимать предполагаемую цель модели.

3.1.1 Проектирование, разработка или изменение модели — Когда актуарий проектирует, разрабатывает или изменяет модель, актуарию следует подтвердить, по своему профессиональному суждению, что возможности модели согласуются с предполагаемой целью. Вопросы, которые актуарию следует учитывать, если они применимы, включают, помимо прочего, следующее:

a. уровень детализации, заложенный в модель;

b. учитываемые взаимозависимости; и

c. способность модели выявлять возможную волатильность выходных данных, например волатильность вокруг математических ожиданий.

3.1.2 Выбор, рассмотрение или оценка модели — При выборе, рассмотрении или оценке модели актуарию следует подтвердить, что, по профессиональному суждению актуария, модель в разумной мере соответствует предполагаемой цели.

3.1.3 Использование модели — При использовании модели актуарию следует приложить разумные усилия для подтверждения того, что структура модели, данные, допущения, управление и контроль, а также тестирование модели и валидация выходных данных согласуются с предполагаемой целью.

3.1.4 Структура модели — Актуарию следует оценить, является ли структура модели (включая суждения, отражённые в модели) надлежащей для предполагаемой цели. Применительно к конкретной модели актуарию следует учитывать следующее, насколько это применимо:

a. какие положения и риски, специфичные для сегмента бизнеса, договора или плана, если таковые имеются, или взаимодействия в более широком смысле являются существенными и уместными для отражения в модели;

b. является ли форма модели надлежащей, например прогнозная модель (детерминированная или стохастическая), статистическая модель или предиктивная модель;

c. диктует ли использование модели определённый уровень детализации, например приведёт ли группировка входных данных к получению обоснованных выходных данных или требуется ли определённый уровень детализации в выходных данных для соответствия предполагаемой цели;

d. существует ли существенный риск переобучения модели на данных; и

e. надлежащим ли образом модель представляет опции, если таковые имеются, которые, как можно разумно ожидать, оказывают существенное влияние на выходные данные модели. Примеры включают опционы «колл» на инструменты с фиксированным доходом, опционы страхователя на досрочное расторжение договора и опционы досрочного выхода на пенсию.

3.1.5 Данные — Актуарию следует использовать или подтвердить использование данных, надлежащих для предполагаемой цели модели, и следует обращаться, насколько это применимо, к Стандарту актуарной практики № 23 «Качество данных» (Data Quality) при выборе, рассмотрении или оценке данных, используемых в модели, либо непосредственно, либо в качестве основы для вывода, оценки или тестирования допущений, используемых в модели.

3.1.6 Допущения, используемые в качестве входных данных — Для моделей, использующих допущения в качестве входных данных, актуарию следует использовать или подтвердить использование допущений, надлежащих с учётом предполагаемой цели модели. Для моделей, использующих допущения в качестве входных данных, применяются следующие руководящие указания:

a. Установление допущений — При установлении допущений, ответственность за которые принимает на себя актуарий, актуарию следует рассмотреть возможность использования следующих данных или информации:

фактический опыт (статистика), надлежащим образом скорректированный для отражения моделируемых обстоятельств, в той мере, в какой фактический опыт доступен, релевантен и достаточно надёжен;
иной релевантный и достаточно надёжный опыт, такой как отраслевой опыт, надлежащим образом скорректированный для отражения моделируемых обстоятельств, если фактический опыт недоступен, нерелевантен или недостаточно надёжен;
ожидания или оценки на будущее, включая полученные на основе рыночных данных, когда они доступны и уместны; и
иные релевантные источники данных или информации.

b. Диапазон допущений — Актуарий может рассмотреть возможность использования диапазона допущений и, в этом случае, вопрос о том, отражает ли число анализируемых прогонов модели набор условий, согласующийся с предполагаемой целью.

c. Согласованность — Где это уместно, актуарию следует использовать или подтвердить использование допущений для модели, которые в разумной мере согласуются друг с другом для данного прогона модели.

Если актуарию известно о существенных несогласованностях между допущениями, используемыми актуарием в модели, актуарию следует раскрыть эти несогласованности и известные причины таких несогласованностей. В случае допущений, предписанных применимым правом, раскрытие актуария может быть ограничено указанием на возможность несогласованности с другими допущениями.

d. Уместность входных данных в текущем прогоне модели — Где это практически целесообразно и уместно, актуарию, повторно использующему существующую модель, следует оценить, остаются ли входные данные, не изменённые по сравнению с предыдущим прогоном модели, по-прежнему уместными для использования в текущем прогоне модели. Например, модели, используемые в финансовой отчётности, могут предоставлять возможности для сопоставления допущений с формирующимся опытом в совокупности.

e. Обоснованность модели в совокупности — Актуарию следует оценить обоснованность выходных данных модели при определении того, являются ли допущения обоснованными в совокупности. Хотя допущения могут представляться обоснованными по отдельности, консервативность или оптимистичность множества допущений могут приводить к необоснованным выходным данным.

3.2 Понимание модели — При выражении мнения о модели или сообщении её результатов актуарию следует понимать следующее:

a. важные аспекты используемой модели, включая, помимо прочего, базовые операции, важные взаимозависимости и основные чувствительности;

b. известные слабые стороны допущений, используемых в качестве входных данных, известные слабые стороны методов или иные известные ограничения модели, имеющие существенные последствия; и

c. ограничения данных или информации, временные ограничения либо иные практические соображения, которые могли бы существенно повлиять на способность модели соответствовать своей предполагаемой цели.

3.3 Использование данных или иной информации, предоставленных другими лицами — При опоре на данные или иную информацию, предоставленные другими лицами, актуарию следует обращаться за руководящими указаниями к Стандарту актуарной практики № 23 и Стандарту актуарной практики № 41 «Актуарные сообщения» (Actuarial Communications).

3.4 Использование моделей, разработанных другими лицами — Если актуарий полагается на модель, спроектированную, разработанную или изменённую другими лицами, такими как поставщик или коллега, и актуарий обладает ограниченной возможностью либо получить информацию о модели, либо понять внутреннее устройство модели, актуарию следует раскрыть степень такой опоры. Кроме того, актуарию следует предпринять разумную попытку получить базовое понимание модели, включая следующее, насколько это уместно:

a. первоначальную предполагаемую цель модели, которую преследовал проектировщик или разработчик;

b. общий принцип работы модели;

c. основные чувствительности и взаимозависимости в рамках модели; и

d. ключевые сильные стороны и ограничения модели.

При опоре на модели, разработанные другими лицами, актуарию следует предпринять практически осуществимые усилия для соблюдения иных применимых разделов настоящего стандарта.

3.5 Использование сведений экспертов — Актуарий может полагаться на экспертов в областях знаний, использованных при разработке модели. При определении надлежащего уровня опоры актуарий может учитывать следующее:

a. являются ли лицо или лица, на которых полагается актуарий, экспертами в соответствующей области;

b. в какой мере модель была рассмотрена или валидирована экспертами в соответствующей области, включая известные существенные расхождения во мнениях между экспертами относительно аспектов модели, которые могут быть существенными для использования модели актуарием;

c. существуют ли отраслевые или нормативные (регуляторные) стандарты, применимые к модели либо к тестированию или валидации модели, и была ли модель сертифицирована как соответствующая таким стандартам; и

d. способна ли наука, лежащая в основе соответствующей экспертизы, создавать модели, полезные для предполагаемой цели.

При опоре на экспертов актуарию следует раскрыть степень такой опоры.

3.6 Оценка и снижение модельного риска — Актуарию следует оценить модельный риск и, если это уместно, предпринять разумные шаги для снижения модельного риска. Тип и степень снижения модельного риска, которые являются разумными и уместными, могут зависеть от следующего:

a. предполагаемой цели модели;

b. характера и сложности модели;

c. операционной среды, а также управления и контроля, относящихся к модели;

d. того, имели ли место изменения модели или её операционной среды; и

e. баланса между затратами на меры по снижению риска и снижением потенциального модельного риска.

3.6.1 Тестирование модели — Для прогона модели или набора прогонов модели, сформированных одновременно либо в течение определённого времени, на которые предполагается опора предполагаемого пользователя, актуарию следует провести достаточное тестирование, чтобы убедиться, что модель в разумной мере представляет то, что предполагается моделировать. Тестирование модели может включать следующее:

a. сверку соответствующих входных значений с соответствующей системой, исследованием или иным источником информации, с устранением и документированием расхождений, выявленных при сверке, если они существенны;

b. проверку формул, логики и табличных ссылок;

c. проведение тестов вариаций ключевых допущений, используемых в качестве входных данных, для проверки того, что изменения выходных данных согласуются с ожиданиями с учётом изменений входных данных (т. е. тестирование чувствительности); и

d. сверку выходных данных прогона модели с предыдущими прогонами модели с учётом изменений в данных, допущениях, формулах или иных аспектах модели, произошедших со времени предыдущего прогона модели.

3.6.2 Валидация выходных данных модели — Актуарию следует валидировать, что выходные данные модели в разумной мере представляют моделируемый объект. В зависимости от предполагаемой цели валидация выходных данных модели может включать следующее:

a. тестирование, где это применимо, предварительных выходных данных модели по сравнению с историческими фактическими результатами для проверки того, что смоделированные выходные данные имели бы разумное соотношение с фактическими результатами за данный период времени, если бы входные данные модели были установлены в соответствии с условиями, преобладавшими в течение такого периода;

b. оценку того, даёт ли модель, применённая к удерживаемым данным (hold-out data), выходные данные, в разумной мере согласующиеся с выходными данными, полученными без удерживаемых данных, как это может применяться для предиктивных моделей;

c. проведение статистических или аналитических тестов выходных данных модели для оценки их обоснованности;

d. проведение тестов вариаций ключевых допущений для проверки того, что изменения выходных данных согласуются с ожиданиями с учётом изменений входных данных; и

e. сравнение выходных данных модели с выходными данными альтернативной модели (моделей), где это уместно.

3.6.3 Проверка другим специалистом — Актуарий может рассмотреть возможность получения проверки другим квалифицированным специалистом в зависимости от характера и сложности модели.

3.6.4 Разумные управление и контроль — Актуарию следует использовать или, если это уместно, может полагаться на использование другими лицами разумных управления и контроля для снижения модельного риска.

3.6.5 Снижение риска ненадлежащего использования и неверного толкования — Актуарию следует обращаться к руководящим указаниям Стандарта актуарной практики № 41, в частности к разделам 3.4.1 и 3.7, для снижения возможного ненадлежащего использования и неверного толкования модели.

3.7 Документирование — Актуарию следует рассмотреть возможность подготовки и хранения документации в подтверждение соблюдения требований Раздела 3 и требований к раскрытию информации Раздела 4. При подготовке документации актуарию следует подготовить такую документацию в форме, позволяющей другому актуарию, квалифицированному в той же области практики, оценить обоснованность работы актуария. Степень такого документирования следует определять на основе профессионального суждения актуария; она может варьироваться в зависимости от сложности и цели актуарных услуг. Кроме того, актуарию следует обращаться к Стандарту актуарной практики № 41, раздел 3.8, за руководящими указаниями, касающимися хранения материалов дела, помимо тех, которые подлежат раскрытию согласно Разделу 4.

Раздел 4. Сообщения и раскрытие информации

4.1 Обязательное раскрытие в актуарном отчёте — При выпуске актуарного отчёта в соответствии с настоящим стандартом актуарию следует обращаться к Стандартам актуарной практики № 23 и № 41. Кроме того, актуарию следует раскрывать в таких актуарных отчётах следующее:

a. предполагаемую цель модели, как обсуждается в разделе 3.1;

b. существенные несогласованности, если таковые имеются, между допущениями и известные причины таких несогласованностей, как обсуждается в разделе 3.1.6(c);

c. необоснованные выходные данные, обусловленные совокупностью допущений, если они существенны, как обсуждается в разделе 3.1.6(e);

d. существенные ограничения и известные слабые стороны, как обсуждается в разделе 3.2;

e. степень опоры на модели, разработанные другими лицами, если таковая имеется, как обсуждается в разделе 3.4; и

f. степень опоры на экспертов, если таковая имеется, как обсуждается в разделе 3.5.

4.2 Дополнительное раскрытие в актуарном отчёте — Актуарию следует включать в актуарный отчёт следующее, насколько это применимо:

a. раскрытие согласно Стандарту актуарной практики № 41, раздел 4.2, если любое существенное допущение или метод были предписаны применимым правом;

b. раскрытие согласно Стандарту актуарной практики № 41, раздел 4.3, если актуарий заявляет об опоре на иные источники и тем самым снимает с себя ответственность за любое существенное допущение или метод, выбранные стороной, отличной от актуария; и

c. раскрытие согласно Стандарту актуарной практики № 41, раздел 4.4, если, по профессиональному суждению актуария, актуарий в иных отношениях существенно отступил от руководящих указаний настоящего стандарта.

4.3 Конфиденциальная информация — Ничто в настоящем стандарте не имеет целью обязать актуария раскрывать конфиденциальную информацию.

Приложение 1

Предпосылки и текущие практики

Примечание: Настоящее приложение приводится в информационных целях и не является частью стандарта практики.

Предпосылки

Актуарии часто используют модели для анализа неопределённых исходов, причём каждая дисциплина опирается на широкий спектр приложений моделирования — от простых электронных таблиц до сложных моделей капитала. Актуарии используют модели для различных целей, включая помощь в объяснении системы, изучение влияния различных частей системы, прогнозирование поведения системы, прогнозирование поведения людей, получение оценок или информационное обеспечение принятия решений. Значимость моделирования в актуарной науке продолжает возрастать, причём результаты моделей иногда отражаются в финансовой отчётности.

Однако модель является лишь приближением реальности, а не самой реальностью. Поэтому даже модель, разработанная осмотрительно и используемая тщательно, не устраняет присущую неопределённость и изменчивость, и фактические результаты могут отличаться, иногда значительно, от исходов, предполагаемых моделью.

Текущие практики

Актуарии используют множество типов моделей — от прогнозных моделей до статистических и предиктивных моделей. Некоторые модели проходят жизненный цикл, состоящий из: (1) фазы спецификации, (2) фазы реализации и (3) фазы эксплуатации, состоящей из одного или нескольких прогонов модели. Другие модели проходят жизненный цикл, состоящий из: (1) фазы спецификации, (2) итеративной фазы оценки допущений и (3) фазы оценки, валидации и выбора выходных данных. Для иных моделей могут существовать комбинации функционально схожих фаз.

При использовании моделей важны надлежащие управление и контроль за моделью. Примеры управления и контроля за моделью включают следующее:

ограничения доступа к использованию и изменению модели (то есть ограничение доступа к входным данным модели, программному коду и расчётам модели, а также выходным данным модели);
подтверждение того, что выходные данные модели воспроизводимы при повторном прогоне (если модель допускает такую воспроизводимость);
внедрение процесса управления изменениями модели;
стандарты спецификации, документирования и программирования для модели;
процедуры безопасного резервного копирования носителей, на которых хранятся программный код и данные;
надлежащее обучение или перекрёстное обучение персонала для обеспечения непрерывности использования и снижения риска зависимости от ключевого сотрудника;
планы периодического рассмотрения сохраняющейся способности организации получать доступ к модели и поддерживать её, включая данные, программное обеспечение, персонал, аппаратное обеспечение и любые отношения с поставщиками; и
планы периодического пересмотра допущений, функциональности и методологии.

Приложение 2

Комментарии к четвёртому проекту для обсуждения и ответы на них

Четвёртый проект для обсуждения под названием «Моделирование» был одобрен ASB в декабре 2018 года со сроком представления комментариев до 15 мая 2019 года. Было получено двадцать шесть писем с комментариями, некоторые из которых были представлены от имени нескольких комментаторов, например фирм или комитетов. Для целей настоящего приложения термин «комментатор» может относиться к более чем одному лицу, связанному с конкретным письмом с комментариями. Целевая группа и Общий комитет тщательно рассмотрели все полученные комментарии, а ASB рассмотрел (и изменил, где это было уместно) изменения, предложенные Общим комитетом.

Ниже обобщены значимые вопросы и замечания, содержащиеся в письмах с комментариями, и ответы на каждый из них. Незначительные изменения формулировок или пунктуации, которые были предложены, но не являлись значимыми, в приложении не отражены, хотя они могли быть приняты.

Термин «рецензенты» включает Целевую группу, Общий комитет и ASB. Если не указано иное, номера и заголовки разделов, используемые ниже, относятся к разделам четвёртого проекта для обсуждения, которые затем сопоставляются с разделами окончательного стандарта.

ОБЩИЕ КОММЕНТАРИИ

Комментарий. Один комментатор высказал предположение, что использование слова «любой» (any) в контексте того, что актуарию следует делать или следует учитывать, и иные подобные ссылки могут быть обременительны для актуариев на практике, и рекомендовал их исключить.

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор предложил сохранить определение «простой модели» (simple model), концептуально схожее с тем, что было включено в третий проект для обсуждения, с предложенным улучшением — изменить «прозрачна и может быть спрогнозирована» на «прозрачна или может быть спрогнозирована» для повышения его полезности и ясности.

Ответ. Рецензенты отмечают, что концепция «простой модели» рассматривалась ранее, и не внесли изменений.

Комментарий. Один комментатор предложил включить в стандарт определение и руководящие указания для постоянного мониторинга работы модели.

Ответ. Хотя рецензенты согласны с концепцией постоянного мониторинга работы в рамках формализованной программы управления модельным риском, рецензенты не согласны с этим предложением применительно к настоящему стандарту и поэтому не внесли изменения.

РАЗДЕЛ 1. НАЗНАЧЕНИЕ, СФЕРА ПРИМЕНЕНИЯ, ПЕРЕКРЁСТНЫЕ ССЫЛКИ И ДАТА ВСТУПЛЕНИЯ В СИЛУ

Раздел 1.1 «Назначение»

Комментарий. Один комментатор предложил, чтобы разделы 1.1 «Назначение» и 1.2 «Сфера применения» содержали явную ссылку на снижение модельного риска, поскольку это ключевая область внимания в процессе моделирования и в проекте стандарта имеется отдельный раздел, посвящённый данной практике.

Ответ. Рецензенты считают руководящие указания надлежащими и поэтому не внесли изменений.

Раздел 1.2 «Сфера применения»

Комментарий. Один комментатор предложил заменить «ответственный» (responsible) на «подотчётный» (accountable), поскольку это подразумевает владение, а использование данного термина больше согласуется с термином, используемым в страховой отрасли для обозначения надлежащего владения.

Ответ. Рецензенты считают руководящие указания надлежащими и поэтому не внесли изменений в ответ на данный комментарий.

Комментарий. Один комментатор рекомендовал уточнить использование слов «полагаться» (rely) и «опора» (reliance), поскольку эти термины довольно тонки с учётом того, что некоторые пользователи моделей рассматривают использование модели как опору даже тогда, когда речь идёт о собственной модели пользователя.

Ответ. Рецензенты считают руководящие указания надлежащими и поэтому не внесли изменений.

Комментарий. Один комментатор предложил применять стандарт только к моделям финансовой отчётности и, возможно, к моделям рисков предприятия.

Комментарий. Один комментатор отметил, что руководящие указания для актуария, рассматривающего или оценивающего модели, неясны в отношении того, рассматривается или оценивается сама модель (что, по-видимому, буквально следует из текста) либо рассматривается использование модели.

Ответ. Рецензенты уточнили руководящие указания.

Комментарий. Один комментатор не согласился с исключением концепции «простой модели» из четвёртого проекта для обсуждения и рекомендовал, чтобы сфера применения явно исключала простые расчёты.

Ответ. Рецензенты не согласны с этим предложением и поэтому не внесли изменения. Рецензенты отсылают комментатора к разделу 1.2 «Сфера применения», включая определение «модели», при рассмотрении применимости руководящих указаний стандарта.

Комментарий. Один комментатор предположил, что некоторые ссылки на «использование» (use) могут вводить в заблуждение, в частности: 1) когда «использование» актуарием модели предназначено не для рассмотрения самой модели, а только для рассмотрения или использования выходных данных. В этом случае стандарт должен прямо указывать, что на актуария не должна возлагаться обязанность применять данный стандарт, и 2) во втором абзаце, в котором говорится, что рассматривающему или оценивающему актуарию следует «использовать руководящие указания настоящего стандарта в той мере, в какой это практически осуществимо в пределах задания актуария», а также в третьем абзаце, где, по-видимому, «полагаться» и «использовать» употребляются взаимозаменяемо.

Ответ. Рецензенты согласны с возможной путаницей, которая может возникнуть со словом «использовать» во втором и третьем абзацах, и заменили эти две ссылки на «использовать» в разделе 1.2 «Сфера применения» для повышения ясности. Однако рецензенты считают руководящие указания во втором абзаце надлежащими и поэтому не внесли изменений в ответ на эту часть комментария.

Комментарий. Два комментатора предположили, что первое предложение в пятом абзаце представляется ненужным, и предложили исключить это предложение. Один комментатор также предложил начать абзац с нынешнего третьего предложения.

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор счёл пример «Например, актуарные услуги, оказываемые в связи с моделями взносов в пенсионный план и прогнозирования расходов… могут требовать применения руководящих указаний настоящего стандарта» вводящим в заблуждение.

Раздел 1.4 «Дата вступления в силу»

Комментарий. Один комментатор считает, что формулировка даты вступления в силу нуждается в большей описательности, поскольку в нынешнем виде она оставляет множество вопросов, связанных с тем, когда модель была прогнана, выбрана, разработана либо когда результаты модели были сообщены.

Ответ. Рецензенты отмечают, что стандарты актуарной практики применяются к актуарию, оказывающему актуарные услуги, а дата вступления в силу применяется к «работе, выполненной [актуарием] … или позднее». Поэтому рецензенты не внесли изменений в ответ на данный комментарий.

РАЗДЕЛ 2. ОПРЕДЕЛЕНИЯ

Комментарий. Один комментатор предложил добавить определения для «тестирования» (testing), «валидации» (validation) и «ограничений» (limitations).

Раздел 2.1 «Допущение»

Комментарий. Один комментатор предложил изменить определение в разделе 2.1 «Допущение», чтобы отметить, что допущение может быть получено как выходные данные другой модели. Альтернативно можно было бы изменить определения данных и параметра в разделах 2.2 и 2.12 соответственно, исключив любую ссылку на то, что эти элементы получаются из других моделей.

Ответ. Рецензенты согласны, внесли изменения в определения «допущения», «параметра», «входных данных» и «выходных данных» и исключили ссылки на «параметр» в Разделе 3 стандарта для повышения ясности.

Комментарий. Один комментатор задался вопросом, всегда ли допущения являются входными данными модели в отличие от того, чтобы быть встроенными в операции или методологию модели.

Ответ. Стремясь повысить ясность и в ответ на данный комментарий, рецензенты изменили определение «допущения» на «тип явных входных данных…», тем самым проведя различие между явными и неявными допущениями.

Раздел 2.2 «Данные»

Комментарий. Один комментатор запросил примеры данных, которые могут вводиться в модель, аналогично тому, как приводятся примеры параметров в этом разделе, поскольку данные часто обновляются с каждым прогоном модели, тогда как параметры и допущения зачастую остаются неизменными от одного прогона к другому.

Ответ. Хотя рецензенты не внесли конкретно рекомендованную правку, рецензенты внесли изменения в определения «допущения», «параметра», «входных данных» и «выходных данных» и исключили ссылки на «параметр» в Разделе 3 стандарта для повышения ясности.

Комментарий. Один комментатор предположил, что предложенное определение слишком расплывчато и обобщённо в отношении видов данных, которым посвящён стандарт, и предложил ограничить определение количественными или числовыми данными.

Раздел 2.3 «Управление и контроль»

Комментарий. Один комментатор предложил более описательное определение: «Применение совокупности процедур и организационной структуры, призванных обеспечить, чтобы предполагаемые пользователи могли быть уверены в том, что выходные данные модели надёжно рассчитаны и используются по назначению».

Ответ. Рецензенты уточнили формулировку.

Комментарий. Один комментатор предложил определить «управление» (governance) и «контроль» (controls) по отдельности, поскольку они имеют разное значение.

Раздел 2.4 «Входные данные» (ныне раздел 2.5)

Комментарий. Один комментатор предположил, что определение входных данных весьма широкое и что входные данные модели могут иметь форму 1) допущений, 2) данных или 3) параметров. Хотя каждый термин определён отдельно далее в документе, пользователь должен сам сделать вывод, что они не являются перекрывающимися элементами входных данных.

Комментарий. Один комментатор предложил добавить после нынешнего предложения следующее: «Входные данные могут включать допущения, данные и параметры».

Ответ. Рецензенты согласны отчасти, внесли изменения в определения «допущения», «параметра», «входных данных» и «выходных данных» и исключили ссылки на «параметр» в Разделе 3 стандарта для повышения ясности.

Раздел 2.5 «Предполагаемая цель» (ныне раздел 2.6)

Комментарий. Один комментатор предложил уточнить, может ли модель иметь более одной предполагаемой цели, возможно, рассматривая каждую предполагаемую цель как отдельную модель, даже когда они имеют общий компонент обработки. Такой подход усилил бы необходимость оценки уместности сочетания конкретных компонентов обработки, данных, допущений, параметров и выходных данных для каждой предполагаемой цели.

Ответ. Рецензенты считают руководящие указания надлежащими и поэтому не внесли изменений.

Комментарий. Один комментатор понял определение для всех ролей, кроме случая, когда актуарий является разработчиком модели, и предложил предусмотреть рассмотрение иных целей для повышения эффективности усилий по моделированию и снижения изолированности подхода.

Ответ. Рецензенты не согласны и поэтому не внесли изменений.

Раздел 2.6 «Предполагаемый пользователь» (ныне раздел 2.7)

Комментарий. Три комментатора предложили заменить «актуарные выводы» (actuarial findings) на «выходные данные модели» (which is defined in this ASOP, тогда как «выводы» не определены).

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор предложил заменить слова «актуарные выводы» на «выходные данные актуарной модели».

Ответ. Рецензенты согласны отчасти и заменили «актуарные выводы» на «выходные данные модели».

Комментарий. Один комментатор отметил, что определение слишком широкое, поскольку описывает актуария как «способного» (able) полагаться, и предложил альтернативы «вероятно» (likely) или «ожидается» (expected).

Ответ. Рецензенты не согласны и поэтому не внесли изменений.

Комментарий. Один комментатор предположил, что, хотя определение идентично содержащемуся в Стандарте актуарной практики № 41 «Актуарные сообщения», использование слов «способный» и «определяет» в определении может вызывать путаницу, и предложил альтернативу: «Любое лицо, в отношении которого актуарий указал, что ему разрешено полагаться на актуарные выводы».

Ответ. Рецензенты не согласны и поэтому не внесли изменений.

Раздел 2.7 «Модель» (ныне раздел 2.8)

Комментарий. Один комментатор запросил отзыв относительно определения «модели» в контексте нескольких примеров.

Ответ. Рецензенты отмечают, что стандарты актуарной практики основаны на принципах, и считают, что нынешняя формулировка охватывает эти вопросы на надлежащем уровне детализации. Поэтому в ответ на данный комментарий изменений внесено не было.

Комментарий. Один комментатор предложил добавить в определение «модели» оговорку из раздела предпосылок приложения 1, чтобы подчеркнуть, что модель не является плохой или неточной лишь потому, что модель не совпала с фактическим опытом, а именно: «Модель является лишь приближением реальности, а не самой реальностью, и различия между моделью и фактическим опытом сами по себе не указывают на дефектную модель или несоблюдение стандартов».

Комментарий. Один комментатор предположил, что определение «модели» весьма широкое, и рекомендовал определить «компонент обработки», чтобы можно было различать простые расчёты и «модель».

Комментарий. Один комментатор предложил убрать ссылку на «упрощённое» (simplified), поскольку она представляется излишне ограничительной.

Комментарий. Один комментатор предположил, что определение слишком широкое, поскольку оно может толковаться как включающее любую актуарную услугу, кроме индивидуальных расчётов выплат, и рекомендовал, чтобы определение также описывало, что не является моделью, например проверку на отсутствие дискриминации.

Ответ. Рецензенты считают определение «модели» надлежащим, но отмечают, что раздел 1.2 был изменён, чтобы исключить проверку на отсутствие дискриминации.

Комментарий. Один комментатор предложил изменить определение, включив «договорные» (contractual) как тип входных данных, и предложил добавить «актуарные» в перечень. Кроме того, комментатор предложил добавить новое определение для «системы» (system), на которую делается ссылка в определении.

Комментарий. Один комментатор предложил отделить «компонент результатов» от определения модели, поскольку использование «результатов» в разделе 2.10 «Выходные данные» представляется несогласованным с «компонентом результатов», описанным в данном определении, а определение выходных данных допускает, что такие выходные данные могут использоваться в качестве входных данных для других моделей.

Комментарий. Один комментатор предложил изменить «прогнозировать поведение системы или получать оценки и направлять решения» на «прогнозировать поведение системы, получать оценки системы или направлять решения», поскольку прежняя формулировка могла бы подразумевать, что «направление решений» и «получение оценок» всегда следует рассматривать вместе.

Ответ. Рецензенты отмечают, что последнее предложение определения было удалено.

Комментарий. Один комментатор предположил, что определение и раздел 1.2 «Сфера применения» неясны, в связи с чем было трудно оценить остальную часть проекта для обсуждения.

Комментарий. Один комментатор предположил, что определение неясно в отношении того, какие типы моделей охватываются стандартом, и рекомендовал, чтобы стандарт конкретно ссылался на количественные или числовые модели применительно к данным, параметрам, входным и выходным данным, и чтобы сфера «моделей», охватываемых стандартом, была ограничена количественными моделями (например, оценками) либо, возможно, иными типами моделей, основанными непосредственно на количественных величинах, и явно исключала алгоритмическое принятие решений и иные формы искусственного интеллекта.

Раздел 2.8 «Модельный риск» (ныне раздел 2.9)

Комментарий. Один комментатор предложил, чтобы определение включало конкретные руководящие указания по использованию термина, а именно что «модельный риск» не призван охватывать вероятность того, что фактические результаты практически всех моделей часто будут отличаться, возможно существенно, от выходных данных модели, и рекомендовал, чтобы как минимум предложение из второго абзаца (если не весь абзац) раздела «Предпосылки» настоящего стандарта было сделано неотъемлемой частью стандарта: «Даже модель, разработанная осмотрительно и используемая тщательно, не устраняет присущую неопределённость и изменчивость, и фактический опыт может отличаться, иногда значительно, от оценок, полученных из результатов модели», в идеале — в рамках данного определения. В качестве альтернативы стандарт мог бы добавить дополнительное определение «риска исхода модели» (model outcome risk).

Комментарий. Один комментатор предложил добавить в определение последствие модельного риска, а именно что «модельный риск может приводить к финансовым потерям, ненадлежащим деловым и стратегическим решениям либо ущербу… репутации».

Комментарий. Один комментатор предложил переформулировать для большей ясности следующим образом: «Риск неблагоприятных последствий, обусловленных опорой на модель, которая неадекватно представляет моделируемый объект, либо риск ненадлежащего использования или неверного толкования».

Ответ. Рецензенты согласны и внесли изменение в ответ на данный комментарий.

Раздел 2.9 «Прогон модели» (ныне раздел 2.10)

Комментарий. Два комментатора запросили разъяснение того, что представляет собой прогон модели; один комментатор рекомендовал называть совокупность всех симуляций для стохастической модели одним прогоном модели для повышения ясности.

Комментарий. Один комментатор предложил заменить «выбор входных данных» (selection of input) на «набор входных данных» (set of input).

Ответ. Рецензенты согласны и внесли изменение.

Раздел 2.10 «Выходные данные» (ныне раздел 2.11)

Комментарий. Один комментатор предположил, что четыре возможных вида использования выходных данных (т. е. точечные оценки, диапазоны, параметры для других моделей или качественные критерии для принятия решений) не охватывают использование модели для объяснения системы или прогнозирования её поведения.

Ответ. Рецензенты согласны и добавили в определение «ожидания относительно поведения».

Комментарий. Один комментатор отметил, что раздел 2.10 «Выходные данные» упоминает в качестве выходных данных, которые могут использоваться как входные данные для других моделей, только параметры, тогда как в различных разделах предлагаемого стандарта в качестве возможных выходных данных модели, которые могут использоваться как входные данные для других моделей, также упоминаются данные и допущения.

Комментарий. Один комментатор предложил исключить «качественные критерии, на основе которых могут приниматься решения», как расплывчатую формулировку, которая может приводить к непреднамеренному применению стандарта.

Раздел 2.11 «Переобучение» (ныне раздел 2.12)

Комментарий. Три комментатора предложили добавить слово «существенно» к фразе «точность прогноза снижается», чтобы позволить актуарию определять, является ли это снижение достаточно большим, чтобы вызывать обеспокоенность.

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор предположил, что использование «может снижаться» вместо «снижается» представляется более уместным, поскольку руководящие указания в разделе 3.14 используют слова «следует учитывать».

Комментарий. Один комментатор предложил включить определение недообучения (underfitting), а также добавить более описательные примеры как для переобучения, так и для недообучения.

Раздел 2.12 «Параметр» (ныне раздел 2.13)

Комментарий. Один комментатор предположил, что для дальнейшего отграничения параметра от данных было бы полезно указать: «Параметры часто состоят из характеристик продукта, используемых для настройки модели под конкретные блоки бизнеса. В отличие от данных, они обычно остаются неизменными от прогона к прогону, если только сфера модели не расширяется для включения новых продуктов».

Комментарий. Один комментатор рекомендовал дополнительно разграничить параметр, используемый в качестве входных данных модели, и параметр, используемый в качестве выходных данных модели (например, «входной параметр» и «выходной параметр»).

Комментарий. Один комментатор предложил добавить фразу «который не является данными или допущениями» после «договорных входных данных» в первом предложении.

Ответ. Рецензенты исключили ссылку на термин «договорные» в определении «параметра» и пересмотрели определения «допущений», «входных данных» и «выходных данных» для повышения ясности.

Комментарий. Один комментатор поделился анализом определений и использования терминов «параметр», «допущения», «входные данные» и «выходные данные» и заявил, что неясно, чем «параметры» отличаются от иных «допущений» или «данных».

Комментарий. Один комментатор отметил, что определение параметра, по-видимому, является подмножеством допущений, и рекомендовал рассмотреть формулировку, подчёркивающую, что допущения/методы могут использоваться для разработки параметров, используемых в модели.

Комментарий. Один комментатор предложил скорректировать определение, ограничив его количественными величинами.

РАЗДЕЛ 3. АНАЛИЗ ВОПРОСОВ И РЕКОМЕНДУЕМЫЕ ПРАКТИКИ

Раздел 3.1 «Соответствие модели предполагаемой цели»

Комментарий. Один комментатор отметил, что актуарии часто «перепрофилируют» (repurpose) модели для различных предполагаемых целей, и предложил, чтобы стандарт прямо требовал от актуария, разрабатывающего, выбирающего или оценивающего модель, определять и документировать конкретные цели или диапазоны параметров/входных данных и т. п., для которых модель действительна/применима, и требовал от актуариев определять, какие аспекты модели потребовалось бы скорректировать для устранения ограничений модели. Комментатор также предложил, чтобы актуарии, разрабатывающие модели, предвосхищали изменения в моделировании, которые возникнут в ближайшем будущем, во избежание создания негибких моделей.

Раздел 3.1.1 «Проектирование, разработка или изменение модели»

Комментарий. Один комментатор предложил, чтобы этот раздел напрямую касался выбора при моделировании. Когда проектирование модели включает значимый выбор при моделировании (например, упрощения, аппроксимации), актуарию следует понимать обоснование и/или оправдание сделанного выбора. Когда актуарий несёт ответственность за проектирование, разработку или изменение модели, актуарию следует рассмотреть, требуется ли тестирование на этапе разработки для оценки уместности значимого выбора при моделировании.

Комментарий. Один комментатор отметил, что значение «учитываемых взаимозависимостей» (dependencies recognized) неясно и требует дополнительного пояснения.

Комментарий. Один комментатор отметил, что может быть неясно, что ищет актуарий с точки зрения «согласованности с предполагаемой целью» при обсуждении волатильности математических ожиданий и что неясно, что такое «взаимозависимости», в частности относится ли термин к взаимозависимостям между моделями или к согласованности модели с её данными, допущениями и параметрами (A&P) и методами. Кроме того, комментатор предположил, что определение взаимозависимостей было бы полезно.

Комментарий. Один комментатор предложил заменить фразу «включают, помимо прочего» (include but are not limited to) на «например» (for example), поскольку такая замена снизила бы вероятность неверного толкования руководящих указаний с точки зрения того, что актуарий обязан делать.

Раздел 3.1.2 «Выбор, использование, рассмотрение или оценка модели» (ныне озаглавлен «Выбор, рассмотрение или оценка модели»). Примечание: Изменения к прежнему разделу 3.1.2 были включены в новый раздел 3.1.3 «Использование модели», как указано ниже.

Комментарий. Один комментатор отметил, что первоначальные входные данные, а также изменения входных данных должны согласовываться с предполагаемой целью, и поэтому рекомендовал убрать слова «любые изменения» (any revisions to).

Ответ. Рецензенты согласны и внесли изменение, которое отражено в новом разделе 3.1.3.

Комментарий. Один комментатор отметил общее согласие, за исключением «управления и контроля», которые во многих ситуациях устанавливаются на уровне всей фирмы и недоступны для рассмотрения актуарием (например, когда актуарий использует программное обеспечение актуарной оценки своей фирмы). Кроме того, хотя комментатор согласен, что управление и контроль могут влиять на способность актуария полагаться на модель, комментатор не считает, что эти факторы влияли бы на присущую модели согласованность с её предполагаемой целью, и предложил, чтобы стандарт содержал отдельный раздел, описывающий, что актуарию следует учитывать в отношении управления и контроля для моделей.

Ответ. Рецензенты считают руководящие указания, которые ныне отражены в новом разделе 3.1.3, надлежащими и поэтому не внесли изменений в ответ на данный комментарий.

Комментарий. Один комментатор отметил путаницу в использовании «выходные данные согласуются с предполагаемой целью» и что использование «согласуются» может приводить к путанице между разделами 3.1.1 и 3.1.2. Кроме того, комментатор предложил заменить слово «валидация» (validation) на «тестирование» (testing), учитывая, что термин «валидация» является весьма специфичным словом для многих компаний и обычно соответствует независимой валидации модели (Independent Model Validation).

Комментарий. Один комментатор предложил заменить «подтвердить, что модель в разумной мере соответствует предполагаемой цели…» на «рассмотреть, является ли модель обоснованной в части соответствия предполагаемой цели…». Кроме того, комментатор предложил заменить «чтобы убедиться, что любые изменения входных данных и… согласуются с предполагаемой целью» на «чтобы рассмотреть, согласуются ли изменения входных данных и… с предполагаемой целью».

Ответ. Рецензенты уточнили руководящие указания.

Комментарий. Один комментатор предложил заменить слово «убедиться» (ensure) на «валидировать» (validate) и запросил пример того, что «стандарт требует в отношении определения обоснованности».

Ответ. Рецензенты уточнили руководящие указания и заменили слово «убедиться» на «использовать или подтвердить» в новом разделе 3.1.3.

Раздел 3.1.3 «Понимание модели» (ныне раздел 3.2)

Комментарий. Один комментатор предложил заменить «результаты модели» на «выходные данные», как определено в Разделе 2, запросил уточнение «методов» в пункте b и предложил убрать «временные ограничения» в пункте c.

Ответ. Рецензенты считают руководящие указания надлежащими и поэтому не внесли изменений в ответ на эти комментарии.

Комментарий. Один комментатор спросил, следует ли актуарию также понимать надлежащее использование модели.

Комментарий. Один комментатор не считал, что этот абзац должен ограничиваться случаями, когда актуарий выражает мнение о модели или сообщает её результаты, и предположил, что «переформулировка здесь была бы полезна».

Комментарий. Один комментатор выразил неуверенность относительно значения «взаимозависимостей» и задался вопросом, означают ли «методы» «методологию» модели либо методы, используемые для разработки допущений и параметров (A&P).

Комментарий. Один комментатор предложил заменить раздел 3.1.3 следующим: «При оказании актуарных услуг, которые в значительной мере зависят от использования одной или нескольких моделей, актуарию следует понимать важные аспекты каждой используемой модели, такие как: a. базовый принцип работы модели, значимые взаимозависимости и чувствительности между переменными или параметрами, входными и выходными данными в модели; b. значимые известные ограничения в отношении допущений и параметров, используемых в качестве входных данных, в отношении данных, информации или методов, используемых для построения, калибровки, тестирования или валидации модели, либо в отношении иных соображений, известных как создающие существенные последствия при использовании модели или толковании выходных данных модели; и c. значимые ограничения в отношении существенного влияния на способность модели соответствовать своей предполагаемой цели вследствие иных практических соображений, таких как проблемы с данными, неполнота информации, временные ограничения и т. п.».

Раздел 3.1.4 «Структура модели»

Комментарий. Один комментатор рекомендовал убрать примеры в 3.1.4(e), предположив, что они не являются «полезными или необходимыми».

Комментарий. Один комментатор предложил, чтобы этот раздел уточнял, когда актуарию следует проводить такую оценку — например, при проектировании, разработке, изменении, выборе, использовании, рассмотрении или оценке модели либо только при выполнении некоторых из этих действий. Кроме того, комментатор запросил дополнительное разъяснение значения «суждений, отражённых в модели» и рекомендовал убрать «структуру» из основной части, поскольку это не изменило бы руководящие указания и могло бы предотвратить путаницу/неверное толкование.

Комментарий. Один комментатор задался вопросом, почему рассматривается только переобучение, и предложил рассмотреть экономность (parsimony), идентифицируемость, согласие с данными (goodness of fit), теоретическую согласованность и предсказательную способность, учитывая, что переобучение — лишь один из многих типов ошибок, которые приводят к ухудшению предсказательной способности модели.

Комментарий. Один комментатор предложил включить определения для «прогнозной модели», «статистической модели» и «предиктивной модели».

Комментарий. Один комментатор предложил заменить нынешнюю формулировку «переобучается ли модель на данных» на «переобучается или недообучается ли модель на данных», чтобы полностью охватить компромисс «смещение/дисперсия» (bias/variance tradeoff) вместо сосредоточения исключительно на переобучении.

Комментарий. Один комментатор предложил использовать «структуру» (structure) вместо «формы» (form) для согласованности с заголовком 3.1.4 «Структура модели».

Ответ. Рецензенты не согласны и поэтому не внесли изменений.

Комментарий. Один комментатор предложил заменить «следует учитывать» (consider) в разделе 3.1.4 на «оценивать и документировать» (evaluate and document) и предложил добавить формулировку, требующую от актуария указывать, каким образом, если вообще, моделирование этих положений, рисков и взаимодействий упрощено и потому уместно лишь в определённых ситуациях.

Комментарий. Один комментатор предложил добавить слово «продукт» (product) в перечень в разделе 3.1.4(a), добавить «или тип» после «является ли форма» для лучшего отражения ссылки на прогнозные, статистические, предиктивные модели и рассмотреть, могут ли быть необходимы «требования к модели» (model requirements) в разделе 3.1.4(c).

Комментарий. Один комментатор предложил переформулировать подпункты a, d, e раздела 3.1.4 следующим образом: «(a) имеются ли конкретные положения и риски, отражённые в модели, которые являются существенными и уместными для использования модели, например различия по сегменту бизнеса, договору или плану; (d) существует ли значимый и существенный риск переобучения модели на доступных данных; (e) надлежащим ли образом модель отражает наличие значимых опций или характеристик, которые могут применяться и которые, как можно разумно ожидать, оказывают существенное влияние на выходные данные модели. Примеры включают опционы „колл“ на инструменты с фиксированным доходом, опционы страхователя на досрочное расторжение договора и опционы досрочного выхода на пенсию».

Ответ. Рецензенты уточнили формулировку относительно переобучения модели, но не внесли изменений в ответ на остальные комментарии.

Раздел 3.1.5 «Данные»

Комментарий. Один комментатор предложил, чтобы актуарий рассматривал, какие преобразования входных данных и допущений, если таковые требуются, необходимы и как они влияют на результаты.

Раздел 3.1.6 «Допущения и параметры, используемые в качестве входных данных» (ныне раздел 3.1.6 «Допущения, используемые в качестве входных данных»)

Комментарий. Один комментатор считает, что «излишне, запутанно и обременительно включать руководящие указания по установлению допущений в данный стандарт, учитывая разрабатываемый в настоящее время стандарт по допущениям (Assumptions ASOP) и учитывая множество иных стандартов актуарной практики, которые содержат руководящие указания по установлению допущений для определённых видов деятельности».

Ответ. Рецензенты считают руководящие указания надлежащими и поэтому не внесли изменений в связи с данным комментарием. Настоящий стандарт не может ссылаться на другой стандарт актуарной практики, который по-прежнему находится в процессе обсуждения.

Комментарий. Один комментатор предложил добавить «Что касается» в начало основной части раздела 3.1.6, чтобы она читалась: «Что касается моделей, использующих допущения и параметры в качестве входных данных…». Кроме того, комментатор отметил, что установление допущений и параметризация допущений должны упоминаться по отдельности для ясности, поскольку это разные виды деятельности и они предполагают разные риски.

Комментарий. Один комментатор предложил добавить пример модели, которая не использует допущения или параметры в качестве входных данных.

Раздел 3.1.6(a) «Установление допущений и параметров» (ныне раздел 3.1.6[a] «Установление допущений»)

Комментарий. Один комментатор заявил, что критерием должно быть то, что актуарий надлежащим образом документирует допущения или обеспечивает, чтобы допущения, предоставленные другими лицами, были документированы как таковые.

Комментарий. Один комментатор предложил ссылаться на Стандарт актуарной практики № 25 «Процедуры доверительности» (Credibility Procedures) при обсуждении использования фактического опыта в той мере, в какой он «релевантен и достаточно надёжен», в рамках раздела 3.1.6(a)(1).

Комментарий. Один комментатор предложил добавить пятый элемент в раздел 3.1.6(a), а именно «предписанные допущения, установленные правом» и «предписанные допущения, установленные другой стороной» (как используется в Стандарте актуарной практики № 27 «Выбор экономических допущений для измерения пенсионных обязательств» [Selection of Economic Assumptions for Measuring Pension Obligations] и Стандарте актуарной практики № 35 «Выбор демографических и иных неэкономических допущений для измерения пенсионных обязательств» [Selection of Demographic and Other Noneconomic Assumptions for Measuring Pension Obligations]) (например, бухгалтерские допущения), а также допущения, разработанные с учётом мнения экспертов. Кроме того, комментатор не считает, что от актуария следует требовать оценки того, являются ли допущения, включающие предписанные допущения, установленные правом, или предписанные допущения, установленные другой стороной, обоснованными в совокупности.

Комментарий. Один комментатор предложил изменить заголовок раздела 3.1.6(a) с «Установление допущений и параметров» на «Установление допущений или параметров», поскольку прежний вариант мог бы подразумевать, что требуются и то, и другое, и добавить в раздел 3.1.6(a) обоснованность отдельных допущений или параметров, которые могли бы оказать существенное влияние на результаты модели, поскольку обоснованность в совокупности упоминается в 3.1.6(f).

Комментарий. Один комментатор предложил переформулировать раздел 3.1.6(a)(1) как «фактический опыт, скорректированный к текущим условиям, где это применимо, в той мере, в какой корректировки данных считаются доступными, релевантными и достаточно надёжными;» и запросил определение «рыночных данных».

Ответ. Хотя рецензенты не внесли конкретно предложенные изменения, рецензенты заменили «Его» (It) на «фактический опыт» в разделе 3.1.6(a) «Установление допущений» для повышения ясности.

Раздел 3.1.6(b) «Маржа»

Комментарий. Было получено несколько комментариев относительно руководящих указаний или необходимости раздела 3.1.6(b) «Маржа».

Ответ. В ответ рецензенты исключили раздел 3.1.6(b) «Маржа».

Раздел 3.1.6(c) «Диапазон допущений и параметров» (ныне раздел 3.1.6[b] «Диапазон допущений»)

Комментарий. Один комментатор предположил, что неясно, что подразумевается под диапазоном допущений и параметров в разделе 3.1.6(c), и предложил несколько альтернативных трактовок значения этой фразы.

Комментарий. Один комментатор задался вопросом, почему число прогонов модели имеет отношение к диапазону допущений и параметров.

Раздел 3.1.6(d) «Согласованность» (ныне раздел 3.1.6[c] «Согласованность»)

Комментарий. Один комментатор предложил изменить фразу «…возможности несогласованности…» на «…потенциала несогласованности…».

Комментарий. Один комментатор предположил, что требование лишь «использовать или подтвердить использование» является весьма слабым руководящим указанием и что в стандарте следует использовать «не являющиеся необоснованно несогласованными» (not unreasonably inconsistent), чтобы указать, что согласованность в данном контексте является предметом значительного суждения.

Раздел 3.1.6(e) «Уместность входных данных в текущем прогоне модели» (ныне раздел 3.1.6[d] «Уместность входных данных в текущем прогоне модели»)

Комментарий. Один комментатор выразил согласие с 3.1.6(e) и предложил добавить, возможно отдельным абзацем, что следует оценивать саму модель (а не только входные данные).

Комментарий. Один комментатор предложил уточнить «…повторно использующему существующую модель…», учитывая, что термин «повторно использующему» может также толковаться как использование существующей модели для иной цели, тогда как намерение здесь, по-видимому, касается использования модели с обновлёнными данными.

Раздел 3.1.6(f) «Обоснованность модели в совокупности» (ныне раздел 3.1.6[e] «Обоснованность модели в совокупности»)

Комментарий. Один комментатор предположил, что было бы полезно привести пример ситуации, когда допущения, обоснованные по отдельности, могут давать выходные данные, необоснованные в совокупности, и рекомендовал добавить руководящие указания относительно надлежащих возможных действий, если актуарий установит, что это так.

Комментарий. Один комментатор отметил, что определение обоснованности модели в совокупности, а также допущений и параметров в совокупности обычно предполагало бы изучение обоснованности выходных данных модели при вынесении такого определения, и предложил подчеркнуть важность учёта обоснованности выходных данных при определении обоснованности модели в совокупности, а также обоснованности параметров и допущений в совокупности.

Ответ. Рецензенты согласны и добавили «обоснованность выходных данных модели при определении» после «оценить».

Комментарий. Один комментатор предложил переформулировать раздел 3.1.6(f) следующим образом: «Актуарию следует оценить, являются ли допущения и параметры обоснованными в совокупности. Актуарию следует рассмотреть те допущения и параметры, которые могут представляться обоснованными по отдельности, но давали бы необоснованные выходные данные вследствие консервативности или оптимистичности множества допущений и параметров».

Ответ. Рецензенты согласны и внесли изменения, аналогичные предложенным, для повышения ясности.

Раздел 3.2 «Использование данных или иной информации, предоставленных другими лицами» (ныне раздел 3.3 «Использование данных или иной информации, предоставленных другими лицами»)

Комментарий. Один комментатор предложил добавить название Стандарта актуарной практики № 23 в соответствии с названием Стандарта актуарной практики № 41.

Ответ. Рецензенты отмечают, что стандарт следует утверждённому руководству по стилю. Поскольку название Стандарта актуарной практики № 23 «Качество данных» было упомянуто ранее, дальнейшая ссылка при последующих упоминаниях не требуется.

Раздел 3.3 «Использование моделей, разработанных другими лицами» (ныне раздел 3.4 «Использование моделей, разработанных другими лицами»)

Комментарий. Один комментатор предложил, чтобы актуарий также учитывал опыт и квалификацию коллеги/поставщика.

Комментарий. Один комментатор предложил, что в той мере, в какой актуарий полагается на тестирование, проведённое другими лицами, актуарию следует также предпринять разумную попытку понять тестирование, проведённое в отношении модели, т. е. тестирование реализации, а также любое тестирование на этапе разработки. Кроме того, комментатор предположил, что актуарий, полагающийся на модель, построенную поставщиком или иным разработчиком, по-прежнему несёт ответственность за обеспечение уместности модели с учётом её предполагаемой цели и что результаты любых процессов постоянного мониторинга работы следует добавить в перечень элементов для изучения и понимания.

Комментарий. Один комментатор предположил, что этот раздел привёл бы к огромному объёму дополнительной, ненужной работы и потенциальному риску судебных разбирательств, если работа не будет выполнена, например при опоре на централизованные системы оценки, реализованные и протестированные другими лицами.

Комментарий. Один комментатор предложил убрать последнее предложение раздела как несколько неоднозначное, которое могло бы оставить открытым для толкования вопрос о том, какие разделы стандарта применимы, и что детализированных подпунктов 3.3(a)–(d) представляется достаточным.

Комментарий. Один комментатор отметил, что неясно, состоит ли намерение в том, чтобы актуарий раскрывал опору, если он не может сделать ни того, ни другого, либо если он может сделать одно, но не другое, и что неясно, включала бы «ограниченная возможность… понять внутреннее устройство модели» ситуацию, когда актуарий не может рассмотреть программирование, но может понять, что модель предназначена создавать, и может проверить обоснованность, и рекомендовал уточнение.

Ответ. Рецензенты согласны с предположением о том, что актуарий может обладать ограниченной возможностью либо «получить информацию о модели, либо понять внутреннее устройство модели», либо и тем, и другим. Рецензенты добавили «либо» (either) для повышения ясности. В остальном рецензенты считают руководящие указания надлежащими и не внесли дальнейших изменений.

Комментарий. Один комментатор рекомендовал добавить после перечня новое предложение: «Актуарию следует постоянно оценивать результаты модели в свете формирующегося опыта, чтобы определять, что модель по-прежнему уместна для своей предполагаемой цели».

Комментарий. Один комментатор возразил против разрешения актуариям полагаться на модели, которые они не до конца понимают, и считает, что это нарушает Принцип 1 Кодекса профессионального поведения (Precept 1 of the Code of Professional Conduct) и умаляет нашу профессию.

Раздел 3.4 «Использование сведений экспертов» (ныне раздел 3.5 «Использование сведений экспертов»)

Комментарий. Один комментатор не выразил значимых опасений по разделу 3.4, однако отметил, что он станет обременительным, запутанным и вводящим в заблуждение в определённых обстоятельствах, когда эксперт является сотрудником той же фирмы, что и актуарий. В связи с этим комментатор рекомендовал ограничить требование о раскрытии степени любой опоры ситуациями, когда эксперты не являлись сотрудниками актуарной фирмы, выпускающей отчёт.

Комментарий. Один комментатор предложил убрать последнее предложение «Актуарию следует раскрыть степень любой такой опоры», поскольку раздел 4.1(f) уже перечисляет требование о раскрытии для 3.4.

Раздел 3.5 «Снижение модельного риска» (ныне раздел 3.6 «Оценка и снижение модельного риска»)

Комментарий. Один комментатор рекомендовал включить заявление о том, что существенность модели является важным соображением в действиях, которые актуарию следует предпринимать для снижения модельного риска. Чем более существенным может быть влияние модели на финансовую отчётность компании, позиции по капиталу или действия руководства, тем больше действий актуарию следует предпринимать для снижения модельного риска.

Комментарий. Один комментатор заявил, что актуарию следует применять суждение при оценке мер по снижению риска в сопоставлении с модельным риском и что уровень снижения модельного риска должен быть соразмерен предполагаемому или фактическому уровню риска, связанного с использованием модели.

Комментарий. Один комментатор считает, что «оценивать» (evaluate) подразумевает количественный процесс, и рекомендовал заменить «оценивать» термином, таким как «понимать» (understand).

Комментарий. Один комментатор предложил изменить заголовок раздела 3.5 с «Снижение модельного риска» на «Оценка и снижение модельного риска» с учётом руководящих указаний.

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор предложил изменить 3.5(d) на «имели ли место какие-либо изменения модели или её операционной среды» для согласованности.

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор рекомендовал включить руководящие указания относительно того, когда и как часто актуарию следует оценивать модельный риск.

Комментарий. Один комментатор предложил заменить 3.5(d) следующим: «(d) имели ли место значимые изменения модели либо лежащих в её основе среды, условий, опыта или процесса, для которых модель была спроектирована; и».

Ответ. Хотя рецензенты не внесли конкретно предложенные изменения, рецензенты заменили «среду моделирования» (modeling environment) на «операционную среду» (operating environment) для повышения ясности.

Раздел 3.5.1 «Тестирование модели» (ныне раздел 3.6.1 «Тестирование модели»)

Комментарий. Один комментатор предложил, чтобы раздел 3.5.1 «Тестирование модели» включал ссылку на тестирование чувствительности, учитывая, что оно является важной частью тестирования модели.

Ответ. Рецензенты согласны и добавили «проведение тестов вариаций ключевых допущений, используемых в качестве входных данных, для проверки того, что изменения выходных данных согласуются с ожиданиями с учётом изменений входных данных (тестирование чувствительности)».

Комментарий. Один комментатор предложил, чтобы было яснее, что «сверка» означает, что значения корректно введены в модель или программное обеспечение моделирования, а не просто что входные данные до их загрузки в модель сверяются с исходными данными, учитывая, что если кто-либо сверяет эти первоначальные данные до их загрузки в модель с административной системой, но затем загружает их в модель неверно, это является источником модельного риска.

Комментарий. Один комментатор предложил, что раздел 3.5.1(b) заслуживает большего внимания, поскольку это часто наиболее трудоёмкий элемент тестирования модели, и рекомендовал указать, что актуарию следует рассмотреть, каковы основные выборы методологии моделирования и упрощения, а также определить наилучший способ надлежащего тестирования формул.

Комментарий. Один комментатор предложил добавить новый раздел 3.5.1(c): «Проведение пробных прогонов отдельных модельных точек для валидации применения логики и входных данных модели» и сместить существующий 3.5.1(c) на 3.5.1(d).

Комментарий. Один комментатор запросил разъяснение того, чем ответственность актуария за тестирование модели различалась бы между «прогоном модели» и «набором прогонов модели, сформированных одновременно или в течение определённого времени». Кроме того, комментатор предложил поместить «данные» перед «входными данными» и изменить определение «модели», чтобы ссылаться на «формулу» вместо «компонента обработки», учитывая, что этот термин более интуитивно понятен.

Ответ. Рецензенты согласились с перемещением ссылки на «данные» перед «допущениями», но не внесли иных изменений в ответ на данный комментарий.

Комментарий. Один комментатор предложил переименовать разделы 3.5.1 и 3.5.2 в «тестирование целостности модели» (model integrity testing) и «валидацию выходных данных модели» (model output validation).

Ответ. Рецензенты согласны, что раздел 3.5.2 «Валидация модели» следует переименовать в «Валидацию выходных данных модели», но не изменили заголовок раздела 3.5.1.

Комментарий. Один комментатор запросил разъяснение определения существенности в разделе 3.5.1(a) и различия между тестированием и валидацией.

Комментарий. Один комментатор отметил, что разделы 3.5.1(a)–(c) могут рассматриваться как контроль и управление моделью, а не обязательно как тестирование модели.

Раздел 3.5.2 «Валидация модели» (ныне раздел 3.6.2 «Валидация выходных данных модели»)

Комментарий. Один комментатор запросил разъяснение термина «Валидация модели» и того, чем использование термина в стандарте отличается от использования того же термина в SR 11-7 «Руководство по управлению модельным риском» (Guidance on Model Risk Management).

Комментарий. Один комментатор предложил, чтобы раздел 3.5.2 включал и упоминал концепцию «эффективного оспаривания» (effective challenge) и чтобы интенсивность и усилия по оспариванию были соразмерны риску и существенности модели.

Комментарий. Один комментатор предложил добавить под 3.5.2 дополнительный элемент, относящийся к предиктивным моделям, а именно: «Для предиктивных моделей тестирование должно включать прогон разработанной модели на удерживаемом наборе данных, не использовавшемся для разработки модели, чтобы проверить, что смоделированные выходные данные имели бы разумное соотношение с фактическими результатами из удерживаемых данных». Кроме того, комментатор предложил добавить определение «удерживаемых данных», такое как: «Удерживаемые данные — обычно случайное подмножество моделируемых данных. Удерживаемые данные не используются для создания самой модели, а используются для валидации того, что построенная модель действительно обладает предсказательной способностью при применении к ранее не наблюдавшемуся набору данных».

Ответ. Рецензенты согласны, что изменения были уместны, изменили формулировку в данном разделе и добавили определение «удерживаемых данных».

Комментарий. Один комментатор предложил изменить «Актуарию следует предпринять надлежащие шаги для валидации» на «Актуарию следует валидировать» для большей ясности.

Ответ. Рецензенты согласны и внесли изменение.

Комментарий. Один комментатор предложил называть раздел 3.5.2 «Тестирование модели», учитывая, что «валидация» имеет для многих компаний специфическую коннотацию, не соответствующую тому, что описывается.

Ответ. Рецензенты изменили заголовок раздела 3.5.2 с «Валидация модели» на «Валидация выходных данных модели».

Раздел 3.5.3 «Проверка другим специалистом» (ныне раздел 3.6.3 «Проверка другим специалистом»)

Комментарий. Один комментатор рекомендовал исключить раздел 3.5.3, поскольку актуарии всегда могут рассмотреть возможность проверки своей работы другим специалистом, и данный раздел не содержит руководящих указаний и не нужен.

Комментарий. Один комментатор задался вопросом, когда было бы уместно не получать такую проверку, и предложил заменить слово «может» (may) на «следует» (should) либо вовсе убрать это предложение.

Комментарий. Один комментатор предложил заменить раздел 3.5.3 следующим: «Актуарий может рассмотреть возможность получения проверки вторым квалифицированным специалистом. Целесообразность такой дополнительной проверки возрастала бы в зависимости от характера и сложности модели, а также от существенности предполагаемого использования (использований)».

Раздел 3.5.5 «Снижение риска ненадлежащего использования и неверного толкования» (ныне раздел 3.6.5 «Снижение риска ненадлежащего использования и неверного толкования»)

Комментарий. Один комментатор предположил, что раздел 3.5.5 уже охвачен в основной части 3.5, и рекомендовал убрать этот раздел.

Комментарий. Один комментатор отметил ссылку в разделе 3.5.5 на раздел 3.4.1 Стандарта актуарной практики № 41, но отметил, что в Стандарте актуарной практики № 41 нет раздела 3.4.1.

Ответ. Рецензенты отмечают, что раздел 3.4.1 Стандарта актуарной практики № 41 озаглавлен «Неопределённость или риск» (Uncertainty or Risk).

Комментарий. Один комментатор предложил упоминать заголовки/названия разделов в иных стандартах актуарной практики в дополнение к номерам разделов, когда они используются в качестве ссылок, на случай, если номера разделов в другом стандарте по какой-либо причине изменятся.

Ответ. Рецензенты отмечают, что стандарт следует утверждённому руководству по стилю, и не внесли изменений в ответ на данный комментарий.

Раздел 3.6 «Документирование» (ныне раздел 3.7 «Документирование»)

Комментарий. Один комментатор предложил, чтобы раздел был более конкретным в отношении того, что следует документировать, причём передовые практики документирования включают документирование входных данных, расчётов — включая ключевые выборы методологии (включая упрощения и аппроксимации), выходных данных, предполагаемой цели, ограничений использования, процессов постоянного мониторинга работы, тестирования модели (включая любое тестирование на этапе разработки) и валидации.

Комментарий. Три комментатора предложили усилить руководящие указания, заменив «следует рассмотреть» (should consider) на «следует» (should).

Комментарий. Один комментатор предположил, что положение о том, что документация могла бы позволить другому актуарию, квалифицированному в той же области практики, «принять задание в случае необходимости» (assume the assignment if necessary), может быть во многих случаях обременительным, и рекомендовал, чтобы стандарт не расширял общие требования к документированию, поскольку положения проекта стандарта — что «другой актуарий, квалифицированный в той же области практики, мог бы оценить обоснованность работы актуария», — достаточно.

Ответ. Рецензенты согласны и исключили «или мог бы принять задание в случае необходимости».

РАЗДЕЛ 4. СООБЩЕНИЯ И РАСКРЫТИЕ ИНФОРМАЦИИ

Раздел 4.1 «Обязательное раскрытие в актуарном отчёте»

Комментарий. Один комментатор рекомендовал изменить название раздела на «Раскрытие в актуарном отчёте», поскольку использование слова «обязательное» (required) в названии вводит в заблуждение с учётом руководящего указания о том, что актуарию «следует раскрывать», и рекомендовал добавить в перечень элементов, подлежащих раскрытию, любые необоснованные, необъяснённые отклонения от недавних процессов постоянного мониторинга работы (рассматриваемых в рекомендуемом новом разделе 3.5.6).

Комментарий. Один комментатор предложил заменить 4.1(d) на «d. необоснованные выходные данные, обусловленные совокупностью допущений и параметров, используемых в качестве входных данных, если они существенны, как обсуждается в разделе 3.1.6(f)».

Ответ. Рецензенты согласны с концепцией и соответствующим образом изменили формулировку.

Комментарий. Один комментатор рекомендовал изменить «существенные ограничения» на «существенные ограничения, важные аспекты и слабые стороны», чтобы обеспечить охват раскрытием всех связанных элементов, обсуждаемых в разделе 3.1.3.

Ответ. Рецензенты согласны отчасти и добавили «и известные слабые стороны» после «существенные ограничения».

Комментарий. Один комментатор предложил добавить уточнение относительно того, относятся ли «эксперты» в разделе 4.1(f) к внешним экспертам либо как к внешним, так и к внутренним экспертам.

Комментарий. Один комментатор отметил, что не все элементы раздела 3.3 охватываются раскрытием в разделе 4.1, а именно ключевые методы и допущения с параметрами (A&P) и тестирование модели (чувствительности).

Комментарий. Один комментатор рекомендовал прямо указать, что стандарт не требует актуарного отчёта в отношении моделей, используемых актуарием.

Комментарий. Один комментатор предложил убрать раздел 4.2, поскольку раздел 4.1 уже требует соблюдения стандартов раскрытия Стандарта актуарной практики № 41.

Конец Стандарта актуарной практики КПА № 56 «Моделирование».

Моделирование

Стандарт актуарной практики КПА № 56

«Моделирование»

ОГЛАВЛЕНИЕ

Сопроводительный меморандум

История стандарта

Первый проект для обсуждения

Второй проект для обсуждения

Третий проект для обсуждения

Четвёртый проект для обсуждения

Существенные изменения по сравнению с четвёртым проектом для обсуждения

Целевая группа по моделированию

Общий комитет ASB

Совет по актуарным стандартам (ASB)

СТАНДАРТ ПРАКТИКИ

СТАНДАРТ АКТУАРНОЙ ПРАКТИКИ № 56

МОДЕЛИРОВАНИЕ

Раздел 1. Назначение, сфера применения, перекрёстные ссылки и дата вступления в силу

Раздел 2. Определения

Раздел 3. Анализ вопросов и рекомендуемые практики

Раздел 4. Сообщения и раскрытие информации

Приложение 1

Предпосылки и текущие практики

Предпосылки

Текущие практики

Приложение 2

Комментарии к четвёртому проекту для обсуждения и ответы на них

ОБЩИЕ КОММЕНТАРИИ

РАЗДЕЛ 1. НАЗНАЧЕНИЕ, СФЕРА ПРИМЕНЕНИЯ, ПЕРЕКРЁСТНЫЕ ССЫЛКИ И ДАТА ВСТУПЛЕНИЯ В СИЛУ

РАЗДЕЛ 2. ОПРЕДЕЛЕНИЯ

РАЗДЕЛ 3. АНАЛИЗ ВОПРОСОВ И РЕКОМЕНДУЕМЫЕ ПРАКТИКИ

РАЗДЕЛ 4. СООБЩЕНИЯ И РАСКРЫТИЕ ИНФОРМАЦИИ