ORS(결과 평가 척도)와 SRS(세션 평가 척도) 활용하기

728x90

"측정하지 않으면 관리할 수 없다." (If you can’t measure it, you can’t manage it.)

경영학자인 피터 드러커(Peter Drucker)가 말했다고 알려진 아주 유명한 문장이지만, 사실 드러커가 직접적으로 이 문구를 썼다는 명확한 근거는 없다고 한다. 하지만 지금과 같은 불확실성의 시대에 정말 맞는 말이기 때문에 인용해본다. 흔히 우리의 감정과 상태는 측정 불가능한 주관적이고 추상적인 영역으로 여겨진다. 내가 오늘 우울한데 그게 많이 우울한지 적게 우울한지 어떻게 아는가? 내가 오늘은 효능감을 느꼈는데 내일은 적게 느꼈다면 그게 얼마나 적게 느낀 것인가? 얼마나 적게 느껴야 문제가 되는 것인가? 매일 뇌파 측정할 수도 없고, 매순간의 기분을 기록할 수도 없는데 우리는 어떻게 관리 해야할까?

ORS(Outcome Rating Scale)와 SRS(Session Rating Scale)

ORS와 SRS는 사실 심리상담에서 활용되는 지표다. 심리상담, 임상치료가 잘 되고 있는지 아닌지 파악하기 위해 개발된 척도로 1990년대부터 등장했다. 둘 다 아주 간단하게 설계되어 있어 있다. 예를 들어 오늘 나의 개인 감정을 긍정 10점, 부정 0점으로 매긴다면 오늘은 7점이라고 쓴다. 내일은 '어제'라는 기준이 있으므로 그를 기준으로 점수를 매길 수 있을 것이다. 물론 나의 7점과 내 친구의 7점이 정확하게 같은 상태일 수는 없다. 나는 조금 더 긍정적인 사람이고 친구는 아닐 수도 있지 않은가. 여기서 중요한 것은 '관리' 하기 위해 '측정' 한다는 점이다. 나를 관리할 땐 내가 나의 지극히 주관적인 기준으로 측정하는 것이 충분히 동작할 수 있다.

ORS의 구성요소

개인(Individually): 개인적인 영역. 주관적인 감정, 불편함 등
대인(Interpersonally): 대인관계 영역에서 상태
사회(Socially): 사회적 역할 수행 (직장, 학교 생활)
전반(Overall): 일상 생활 전반적인 영역

아주 잘 지내지 못한다 = 0점 / 아주 잘 지내고 있다 = 10점으로 매겨본다. 합이 20점을 넘지 않으면 에너지 레벨이 너무 낮은 상태일 수 있다. 20점이 되려면 각각 5점이어야하므로 그 어느 하나도 좋은 상황이 아닐 수 있는 것이다. 점수를 매기기가 어렵다면 조금 더 구체적인 기준을 제시해보겠다.

1점: 최악. 아주 확실히 기분이 안 좋음.
3점: 최악까진 아니지만 무기력하고 기분이 안 좋음.
5점: 특별히 좋지도, 나쁘지도 않음.
7점: 좋은 상태. 적당히 기분이 좋고 의욕이 있음.
9점: 최상. 에너지가 충만하고 모든 것이 즐거움.
10점: 완벽. 모든 것이 행복하고 즐겁고 상태가 완벽함.

보면 알겠지만 1점 혹은 10점은 나오기 아주 어려운 점수다.

ORS 활용법

ORS는 아래와 같이 활용해볼 수 있을 것이다.

매일 정해진 시간에 체크인한다. 각자의 ORS 점수 이야기를 나누며 서로 상태를 확인한다. A팀원은 오늘 개인 5, 대인 4, 사회 9, 전반 5, 총 22점이라고 적었고, B팀원은 7, 8, 7, 9, 총 31점이라고 적었다. 이렇게 보면 한눈에 A팀원이 뭔가 상태가 안 좋구나 알 수 있을 것이다. 이를 일주일만 누적해보면 A팀원은 대체로 개인/대인 점수가 낮구나, B팀원은 대체로 점수가 높구나를 알 수 있고 그 평균 범위에서 벗어났을 때 무슨 일이 일어나는지 관찰하다보면 트리거를 발견할 수도 있다. 이를테면 전날 술을 마시면 개인 점수가 떨어진다거나 하는 패턴. 예시는 직장이지만 나의 상태, 나의 패턴을 파악하는데 굉장히 도움이 된다.
1:1 면담에서 상대방의 현재 상황을 확인하기 위해 ORS 점수로 면담을 시작한다.
매일 자신의 상태를 스스로 확인하기 위해 ORS를 작성한다.

여기서 중요한 것은 기록에 시간이 오래 걸리면 안된다는 점이다. 매일 기록하는 게 중요한데 생각을 너무 많이 한다거나, 이게 진짜 7점이 맞나? 고민하면 작성할 수가 없다. 이 척도가 주관적이라는 것을 분명히 받아들이고 쓰면 유용할 것이다. 아래 논문을 보면 ORS는 상담성과척도로 신뢰도가 있다는 내용이 담겨있다. 위 4개 항목에 대한 점수만 받으면 되니 초간단 척도가 맞고, 상담으로 인해 ORS 점수가 나아지는지 확인하는 것이니 심리 상담에서 기존에 잘 활용되어 왔던 것 같다.
https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002624018

ORS 변형 버전에 대해서도 소개한다. ORS의 점수가 애초에 너무 낮을 때 시도하면 좋을 방법이다. 1) 먼저 지난 일주일 동안 내가 했던 모든 일을 작성한다. 짧던 길던 상관 없으나 내 기억에 남은 일, 만족감이나 의미와 무관하게 그냥 진짜 한 일을 쓰면 된다. 옆에 내가 시간과 에너지를 얼마나 들였는지 점수를 매긴다. 내가 목록을 20개 썼다면 100/20 5점 기준으로 써보고, 아니면 그냥 대충 쓴 다음에 총합이 100이 될 때까지 조정해서 맞춰본다. 아래 예시를 보면 유튜브 보고, 새로운 업계 소식을 보는데 시간을 많이 쓰는 것을 알 수 있다. 그 다음엔 드라마 보기, 게임하기 등이 차지한다.

그 다음은 만족감을 기준으로 옆에 점수를 매겨본다. 이렇게 보면 내가 실제로 하는 행동이 만족감을 주지 못한다는 것을 알 수 있다. 이를테면 유튜브 보는데 시간을 굉장히 많이 쓰지만 만족감은 적은 것. 회사에서 사이드 프로젝트 기획하는데 시간은 많이 쓰지만 만족감은 0. 이러면 이걸 안해야 우울감이 덜어지겠지. 다소 기계적인 접근처럼 보일 수 있으나 우리가 일상에서 행하는 일들이 다 무의식적으로 이뤄지다보니 한 번 스스로 인식하는 것도 좋은 경험이다. 일단 당장 우울감을 덜고 싶다면 유용한 방법이다.

SRS 활용법

1:1 면담 혹은 교육 세션, 워크샵 등을 진행할 때 얼마나 해당 세션이 참여자에게 유용했는지 측정할 수 있다. 세션이 뭐냐에 따라 질문은 조금씩 다를 수 있다. 이를테면 "관계" 항목의 경우 내가 교육 세션을 진행하고 점수를 받을 거라면 "세션이 즐거웠는지" 물어볼 수 있고,

1:1 면담 혹은 상담을 진행했다면 "내가 존중 받는다고 느꼈는지"를 물어볼 수 있을 것이다.

SRS의 구성요소

관계(Relationship): 세션이 즐거웠는지, 내가 존중 받는다고 느꼈는지
목표 및 주제(Goals and Topics): 세션의 핵심 내용을 잘 이해했는지, 내가 원하는 주제에 대해 충분히 이야기를 나눴는지
접근 방식(Approach or Method): 세션에서 얻은 내용을 내가 실행할 수 있을 것 같은지, 나에게 그 방식이 잘 맞는지
전반(Overall): 전반적으로 이 세션이 좋았는지

특히 교육 세션의 경우 세션 시작 전과 후로 Confidence Level를 측정하는 것도 도움이 된다. 당연히 시작 전엔 점수가 낮을 거고 끝나면 높을 것이니 자기효능감에도 도움되는 방법. 세션을 진행한다면 Confidence Level에 대한 이유, 세션에서 기대하는 점까지 받아두면 좋다. 학습자 스스로 세션에 동기 부여할 수 있게 만드는 방법이다. 예를 들어 커리어와 관련된 교육을 들었다고 해보자, 이 교육의 목적이 "수강생에게 명확한 커리어의 목표가 생기고, 만족할만한 의미가 있다고 느끼게 만든다"라면, "나는 내 커리어 목표가 명확하다", "나의 커리어가 가지는 의미가 만족스럽다"라는 질문을 두고 교육 전, 교육 후에 10점 만점에 어느 정도 올랐는지를 평가해볼 수 있을 것이다.

또한 아래 논문을 보면 ORS와 SRS의 타당성에 대해 검증되어 있다.

https://aps.onlinelibrary.wiley.com/doi/abs/10.1080/13284200802676391

ORS나 SRS 둘 다 "평가 척도"이다. 점수를 매기는 게 매우 주관적이고 어색한 일이더라도 몇 번 점수를 매겨보다보면 나 혹은 팀원들의 상태가 어떻게 변화되고 있는지, 내가 진행하는 프로그램이 유용한지 파악할 수 있다.