I Storbritannien bedöms kirurger under utbildningen med fokus på teknisk kunnighet. Kirurgisk skicklighet har bedömts med flera olika metoder. Liksom inom andra områden med stora risker har man konstaterat att även icke-tekniska färdigheter behövs på operationsavdelningar.

Intrumentet NOTSS (non-technical skills for surgeons) är framtaget av en grupp kirurger, psykologer och anestesiologer för att bedöma individuella kirurgers icke-tekniska prestationer. Bedömningen görs inom fyra kategorier: situationsmedvetande, beslutsfattande, kommunikation och teamarbete/ledarskap. Kirurgernas beteende be­döms och poängsätts vid videoscenarier och verkliga operationer. Det har gjorts en del studier där detta instrument utvärderats.

Den aktuella studien syftade till att utvidga utvärderingen av NOTSS för att se om den går att använda i klinisk praxis på en operationsavdelning. Man ville studera tillförlitligheten i poängsättningen gjord av observatörer utan särskild träning och särskilt stöd (även icke-kir­urger) och få mer data på validiteten. Vidare önskade man jämföra NOTSS och bedömning av teknisk skicklighet i fråga om reliabilitet. I studien deltog 56 anestesiologer, 39 operationssköterskor, 2 kirurgiska prak­ti­kan­ter och 3 oberoende observatörer, som gjorde 715 bedömningar av 404 kir­urgiska fall inom 6 opererande specialiteter, där 85 läkare under utbildning i kirurgiska specialiteter utförde 15 indexprocedurer.

Bedömning ansågs möjlig, men i genomförandet fanns svårigheter. Bland annat var det svårt att få tid att informera deltagande läkare om hur bedömningen gjordes och att träna observatörerna i bedömning. Observatörerna menade att bedömningen blev svår när överläkare påverkade läkare under utbildning eller övertog ledarskapet på salen. När anestesiologer och operationssköterskor var observatörer fick de ibland avsluta bedömningen på grund av att kliniska prioriteringar tog över.
Minst 75 procent av respondenterna ansåg ändå att NOTSS tillhandahöll ett gemensamt språk för bedömning av icke-teknisk färdighet och att det var lätt att bedöma kommunikation och teamarbete/ledarskap, medan 54 procent ansåg att det var lätt att värdera de kognitiva funktionerna situationsmedvetenhet och beslutsfattande.
Underläkarnas icke-tekniska prestationspoäng var relativt proceduroberoende och gav god reliabilitet (generaliseringskoefficient på 0,8 eller mer) när 6–8 bedömare observerade ett fall var.

Konklusionen blev att NOTSS kan användas i den kliniska vardagen och att de observatörer som normalt finns på en operationsavdelning är tillräckligt skickliga i att kunna urskilja olika beteenden och är konsekventa i sin bedömning för att få fram pålitliga poäng baserade på ett rimligt antal observationer.
Studien har inte bidragit till att visa betydelsen av icke-tekniska färdigheter, men det är intressant att dessa and­ra kunskaper alltmer uppmärksammas inom kirurgisk utbildning.