Du er her

Anbudsprosesser for offentlig tjenesteyting:

Fortell i klartekst hvordan tilbudene blir vurdert!

Denne artikkelen dreier seg om bedømmelse av og tilbakemelding om innleverte tilbud i offentlige anbudsprosesser. Den berører dermed praksis ved forvaltning av store offentlige ressurser; en praksis som etter det jeg kan se, ikke foregår på en betryggende måte i dag. 

Venn tipset!

Din venn har blitt sendt en e-post om denne artikkelen.

Tips en venn

Kommentar vignettDen tilsynelatende tiltakende praksis med evaluering av tilbud i offentlige tjenesteanskaffelsesprosesser alene ved hjelp av kvantitativ flermålsmetodikk bør erstattes med kvalitative måter å vurdere tilbudene på.

Det er flere begrunnelser bak denne anbefalingen:

  • Den første bunner i at offentlige bestillere som behersker flermålsmetodikk er mangelvare.
  • Begrunnelse to er at tilbudsvurderinger med kriterier som oppdragsforståelse og kompetanse vanskelig kan transformeres til et siffer på en skala fra 1–5 eller 1–10.
  • For det tredje blir en mengde informasjon borte i denne transformasjonen, noe som bidrar til fordummende prosesser.
  • Endelig er det selvfølgelig et viktig hensyn å ta at mulighetene for manipulasjon reduseres vesentlig ved overgang fra kvantitativ til kvalitativ bedømmelse av tilbudene, selv om denne muligheten selvfølgelig aldri blir helt borte – juryen vinner alltid! Muligheten for dårlige beslutninger, mulig korrupsjon, og framtidige pressereportasjer basert på inntrykk av en stadig mer arrogant myndighetsutøvelse vil imidlertid bli mindre om innsynet i det som foregår i beslutningsprosessene blir bedre.

Mine konkrete forslag er at opplysninger om måleskala i anbudsdokumentet Konkurransegrunnlag fjernes, og erstattes med en setning om at tilbudene vil bli sammenliknet på grunnlag av en kvalitativ vurdering av oppdragsforståelse og kompetanse satt opp mot pris på ytelsen. Dessuten bør det være en selvfølge at de vurderinger som gjøres av det enkelte tilbudet i sin helhet skal gjøres tilgjengelig for alle tilbydere.

Et departement med manglende åpenhet

Den konkrete foranledningen til artikkelen er en tilbakemelding fra Kommunal- og moderniseringsdepartementet (KMD) i forbindelse med en anbudskonkurranse hvor vi (Transportøkonomisk institutt, TØI) ba om innsyn i hvordan departementet hadde anvendt det i utlysningen oppgitte kriteriesettet ved vurdering av de innkomne tilbudene, ni i alt.

Den aktuelle utlysningen fra departementet adskilte seg ikke fra det vanlige oppsettet i slike saker – med angivelse av bedømmelseskriterier, prosentsatser for deres innbyrdes vektlegging samt vurderingsskalaens utforming (se tabell 1 fra en annen KMD-utlysning).

Tabell 1: En illustrerende generell mal for det som oftest står i Konkurransegrunnlaget ved en utlysning. Kilde: en av KMDs senere utlysninger: Kartlegging av gjeldende planpraksis etter plan- og bygningsloven i sjøområdene (november 2016)

Da departementet sendte deltakerne beskjed om utfallet av tilbudsvurderingen, var vi ikke tilfreds med den informasjonen som ble gitt. Én ting er at vi ikke fikk oppdraget. Det går det an å leve med. Verre er det når den informasjonen som gis tilbake til deltakerne er svært minimal, og nesten uten kontrollerbar substans.

Vi skrev til departementet at siden det både i konkurransegrunnlaget og i tilbakemeldingen ble betonet prosentsatser for bedømmelseskriteriene og vurderingsskalaens utforming (0-5), ville det for transparensens skyld vært viktig å bli presentert for resultatene av disse vurderingene for de ni leverte tilbudene, og vi ba om å få dette materialet oversendt.

Erfaringsmessig vet vi at i mange brev om avgjørelse av anbudskonkurranser inngår det tabellariske oppstillinger med slik informasjon (se eksempler på dette i tabell 2 og 3 senere i artikkelen). I dette tilfellet ble imidlertid forespørselen besvart med et nei, og følgende begrunnelse:

I vurderingen har vi lagt vekt på at dokumentet er et arbeidsdokument til internt bruk. Det at dokumentet er utarbeidet til bruk underveis i arbeids- og beslutningsprosessen, medfører at behovet for å gjøre unntak er sterkt. Det er avgjørende for en grundig intern prosess at den kan gjennomføres uten innsyn. Departementet har et reelt og saklig behov for å nekte innsyn i dokumentet, og mener at dette behovet veier tyngre enn hensynet til offentlig innsyn.

Dette var et overraskende svar. Når det i utlysningen redegjøres detaljert for kriterier og deres vekter samt bedømmelsesskalaens utforming, er det å forvente at bruken av dette tåler dagens lys. Hvis ikke blir en slik oppstilling i konkurransegrunnlaget bare et spill for galleriet.

Selvfølgelig er en presentasjon i konkurransegrunnlaget av kriterier og deres vektlegging viktig. Det signaliserer til tilbyderne hva som er viktig å vektlegge ved utformingen av et tilbud. Vektlegges eksempelvis pris 90 prosent, blir det viktig å være billigst mulig, mens vektlegging av kompetanse med 90 prosent gjør presentasjon av CV og erfaringsbeskrivelse til den sentrale dokumentasjonen å få fram i tilbudet.

Dette som ekstreme eksempler; andre vektlegginger av kriteriene er selvfølgelig mer sannsynlige. Men det er uforståelig hva tilbyder skal med informasjon om vurderingsskalaen dersom det ikke er meningen å presentere resultatene av den foretatte vurderingen.

Når KMD gir sitt avvisende svar om innsyn i beslutningsdokumentet (eller protokollen), er det rimelig grunn til å spørre hva oppdragsgiver har å skjule. Formuleringen Det er avgjørende for en grundig intern prosess at den kan gjennomføres uten innsyn er ikke egnet til annet enn å vekke forundring.

Dersom den interne prosessen ved anbudsbedømmelsen foretas grundig, burde det ikke være noen fare ved, etter prosessens slutt, å kunne presentere resultatet for offentligheten.

Det er tross alt ikke statshemmeligheter som behandles i offentlige anbudsprosesser. Hemmelighold vekker som regel alltid mistenksomhet. Da er det lett å tenke at noe ved prosessen ikke er lett å begrunne, at det er noe aktørene, i vårt tilfelle departementet, mener det er verdt å la forbli uopplyst.

I metodelitteraturen går det et skille mellom kvalitative og kvantitative framgangsmåter. Disse to måtene å belyse problemstillinger på har hver sine svorne tilhengere. Samtidig som det finnes en rekke forskere som sverger til å kombinere det kvalitative og det kvantitative. Trolig er de siste i flertall blant dagens samfunnsforskere.

Innen en gren av samfunnet som har ekspandert voldsomt det siste tiåret, anbudssystemet, har anvendelse av kvantitative metoder økt sterkt. Bedømmelsen av kvaliteten på et tilbud er en type virksomhet som i sin art er grunnleggende kvalitativ. Den utlysende enheten skal bedømme hvordan et innlevert tilbud skal anses å kunne gi oppdragsmiljøet faglig utbytte relativt til det som tilbyder krever i betaling for tjenestene.

Det framsatte betalingskravet er selvfølgelig en kvantitativ størrelse, et kronebeløp, men tilbudet for øvrig består som regel av beskrivelser av hvordan en vil løse oppgavene, hvordan problemstillingene vil bli belyst, samt beskrivelser av hvilken kompetanse tilbyder eller tilbydermiljøet kan varte opp med gjennom utdannelse og relevant arbeidserfaring. Dessuten er selvfølgelig gjennomføringsevne et sentralt tema.

Bedømmelse av slik informasjon, slike opplysninger, krever kvalitative vurderinger. Disse vurderingene er i de senere årene i stadig større utstrekning blitt transformert til kvantitative størrelser. Helt i terningkasttradisjonen fra avisspaltene. Kompetansen i et tilbydermiljø gis en samlet karakteristikk, for eksempel på en skala fra 0-5 eller 0-10. Relevant erfaring fra tidligere arbeider, i den grad det ikke inngår i den generelle kompetansebedømmelsen, gis på tilsvarende vis karakter. Bedømmelse av kvaliteten på oppdragsforståelsen, av det som skal utføres, transformeres også til et siffer på den samme måleskalaen. Til tross for at det er kvalitativ informasjon det er snakk om.

Det er ikke lett å uttale seg om hvorfor det har utviklet seg et ønske om å kvantifisere kvalitativ informasjon, men:

  • Én grunn kan være troen på at det er lettere å få aksept for avgjørelser basert på kvantitative størrelser enn for begrunnelser gjort med ord.
  • En annen kan være at en ser det som lettere å sammenlikne på tvers av tilbud med tall enn med ord.
  • En tredje grunn kan være at når noen har begynt med denne formen for bedømmelse, sprer praksisen seg som ringer i vannet. Tilsynelatende uten at oppdragsgiverne reflekterer over egen evne til å gjennomføre slike øvelser.
  • En fjerde grunn kan selvfølgelig også være at det kan oppleves lettere å velge et siffer på en skala enn å måtte forfatte en tekst om hvilken kvalitet et bestemt tilbud har, og hvorfor det er bedre eller dårligere enn et annet.

Uansett årsak til den stadig større utbredelsen, bør praksisen gjennomgå betydelige forbedringer dersom tilbyderne skal ytes en rimelig grad av rettferdighet. Jeg har tidligere skrevet om fenomenet, men det hjelper tilsynelatende lite å peke på forekomsten av uholdbar praktisering av flermålsanalyser. Den høyst diskutable praksisen fortsetter fordi det ikke finnes noen form for kontroll med denne virksomheten.

Den enkelte anbudsprosessen er et engangstilfelle, og de som rammes av en uheldig praksis finner seg øyensynlig i det uten å slå alarm ved å samordne seg med andre.

Den enkelte oppdragsgiver lager seg sitt bedømmelsessystem og utøver sin vurderingspraksis uten tilsynelatende å bry seg om annet enn å komme fram til en tallmessig basert rangering etter bedømmelser og regneøvelser som langt fra alltid kan sies å tåle dagens lys.

De involverte tilbyderne får sine tilbakemeldinger, men hva gjør de med dem? Reagerer med individuell oppgitthet eller glede alt etter som de har kommet gjennom bedømmelsen med positivt eller negativt resultat. Ingen visitt ut i offentligheten, og ingen kollektiv aksjon.

Behov for endrede konkurransegrunnlag

For meg er en slik total avvisning av ønsket om transparens som den KMD presenterte, grunn nok til å be om endring av praksis ved utformingen av anbudsinvitasjoner. La det bli slutt med å angi måleskala for bedømmelse dersom det ikke er meningen at skalaen skal benyttes som ledd i en tilbakemelding til tilbydere om konkurransens resultat.

Dersom måleskalaangivelse droppes, vil det inntrykket dempes at det ved bedømmelsen av tilbudene legges opp til en kvantitativt orientert vurdering. Det vil være i tråd med det jeg har betonet ovenfor at vurdering av oppgaveforståelse og kompetanse for nettopp det gjeldende oppdraget er en øvelse av kvalitativ art. Det grunnleggende spørsmålet å besvare er Hvor får vi mest igjen for innsatsen? Ikke Hvilken tilbyder oppnår den høyeste poengsummen?

Det er imidlertid også tre andre grunner til en anmodning om å droppe angivelse av måleskala for bedømmelseskriterier i konkurransegrunnlaget.

Den første av disse grunnene er at bestillerne ofte ikke behersker den kvantitative metoden som beskrives. For snart fem år siden skrev jeg en artikkel som påpekte dårlige erfaringer med konsulenters og kommuners praktisering av flermålsanalyser. Artikkelen refererte resultater fra en rapport fra forskningsprogrammet Concept, og gjennomgikk i tillegg et eksempel fra en kommunal anbudsvurdering.

Jeg pekte på tre mulige grunner til at det er blitt populært å løse forholdsvis enkle vurderinger ved hjelp av tvilsom matematikk: Tall synes å ha høyere prestisje enn resonnementer; Det er lett å gjemme seg bak tall – resonnementer trengs ikke å bli presentert; Det er lett å manipulere resultatlister ved regnestykker – dessverre.

Det er særlig den siste av disse grunnene som kan tenkes å ligge bak KMDs overraskende hemmelighold av sitt vurderingsarbeid. Dersom departementet har fulgt opp det de signaliserer i utlysningen – å foreta en kvantitativt innrettet evaluering av tilbudene – gis tallstørrelser forrang for resonnementer.

Men valg av tall for å uttrykke kvalitet, enten det dreier seg om oppgaveforståelse eller kompetanse, er en krevende øvelse. Det fordrer rett og slett grundige overveielser, resonnementer, som det egentlig er meningsløst å uttrykke på en 0–5-skala. Og om den vågale vegen velges, krever det i hvert fall en klar spesifisering av hvordan tildelingskriteriene skal måles.

Når det deretter, må vi anta, gjennomføres regnestykker for å komme fram til en totalytelse, må det forutsettes at måleskalaen er på forholdstallsnivå. Det er det neppe grunnlag for i slike saker, fordi problemforståelse og kompetanse vanskelig kan måles på samme skala. Derimot egner slike forhold seg godt til å bli beskrevet kvalitativt som tekst.

Den andre grunnen til å fjerne opplysninger om måleskala fra konkurransegrunnlaget er at flagging av en kvantitativ framgangsmåte for vurdering av tilbudene, fordrer transparens ved tilbakemeldingen. Slik transparens er sjelden fullstendig, men som regel presenteres en tabell etablert ved kriterier og tall for vurdering av ytelse. Et konkret eksempel fra en tilbudsprotokoll som kan illustrere dette, ser ut som tabell 2.

Tabell 2: Resultat av bedømmelse av tre tilbud i anbudskonkurransen Kategorisering av gående og syklende. Vegdirektoratet september 2013

Ved den tilbakemeldingen tabellen er hentet fra, ble det også gitt en verbal beskrivelse av de tre tilbudene med følgende formuleringer:

Tilbud 1 presenterer et arbeidsopplegg som viser stor forståelse for oppgaven og sammen med en meget høy kompetanse tildeles de oppdraget.
Tilbud 2 presenterer et arbeidsopplegg noe på siden av oppgaven, bl.a. legges det vekt på kategorisering av ulykker og mindre på kategorisering av gående og syklende. De tilbyr et team med mindre spisskompetanse.
Tilbud 3 presenterer et noe uklart arbeidsopplegg og har dessuten en kompetanse litt på siden av hva som er ønskelig i dette arbeidet.

I denne protokollens tabell er det lett å se at et av tilbudene er overlegent de andre på to av kriteriene, mens alle tre har samme pris. Dette er presist uttrykt også i den verbale beskrivelsen av tilbudene. Vanskeligere er det umiddelbart å se, eller forstå, sammenhengen mellom tabellinformasjonen og den kvalitative (tekstlige) beskrivelsen om de to andre tilbudene.

Når disse to tilbudene gis score 7 og 8 for arbeidsopplegget, skulle en anta at de begge er rimelig gode svar på utlysningen. Den kvalitative vurderingen viser imidlertid at så ikke er tilfelle. Et noe uklart arbeidsopplegg belønnes med 8, mens et arbeidsopplegg noe på siden oppnår 7.

Begge disse karakteristikkene må, for en vanlig norsk leser, være å forstå som lite tilfredsstillende svar på utlysningens problemstillinger. Det var, etter mitt skjønn, derfor å forvente en vesentlig lavere vurdering av ytelse enn hva det beste tilbudet oppnådde. Slik er det imidlertid ikke, ifølge tabellen.

Tilsvarende er det vanskelig å forstå at kompetanse litt på siden av det ønskelige fortjener score 7, mens et team med mindre spisskompetanse (av meg lest som svak) gis score 8.

Denne protokollen illustrerer godt, slik jeg ser det, at en tekstlig uttrykt vurdering gir et vesentlig mer innholdsrikt inntrykk av tilbudene enn noen tall mellom 1 og 10 noen gang kan gi.

I den innledningsvis refererte saken velger KMD, på tross av konkurransegrunnlagets presentasjon av både kriterier (oppgaveforståelse, metode og pris) og målemetode (skala 0–5), i tilbakemeldingen ikke å framvise bruk av kvantitativ metode, men nøyer seg med det vi ser som svært omtrentlige kvalitative vurderinger. Vegdirektoratets transparens i protokollen ovenfor anses tydeligvis av KMD som farlig – eller med KMDs egne ord:

Det er avgjørende for en grundig intern prosess at den kan gjennomføres uten innsyn. Departementet har et reelt og saklig behov for å nekte innsyn i dokumentet, og mener at dette behovet veier tyngre enn hensynet til offentlig innsyn.

Det synes påkrevet å spørre: Hva har departementet å skjule?

Mitt perspektiv er at en kvalitetsredegjørelse er bedre enn en tallmessig kvantifisert bedømmelse, slik eksempelet fra Vegdirektoratet ovenfor illustrerte. De betydelige problemene med å sikre samsvar mellom den kvalitative og den kvantitative tilbakemeldingen synes ytterligere å støtte et slikt standpunkt.

Den tredje grunnen er at en kvalitativ tilbakemelding har en ytterligere positiv side ved seg: Det er ikke så lett å tildekke hva utbyder har forstått av tilbudet når tilbakemeldingen må gis i form av tekst enn når den gis som et tall.

Når Vegdirektoratet ikke forstår …

Et, etter min mening, svært illustrerende eksempel på dette er Vegdirektoratets tilbakemelding til oss (TØI) i en anbudskonkurranse om Nullvekstmålet – målet om at trafikkveksten i de større byregionene skal tas kollektivt og til fots og med sykkel.

Utlysningen våren 2014 gjaldt spørsmål om hvordan landets større byer kan få til å realisere dette målet. Vi (TØI) tapte tilbudskampen, ba om innsyn, og fikk tilgang til tabell 3 og følgende sluttsetning i brevet fra Vegdirektoratet: Vi håper at dette gir dere en god forståelse for at det var pris som var utslagsgivende.

Tabell 3: Bedømmelse av tilbud for tre kriterier på skala 0-10. Vegdirektoratet mai 2014

Vi tapte altså hårfint på økonomi, men burde, etter det jeg kan se, tapt på svak ytelse på kriteriet arbeidsopplegg (oppdragsforståelse). Vegdirektoratets utlysning gjaldt spørsmålet om hvordan landets større byer kunne realisere Nullvekstmålet. Vi trodde i hvert fall at det var det som skulle belyses, og leverte et tilbud med et slikt siktemål.

Tilbudet vårt ble godt mottatt hos oppdragsgiver. Som det framgår av tabell 3, ble det gitt topp score (10) for kompetanse og score 9 for oppgaveforståelse. Den samme bedømmelsen ble det seirende tilbudet til del. Vi fikk imidlertid ikke oppdraget, som nevnt ovenfor, fordi den andre tilbyderen hadde prissatt en antydet opsjon 15 000 kroner lavere enn oss. Derfor kunne oppdragsgiver skrive i avslagsbrevet til oss:

Vedrørende pris så var tilbudet fra (…) lavest på pris, og de fikk dermed en bedre score på vektingen og dermed høyere totalscore. Dette var utslagsgivende for hvem som ble rangert som nr 1.

Vi mente oss bortdømt i konkurransen, og ba om redegjørelse for avgjørelsen. Den fikk vi og ble ytterligere styrket i vår opprinnelige tanke om å være bortdømt. Da sluttrapporten fra prosjektet forelå, forsto vi enda mindre av hva det var som hadde foregått i Vegdirektoratet på beslutningstidspunktet.

Jeg kan ikke se annet enn at direktoratets vurdering av de to tilbudene som ble bedømt å være kvalitets- og kompetansemessig helt like, må karakteriseres som umulig å forstå. Kanskje forståelig hva gjelder kompetanse, men med hensyn til oppdragsforståelse? Helt klart en svært tvilsom bedømmelse.

Heller enn å definere oss bort fra å få utredningsoppdraget ved å vise til konkurrentens svært marginalt lavere prissetting av opsjonen, burde direktoratet slått fast at vi ikke hadde forstått oppgaven slik den var signalisert. For vi leverte rett og slett et tilbud om noe helt annet enn det som reelt ble lyst ut.

Både ved å lese rapporten fra prosjektet og ved å lese utlysningen på nytt, er det helt klart at det VD ville ha belyst var det normative spørsmålet om hva som bør være fordelingen av trafikkveksten mellom de tre transportmåtene kollektivtransport, sykkel og til fots gitt at trafikkveksten tas med disse transportmidlene. Dette normative spørsmålet så vi på, ved utarbeidelsen av tilbudet, som litt underlig, litt naivt, ja vi problematiserte det til og med i tilbudet vårt på denne måten:

Dette er et svært vanskelig spørsmål å besvare, først og fremst fordi det er normativt. Prosjektet trenger å definere hva som ligger i «hensiktsmessig fordeling av trafikkvekst». Dette leder til en rekke ulike spørsmål. Hvorfor er det eksempelvis mer eller mindre hensiktsmessig at folk går istedenfor å sykle for ulike formål? Og er det mer hensiktsmessig at folk sykler 45 minutter sammenlignet med å ta kollektivtransport i 30 minutter? Dekker hensiktsmessighet kostnader knyttet til investeringer i infrastruktur og drift?

Flere tolkninger av oppdragsgivers agering står her åpne. Den ene er at oppdragsgiver ikke var klar over hvilke problemstillinger som skulle belyses, noe som virker svært usannsynlig. En annen at vårt tilbud ble lest så overfladisk at oppdragsgiver ikke oppfattet at vi hadde misforstått oppgaven. Det virker svært sannsynlig i lys av poengsettingen.

Det er å håpe at dette ikke er symptomatisk for tilfeldighetenes spill, eller det manipulerende spill, i anbudsprosesser? En kvalitativ vurdering, og tilbakemelding, ville, vil jeg tro, tvunget oppdragsgiver til grundigere studier av tilbudene. En syltynn begrunnelse av tildeling i økonomi kunne vært unngått.

Så, la oss få kvalitativt baserte tilbakemeldinger om avgjørelser i anbudsprosesser.

LES OGSÅ:

Referanser:
Strand, Arvid: Samferdselsprosjekter og andre typer prosjekter: Gode flermålsanalyser er mangelvare. Samferdsel 4/2012

DEBATTREGLER I SAMFERDSEL
Har du synspunkter på denne saken, så kom gjerne med dem her i kommentarfeltet! Det du skriver vil i de fleste sammenhenger fremstå som mer interessant og troverdig dersom du skriver under fullt navn. Hold deg til saken, vis respekt og raushet overfor andre og deres meninger. Husk at det du skriver kan bli lest av mange!

Ytringer som inneholder trusler eller annen form for sjikane, vil bli fjernet.

Vennlig hilsen
Samferdsel-redaksjonen

comments powered by Disqus

  • Tweets

Bunnbilde
SAMFERDSEL, TØI
Gaustadalléen 21,
0349 Oslo.
Telefon: 22 57 38 00
Telefaks: 22 60 92 00

PÅ VEIEN
I LUFTEN
PÅ SKINNER
PÅ SJØEN
TRANSPORT
REISELIV
MILJØ
TEKNOLOGI

ARKIV
AKTUELT
ANNONSERE

TØI
DEBATT
KONTAKT OSS
OM OSS

 

Ansvarlig redaktør: Flemming Dahl. Mobiltelefon: 986 255 96. Epost: fda@toi.no  |  Personvern

Designet og utviklet av CoreTrek AS