5.6 Tesztelés (vizsgálat) és hitelesítés

5.6.1 Konformancia tesztelés (vizsgálat)

Itt két probléma vetôdik fel:

• Hogyan lehet a protokollokat mindenki számára félreérthetetlen formában megfogalmazni?
• Hogyan lehet bebizonyítani, hogy a megvalósított protokoll egyértelmûen megfelel (konform) a szabványban rögzített leírásnak?

Az implementálás fázisai:

• szöveges szabvány leírása formális nyelven
• a formális leírás ellenôrzése
• az implementálásra vonatkozó dokumentumok (PICS, PIXIT) elôállítása
• a berendezés elôállítása
• konformancia vizsgálat.

A protokoll szabványban vannak kötelezô elôírások, és vannak feltételes, valamint opcionális elôírások (a PICS dokumentumban ezeket m, c, o betûkkel jelölik, rendre az angol mandatory, conditional, options szavak kezdôbetûi után). A feltételes és az opcionális elôírásokat az implementáló nem köteles megvalósítani: ezek közül "szabadon" választhat, bár helytelen választás esetén elôfordulhat, hogy terméke korlátozottan lesz alkalmazható. A PICS dokumentum egy nagyon pontosan megfogalmazott dokumentum: minden egyes kitöltendô kérdés mellett (amely kérdésekre általában "igen" vagy "nem" választ kell adni) fel van tüntetve a protokoll szabvány fejezetszáma, ami pontosan felsorolja a kérdésre adható válaszokat, s ezt mérlegelheti az implementáló. Ennek a dokumentumnak rendkívüli fontossága van a protokoll konformancia tesztelésnél, de még fontosabb a rendszerbe állításkor, amikor több protokoll együttmûködését kell vizsgálni, vagy a mûködés közben felmerült hiba okát kell meghatározni.

A PIXIT (Protocol Implementation eXtra Information for Testing) leírása az "ISO/IEC 9646- 5 (Information technology - Open Systems Interconnection - Conformance testing methodology and framework.) Part 5. "Requirements on test laboratories and clients for the assessment process." Reference number: ISO/IEC 9646- 5: 1992(E) dokumentumban található. Ez pontosan feltünteti a protokoll azonosítóját és a protokoll elôállítójának pontos adatait, valamint egy a protokoll beállítására vonatkozó kérdôívet, ami szintén az implementációkor kerül kitöltésre. A dokumentum szabványos (a nemzetközi szabványosító hivatal által kibocsátott) vizsgálókészlet része, szerkezete hasonló a PICS dokumentumhoz. Kitöltésekor a megvalósítónak pontosan meg kell adnia a protokoll implementációjakor beállított idôzítôk, számlálók és egyéb változók értékeit. Nélküle a protokoll vizsgálata nem kezdhetô meg.

A protokoll fejlesztés utolsó fázisa a protokoll konformancia vizsgálata, majd megfelelô dokumentumok (SCTR: System Conformance Test Report, PCTR: Protocol Conformance Test Report) kiállítása. Ezek leírása szintén az "ISO/IEC 9646- 5 (Information technology - Open Systems Interconnection - Conformance testing methodology and framework.) Part 5. "Requirements on test laboratories and clients for the assessment process." Reference number: ISO/IEC 9646- 5: 1992(E) dokumentumban található. A dokumentumok formája, és hogy mire kell válaszolni a vizsgálat befejezésével szabványban van rögzítve. Természetesen az egyes laboratóriumok a szabványügyi hivatallal egyetértésben ettôl valamennyire eltérhetnek.

Az alkalmazható konformancia vizsgálati elrendezéseket az "ISO/IEC 9646- 1 (Information technology - Open Systems Interconnection - Conformance testing methodology and framework.) Part 1. "General concept." Reference number: ISO/IEC 9646- 1: 1992(E) szabvány határozza meg. A vizsgálandó egyed lehet egy protokoll megvalósítás (IUT: Implementation Under Test), vagy egy több protokollt tartalmazó berendezés (SUT: System Under Test). A vizsgálat során a szabványban rögzített vizsgáló sorozatokra adott válaszok alapján lehet megállapítani, hogy a vizsgált berendezés (IUT/SUT) megfelel-e a szabványban elôírtaknak, vagyis konform-e a szabvánnyal.

A konformancia vizsgálatot végezheti a rendszer elôállítója, vagy egy független jogi személy (egy független laboratórium, a laboratóriumoknak nagyon fontos szerepük van).

A vizsgálat két nagy fázisra bontható: a vizsgálat elôkészítésére illetve a tényleges vizsgálat végrehajtására.

A konformancia vizsgálat elôkészítése a kliens (ami jelen esetben lehet a gyártó, de lehet egy vásárló is) és a vizsgáló laboratórium között történik, ami magában foglalja a:

• Protokollra vagy protokollokra (ha rendszer vizsgálatról van szó) vonatkozó dokumentumok (PICS, PIXIT) áttekintését: annak megvizsgálását, hogy a kitöltött dokumentumok megfelelnek-e a rájuk vonatkozó szabványoknak, illetve azok hiánytalanul vannak-e kitöltve.
• Megállapodás történik a szabványos vizsgálati módszer kiválasztására, vizsgálati készlet megnevezésére. Rendszer vizsgálata esetén a PIXIT dokumentumban meg kell adni a kapcsolódó protokollok pontos megnevezését, illetve az azokhoz tartozó dokumentumokat.

1. Statikus konformancia vizsgálat. A PICS dokumentum összevetése a protokollra vonatkozó szabvánnyal: hibás a kötelezô érvényû szabványelôírások elhagyása, vagy helytelen megvalósítása, illetve az opcionális, vagy feltételes elôírások ellentmondásos összeválogatása.

2. Vizsgálati sorozat kiválasztása. Az egyes protokollok a szabványos un. absztrakt vizsgáló készlettel (ATS: Abstract Test Suite) rendelkeznek. Ezek közvetlenül nem végrehajtható vizsgáló sorozatok, s a teljes megvalósított szabvány vizsgálatára készültek. Ha a vizsgálandó protokoll a PICS alapján a szabvány teljes megvalósítása, akkor használható a teljes vizsgáló készlet. Ha a vizsgálandó protokoll nem teljes megvalósítás, akkor PICS dokumentum alapján ki kell választani azokat a vizsgáló sorozatokat, amelyek a vizsgálandó protokollon lefuttathatók.

3. Vizsgálati készlet parametrizálása. Az ATS vizsgálati készlet futtathatóvá tétele azt jelenti, hogy a vizsgáló készlet változóinak (idôzítôk, számlálók stb) értéke a megvalósítás PIXIT dokumentuma alapján fel lesz töltve. Ezzel válik a vizsgáló készlet alkalmassá a konkrét megvalósítás (protokoll) vizsgálatára.

4. Vizsgálati ciklus. A futtatható vizsgáló készlet sorozatonkénti lefuttatása. Az egyes vizsgáló lépések kiküldése a vizsgált rendszernek, majd a kapott válasz értékelése.

5. Vizsgálat eredménye: PCTR, SCTR dokumentumok kiállítása. A protokoll alkalmasság vizsgálati riport (PCTR) a konformancia vizsgálat eredményét adja, feltüntetve a protokoll és a hozzátartozó dokumentumok (PICS, PIXIT) pontos megnevezését, valamint a vizsgálati módszert a vizsgálati sorozat megnevezésével. A riport tartalmazza a statikus (PICS és a szabvány összevetésébôl) és a dinamikus (a vizsgálati sorozatok lefuttatásából származó) eredmények összefoglalását. A rendszer alkalmassági riport (SCTR) egy több protokollból álló rendszer vizsgálati eredményét foglalja össze. A vizsgálat kiterjed a teljes rendszerre, de vonatkozhat egy vagy több, a rendszer elemeként szereplô protokoll részletes vizsgálatára. Az utóbbi esetben a protokoll(ok)ra vonatkozó vizsgálati eredményt is szerepeltetni kell a dokumentumban.

• A sok dokumentum (PICS, PIXIT, PCTR, SCTR) elkészítésének a szükségessége, ami egy nagyon egyszerû protokoll esetén is kb. 50 oldal, míg egy közepes, vagy bonyolult protokoll esetén a száz oldalt is meghaladja.
• A dokumentumok átvizsgálása (PICS, PIXIT) - statikus konformancia vizsgálat - szintén hosszú idôt vesz igénybe és nagy szakértelmet igényel.
• A dinamikus konformancia vizsgálat is egy hosszú folyamat, mivel a vizsgáló készlet egy egyszerû protokoll esetén 200-300 oldal, egy közepes bonyolultság esetén pedig 800-1000 oldal körüli (a számítógépeknél megismert módszertôl eltérô módon - TTCN nyelven - írt) "programcsomag" (Pl. az FTAM protokoll esetén 4000 vizsgálati lépés). A vizsgálat során ezen sorozatokat kell átvizsgálni (értékelni, hogy az adott megvalósításra lefuttatható-e, vagy nem), a lefuttatott sorozatok eredményét értékelni.
• A konformancia eljárás végén el kell készíteni a minôsítô dokumentumokat (SCTR, PCTR), ami szintén nagy körültekintést és szakértelmet igényel.

• gondosan elvégzett konformancia vizsgálat után ki lehet jelenteni, hogy a vizsgált protokoll (vagy rendszer) - a vizsgálat gondosságától függôen - nagy valószínûséggel jól, a szabványban elôírt módon fog mûködni,
• ugyancsak nagy valószínûséggel (de nem garantálhatóan) jól fog mûködni olyan rendszerben, ahol más módon (más gyártó által) implementált protokollal (rendszerrel) kell együttmûködni,
• hibás együttmûködés esetén a gyártó által gondosan kitöltött (PICS, PIXIT), valamint a pontos vizsgálati eredmények (SCTR, PCTR dokumentumok) segítenek a hiba kiderítésénél.

5.6.2 Az együttmûködési képesség tesztelése (együttmûködtetés vizsgálat)

Az együttmûködtetés vizsgálat egy sokkal átfogóbb vizsgálat mint a konformancia vizsgálat:

• a vizsgálatnál törekedni kell a pontos, mindenre kiterjedô vizsgálatra, amely bizonyítja, hogy az implementálás a szabvány szerint történt,
• a vizsgálatnak ki kell terjednie arra, hogy a vizsgált implementáció hogyan viselkedik a hibás és nem várt üzenetekre (ez lényegesen megnövelheti a vizsgálat idejét, aminek természetesen gazdasági következményei is vannak),
• be kell mutatni, hogy a berendezések olyan körülmények között tudnak mûködni, mint a valóságban, vagyis, mint a felhasználónál,
• a rendszer hibakezelésére is ki kell terjednie a vizsgálatnak (valós rendszerben ez igen sok probléma forrása lehet),
• lehet az együttmûködô berendezések üzeneteit mûködés közben "monitorozni" (protokoll analizátor segítségével), vagy konformancia vizsgáló sorozatokat lefuttatni, s közben "monitorozni",
• szükséges lehet egy "referencia" protokoll, vagy rendszer kifejlesztése, ami a szabvány összes elôírásának eleget tesz, s ezzel összekapcsolva (esetleg monitorozás igénybe vételével) lehetséges lesz a kérdéses rendszer bemérése.

Az EurOSInet és a SPAG együttmûködése révén egy szabvány van kialakulóban egy közös konformancia és együttmûködtetési vizsgálati módszertan kidolgozására. A munkába az amerikai OSINET szervezet is bekapcsolódott. A SPAG 1991-ben jelentett be egy PSI (Process to Support Interoperability) projektet, ami az MHS(84) és FTAM egységes vizsgálatára vonatkozik, s nagy valószínûséggel biztosítja, hogy az ilyen vizsgálatok után ezek a termékek együtt fognak tudni mûködni. Javasolják, hogy a sikeres vizsgálat esetén ezeket a termékeket lássák el különleges márkajelzéssel.

Közbensô megoldásként egyes cégek olyan tulajdonságokkal látják el a berendezéseiket, amelyek elôsegítik a monitorozást és a protokoll analizálást.

5.6.3 Harmonizálás

Az egységes vizsgálati készleteket, vizsgálati eljárásokat szabványként a GOSIP definiálja (beleértve a WAN, LAN, MHS és FTAM-ra vonatkozókat is). A munka összehangolását a CTS (European Conformance Testing Services) szervezet végzi, és koordinálja a vizsgáló laboratóriumokat és a gyártókat. Angliában az NCC (BT, IBM, ICL és Digital gyártókkal közösen) végez hasonló munkát, míg Amerikában a Corporation for Open System (COS) szervezet.

A harmonizációs szervezetek hangolják össze a konformancia vizsgálatokkal kapcsolatos munkákat. Nagyon fontos szerepe van az ECITC (European Committee for IT Testing & Certification) szervezetnek, amelyik az európai és az EFTA országokban hangolja össze a konformancia szabványosítási törekvéseket.

Az ECITC két szervezetet felügyel:

• Az OSTC-t (Open System Testing Consortium), amelyet a CTS-WAN konzorcium hozott létre, azért hogy a vizsgálatokat összehangolja (jelenleg tíz ilyen laboratórium mûködik hat országban, beleértve a NCC-t és a BT-t Angliában). Feladata az MHS, FTAM, Transport, Session és Network rétegek vizsgálatanak összehangolása.
• Az ETCOM (European Testing and Certification for Office and Manufacturing) hasonló feladatot lát el mint az elôzô szervezet: feladata a CTS-LAN, és MAP/TOP-pal kapcsolatos munkák összehangolása.

A szabványosítás következô felügyelôi szervei a nemzeti koordinációs és akkreditáló szervezetek (pl. a NAMAS: National Measurement Accreditation Scheme szervezet Angliában), amelyek az egyes országokban mûködô vizsgáló laboratóriumok egységes rend szerinti mûködését és a minôségi (vagy egyes berendezésekre a használhatósági) bizonyítvány kiállításának feltételeit szabják meg. Ezek közvetve a vásárlói érdekek védelmét biztosítják azzal, hogy olyan egységes vizsgálati módszereket követelnek meg, amelyek valószínûsítik a különbözô országokban gyártott berendezések azonos minôségét. Más szervezetek is léteznek hasonló feladattal, de ezek kiválasztásánál gonddal kell eljárni (pl a COS, hasonló jogokkal rendelkezik mint a NAMAS, de alacsonyabb követelmény rendszerrel dolgozik).

A termékek minôsítése a nemzeti laboratóriumok kezében van, ezek a (gyártótól) független szervezetek állnak szerzôdéses kapcsolatban a szolgáltató és gyártmány forgalmazó cégekkel (vagy a vásárlókkal) a vizsgálat idejére. A forgalmazók és a gyártók (vagy vásárlók) számára a nemzeti hitelesítô szervezek (nem biztos, hogy minden ország rendelkezik ezekkel a szervezetekkel) állítják ki a használatba vételhez szükséges okmányokat, a vizsgáló laboratóriumok által kiállított SCTR, PCTR dokumentumok alapján.

A felhasználóra van bízva, hogy milyen kísérô dokumentummal fogadja el a berendezést. A következô táblázat az egyes dokumentumok és berendezések megbízhatósági szintjét mutatja. Látható, hogy csak olyan berendezéstôl lehet elvárni jó mûködést (4-es szint a táblázatban), amely egy kijelölt (független, akkreditált, vagyis mindenki által elfogadott) laboratóriumban szabványos módon és szabványos vizsgáló készlettel lett levizsgálva.

A felhasználó dönthet a szabványos konformancia vizsgálatokat meghaladó speciális (együttmûködtetési) vizsgálatokról, s erre szerzôdést köthet független (erre szakosodott) laboratóriumokkal (SPAG PSI Page: 97
szolgálat).

Annak ellenére, hogy sok szervezet specializálódott konformancia és együttmûködtetési vizsgálatokra, egyes szervezetek saját maguknak is kiépítették az ellenôrzési rendszert, s ez a következôkkel magyarázható:

• az együttmûködtetési vizsgálatok szélesebb körû ellenôrzése,
• felhasználó specifikus GOSIP elôírások megfelelô kiválasztása,
• megfelelô referencia implementációk kritériumainak kiválasztása,
• felesleges vizsgálatok elkerülése, tanácsadás a vásárlóknak,
• házon belüli specialisták kiképzése,
• probléma felderítés,
• ismételt vizsgálatok elvégzése, ha mûködés közben probléma merült fel.