A vállalati AI-projektek többsége meglepő módon nem a modellen bukik el, hanem az adaton. Pontosabban azon, hogy a cég tudása szerződésekben, kézikönyvekben és folyamatleírásokban él. Ezek jellemzően Word- és PDF-fájlok, amelyeket embereknek terveztek, nem gépeknek.
Amíg csak emberek olvasták ezeket, ez senkit nem zavart. Amint viszont egy nyelvi modellnek kell belőlük dolgoznia, legyen az belső asszisztens, kereső vagy RAG-megoldás, a formátum hirtelen fontos kérdéssé válik. Ebben segít a Markdown.
Egyszerű szöveg, ami mégis tud struktúrát
A Markdown nem új találmány, és nem is bonyolult. Sima szövegfájl, amelyben néhány jel hordozza a szerkezetet. A kettőskereszt címsort jelöl, a kötőjel felsorolást, a függőleges vonalak táblázatot. Nincs mögötte rejtett formázás, bináris tartalom vagy verziófüggő fájlszerkezet. Ami a fájlban van, az látszik is.
A nyelvi modellek jól ismerik ezt a formátumot. Rengeteg Markdown-szövegen tanultak, például dokumentációkon, technikai leírásokon és kódtárak README-fájljain, és a válaszaikat is jellemzően ebben adják. Ha Markdownt kapnak, nem kell kitalálniuk, mi a címsor és mi a törzsszöveg, mert a struktúra egyértelműen jelölve van.
És most a Word meg a PDF
A Word-dokumentum valójában tömörített XML-fájlok csomagja, tele stílusdefiníciókkal, szakaszhatárokkal és formázási információkkal. Mielőtt egy AI bármit kezdhetne vele, ki kell nyerni belőle a szöveget, és ilyenkor gyakran épp a lényeg vész el. Ha valaki a címsort csak félkövérrel és nagyobb betűmérettel jelölte, abból sima bekezdés lesz. A táblázatok szétesnek, a lábjegyzetek és a szövegdobozok rossz helyre kerülnek.
A PDF még nehezebb eset. Nyomtatásra és megjelenítésre készült, ezért azt rögzíti, hová kerüljön egy karakter az oldalon, és nem azt, hogy mit jelent. Egy kéthasábos oldalnál a kinyert szöveg könnyen soronként váltogat a két hasáb között, a fejléc és az oldalszám beékelődik a mondatok közé, a táblázatból pedig összefüggéstelen számsor lesz. Szkennelt PDF-nél még szöveg sincs, csak kép, így OCR nélkül el sem indul a feldolgozás.
Ennek valós ára van. Minden felesleges formázási maradvány tokent fogyaszt, ami pénzbe és helybe kerül a kontextusablakban. A szétesett struktúra ráadásul rontja a keresés pontosságát. Ha a darabolás egy táblázat közepén vág, vagy egy fejezetcím elszakad a saját tartalmától, a modell rossz részletet talál meg, és abból válaszol magabiztosan.
Mit nyerünk vele a gyakorlatban
A legkézzelfoghatóbb előny a RAG-megoldásoknál jelentkezik, ahol a modell a cég saját dokumentumaiból keres és válaszol. Markdownnál a darabolás a címsorok mentén történhet, így minden szövegrész megtartja a kontextusát, és tudja, melyik fejezethez tartozik. Ezen múlik, hogy egy belső asszisztens a jó bekezdést idézi, vagy egy félig releváns oldalt.
A második előny a verziókezelés. Egy Markdown-fájl Gitben ugyanúgy kezelhető, mint a forráskód. Látszik, ki mit módosított és mikor, két verzió különbsége pedig soronként olvasható. Egy Word-fájl változásait ezzel szemben gyakorlatilag csak megnyitva, szemmel lehet összevetni.
A harmadik az automatizálás. Sima szöveget szinte bármilyen eszköz tud olvasni és írni, legyen az Logic App, Python-szkript, Fabric notebook vagy maga az AI. Egy Markdown-alapú tudásbázis közvetlenül betölthető OneLake-be vagy Blob Storage-ba, indexelhető, és ugyanabból a forrásból készülhet belőle weboldal, PDF vagy Word-export is. A Wordöt tehát nem kell eldobni, csak ne az legyen a forrás.
Hol marad a helye a Wordnek és a PDF-nek
A Markdown persze nem mindenre megoldás. Egy aláírt szerződés, egy hatósági beadvány vagy egy arculati kézikönyv szerint tördelt ajánlat továbbra is PDF-ben vagy Wordben marad, és ez így van rendjén. Ezeknél a végleges forma maga a lényeg. A kérdés inkább az, hogy melyik formátum a forrás és melyik a kimenet.
Hogyan érdemes nekiállni
Nem kell a teljes dokumentumtárat egyszerre átalakítani. Érdemes egy jól körülhatárolt, sokat használt területtel kezdeni, például az üzemeltetési leírásokkal vagy a belső GYIK-kel. A konverzió ma már nagyrészt automatizálható, de a táblázatokat és a címsorok hierarchiáját érdemes emberi szemmel is átnézni.
Utána jöhet a próba. Tegyük fel ugyanazokat a kérdéseket az AI-nak az eredeti fájlok és a Markdown-változat alapján is, és hasonlítsuk össze a válaszokat. Ez a néhány napos kísérlet többet mond minden elméleti érvnél, és jó alapot ad ahhoz, hogy az új dokumentumok eleve Markdownban készüljenek.
A formátum is döntés
Az AI-bevezetésnél hajlamosak vagyunk a modellválasztásra, a promptokra és az architektúrára figyelni, miközben egy egyszerű kérdés észrevétlen marad. Milyen formában van az a tudás, amiből a modellnek dolgoznia kell? Egy jó modell sem tud pontosan válaszolni egy szétesett táblázatból vagy egy összekevert hasábú PDF-ből.
A Markdown pragmatikus választás. Ember is olvassa, gép is érti, verziókezelhető, és bármikor átalakítható abba, amire éppen szükség van. Ha egy szervezetnél az AI-pilot működik, de a válaszok minősége ingadozó, a modell cseréje előtt érdemes megnézni, milyen formában kapja az adatot.
