Relv töötati välja [[Mauser]]i tehases [[1898]].a aastal eeskätt [[Ratsavägi|ratsaväe]] ja [[Suurtükivägi|suurtükiväe]] vajadusi arvestades. Juba esimene mudel oli kindlalt üle vanemast [[1891]].a aasta [[vintpüss]]ist ja [[1888]].a aasta [[karabiin]]ist. [[1907]].a hakati uue relvaga Karabiner 98 AZ varustama [[Baieri]] ja [[Preisimaa|Preisi]] üksusi. [[1908]].a relvastati selle relvaga kogu armee. Peale [[Esimene maailmasõda|1.Esimest maailmasõda]] töötati [[1920]]. aastail Saksamaal välja relva edasiarendus, mis sai nimeks Karabiner 98a. [[1935]].a aastal võeti relva lühendatud versioon Karabiner 98k (k-kurz-lühike) relvastusse Wehrmacht´i standardkäsitulirelvana. Hiljem arendati sellest edasi ka Karabiner 98b. Sõja lõpuni toodeti neid karabiine mitu miljonit tükki. Täpne toodanguarv ei ole teada. Kasutusele jäi vähemal määral ka relva vanemaid versioone. Peale sõda oli Kar98k veel mõned aastad mõningate võitjariikide (näitnäiteks [[Prantsusmaa]]) relvastuses, kes neid relvaabina omakorda Kolmanda maailma riikidele edasi kinkisid. Mõned tuhanded jäid peale sõda kuni 50. aastate alguseni ka Saksamaa jõustrukuuride käsutusse.
