Pärast ülikooli lõpetamist 1911. aastal asus Grau tööle vandeadvokaadi abina [[Oskar Rütli]] juures [[Tartu]]s. Rütli abina töötas ta pool aastat, mille järel asus elama Viljandisse, kus hakkas tööle iseseisva vandeadvokaadina. Aastatel 1912–1918 oli Grau Viljandis ajalehe [[Sakala (ajaleht)|Sakala]] vastutav toimetaja. Viljandis elades astus Grau [[Viljandi Põllumeeste Selts]]i, kus valiti juhatuse liikmeks ja seejärel seltsi esimeheks. 1917. aastal valiti ta esimestel demokraatlikel valimistel Viljandi esimeseks eesti soost linnapeaks. Varem olid seda ametit pidanud ainult sakslased. Samuti valis Viljandi linn Grau [[Eesti Maapäev]]a liikmeks.<ref name=":1">Sepp, J., "Karl Grau: ''in memoriam''". – Välis-Eesti 31.08.1952, nr 35, lk 6</ref>
