Gabriel Kielland reiste aldri ut i tjeneste som misjonsprest, men han var en av de ledende menn bak opprettelsen av Det Norske Misjonsselskap 1842 og Den Norske Israelsmisjon 1844. Begge ble stiftet i Stavanger.
Kielland var nest eldst av 10 søsken. 14 år gammel fikk foreldrene ordnet friplass for ham ved Herlufsholms latinskole på Sjælland. Han ble her i seks år og var på slutten knyttet til Københavns universitet. 1816 begynte han studier ved universitetet i Christiania og ble cand.theol. 1824. Samme år ble han både ordinert og ekteviet. 1821–22 var han huslærer på Bogstad for grev Wedels sønner.
Mens Kielland var i hovedstaden, kom han i kontakt med Brødrevennene (herrnhuterne) og ikke minst med forstander Niels Johannes Holm. 1823 ble han opptatt som medlem i samfunnet. Brødrevennene la sterk vekt på den annen trosartikkel, og målet for forkynnelsen var å føre tilhørerne inn i fellesskap med den lidende Kristus.
Kielland ble 1824 prest på Finnøy, et av de aller minste prestekall i Norge på den tiden. Han ble der til 1837. Det var rike, men strevsomme år. Prestetjenesten krevde sin mann, 7 av ekteparets 9 barn ble født på Finnøy, og Gustava og Gabriel hadde også flere andre barn og voksne boende hos seg i kortere eller lengre tid.
I årene 1827–28 brøt det ut vekkelse i sognet, og Kielland begynte med møter i prestegården. Biskop Johan Storm Munch i Kristiansand forbød ham dette og kalte ham inn på teppet. Kielland ble anklaget for kjetteri og pietistisk svermeri. Men han forsvarte seg med at forkynnelsen og læren var i samsvar med kirkens bekjennelsesskrifter. Likevel fikk han forbud mot å fortsette med husmøtene. Disse ble imidlertid gjenopptatt da Matthias Sigwardt overtok som biskop etter Munch.
Mens Kielland var i Finnøy, var han med og etablerte et kristent traktatselskap i Stavanger. Formålet var å utbre småskrifter. Da han skulle forlate Finnøy, stod folket igjen “bedrøvede over at Gabriel skulde forlade dem ... Han hadde aabnet deres øine for Sandheden og styrket og støttet deres aandelige Liv”, skrev Gustava.
Selv om han reiste til Lyngdal 1837, opprettholdt han kontakten med brødrevennene og deres miljø i Stavanger. I dette miljøet ble den aller første misjonsforeningen stiftet 1826. Da Kielland kom til Lyngdal, stiftet han misjonsforeninger i alle tre sogn hvor han hadde ansvaret. Allerede 1837 stiftet han Lyngdal Avholdsforening, og han var en pådriver for å få reist ny kirke.
I alle år skrev Gabriel Kielland en stor mengde brev. Han leste mye, og han oversatte artikler fra utenlandske misjonstidsskrifter og hele bøker, bl.a. en verdenshistorie fra tysk. Misjonsmuseet i Lyngdal viser både prestetjenesten og Kielland-familiens misjonsengasjement.
Utenfor prestegården i Lyngdal ble det 1940 oppført en minnestein, der både Gustava og Gabriel Kielland er portrettert. Den ble avduket 15. september, på misjonskvinneforeningenes 100-årsdag. På Klokkergården bygdetun er det innredet misjonsmuseum.