I "On the Church" presenterer Gerhard en solid ekklesiologi som er sentrert rundt doktrinen om den synlige og usynlige kirken. De fysiske fellesskapene representerer den synlige kirken, som inkluderer både troende og ikke-troende medlemmer. Gerhard omtaler den sanne kirken som 'usynlig', ettersom medlemmers tro ikke alltid er synlig for omverdenen. Som kjennetegn på kirken foreslår Gerhard det rene forkynnelsen av Guds ord og riktig forvaltning av sakramentene. Han avviser også inngående de 'eksklusive' kjennetegnene på kirken som ble foreslått av hans sannferdige motstander, den romerske jesuitt Robert Bellarmine. De omtalte kjennetegnene inkluderer navnet 'katolsk', antikvitet, lang varighet, historisk konsensus, enhet, hellighet i bekjennelsen, virksomhet av omvendelse, hellighet i livet, mirakler, profetier, døden til fiender, temporær lykke og anerkjennelsen av kirkens sannheter fra dens motstandere.
