Grub liegt in einer Mulde (Grube) zwischen dem Rorschacherberg und dem Kaien. Die Gegend wurde seit dem Hochmittelalter hauptsächlich von Rorschach aus erschlossen und gehörte zur Herrschaft des Klosters St.Gallen. Nach 1400 usurpierten aber die Appenzeller das Gebiet. Ein Spruchbrief von 1458 erklärte den Mattenbach, der die ›Grub‹ an ihrem tiefsten Punkt durchfließt, als Grenze zwischen dem Land Appenzell und dem St.Galler Klosterstaat. Der gegen den Kaien gelegene Nordhang der ›Grub‹ gehört seither zu Appenzell, der Südhang gegen den Rorschacherberg zu St.Gallen.
Kirchlich gehörte Grub zunächst zur Pfarrei Rorschach. Der Kirchweg war weit und beschwerlich, für Alte und Schwache kaum zumutbar. Umgekehrt traf der Rorschacher Pfarrer oft nicht rechtzeitig in Grub ein, um das Tauf- oder Sterbesakrament zu spenden. Deshalb setzte sich die Bevölkerung in der zweiten Hälfte des 15. Jahrhunderts für den Bau einer eigenen Kirche ein und bat den St.Galler Abt Ulrich Rösch um die Gewährung pfarrherrlicher Rechte. Um ihrer Bitte Nachdruck zu verleihen, begannen die Gruber schon mit dem Kirchenbau, bevor eine Antwort aus St.Gallen eintraf. Das Gotteshaus entstand rechts, also auf der appenzellischen Seite des Mattenbachs. Rösch, vor vollendete Tatsachen gestellt, gestattete 1475 die Errichtung einer von der Mutterkirche Rorschach weitgehend unabhängigen Kapelle sowie die Stiftung einer Messpfründe.
Der umsichtige Abt Ulrich Rösch ließ die Gelegenheit freilich nicht ungenutzt, um in der Stiftungsurkunde der Gruber Kirche auch die Interessen des Klosters St.Gallen festzuschreiben. Insbesondere mussten die Gruber – auch jene von appenzellisch Grub – den St.Galler Abt als Kollatur- und Lehensherrn ihrer Kirche akzeptieren. Die Wahl des jeweiligen Seelsorgers sollte ausschließlich beim Abt von St.Gallen liegen. Und als ob Rösch die Abhängigkeit der Gruber Kirche vom Kloster St.Gallen dadurch noch unterstreichen wollte, bestimmte er, dass die neue Kapelle den heiligen Gallus als obersten Hausvater und Patron erhalten solle.
Am 13. August 1524, nur gerade ein halbes Jahrhundert nach der Errichtung der Sankt Gallus-Kapelle, schlossen sich die Gruber der Reformation an. Der vom St.Galler Abt eingesetzte Priester musste Pfarrhaus und Dorf verlassen. Altäre, Bilder und Reliquien wurden aus der Kirche entfernt, und das Kloster St.Gallen verlor seine Hoheit über das Gotteshaus. Der Zweite Kappeler Landfriede von 1531 restituierte das Kloster zwar grundsätzlich in seinen Rechten. Da die Gruber Kirche aber auf appenzellischem Boden lag, war deren Durchsetzung kaum mehr möglich. Appenzellisch Grub blieb auch nach 1531 reformiert, während die zur klösterlichen Herrschaft gehörigen Bewohner links des Mattenbachs wieder katholisch wurden.
Die alte Sankt Gallus-Kapelle von Grub war jetzt ein reformiertes Gotteshaus. Noch bis im Jahr 1546 besuchte auch die offiziell rekatholisierte Bevölkerung von sanktgallisch Grub den Gottesdienst in der einst gemeinsam errichteten Kirche – einen evangelischen Gottesdienst notabene. Als dies der St.Galler Fürstabt Diethelm Blarer verbot, mussten die katholischen Gruber wieder den weiten Kirchweg nach Rorschach auf sich nehmen. Das Kloster St.Gallen hatte seine alten, unter Abt Ulrich Rösch verbrieften Rechte über die Gruber Kirche freilich nicht vergessen. Nach zähen Verhandlungen vor dem Appenzeller Landgericht erreichte Fürstabt Joachim Opser im Jahr 1589, dass in der Kirche von Grub auch wieder katholische Gottesdienste abgehalten werden konnten. Der Kirchweg für die Bewohner von sanktgallisch Grub verkürzte sich damit wieder, doch gab die gemeinsame Nutzung der Kirche Anlass zu zahlreichen Provokationen und Streitereien zwischen den Konfessionen. Diese endeten erst mit der Auflösung des Simultanverhältnisses im April 1751, als die Gruber Katholiken aus der gemeinsamen Kirche auszogen und auf der anderen Seite des Mattenbachs ein eigenes Gotteshaus bezogen, zunächst eine Sankt Josephs-Kapelle, die dann 1755 durch die heutige Pfarrkirche Johannes Baptist ersetzt wurde.
Schon kurz nach dem Auszug der Katholiken beschlossen die reformierten Gruber den Abbruch der einstigen Sankt Gallus-Kirche, an die sie so viele schlechte Erinnerungen knüpften. 1752 gaben sie beim Teufener Baumeister Jakob Grubenman einen Neubau in Auftrag. Am 6. April war Baubeginn, und schon acht Monate später konnte die neue Kirche eingeweiht werden.