Cette histoire commence par une légende.

Lorsque les Normands vinrent piller les rives de l'Escaut, les Tournaisiens mirent à l'abri le corps vénéré de Saint-Eleuthère, fondateur du diocèse. Mais une fois le danger écarté, nul ne se souvint du lieu où reposait l'évêque. Dans la ville épiscopale, on se lamentait de ne plus avoir cette précieuse relique lorsque, le 18 septembre 897, une dame nommée Thècle eut un songe. Grâce à celui-ci, la sépulture provisoire fut retrouvée à Blandain et la translation solennelle eut lieu à Tournai. En remerciement, la dame demanda que l'on envoie des missionnaires à Roubaix car on y adorait encore… des arbres.

Ce récit tout auréolé de la gloire des miracles du Moyen-Age n'est pas sans intérêt car bien des points peuvent laisser entendre qu'il repose sur une part de vérité. Il pourrait aussi situer de façon précise l'époque tardive de l'évangélisation de ce territoire. Les bords du Trichon marécageux, et en pleine forêt, ignoraient sans doute le passage de route importante et d'apôtres amenant le message évangélique (ceci n'est pas l'avis de quelques auteurs, dont l'abbé E. Soenens : « Le Patronage Saint-Martin et les voies de pénétration dans l'arrondissement de Lille » 1943, et « Saint-Martin dans l'arrondissement de Lille » 1947, publiés par la Société d'Études de la Provinces de Cambrai.).

Ces contrées réputées hostiles abritaient des tribus gauloises qui menèrent la vie dure à César lui-même. Elles vénéraient la nature et surtout ces fameux chênes qui ont marqué tant de lieux-dits locaux et en particulier « la Fosse-aux-Chênes » située non loin de l'implantation future de Saint-Martin.

Le patronyme choisi pour cette église n'est pas fortuit et semble confirmer les faits relatés par la légende. Il ne faut pas attribuer au célèbre apôtre de la Gaule l'évangélisation de Roubaix (l'abbé E. Soenens est là encore d'avis contraire) mais Saint-Martin a combattu avec vigueur le paganisme encore vivace en son temps, le IVème siècle. Il a abattu de nombreuses pierres sacrées et des arbres vénérés comme des dieux. De nombreux récits plus ou moins légendaires en font mention. On ne s'étonnera donc pas de trouver en ce lieu autrefois voué au culte des arbres le saint qui, en les abattant, a fait triompher le christianisme.

Ce dernier a fort habilement fait succéder aux cultes anciens de nouveaux parfaitement appropriés, quitte à déjà perdre un peu la pureté du message du Christ.

Lorsqu'en 1169, l'évêque de Tournai, Walter, fait don de l'autel de Roubaix aux chanoines de sa cathédrale pour les besoins de leur réfectoire, il ne fait que poursuivre l'abandon progressif des paroisses par le prélat au profit des chapitres, des abbayes et de quelques nobles seigneurs.

Devenant ainsi les nouveaux patrons et collateurs de ces églises, ils nommeront les curés, régiront les affaires paroissiales, récolteront les dîmes, et ce jusqu'en 1789. Ils auront en charge l'entretien du chœur de l'église, le reste de l'édifice étant à la charge de la communauté paroissiale.

Ces dispositions expliquent qu'en bien des cas les nefs et le chœur d'une même église soient très différents l'un de l'autre (cette répartition pouvait entraîner plusieurs patrons ou collateurs pour une même paroisse, ce qui n'allait pas sans conflits, ne serait-ce que pour nommer un curé ou permettre des travaux… voir à ce sujet, et en particulier, le chapitre VI de « l'Histoire des Pays-Bas Français » -Privat éd. 1972).

Au moment où Roubaix passe ainsi au Chapitre Cathédral, il y a certainement déjà une église bâtie au milieu du bourg et dont les fondations existent sous les dalles du bâtiment actuel.

Aucune fouille n'a encore été faite mais quelques fortes maçonneries en pierres du Tournaisis (dite « pierre bleue ») ont pu être observées lors de travaux entrepris dans les nefs ces dernières années. Ces constatations, fragmentaires, ne permettent pas de préciser de façon formelle le plan, ni son évolution jusqu'au XVème siècle. Tout au plus, en s'appuyant sur de très nombreux exemples régionaux, peut-on imaginer le Saint-Martin primitif composé d'une grande salle rectangulaire servant de nef et d'un chœur plus petit, probablement carré. Le tout, peut-être, sous-jacent à la grande nef actuelle, entre tour et chœur. L'aspect ne devait guère être différent de nombreuses églises romanes du Tournaisis, avec de gros murs en moellons, de petites baies étroites et haut placées, une charpente apparente, un décor architectural inexistant. On pourrait alors la comparer à la petite église d'Esquelmes demeurée quasi intacte sur les bords de l'Escaut et modèle de bon nombre de ces anciens sanctuaires ruraux.
On ne  sait pas pour le moment comment va évoluer cette église primitive. Mais il semble qu'elle fasse partie d'un enclos seigneurial dont la château occupait le sommet de la légère éminence dominant le cours du ruisseau nommé Trichon et s'étalant en plusieurs bras en contrebas. Ce site correspond de nos jours au jardin du presbytère et la rue du Vieil Abreuvoir suivrait le cours des anciens fossés.

Avec l'accroissement du nombre des habitants, la notoriété grandissante de la Maison de Roubaix, la prospérité du pays malgré des guerres et des pillages qui le mettent souvent en ruines, l'église suivra cette évolution. Elle va grandir et se modifier.

À la fin du Moyen Age, l'architecture religieuse régionale s'écarte des influences tournaisiennes. Un type nouveau d'églises se met en place, utilisant la pierre blanche des carrières des environs de Lille, la brique à la coloration vive. Le vaisseau est souvent composé de trois nefs accolées de même largeur et de même hauteur, précédé pour les plus riches d'une grosse tour, largement ouvertes par des baies nombreuses et larges.

Les nefs sont vastes, séparées par des colonnes portant des arcs très ouvertes, couvertes de voûtes en bois. Ce sont nos hallekerques, largement représentées dans toute la Flandre.

Alors que le château seigneurial se rebâtit avec puissance au milieu de la rivière, Saint-Martin devient à son tour une hallekerque à la silhouette pittoresque que des dessins vont enregistrer jusqu'aux grandes transformations du XIXème siècle. Le plus ancien témoignage connu est l'une des gouaches des célèbres « Album de Croÿ », dessinée vers 1615.

Ces documents, une prospection des riches archives de Roubaix, des constatations faites au cours des travaux de restauration, des comparaisons avec des édifices semblables ou contemporains, permettent de connaître l'édifice ayant précédé l'actuel.

À défaut d'une prospection archéologique semblable à celle menée en Saint-Christophe, de Tourcoing, il est difficile de déterminer avec justesse la chronologie des diverses parties composant alors l'église.

La nef centrale et ses deux collatéraux formaient un rectangle d'une largeur de 21,60 mètres sur une longueur de 25 mètres, dimensions intérieures. Trois colonnes cylindriques isolées et une demie colonne engagée dans le pignon occidental divisent de chaque côté l'espace par des travées inégales dans leurs entrecolonnements. Elles sont en grès, avec un fût à tambour irréguliers établi sur une base octogonale élevée et moulurée. Des chapiteaux sculptés de crosses de fougères peu saillantes et d'un aspect fruste surmontent ces colonnes, sous un tailloir octogonal. Cette sorte de chapiteau se retrouve en plusieurs églises des environs : Tourcoing (vers 1525), Santes (entre 1469  et 1560), Hallennes (1518), Wicres et Gondecourt. À Péronne-en-Mélantois ils existent aussi mais avec tailloir carré (vers 1530). Ces corbeilles archaïques proviennent des carrières de Lewaerde, près de Douai. Dans l'église de cette localité, on en voit de semblables avec les dates de 1529, 1540, 1592. Ce type de chapiteau n'est donc pas du XIIIème siècle comme le pensaient quelques auteurs du siècle dernier (les chapiteaux de Tourcoing et Gondecourt n'existent plus. Leur allure archaïque n'est pas signe d'ancienneté, mais traduit la dégénérescence du chapiteau à crochets. Roussel-Defontaine, pour Saint-Christophe, et Leuridan pour Saint-Martin, se sont laissés abuser par l'aspect.).

Ces colonnes supportaient des arcades en ogive, aux moulures complexes, assez proches de celles que l'on pouvait voir en Saint-Christophe, de Tourcoing. Ces deux églises ont eu plus d'un point commun et sont peut-être l'œuvre d'une même équipe de constructeurs.

Ces trois nefs avaient sensiblement la même largeur, de 7 mètres pour celle du centre et de 6,50 mètres pour les autres. Les murs étaient tout en pierre blanche, percés de grandes baies et soutenus par des contreforts talutés. De part et d'autre, au Nord et au Sud, s'ouvrait un petit portail dont le dessin relevé par Marissal est typique de l'art flamboyant, avec un gable en accolade et un gros fleuron terminal. Les pignons occidentaux étaient aveugles si on en croit l'un des dessins représentant l'ancienne église.

Une charpente couvrait chacune des nefs d'un comble aigu incorporant dans ses assemblages de chêne des voûtes en berceau brisé. De fortes moulures nervurées scandaient ces carènes lambrissées, ornées à la base de sablières décorées d'accolades et entrecoupées de têtes sculptées.

La charpente de la nef Sud existe encore presque intégralement et l'une des sablières porte encore l'inscription « l'an mil V cens et vint et ung che comble fut faict par ung… ». Une autre qui suivait est gravée des noms des charpentiers. L'un de ceux-ci, « lagut », avait aussi marqué ce qui paraît être son nom sur une sablière de l'ancienne église de Wasquehal datée par une inscription similaire en 1511 (cf. Bulletin de la Commission Historique du Nord, Tome 1, 1841, pages 216 et suivantes, avec fac-similé du texte relevé à Wasquehal).

Les archives de Roubaix conservent aussi un texte où « s'ensuivent les noms des censiers lesquels ont esté quérir pierres à lezennes pour l'église de Roubais l'an XV C et vint ». Il y a 29 noms, certains ayant été astreints plusieurs fois à la corvée. Cela représente environ 40 voyages entre les carrières et le chantier qui est indiscutablement en activité en ce début du XVIème siècle.