La matinée du lendemain s’écoulait, et les Français s’étonnaient de ne pas voir encore les Russes renouveler leur attaque, quand arriva la nouvelle de l’approche d’un corps ennemi par la gauche de la Duna, en aval de Polotzk. C’était le corps du général Steinheil, qu’une brigade de cavalerie française, détachée de ce côté avec les Bavarois, était incapable de contenir, vu la disproportion des forces.

Ce corps menaçant de couper les lignes de communication et de retraite du maréchal Saint-Cyr, il fallut prélever des renforts sur les divisions éprouvées par les combats de la veille, et les envoyer rapidement de ce côté-là. Le général de brigade Amey, un Fribourgeois, en reçut le commandement.

Il n’était désormais plus possible de tenir longtemps encore dans Polotzk. Si le maréchal, d’autre part, faisait mine de quitter ses positions, il aurait bientôt tous les Russes de Wittgenstein et de Jachwil sur les bras. On attendit la nuit, pour effectuer une retraite dérobée. Par une chance heureuse, dès quatre heures un épais brouillard vint noyer toute la vallée.

Tandis que les troupes du général Amey réussissaient, par une résistance opiniâtre, à contenir le corps de Steinheil à une lieue de Polotzk seulement, en ville la retraite commençait en silence. Par l’un des ponts, l’artillerie entière passait le fleuve ; par les deux autres, ce qui restait de cavalerie et les troupes à pieds. La division Merle couvrait la retraite.

Bien des subdivisions avaient ainsi successivement évacué leurs postes de combat et passé la Duna, lorsque, vers huit heures, par suite d’un ordre irréfléchi, les derniers soldats de Legrand mirent en se retirant le feu à leurs baraquements. Ce fut comme un signal. Sûrs de la retraite des Français, les Russes accoururent à l’attaque. Ils furent vivement repoussés et se replièrent. Mais leur artillerie en demi-cercle ouvrit sur la ville un feu intense. Bientôt les maisons, toutes de bois, flambent dans la nuit ; la ville est comme un seul brasier d’où les habitants s’enfuient, éperdus. Sur les remparts, les défenseurs repoussent tous les assauts des Russes, qui cherchent maintenant à tourner la ville par les rives du fleuve, afin de barrer l’entrée des ponts.

Dans leurs efforts, les assaillants rivalisaient du plus magnifique courage avec les défenseurs. Arrêtés par des palissades et des tranchées, la houle furieuse des Russes déferlait un moment sous les balles, puis d’un élan nouveau revenait sur l’obstacle, - avec quel mépris de la mort ! Simplement armés de piques, les milices de Pétersbourg, que les Français nommaient « les hommes à grandes barbes, » se faisaient remarquer par leur courage fanatique. Rien n’y fit. Les défenseurs de la ville – Suisses, Hollandais et Croates de la division Merle, auxquels Saint-Cyr rend le plus bel hommage – étaient à la hauteur de leur lourde tâche.

Vers minuit, le colonel d’Affry entreprit une sortie avec tout son régiment, pour reprendre aux Russes le pont principal de la Polota qu’on avait négligé de détruire. Ce fut, dit Saint-Cyr, le point où les Russes montrèrent le plus d’intrépidité. Pendant une heure et demie d’un violent combat, à la tragique lueur des flammes, le régiment se maintint en possession du pont. Il ne se retira que sur un ordre formel, afin de couvrir, dans la ville embrasée, les derniers échelons de la retraite.

Rassemblé ainsi comme arrière-garde, ce régiment ne peut plus empêcher les Russes de pénétrer dans la ville. Mais il leur cède pas à pas, toujours combattant, se dégageant parfois à la baïonnette, au sein de la fournaise ardente. Enfin il arrive aux ponts. Deux sont déjà détruits et le troisième va se rompre. Le commandant Bleuler, de Zurich, qui reste le dernier sur l’autre rive, ne peut plus y passer à cheval. Se jetant à l’eau, il passe à la nage, mais sa monture est tuée sous lui.

Ce combat de nuit dans les flammes, presque unique dans les annales de la guerre, coûtait au 4e régiment trente-cinq officiers et quatre cents soldats tué ou blessés. Mais il valut aux soldats suisses une nouvelle réputation de vaillance, que, après les généraux Saint-Cyr et Merle, Napoléon a consacrée, dans le vingt-huitième bulletin de la Grande Armée, en ces termes : « La division suisse s’est fait remarquer par son sang-froid et sa bravoure. » Plusieurs officiers, et parmi eux les colonnels Raguettly, de Castella et d’Affry, et un certain nombre de soldats furent décorés pour leur conduite glorieuse.

Les Russes eux-mêmes admirèrent cette défense, qu’ils n’avaient vaincue qu’en sacrifiant dix mille hommes et six généraux. Dans un grand banquet donné par Wittgenstein à ses officiers pour célébrer la prise de Polotzk, ce général chevaleresque, dit Schaller, « après avoir loué hautement la belle conduite des Suisses, porta la santé du brave Gouvion Saint-Cyr et de son armée. Son toast fut couvert d’acclamations, et un parlementaire vint le lendemain apporter au maréchal l’expression de son admiration pour cette héroïque défense. »

Dès ce jour, la grande retraite commençait aussi pour le 2e corps. Mais la déroute générale ne l’engloba qu’après les combats de la Bérésina, où les Suisses se surpassèrent encore.