Willkommen in der Welt der Formate (genauer: Absatz-Formatvorlagen). Das sind die „Gußformen“ für den Look von Absätzen und deren Text.
Die Antwort ist mehrstufig.
Antwort Lv. 0: Das Handbuch. Alles, was es darüber gibt, findet man in Kapitel „3 Überschriften, Kapitel und das Inhaltsverzeichnis“. Natürlich ebenso in unserer Wiki auf papyrus.de.
Antwort Lv. 1: Einfach die richtigen Formatvorlagen nehmen, die wir mitgeliefert haben. Dann passen auch die dazugehörigen Formatvorlagen für das Inhaltsverzeichnis. Da das Inhaltsverzeichnis automatisch erzeugt und auch erneuert wird, kann man da aus Zwängen der Logik nicht selbst darin manuell etwas verändern - das fliegt dann bei der nächsten Aktualisierung raus.

Das wären die Formate „Titel“ für unnummerierte Kapitel-Überschriften oder „Überschrift 1“ für Nummerierungen, alternativ dazu „Kapitel 1“ (einfach mal ausprobieren, welche passen). Sonst kann man natürlich auch selbst welche nehmen.
Antwort Lv. 2:
Warum sind diese Formate etwas Besonderes?
Eine Überschrift ist für den doofen Computer nie als solche erkenntlich, und er weiß natürlich auch nicht, mit welchem „Look“ er sie darstellen kann. Beides ist gemeinsam durch die Wahl einer passenden Formatvorlage erledigt.
Dass ein Absatz eine Überschrift (und nicht Fließtext) sein soll, wurde auf der Seite „Überschrift/Aufzählung“ des „Formatvorlagen“ Dialogs festgelegt:

Und hier wird auch festgelegt, welche ANDERE Formatvorlage denn für eine Abbildung im Inhaltsverzeichnis genutzt wird, wenn man eines anlegt.
Da man natürlich im Inhaltsverzeichnis nicht so dicke, fette Überschriften haben will wie im Haupttext, brauchen die eine andere Formatvorlage. So wird dann jedes Überschriften-Format im Haupttext inhaltlich nach dem „Format im Inhaltsverzeichnis“ umgeformt.
Sprich, bspw. wird „Überschrift 1“ aus dem Haupttext im Inhaltsverzeichnis dargestellt im Look von „Überschrift 1 (Inhaltsverz.)“.
Wie man sich eigene Formatvorlagen anlegt bzw. vorhandene nach eigenen Wünschen verändert, steht auch im Handbuch an genannter Stelle bzw. auch in der Anleitung zum Formatvorlagen-Dialog.