Windows 11で画面の下にあるタスクバーには、アプリのショートカットを表示することができ、これを【ピン留め】と呼びます。
アプリであれば「ショートカットアイコンなどをドラッグ&ドロップする」などで簡単にピン留めできますが、同じ操作をファイルでしてもピン留めできないので、他のやり方でピン留めします。
やり方の1つは【アプリのジャンプリストにピン留めする】で、これはタスクバーにある対象アプリのアイコンを右クリックして表示されるメニューに追加するものです。

もう1つは【対象アプリのショートカットをピン留めする】で、任意のファイルを表示するアプリのショートカットを作成することでアプリとしてピン留めするやり方です。

これら2つを用途に合わせて使い分けると良いでしょう。
アプリのジャンプリストにピン留めする手順
対象のアプリで対象のファイルを開き、タスクバーより対象アプリのアイコンを右クリックします。

ジャンプリストの最近より対象ファイルのピンのアイコンをクリックするとピン留めされます。
タスクバーにピン留めした対象のアプリを右クリックして表示されるジャンプリストに追加されます。

ピン留めを削除するには、対象を右クリックしこの一覧からピン留めを外すを選択します。
アプリのジャンプリストにピン留めするやり方は以上です。
対象アプリのショートカットをピン留めする手順
何も無い所を右クリックし、コンテキストメニューより新規作成>ショートカットをクリックします。

ショートカットの作成より項目の場所を入力してくださいに以下のフォーマットで入力し次へをクリックします(␣は半角スペース)。
(アプリのパス)␣(フォルダーのパス)
notepad "C:\Users\username\sample.txt"
ショートカットの作成よりこのショートカットの名前を入力してくださいを入力し完了をクリックします。

作成したショートカットをタスクバーにドラッグ&ドロップします。

ピン留めを削除するには、アイコンを右クリックしタスクバーからピン留めを外すを選択します。
対象アプリのショートカットをピン留めするやり方は以上です。



