Swin Transformer 模型與 Transformer 模型的位置編碼有相似之處，都是用位置編碼來為序列中的每個位置提供一個獨特的辨別。但是，Swin Transformer 模型使用了一種新的位置編碼方式，稱為“局部位置編碼”，與傳統的“絕對位置編碼”不同。
傳統的 Transformer 模型使用絕對位置編碼，它為每個位置配置設定一個固定的向量表示，該向量表示與位置的絕對位置有關。是以，當序列長度增加時，絕對位置編碼的向量表示也會增加，導緻模型的計算成本和記憶體占用增加。
相比之下，Swin Transformer 模型使用局部位置編碼，它将序列分成多個塊，并為每個塊配置設定一個不同的向量表示。這些向量表示與序列中的相對位置有關，而不是與絕對位置有關。這種方法可以減少模型的計算成本和記憶體占用，并且能夠處理更長的序列。
Swin Transformer 模型的位置編碼被放置在注意力機制之中，而不是與嵌入向量直接相加的原因是因為，在注意力機制中，模型需要對輸入序列中各個位置的相對位置進行模組化。如果将位置編碼直接與嵌入向量相加，則模型無法區分不同位置之間的相對距離，這可能會影響模型的性能和泛化能力。
通過将位置編碼放置在注意力機制中，Swin Transformer 能夠更好地捕捉輸入序列中不同位置之間的相對位置關系，進而提高模型的性能和泛化能力。是以，這種設計選擇是為了更好地适應 Transformer 模型在處理序列資料時的需求。
