グランブルーファンタジーの回答詳細

無垢剣（通常攻刃）とロボミ拳・ゼノ刀（EX攻刃）で計算の枠が違うからです。

あなたの編成をおおまかに分類してみましょう
通常攻刃→パラゾニウム・フォールンソード・バハ短剣・ベリアル斧
　　　　　無垢剣
マグナ攻刃→セレ拳5

計算するときは、（通常攻刃の和）×（マグナ攻刃の和）となります。
具体的には通常攻刃は上でいうと順番に22、22、32、12、20です。
よって通常攻刃の和は108％になります。つまり×2.08です。
現状では大雑把に2.08×（マグナ攻刃の和）となっているわけです。

さてここでEX攻刃が無垢剣の代わりに入ると、
計算時に（通常攻刃の和）×（マグナ攻刃の和）×（EX攻刃の和）
となるわけです。
ロボミ拳（15％）の場合→1.88×1.15×（マグナ攻刃の和）
　　　　　　　　　　　　≒2.16×（マグナ攻刃の和）
ゼノ刀（23％）の場合→1.88×1.23×（マグナ攻刃の和）
　　　　　　　　　　　≒2.31×（マグナ攻刃の和）

つまり一つの武器を変えるだけで補正が
（マグナ攻刃の和）×2.08、×2.16、×2.31　と大きく変化してしまうわけです。
実際には武器ステータスや得意武器補正等考慮しなければいけない問題がいっぱいありますが、だいたい質問で書いてある変化に納得いただけるのではないでしょうか。

ちなみにここで書いたことをもっとわかりやすくしたものが、このサイトの初心者記事にもあるはずなのでそこを熟読しましょう。長く書いたけどこの回答じゃわかりにくいと思いますので。