信頼度については、下記ドキュメントを参照ください。

信頼度 | KARTEサポートサイト

信頼度は、一般に、以下の条件で上がります。

  1. 対象となるデータの量が増える
  2. 対象となるデータが、極端な結果（片方のみ成果が出ている等）となっている

つまり、対象となるデータの量が増えるほど、一般的に信頼度は上がりますが、その中身が拮抗するデータ（どちらも同じ程度の成果）となると、逆に下がります。
したがって、対象となるデータの量が増えても、逆に信頼度が下がるといったことはありえます。

例えば、夏向けの接客でABテストを行っていた場合、真夏は夏向けの接客が極端に効果が出るため、少ないデータでも信頼度が高くなりますが、季節が秋に移り変わると効果が極端ではなくなるため、データが増えても信頼度は下がります。