くそハマった・・・。
IBL（image based ligting）における光源にCubeTextureのMipMapを使うとき。（もちろんIBLじゃなくても。）
CubeTextureはそのままではそれぞれのイメージで独立した画像としてMipMapを作成するため、高レベルのMipMapを使うとCubeが綺麗に繋がらない。もうこれがどうやったら回避できるのか、諦めてMipMap用のシェーダー書き始めたところで発見した・・・。
CubeTexutureのシームレスなMipMapは下記１行。
glEnable(GL_TEXTURE_CUBE_MAP_SEAMLESS);
IBL実装したら写実感がめっちゃアップした。