
これは聞く人の立ち位置を色濃く反映する答えが返ってくると思われます。
自己実現や成長を目指すのであれば、仕事内容で選ぶべき、という答えを直接関係ない人は言いそうだし、転職相談について職場の年次の高い人もこう答えるでしょう。
私も所属する組織のメンバーから相談を受けると、同様に答えます。
ですが、本音は大変申し訳ないのですが、真逆です。ちなみに現職で上記の答えをする時には自分が関わって人間関係を改善していくから、そういう良くない状態から良い状態へ変化するものなのだと実体験して欲しい+人材確保という下心があるからです。
で、本音の部分ですが、人はどんなに頑張っても社会的生物であって、人との関係性の中で自分の存在を確かめ、役立ち、成長していく存在なのです。「サピエンス全史」にも書かれていますが、個体としては弱っちい存在の人類がここまで(残虐な)地球の支配者になったのは、目に見えないビジョンの共有ができた為です。そんな能力を持った生物は他にいません(地球上には)。原始社会での死亡理由の高位にコミュニティ同士の殺害が入るのはそのせいもあらるのではないかと思います。
コミュニティで生き、活かされる存在の人には相性が明確にあって、合わない人もかなりの確率でいます。そこに努力して合わせていけるのであれば頑張れば良いのですが、そうならないケースも残念ながら結構あるものです。
特に自分の上長と合わない場合は!
しかも、組織の上にいけばいくほど、どうやらサイコパス比率は高まっていくように思われます。

前職の人事部と人材マッチング部門の知り合い複数に聞いた面白い話があります。「離職者の離職理由はどんなのが多いのですか?」に対する答えで「理由・原因は半径10メートル以内にあるケースが8割」との事でした。

原因理由の8割が10メートル以内という距離に置き換えられるのはどういうこと?と最初思うのですが、それは人間関係にあるというのです。特に上長と合わないと本当に長続きしません。
Googleの研究でプロジェクトアリストテレスというのがあるそうです。これはGoogle内で飛躍的成果を出すチーム傾向を数億円かけて探ったのですが、結論として出てきたのは心理的安全性が確保されたチームかどうか、との事でした。
非常に納得感があります!
成果を独り占めする上長や、偉そうにしている先輩、不機嫌なメンバー、等で構成されたチームでは働きたくないですもんね。

Googleの社是に邪悪になるな、というのがありますが、ある意味共通している思想かも知れません。
ですので、仕事内容か、そのチームを構成する人間関係のどちらかで職場を選ばないとならないとしたら、本音では圧倒的後者で自分を精一杯発揮して成長して欲しい、というのが私の見解です!
注意事項:もちろん仕事内容のレベル感はあります。機械の部品の代わりのような仕事、全くの工夫を必要としない仕事だとしたら出来れば避けたいですよね。上記はあくまで、悩ましい比較のケースのみ通用するものだと思います。