Como um modelo aprende padrões a partir de dados históricos, ele pode acabar reproduzindo desigualdades que já existiam nesses dados — por exemplo, associando certas profissões predominantemente a um gênero, porque foi assim nos textos usados no treinamento.
Mitigar viés algorítmico exige atenção tanto na escolha e curadoria dos dados de treinamento quanto em testes específicos após o modelo pronto.