Apesar de ter sido criada oficialmente em 1942, o início da CVRD se deu em 1908, quando dois engenheiros ingleses consultaram a então Companhia Estrada de Ferro Vitória a Minas (CEFVM) para saber sobre a possibilidade de transportar, por ela, minério das jazidas de ferro de Itabira, em Minas Gerais. Com a confirmação da viabilidade, foi criada a Brazilian Hematite Syndicate, que em 1911 viria a se tornar a Itabira Iron Ore Company, primeira empresa autorizada a explorar ferro na região.
Em 1939, Percival Farquhar, dono da Itabira Iron Ore, e seis brasileiros, fundaram a Companhia Brasileira de Mineração e Siderurgia. Como além de produzir, eles precisavam escoar o minério para venda, a empresa obteve a permissão para incorporar a Companhia Estrada de Ferro Vitória a Minas. Em 1941, um grupo de empresários sócios de Farquhar fundou a Companhia Itabira de Mineração, com o objetivo de explorar as minas da Itabira Iron Ore - esta empresa foi a escolhida por Getúlio Vargas para junto à Companhia Brasileira de Mineração e Siderurgia criar a Companhia Vale do Rio Doce.