Seus pais tiveram que fugir da Rússia por motivos políticos. Faziam parte da comunidade judia russa.
Seu pai aplicou seus próprios conhecimentos de psicologia com o filho, para promover uma alta capacidade intelectual. Boris Sidis é considerado como um pioneiro na psico-patologia.
O jovem James podia ler o New York Times à idade de 18 meses, e aos oito anos conhecia 8 idiomas além do inglês (latim, grego, francês, russo, alemão, hebreu, turco, e armênio), e aos 7 anos inventou seu próprio idioma, o Vendergood.
Apesar da universidade ter previamente rejeitado sua entrada aos nove anos por ele ser ainda uma criança, Sidis marcou um recorde em 1909 ao ser a pessoa mais nova a entrar na Universidade de Harvard. Aos 11 anos de idade, ele foi aceito em Harvard como parte de um programa para introduzir superdotados.
O primeiro grupo experimental incluía o matemático Norbert Wiener, pai da cibernética, Richard Buckminster Fuller, e o compositor Roger Sessions. De todo o grupo, Sidis foi considerado o mais promissor. No início de 1910, seu domínio da matemática avançada era tal que ele deu uma palestra no Clube de Matemática de Harvard sobre corpos quadridimensionais.
Sidis iniciou seus estudos com uma carga horária integral em 1910 e recebeu seu bacharelado em 18 de Junho de 1914, aos 16 anos.
Em 1919 Sidis foi preso por participar de uma passeata socialista em Boston que acabou em desordem. Ele foi sentenciado a 18 meses de prisão. Durante o julgamento, Sidis afirmou ter sido um contrário à participação dos EUA na Primeira Guerra Mundial, não acreditar em um deus, e ser socialista. Seu pai fez um compromisso com o juiz local para mantê-lo fora da prisão, e o enviou ao seu sanatório em New Hampshire por um ano.
Faleceu exatamente como seu pai, de uma hemorragia cerebral, em 17 de julho de 1944 aos 46 anos.
As dificuldades que Sidis e outros estudantes superdotados encontraram ao lidar com a estrutura social de um ambiente universitário ajudou a formar opinião contrária ao avanço rápido ao ensino superior. O debate sobre educação de crianças superdotadas continua até hoje, e Sidis permanece um tópico de discussão.
Em termos modernos, estudiosos geralmente classificam Sidis como um indivíduo profundamente inteligente, e alguns críticos usam Sidis como um exemplo de como jovens superdotados nem sempre atingem sucesso correspondente como adultos – tanto em termos materiais como criativos.
Muitas dessas imagens se baseiam na publicidade negativa dada a ele pela imprensa da época, que recusou a admitir que o seu intelecto pudesse ser fruto de outra coisa que estudo monótono e forçado – precisamente o que seus pais lutavam contra. De fato, sua mãe mais tarde disse que descrições do seu filho feitas pelos jornais tinham pouco em comum com o verdadeiro William.
