Rescale, aux côtés des sponsors AWS, Intel, Microsoft, Google Cloud, ANSYS, Siemens et Convergent Science, ont donné le coup d'envoi de la première Gros calcul conférence les 11 et 12 février à San Francisco. La tête d'affiche était Sam Altman, PDG d'OpenAI et président de Y Combinator, qui s'est assis pour une conversation au coin du feu avec le COO de Rescale, Shawn Hansen.

Transcription

Shawn :
Bienvenue à vous tous. Merci de vous joindre à nous aujourd'hui à la première conférence inaugurale Big Compute qui s'est tenue dans le magnifique SFJazz du centre-ville de San Francisco. Nous allons parler de beaucoup de sujets aujourd'hui, mais le thème général aujourd'hui est que le monde est confronté au Big Data, mais maintenant nous assistons à l'avènement du Big Computing, et nous allons parler de la façon dont cela évolue. le monde. Nous sommes ici avec Sam Altman, PDG d'OpenAI. Merci beaucoup.
Sam, commençons par un commentaire que vous avez récemment fait à une adresse chez Google, dans lequel un participant vous a demandé ce qui avait le plus de valeur : le Big Data ou les algorithmes d'apprentissage automatique open source. Et vous avez dit, je pense que vous avez dit ce qui suit : « J'avais l'habitude de demander aux entreprises comment elles allaient obtenir beaucoup de données. Maintenant, je leur demande comment ils vont obtenir beaucoup de calculs.
Pouvez-vous parler un peu de ce que vous entendiez par là ?
Sam:
Donc, je pense certainement que les données sont toujours importantes et toujours précieuses, mais il s'avère que les progrès les plus impressionnants que nous avons réalisés dans le domaine de la recherche sur l'IA, je pense, concernent davantage le calcul massif que les données massives. Il s’avère que de nombreuses données sont disponibles sur Internet. Il existe également ce genre d'équivalence, dans certains cas, E égale MC au carré entre beaucoup de calcul et beaucoup de données, car vous pouvez utiliser beaucoup de calcul pour générer beaucoup de données.
Donc, si vous pensez à l'un des résultats d'OpenAI de l'année dernière avec Dota 2, nous avons battu la meilleure équipe du monde sans aucune donnée. Le tout était que les agents jouaient les uns contre les autres, exploraient l'environnement, essayaient ce qui fonctionnait, arrêtaient ce qui ne fonctionnait pas, et en quelque sorte de bons algorithmes RL pour ce faire. Et il existe également d’autres cas comme celui-là, où nous avons besoin de très peu de données et où nous disposons de beaucoup de calcul pour exécuter de nombreuses simulations.
Bien sûr, pour de nombreuses entreprises, il est important de disposer de données, mais pour le domaine en général, je suppose que les données seront la moins importante de ces trois catégories.
Shawn :
Pouvez-vous parler un peu des grandes opportunités que vous voyez émerger grâce à l’avènement du gros calcul ? L'intelligence artificielle, nous allons en parler, mais peut-être d'autres opportunités que vous voyez.
Sam:
Honnêtement, j'ai des œillères tellement incroyables que cela m'intéresse plus que tout le reste réuni, et il y a probablement beaucoup d'autres opportunités, mais c'est celle à laquelle je pense environ 16 heures par jour, donc elles ne me viennent pas à l'esprit.
Shawn :
Parlons-en un peu plus. Vous avez publié quelques jalons sur OpenAI. L’un d’eux était la victoire sur Dota 2. Deuxièmement, la dextérité humaine avec un Rubik's Cube. Et l’autre apprenait avec un type récent d’alphabétisation de ce modèle publié récemment. Voulez-vous parler un peu de certaines de ces étapes passionnantes que vous voyez se produire avec OpenAI ?
Sam:
Ouais, il y en a tellement. Peut-être que nous nous concentrerons sur la langue parce que je pense que ce sera la plus applicable à toutes les entreprises. Je pense que l’un des développements les plus passionnants dans le domaine au cours des dernières années a été la qualité du langage naturel – la qualité de l’IA pour le langage naturel.
Je pense que nous allons assister dans les prochaines années à une explosion de systèmes capables de réellement traiter, comprendre et interagir avec le langage généré, et je pense que ce sera la première façon pour les gens de ressentir réellement la puissance de l'IA, car vous pourrez interagir avec les systèmes comme vous le faites en parlant à quelqu'un d'autre. Vous pourrez avoir un dialogue qui a réellement du sens. Les ordinateurs seront capables de traiter d'énormes volumes de texte qui sont en quelque sorte très non structurés et vous interagissez avec ce système, quelle que soit la façon dont vous le souhaitez et quelle que soit la manière dont vous le faites, vous obtiendrez ce que vous voulez.
Shawn :
Pouvez-vous parler un peu des effets cumulatifs du banal, du fait que nous avons des effets banals à court terme, que nous avons des choses fantastiques à long terme avec l'IA - cette idée d'introduire des éléments dans les systèmes de haut-parleurs intelligents ou les assistants numériques. . Voyez-vous quelque chose qui se passe avec l'IA que ma mère qui regarde aujourd'hui pourrait être capable de comprendre, qu'elle pourrait ressentir dans sa vie ?
Sam:
Je pense que l'un des principaux problèmes est la reconnaissance vocale. La plupart des gens se souviennent à quel point la situation était grave il y a cinq ans et ceux qui utilisent Siri ou autre ont remarqué que la situation s'améliore un peu chaque année. En fait, pas un peu, beaucoup mieux chaque année, et maintenant, cela ne gâche pratiquement plus, même dans des environnements difficiles, ou cela ne gâche pas sensiblement plus que les humains ne gâchent lorsqu'ils essaient de comprendre. Je pense donc que c’est une question qui semble trouver un écho chez beaucoup de gens parce que c’est récent.
Shawn :
Quand quelqu'un vient sur votre site Web, sur OpenAI, et essaie d'avoir une idée de ce que vous faites réellement, je pense que ma mère aurait du mal à comprendre ce que c'est, mais je me demande si vous pourriez en parler un peu. comment ce que vous faites affecte la personne moyenne de tous les jours.
Sam:
Eh bien, nous travaillons sur un horizon temporel très long. Je pense qu’il y a eu jusqu’à présent trois grandes révolutions technologiques dans l’histoire de l’humanité : la révolution agricole, la révolution industrielle et la révolution informatique. Je pense que nous sommes maintenant aux premiers balbutiements de la révolution de l’IA, et je m’attends à ce que celle-ci soit plus grande que les trois précédentes réunies. Penser et comprendre l'intelligence comme celle-là est vraiment ce qui fait que les humains sont bien plus que notre capacité à accomplir des choses physiques dans le monde, et donc, je pense que cela va être une affaire énorme et avoir un impact sur la vie de nombreuses manières.
Je pense que j'ai été très inspiré, comme beaucoup d'autres, par l'exemple de Xerox PARC, et la technologie qu'ils ont créée a permis la révolution informatique à bien des égards. Alan Kay, qui est l'un de mes héros de recherche, avait l'habitude de me réprimander gentiment pour avoir dit que ces entreprises ne voient jamais assez grand. "Chez Xerox PARC, nous avons créé", je pense que le chiffre était comme, d'après ses calculs, "une valeur de 30 300 milliards de dollars". Qui pense à cette échelle ? Et j'espère que le travail que nous effectuons permettra à d'autres entreprises de générer XNUMX XNUMX milliards de dollars de valeur et, vous savez, nous espérons également capter nous-mêmes une partie de cette valeur.
Mais nous voulons vraiment comprendre ce grand défi : comment fonctionne le renseignement et comment pouvons-nous le mettre à la disposition des gens.
Shawn :
Parlons un peu plus de cette révolution. La révolution peut faire peur. Vous avez mentionné lors d'une récente conversation avec le CTO de Microsoft à propos du livre intitulé Chaos, et comment des gens de la révolution industrielle ont été cités et des témoignages de première main sur la façon dont les machines vont conquérir le monde et que nous allons tous mourir et que ces problèmes vont survenir.
Mais vous avez été une voix très optimiste au milieu de tout cela.
Sam:
Eh bien, ils ont tous dit cela il y a des centaines d’années maintenant et nous sommes toujours là. Nous sommes encore tous très occupés. Nous avons encore du travail à faire. Je pense qu'il est à la fois vrai que cette fois-ci est différente et que tout s'est déjà produit auparavant et que tout s'est reproduit. Ce sera différent. L’intelligence générale est une chose puissante. Je crois également que même s'il était difficile d'imaginer le travail des programmeurs informatiques travaillant avec de gros calculs à l'époque de la révolution industrielle, il est difficile pour nous de rester assis ici et de réfléchir à ce que seront les emplois de l'autre côté, mais demande humaine, désir — Sa créativité semble assez illimitée et je pense que nous trouverons de nouvelles choses à faire. Parier contre cela a toujours été une erreur.
Shawn :
Parlez un peu plus de la révolution que vous voyez se produire. Vous parlez de plusieurs discussions sur la façon dont l'AGI est une chose formidable et difficile dont les gens parlent et imaginent.
Sam:
Je pense qu'il est très difficile de réfléchir à ce à quoi ressemblera définitivement le monde lorsque les ordinateurs seront, à certains égards, plus intelligents que les humains, ou lorsque les ordinateurs pourront effectuer la plupart des tâches que les humains peuvent effectuer. La seule prédiction que je puisse faire avec certitude est que les choses seront très différentes. Et je pense que quiconque dit que nous allons tout garder pareil ment. Mais même si le changement est inévitable, nous pouvons travailler très dur pour garantir que l'avenir, même s'il est garanti différent, soit meilleur.
Shawn :
Dans ce même discours avec Microsoft, vous parlez de la façon dont les ordinateurs que nous verrons dans les cinq prochaines années seront époustouflants. Si nous retirons 86 et les GPGPU de la table et même la question récurrente de savoir si l’informatique quantique sera là dans les cinq prochaines années, voyez-vous autre chose d’époustouflant au cours de la prochaine année ?
Sam:
Je pense donc qu'il est vrai que la loi de Moore ralentit. Les gens ont toutes sortes d’idées sur les choses qu’ils vont faire pour continuer. Peut-être qu'ils fonctionnent, peut-être pas. Mais la version qui est importante pour l'IA, c'est-à-dire, pour l'IA en particulier, quelle taille pouvons-nous faire de nos plus gros modèles, quelle que soit la manière dont nous y arrivons, vous savez, brancher un tas d'ordinateurs ensemble, des interconnexions optiques, tout ce qu'il faut pour être capable en quelque sorte de former ces modèles massifs. Ce chiffre augmente d'environ 8 fois par an depuis environ huit ans maintenant. Et je pense que ça va continuer comme ça pendant environ cinq ans. Encore une fois, à ce stade, je me concentre étroitement sur cette chose qui est vraiment importante pour moi. Il y a probablement beaucoup d'autres choses qui vont se produire en matière de calcul, mais la question est de savoir si nous aurons des ordinateurs de plus en plus gros sur lesquels entraîner les réseaux neuronaux, et la réponse est oui, et c'est super excitant.
Shawn :
Il existe un écart considérable entre les « nantis » et les « démunis », et il s'élargit, en particulier avec l'avènement du gros calcul. Le nombre de personnes qui ont accès à cette quantité infinie de données informatiques se réduit à un plus petit nombre de personnes. Que voyez-vous se produire dans cette tendance alors que vous voyez des startups vouloir s'impliquer ici, mais ont-elles vraiment accès à cela et comment cela affecte-t-il l'administrateur ?
Sam:
Je pense que oui, c'est un énorme problème. Il y aura une poignée d'entreprises comme OpenAI qui pourront former les plus grands modèles, mais une fois formés, leur fonctionnement ne coûtera pas aussi cher, même pas proche, évidemment, et donc je pense que ce qui va devoir se passer, c'est qu'il y en a quelques-unes. des gens qui peuvent former les grands modèles et nous trouvons comment les partager avec d'autres personnes qui ne peuvent pas les former, et je pense que c'est ainsi que vous résolvez le problème des « avoirs » et des « n'avoir pas ».
Shawn :
J'ai un auteur préféré qui parle de l'histoire à un point charnière et laisse entendre que les jalons et les événements majeurs de l'histoire font une énorme différence lorsque vous êtes debout. Vous ne vous en rendez pas compte sur le moment, mais vous prenez du recul en regardant cela. Beaucoup de gens aiment demander à des gens comme vous de regarder en arrière et de prédire l’avenir, mais si vous regardiez en arrière dans 20 ans, y a-t-il quelque chose que nous pourrions qualifier de point charnière de cette manière ?
Sam:
Je pense qu'il existe de très rares décisions occasionnelles où un petit groupe de personnes fatiguées à trois heures du matin dans une salle de conférence passent un appel 55-45 et cela a une influence considérable sur l'issue de l'histoire, mais ces décisions sont extrêmement rares. La plupart du temps, il s'agit d'une courbe qui va vers le haut et vers la droite et qui dévoile en quelque sorte l'avenir technologique, et vous savez, vous vous trompez un peu, vous avez un peu raison, mais finalement le progrès continue. Donc, en ce qui concerne ces quelques décisions incroyablement conséquentes, je veux dire, tout le monde a une histoire qu’il aime. Celui que j'aime est l'officier militaire russe qui a décidé de ne pas appuyer sur le bouton pour lancer une bombe nucléaire alors qu'il pensait qu'ils étaient probablement attaqués et que cela s'est avéré être une erreur d'instrument, et cette décision d'un seul individu, alors qu'il , toute sa formation et ses politiques font qu'il aurait dû appuyer sur le bouton pour lancer, c'est comme un cas où le monde aurait vraiment pu aller dans l'autre sens. Et pour être tout à fait honnête, je pense qu’une décision comme celle-là est plus importante que toutes les décisions prises habituellement par les entreprises technologiques, en termes d’une seule décision articulée.
Shawn :
L’une des choses les plus intrigantes à propos d’OpenAI est, je pense, la mission que vous avez publiée en ligne, et plus particulièrement vous parlez de rendre OpenAI sûr et bénéfique pour l’humanité. Je pense que beaucoup de ces points charnières sont souvent liés à la boussole morale de quelqu'un et à ce qui vous guide. On parle beaucoup de sénateurs récents, dont un en particulier qui vote en se basant sur un principe moral, sa religion, dans un monde où il y a beaucoup de mauvais acteurs ou même tout simplement d'acteurs amoraux. Comment aider les gens à se situer à cet endroit qui pourrait potentiellement être un point charnière.
Sam:
Je veux dire, je pense – Nous avons, genre, un ensemble de principes. Nous essayons d'écrire dans notre charte de quoi il s'agit et nous aimons que le public nous tienne responsable envers lui. Je pense cependant que les gens peuvent être en désaccord avec la Charte. À mesure que les enjeux deviennent de plus en plus élevés, aucune organisation et certainement personne ne devrait prendre de décisions sur ce que sera la société, à quoi ressemblera le nouveau contrat social et comment cette technologie sera utilisée et comment nous partagerons la gouvernance et l’économie. Je pense qu'au cours des années ou des décennies à venir, nos décisions seront de plus en plus influencées par un conseil consultatif que nous devrons mettre en place, composé de personnes qui peuvent en quelque sorte représenter différents groupes au sein du monde, ce que nous n'avons pas actuellement. Je pense qu'à mesure que nous nous rapprochons de quelque chose qui ressemble à l'AGI, aucun d'entre nous ne mérite ce droit ni ne veut que cette responsabilité détermine à lui seul comment nous allons vivre.
Shawn :
Il y a un an, vous avez mentionné que certains des problèmes les plus difficiles au monde pourraient être mieux résolus par l'intelligence artificielle, et je pense que vous avez cité le changement climatique comme exemple. Pouvez-vous parler un peu de la catégorie de problèmes difficiles qui, selon vous, seraient mieux résolus en s’attaquant d’abord à l’IA ?
Sam:
Eh bien, je pense qu'il y en a beaucoup, mais j'aimerais parler de la classe de problèmes qui, à mon avis, ne le sont pas, car je pense qu'une chose sur laquelle l'industrie technologique se trompe, et j'en suis moi-même souvent coupable, c'est de croire que la technologie résout tous les problèmes. Tout d’abord, je pense que la technologie crée aussi beaucoup de problèmes. Je pense que c'est une bonne chose pour le monde, mais il y a un bilan, et deuxièmement, je pense qu'il y a un énorme ensemble de problèmes autour de la politique publique et de l'optimisme des gens pour l'avenir et du genre de trahison qu'ils ressentent de la part du pays ou d'une sorte de le rêve américain a en quelque sorte disparu au point que la plupart des habitants de la Silicon Valley disent : « eh bien, nous avons juste besoin d'une meilleure technologie – nous avons juste besoin de l'IA et nous allons résoudre ce problème », et l'IA aidera, et une meilleure technologie aidera, mais Je pense qu'il s'agit de problèmes de politique, de gouvernance et de leadership et que c'est une erreur de la part de l'industrie de dire qu'elle sait mieux que tout le monde comment les résoudre.
Shawn :
Pensez-vous que vous avez des exemples sur lesquels nous devrions nous concentrer ?
Sam:
L’une des plus fondamentales, je dirais, est que la génération actuelle de jeunes est la première génération, si l’on en croit les sondages qui, qui sait, dans l’histoire américaine, ne pensent pas que leur vie sera meilleure que celle de leurs parents. Cela a donc fonctionné pendant 240 ans, et maintenant ce n'est plus le cas, et je pense qu'à partir de 34 ans, et je pense que commencer par pourquoi cela ne fonctionne pas est une excellente question pour commencer.
Shawn :
Comment voyez-vous l’intelligence artificielle aider à résoudre certains de ces problèmes ? Par exemple, cela revient au thème de la prédiction de l'avenir, ce qui est regrettable, mais il y a une interview de Recode que vous avez donnée dans laquelle vous avez dit que l'humanité construirait à un moment donné notre intelligence visuelle qui surpasserait l'intelligence humaine. Selon vous, dans quelle mesure cela affecte-t-il certains de ces types de questions politiques sous-jacentes ?
Sam:
Eh bien, ce que je pense avoir dit, ou ce que je voulais dire, c'est que nous sommes assurés d'y parvenir si nous ne nous détruisons pas d'abord, ce qui est possible. Vous savez, je pense que le monde est un endroit instable. Mais avec suffisamment de temps, je pense que l’intelligence biologique devrait toujours finir par créer une intelligence numérique, susceptible d’être supérieure à bien des égards. Je pense que la création ou non d’une conscience numérique est sujette à débat, mais l’intelligence numérique, avec suffisamment de temps, est une certitude. Et je pense que cela rend tout super différent. Je pense que les humains sont vraiment bons dans beaucoup de choses, mais les ordinateurs et l’IA s’avèrent également très bons dans beaucoup de choses. Et mon espoir le plus optimiste pour l’avenir est que les humains et l’IA soient une sorte d’IA hybride fusionnée, l’IA humaine étant en quelque sorte bien plus performante que l’une ou l’autre seule.
Shawn :
Parlons un peu des obstacles à l'adoption. Certains internautes ont posé des questions à l'avance pour savoir si vous envisagez l'hiver de l'IA ou quels sont les obstacles qui se présentent. Pouvez-vous parler un peu des obstacles techniques au progrès qui ne sont pas seulement de nature technique.
Sam:
Ouais. Eh bien, je pense que les barrières techniques sont encore énormes et c'est une erreur de dire qu'elles ne le sont pas.
Nous allons parcourir la courbe exponentielle du progrès de haut en bas et il y aura des moments de baisse qui pourraient durer des mois ou des années où les gens se diront que l'hiver de l'IA est là et, vous savez, il y a une personne classique qui adore appeler le haut. Il commercialise et recherche les progrès et tout le reste et c'est comme un de mes amis que je pensais être un très brillant prédicteur de récessions, puis j'ai réalisé qu'il avait prévu environ 18 des deux dernières récessions. Et beaucoup de gens diront que les progrès de l’IA sont enfin terminés, et il y aura des périodes difficiles. Il y aura des périodes où nous marcherons dans la nature. Et à un moment donné, les gens auront raison, mais ils sont tellement désespérés de dire que maintenant, ça va cesser de fonctionner, et c'est le cas depuis huit ans, et c'est juste cet ascenseur de progrès incessant. C'est possible — En fait, je dirais que c'est probable, qu'il nous manque quelques grandes idées pour aller jusqu'au bout. Et j’ai mes propres idées sur ce qu’elles sont, mais honnêtement, ce ne sont que des spéculations et prédire l’avenir est difficile. Ce que je peux dire avec certitude, c’est que les choses sur lesquelles nous savons que le travail ira beaucoup plus loin. C'est une courbe exponentielle. Dans ce flot de personnes talentueuses, si vous demandez, comme n'importe quel jeune de 18 ans vraiment intelligent qui étudie l'informatique à l'université, sur quoi il veut travailler, il est très probable qu'il réponde l'IA. Le flot de talents dans ce domaine n’est pas exponentiel, cela fait donc deux ensemble. Les gains algorithmiques continuent en quelque sorte plutôt bien. Et donc, je pense qu’il y a des choses qui fonctionneront mieux que nous le pensions et pire que nous le pensions et nous connaîtrons des périodes sombres de pierres d’achoppement. Mais le plus grand miracle de tous est que nous avons un algorithme capable d'apprendre complètement. En vérité, légitimement, nous avons un algorithme qui peut apprendre, et il semble continuer à évoluer avec plus de calcul. Dans toute ma carrière, la leçon centrale a été qu'à grande échelle, il faut intensifier les choses plus que vous ne le pensez, et quand les gens voient une courbe qui ressemble à celle-ci, elle s'arrête là et on leur demande de prédire, vous savez, la prochaine Après 10 ans de progrès, mon hypothèse par défaut est de croire en quelque sorte que la courbe continue pendant au moins un certain temps. Et l'hypothèse par défaut de la plupart des gens semble croire que cela va continuer sur la même voie exponentielle pendant plusieurs mois, puis être parfaitement stable, ce qui est en quelque sorte un cadre étrange et je ne pense pas à ce qui va se passer.
Shawn :
Parlez un peu plus du méta-apprentissage, de la capacité de faire du deep learning et des machines qui apprennent. Vous avez mentionné qu'il s'agissait d'un développement passionnant récemment, si vous pouviez nous en dire un peu plus.
Sam:
Je dirais de manière plus générale que l’apprentissage généralisé est passionnant sous de nombreuses formes. Vous savez, des algorithmes qui peuvent apprendre leurs propres problèmes, qui peuvent explorer la capacité d'en apprendre beaucoup sur une tâche et de l'appliquer à une autre tâche, la capacité de pré-entraîner ces grands modèles et de les utiliser ensuite pour résoudre d'autres problèmes. avec leur connaissance du monde. Je pense que l’intelligence humaine est très proche, très proche de ce concept selon lequel vous pouvez prendre des informations et des pensées existantes et les appliquer rapidement à de nouveaux problèmes. Et en fait, je pense que c'est remarquable à quelle vitesse les humains peuvent apprendre. Il faut beaucoup de temps pour s'entraîner - peut-être qu'il faut environ 20 ans pour devenir assez intelligent, mais vous pouvez ensuite apprendre une nouvelle chose très rapidement et ensuite appliquer ces nouvelles connaissances qu'on vous demande une ou plusieurs fois de résoudre. un nouveau problème en trois secondes environ. Et le fait que nous commencions à voir cela se produire avec l’IA, je pense que c’est assez remarquable.
Shawn :
J'ai été très impressionné par le simple fait de regarder le montant de l'investissement requis pour l'expérience Dota 2 afin de pouvoir voir quelle quantité de puissance de calcul était en quelque sorte ce problème. Pensez-vous que cela s’accélère ou pensez-vous que seules quelques entreprises auront le pouvoir d’investir à cette échelle ?
Sam:
Vous savez, j'avais juste cette nostalgie nostalgique de l'époque où nos factures de calcul étaient si bon marché. Ça va juste continuer.
Shawn :
Je suppose donc que cela ouvre la possibilité à des partenaires géopolitiques plus importants, à des gouvernements, de pouvoir investir de cette manière.
Sam:
Mm, peut-être, mais je pense, vous savez, que la capacité de la technologie à réduire les coûts et à craindre que les gens aient de plus en plus d'influence est remarquable. Et je pense que, si vous pensez au genre de grands projets d’ingénierie sidérurgique du passé, le projet Manhattan, le projet Apollo, quelque chose comme ça – ceux-ci devaient être réalisés par les États-nations – il y avait tellement d’argent. Et je pense que nous pouvons le faire sans. Nous avons besoin de beaucoup d’argent, mais pas de l’argent du gouvernement.
Shawn :
Vous avez dit qu'il fallait éviter les mauvaises choses. Dans une sorte d’article célèbre du New York de 2016, vous disiez « certaines choses que nous ne ferons jamais avec le ministère de la Défense ». Alors je me demande, pourriez-vous nous dire ce que vous entendez par là ? Je veux dire, il y a certains acteurs étatiques dont les gens craignent de faire la mauvaise chose ou…
Sam:
D'accord, tout d'abord, j'aimerais dire qu'il y a beaucoup de choses que nous ferions avec le ministère de la Défense et je pense que l'ambiance actuelle dans certaines parties de la Silicon Valley, qui est du genre « nous détestons les États-Unis et nous je déteste encore plus l’armée américaine. C'est juste une position horrible. Et il y a de nombreuses fois où, si on nous demandait d'aider notre pays, nous serions fiers de le faire. Il y a certaines choses que je dirais que nous ne ferions pas et, vous savez, nous avons des idées générales, mais celles des instruments sont dans la zone grise entre les deux et nous devons prendre des décisions au cas par cas. Mais je pense qu'en général, nous, les citoyens des États-Unis, la société occidentale, peu importe comment vous voulez l'appeler, se porterons mieux si le gouvernement des États-Unis reste une force puissante dans le monde que s'il ne le fait pas, et nous sommes heureux de vous aider. .
Shawn :
Dans un contexte très différent, vous avez dit un jour que la croissance masquait tous les problèmes alors que vous parliez uniquement d’investissements, de startups et de croissance en général. Existe-t-il une version de cela qui s’applique à l’intelligence artificielle ?
Sam:
Bien sûr. C’est donc comme le bon et le mauvais côté de l’échelle. La mise à l’échelle des choses fonctionne très bien, mais elle masque également d’autres problèmes. Donc, dans les entreprises, c'est évident, vous savez, vous pouvez en quelque sorte masquer des problèmes culturels profondément enracinés parce que tout le monde est enthousiasmé par la croissance, et dans l'IA, c'est peut-être parce que l'échelle continue de fonctionner ou ne fait pas autant de recherches sur des algorithmes plus efficaces que nous devrions.
Shawn :
Revenez à l’idée d’être sûr et bénéfique. Je pense à un système d'alerte précoce - parfois, je n'ai jamais fait de parachutisme, mais il y a ce concept de course au sol où vous approchez de la fin et vous réalisez que cela se rapproche vraiment. Et lors de certaines de vos discussions, nous avons évoqué le fait que le calendrier d’adoption de l’IA n’est pas très important. C'est du vide et dans l'ordre éternel des choses, trente ans contre dix ans.
Sam:
Je pense que c’est le débat le plus stupide de la Silicon Valley. Il y a beaucoup de compétition pour ce titre et je pense toujours que c'est gagné.
Shawn :
Voyez-vous des systèmes d'alerte précoce comme celui-là pour nous, comme si nous avions l'impression que nous allions exploser, comme si nous commencions à voir une ruée vers le terrain avec ces changements.
Sam:
Je veux dire, il y en a beaucoup. Je pense que lorsque le système peut commencer à faire des choses comme dire, vous savez, « vous avez posé la question X, il semble que vous parliez vraiment de Y – est-ce exact ? et avoir raison la plupart du temps. Pour moi, ce sera le moment de commencer à prendre les choses vraiment au sérieux.
Shawn :
Voyez-vous actuellement des premiers indicateurs si les choses étaient... Vous avez mentionné un peu ce que fait OpenAI. Selon vous, d’autres entreprises font des choses qui, selon vous, constituent des points d’inflexion et de croissance majeurs ?
Sam:
Je veux dire, je pense qu'il y a eu beaucoup d'excellents résultats dans tout le domaine au cours des 12 derniers mois, mais aucun ne dit "d'accord, c'est la chose définitive".
Shawn :
Parlez un peu de — Il y a eu beaucoup de nouvelles autour des récents investissements dans OpenAI. Un récent investissement important de Microsoft en fait partie. Certaines personnes se demandent, comment cela va-t-il être utilisé ? En achetant plus de puissance de calcul ? Voyez-vous plutôt quel genre de thèmes nous voyons cet investissement–
Sam:
Données de l'entreprise et personnes.
Shawn :
Il y a une conférence que vous avez donnée, je pense que c'était la même adresse Google où vous avez parlé de l'invention la plus importante que vous avez vue se produire était la société par actions.
Sam:
Ouais, je pense — quelqu'un m'a posé une question sur l'invention la plus importante de la révolution industrielle et, ce que j'ai dit, c'est que, vous savez, en étudiant ça quand j'étais enfant, j'aurais eu une réponse très différente et j'aurais essayé de réfléchir vraiment. dur et choisissez l'invention spécifique qui a eu le plus d'impact sur le monde depuis lors. En l'étudiant en tant qu'adulte, et peut-être particulièrement compte tenu de la carrière que j'ai choisie ou que j'avais l'habitude de choisir, je pense qu'il y a une chose qui a permis tant de choses : le gouvernement britannique a décidé qu'il accorderait en quelque sorte une souveraineté de second ordre aux entreprises et que ils pourraient avoir ce truc juridique où un groupe de personnes pourrait être aligné et vous pourriez avoir une sorte de capital et des personnes travaillant pour cela et il y avait en quelque sorte — vous avez cette nouvelle structure juridique. Et c’est une idée tellement puissante. Avant cela, vous étiez essentiellement limités à de petits groupes de personnes qui pouvaient se faire confiance, puis tout d'un coup, vous aviez cette entité qui pouvait rassembler un groupe de personnes et de capitaux et elle avait cette structure d'incitation où tout le monde voulait que le cours de l'action augmente. monter là où les incitations de chacun étaient en ligne. Je crois vraiment que les incitations sont un super pouvoir, et si vous pouvez obtenir de bonnes incitations ou les améliorer, c'est sur cela que vous devriez travailler. Et donc le gouvernement britannique invente cette seule chose qui permet cet incroyable boom non seulement en termes de création d'inventions, mais aussi de les rendre géniales et de les mettre entre les mains des gens, et c'est tellement sous-estimé à quel point cela était précieux.
Shawn :
Il s'agit un peu d'écosystèmes et d'aider les gens à aligner leurs effets de réseautage. Voyez-vous la même chose se produire aujourd’hui dans le monde de l’intelligence artificielle ? Souhaitez-vous que ces personnes s’alignent pour pouvoir générer le même type d’économies d’échelle ?
Sam:
Je suis plutôt content de ce que nous faisons là-bas. Je suis plutôt content de ce que nous avons pu aligner. Je pense que ce serait bien d'en avoir plus, mais c'est un bon début.
Shawn :
Pouvons-nous parler un peu, pour ceux d'entre vous qui connaissent ce qui se passe actuellement avec OpenAI, de ce que vous voyez se produire ?
Sam:
Honnêtement, je n'ai aucun moyen de rendre le son excitant. Nous nous présentons tous les jours et nous tapons sur nos ordinateurs et nous essayons de faire fonctionner des algorithmes, puis nous découvrons que j'étais un bug stupide et nous nous énervons tous les uns contre les autres. Non, c'est un peu mieux que ça. Nous faisons de notre mieux pour découvrir ce qui fait fonctionner l'intelligence et nous essayons de ne pas penser à la manière dont nous améliorerons un peu nos applications l'année prochaine, mais, sur le long arc de l'histoire, à ce qu'il faut pour créer des machines qui pensent vraiment. et nous faisons toutes sortes de choses en cours de route mais c'est tout.
Shawn :
Vous avez mentionné à plusieurs reprises, même si vous avez une voix optimiste, qu'il y a quelques domaines dans lesquels vous vous inquiétez des risques liés à l'avènement de l'IA, la sécurité étant l'un d'entre eux, vous avez l'impression que ce serait, je pense que vous avez appelé cela l'oeil- risque d'arrosage. Pourriez-vous parler un peu de certains des risques que nous espérons atténuer et que, selon vous, nous devrons vraiment aborder au cours des deux prochaines années.
Sam:
L’IA en particulier ou en quelque sorte autre…
Shawn :
Ouais, l'IA en particulier.
Sam:
Je pense qu'il y a une application de A, je ne pense pas à la suivante dans les deux prochaines années mais sur une période plus longue, c'est que la menace que l'IA avancée posera pour la cybersécurité, je pense, sera probablement énorme. Même sans cela, la cybersécurité est difficile, donc je pense que c'est un problème important sur lequel se concentrer.
Shawn :
J'ai entendu dire que l'informatique quantique était utilisée dans le même esprit, car elle perturberait considérablement les choses. Que voyez-vous se passer au cours de ces deux dernières années – comme si vous aviez une vision plus large du capital d’investissement pour la plupart des gens ?
Sam:
Ouais, je veux dire, les gens adorent parler de l'informatique quantique qui brise le cryptage et je pense que ce n'est pas une chose dont il faut s'inquiéter. Je pense que le nombre de qubits logiques nécessaires pour y parvenir est suffisamment éloigné pour que nous sachions quand ils se rapprochent et je pense également que nous avons suffisamment de temps pour passer à un cryptage résistant aux quantiques.
Shawn :
Je me demande si nous pourrions zoomer : il y a beaucoup de fondateurs de startups ici dans la salle avec nous aujourd'hui et je me demande si nous pourrions zoomer un peu sur cette idée d'innovation mimétique. Vous utilisez un peu cette expression dans certains de vos discours précédents pour vous inquiéter du fait que…
Sam:
En passant, vous êtes extrêmement bien documenté, je suis très impressionné
Shawn :
… vous vous inquiétez un peu de l'innovation copiée, car les gens copient simplement l'idée qui leur est présentée et ce n'est pas une véritable innovation. Dans le monde de l’intelligence artificielle, cela vous inquiète-t-il ou est-ce vraiment suffisamment révolutionnaire pour que ce ne soit pas un problème ?
Sam:
Je veux dire, je pense que c'est fondamentalement profondément lié à la nature humaine. Et je pense que dans n'importe quel contexte des années 90 – dans les années 90, un pourcentage élevé de gens seront super mémétiques et, d'après mon expérience, il est difficile de s'arrêter, mais ce n'est pas grave parce que les deux pour cent restants des gens font avancer le monde, donc la plupart des gens seront en quelque sorte très progressif/mététique et quelques personnes seront des penseurs vraiment originaux et c'est tout ce qu'il faut – heureusement pour nous.
Shawn :
Nous avons eu un panel de capital-risque ici juste avant que vous ne commenciez, où nous avons parlé de ce dans quoi ils investissent et des mots à la mode de l'intelligence artificielle où vous oignez simplement un algorithme simple que vous avez créé comme intelligence artificielle. Que voulez-vous, pour que quelqu'un dise vraiment que je fais de l'IA dans une startup, quel genre de barre devez-vous atteindre pour que cela soit vrai ?
Sam:
Vous savez, c'est vrai. Ils ne m'invitent plus sur les panels VC parce que je ne peux pas cacher mes expressions faciales. Mais toutes les quelques années, il y a un mot à la mode, vous savez, nous allons faire ça avec les réseaux sociaux, nous allons faire ça avec des podcasts, nous allons faire ça avec la crypto, nous allons faire ça avec l'IA et et fondamentalement, Je pense qu'au moment où vous prononcez trois mots à la mode dans les deux premières phrases avec des hits de démarrage, vous pouvez l'ignorer en toute sécurité. Et même un, vous devriez être un peu sceptique à moins qu’ils ne le fassent clairement. Donc, le nombre de startups qui disent que nous sommes un X piloté par l'IA et que nous sommes en fait pilotés par l'IA, c'est je ne sais pas, 1 sur 20 ou 1 sur 50, quelque chose comme ça. Et la leçon à retenir ici est que les startups se dépassent, quelle que soit la manière dont elles pensent que cela fonctionnera, les sociétés de capital-risque tombent souvent dans le piège. Les bons investisseurs en capital-risque s’impliquent et ne se laissent pas avoir.
Shawn :
Je me demande si nous parlons un peu de GPT2. Vous l'avez dévoilé, mais vous ne l'avez pas complètement rendu public.
Sam:
Nous l'avons fait en fait, nous avons juste fait une sorte de sortie échelonnée
Shawn :
C'est un sujet qui nous préoccupe tous en ce moment, compte tenu de la politique récente et cetera. Examinez un peu la raison pour laquelle vous avez dévoilé cela et peut-être si cela présage quelque chose d'autre.
Sam: 
Euh, je pense que vous devriez vous attendre à ce que nous fassions plus de sorties sur scène comme celle-là. Lorsque nous développons une technologie dont nous pensons qu'elle est probablement sûre à diffuser, mais que nous pensons qu'elle finira par devenir dangereuse à mesure qu'elle se développe, nous aimerions que le monde soit prévenu et je pense que le monde s'y est habitué au fil du temps. du temps, les images Photoshop et maintenant les gens savent qu'il ne faut pas leur faire confiance, mais les gens font toujours confiance aux communiqués de presse textuels pour la plupart et vous savez, comme une nouvelle chose qui, je pense, va se produire, c'est que nous ne sommes pas si loin de complètement de fausses vidéos de dirigeants mondiaux disant ce que vous voulez, les gens ont tendance à y croire aussi. Et je pense que le monde a besoin de temps pour s’adapter à toute réalité. Et une partie de notre objectif dans la façon dont nous avons géré cette publication était de dire qu'il y avait un changement, que nous allons nous en sortir, mais vous devez considérer cela comme une possibilité, vous étant des gens ordinaires qui lisent Internet, des décideurs politiques. , peu importe, et c'était notre objectif avec la façon dont nous avons fait cela. Je suppose qu’un jour, dans un futur lointain, lorsque les dirigeants du monde donneront une adresse, ils la signeront cryptographiquement. Et on s'habitue juste à ça, vous savez, toutes les vidéos peuvent être corrigées ou, vous savez, ils les modifient uniquement à partir de leur compte ou autre, mais il y aura d'une manière ou d'une autre une vérification et je pense que le monde a besoin de temps pour s'adapter.
Shawn :
Vous avez mentionné dans un discours précédent l'équilibre entre les politiciens qui réfléchissent à l'impact économique à court terme sur la vie et le monde tel qu'il apparaîtra dans 20 à 30 ans et qui tentent d'équilibrer ces deux choses qui sont deux questions très différentes. Pensez-vous que nos dirigeants mondiaux réfléchissent suffisamment à l’intelligence artificielle et à ce qu’ils devraient avoir à l’esprit lorsqu’ils pensent à leurs électeurs ?
Sam:
Je veux dire clairement que non, mais la liste des choses que j’aimerais que nos dirigeants mondiaux fassent différemment avant de devenir des experts en IA est assez longue.
Shawn : 
Avez-vous quelque chose en particulier à soulever ?
Sam:
Pas devant autant de monde. J'ai toujours des ennuis à cause de ça.
Shawn :
C'est super. Eh bien, nous avons un peu de temps pour quelques questions et réponses du public. Y a-t-il quelque chose que vous voudriez dire au public avant…
Sam:
Non, c'était vraiment amusant. D'accord, génial. Merci beaucoup.
Shawn :
Nous allons l'ouvrir à vous, dans le public, pour poser peut-être quelques questions à Sam si vous le souhaitez. Levez simplement la main si vous avez des questions à poser.
Sam: 
Je suis également heureux de parler d'une IA plus pertinente pour les entreprises aujourd'hui si les gens sont intéressés.
Question du public :
Je porte donc un tas de chapeaux différents et parmi eux des espaces de technologie alimentaire. Y-Combinator semble de plus en plus intéressé par le domaine de la technologie alimentaire, comme en témoignent les récents investissements ? Nous conseillons et investissons dans cette viande [in-audible] qui en fait partie. Ces entreprises spécialisées dans l’agriculture cellulaire et autres tentent de résoudre le problème de la mise à l’échelle. Une approche très multiforme, avec une combinaison d'expériences micro-fluidiques, de calcul, de chaîne d'approvisionnement, etc. Dans le contexte de cette discussion au coin du feu, où voyez-vous quelque chose comme Open AI où les données disponibles sont peut-être limitées, mais ils essaient de les intégrer des choses sur la façon dont ils résolvent leurs problèmes ?
Sam:
Je n’ai pas suivi de près la technologie alimentaire. Je veux vraiment que cela se produise, mais j'ai été végétarien toute ma vie. J'ai essayé de manger de la fausse viande. J'ai décidé que je n'aime vraiment pas le goût de la viande et que je n'ai pas personnellement été très impliqué dans cet espace.
Je n’ai aucune idée des plus gros problèmes. Je n'ai pas passé beaucoup de temps avec les entreprises mais je suis vraiment content que cela se produise. Je n’ai tout simplement pas non plus d’avis d’expert à offrir sur la manière d’appliquer l’IA. Désolé.
Question du public :
Merci, je m'appelle Addison Snell. Je fais partie de la recherche Intersect 360. J'aime que vous parliez de concepts comme le moment où l'IA devient plus intelligente que les humains, puis vous avez séparé cela de la conscience. Avez-vous une définition de ce qui constitue le renseignement pour le contenu de ce contexte ?
Sam:
Quelque chose sur la capacité d'apprendre de nouveaux concepts basés sur les connaissances existantes, la capacité et peut-être quelque chose sur la capacité de les apprendre assez rapidement. Nous parlons ici des bonnes mesures, mais je pense que l'intelligence est profondément liée à la capacité d'apprendre. C'est pourquoi je pense que nous y arriverons parce que nous avons des algorithmes qui peuvent apprendre.
Shawn :
Merci prochaine question
Question du public :
Oui, bonjour, je me demandais en termes d'IA et de collaboration internationale, à quoi pensez-vous que la Silicon Valley devrait prêter davantage attention en termes de développements d'IA à l'extérieur, s'il y en a, et comment pensez-vous qu'à l'échelle mondiale, nous devrions travailler davantage ensemble pour déterminer si du côté technique ou de gouvernance de l’IA.
Sam:
Donc en ce moment, je pense que c'est plutôt collaboratif et que des chercheurs du monde entier publient leurs travaux et travaillent ensemble assez ouvertement. Je suis nerveux car c'est sur le point de devenir beaucoup plus difficile. Je pense certainement que le résultat optimal à long terme pour le monde est une collaboration internationale étroite, et non une sorte de course aux armements entre les nations et j'espère que cela se produira, mais je dirais que c'est bien en dehors du domaine dans lequel j'ai l'impression d'être un expert et pourrait faire une prédiction confiante. Je pense que c'est clairement le meilleur intérêt à long terme pour le monde et l'un de nos objectifs en matière d'IA ouverte est de pousser les politiques dans cette direction. Et je suis quelque peu réconforté par la façon dont cela s'est passé jusqu'à présent. Je pense que l'une des plus grandes valeurs du monde universitaire est que, malgré tous ses défauts et défauts, je pense qu'il a réussi mieux que tout autre segment en matière de collaboration internationale ouverte à long terme autour d'idées.
Question du public :
Bonjour, j'ai récemment rejoint cette industrie et j'ai vu qu'il y avait un gros problème de diversité
Sam:
Énorme,
Membre du public : 
Droite? Je voulais donc savoir quelle était votre opinion sur la façon dont vous souhaitiez résoudre ce problème et comment pensez-vous que cela affecte l'IA en particulier ?
Sam:
L'une des choses que nous avons faites est de créer ce que nous appelons des chercheurs OpenAI, qui sont un moyen de recruter des personnes vraiment talentueuses, quel que soit leur parcours, nous les encadrons, nous leur enseignons et cela aide à maintenir le taux d'une poignée de personnes par personne. année et c'est en quelque sorte notre propre capacité, mais ce n'est clairement pas suffisant pour résoudre le problème et je crois que les gens qui construisent ces choses non par une faute intentionnelle mais simplement par la façon dont cela fonctionne, mettent énormément d'eux-mêmes dans leur propre des vues du monde dans ces systèmes, et vous devez donc avoir une contribution plus diversifiée. Et pourtant, si vous regardez les taux d'obtention de doctorats en IA, c'est incroyablement frappant en termes de non-diversité et je pense donc que ce qui doit arriver, c'est que nous avons besoin de beaucoup plus de versions de programmes de type OpenAI Scholars et de personnes dans le domaine doit en quelque sorte consacrer du temps supplémentaire au mentorat de personnes diverses. Et aussi, nous devons vraiment trouver comment changer la capacité d’attirer de nouvelles personnes dans le domaine, plutôt que d’attendre que le pipeline de docteurs en IA rattrape son retard, ce qui prend de nombreuses années. Je pense que si nous ne le faisons pas, nous finirons par avoir, peu importe ce que nous faisons, peu importe ce que font openAI ou d'autres, pour obtenir une très bonne représentation et de bons conseils, les personnes qui ont construit le système ont toujours un énorme une certaine influence sur ce qui se passe réellement et, encore une fois, sans intentions négatives. Nous nous retrouverons donc dans un monde sous-optimal.
Sam: 
Très bien, dernière question sur l'idée
Question du public :
Salut. Question rapide sur quelque chose liée à la diversité, mais elle est en fait liée aux données et aux approches de différents pays.
Mes questions portent donc sur la façon dont vous regardez, par exemple, la Chine qui fait actuellement beaucoup de surveillance. Donc, en termes de données au moins visuelles pour l'IA, ils ont beaucoup plus que ce que les États-Unis semblent avoir actuellement, du moins c'est ce que la presse publie. Que pensez-vous des différentes approches à long terme et de l’avenir dans ce domaine…
Sam:
Avant, je m'inquiétais vraiment beaucoup à ce sujet. Comme nous en avons parlé plus tôt, j'ai changé mes propres pensées pour penser qu'il s'agira davantage d'un avantage en matière de calcul que d'un avantage en matière de données. J'espère certainement que c'est vrai, car sinon les gouvernements comme la Chine ont un énorme avantage en termes de plus de données que quiconque. . Je ne pense pas que la société que nous voulons soit un État à très haute surveillance, du moins pas celle que je souhaite personnellement, et le compromis en est simplement moins de données. Cependant, Internet est géant, et nous oublions à quel point Internet est géant, même dans un monde où nous avons besoin de beaucoup de données. Je pense que nous pouvons l’obtenir et que l’avantage est atténué.
Shawn :
J'imagine donc que j'ai une dernière question pour résumer le thème de la journée. Vous nous avez donné d’excellentes perspectives sur les deux dernières années. Si vous envisagez l'horizon à court terme, les développements les plus excitants que vous verrez se produire au cours des deux prochaines années, qu'espérez-vous le plus en termes de développement et que pensez-vous lorsque nous serons sur scène dans les deux prochaines années ? années et dire « c’était vraiment un moment remarquable ». Qu’espérez-vous le plus dans les prochaines années ?
Sam:
Je pense à l’apprentissage non supervisé et à la capacité d’examiner d’énormes quantités de données et de comprendre les concepts sous-jacents. Cela va vraiment nous surprendre sur une période de deux ans et cela va faire des choses incroyables.
Shawn : 
Génial. Bien, merci beaucoup.
Sam:
Je vous remercie. Appréciez-le.