Dust’s Gabriel Hubert and Stanislas Polu: Getting the Most From AI With Multiple Custom Agents (English, Russian)

1. We've asked the entire world to move from calculator [deterministic] technology—punch the same keys, and you'll get the same result—to stochastic technology: ask the same question, and you'll get a slightly different result. This is the biggest shift in the tools we have had since the advent of the computer. We're asking an entire cohort of the workforce to move to a stochastic mindset. The only way to achieve that is by having a risk-reward ratio that you're comfortable with. I'm not asking it to be right 100% of the time; I'm asking it to give me a draft that saves me time—many, many times over. That distribution of RoI is something I'm comfortable exploring and iterating on.

2. One model will not rule them all. Multi-model integration is key to getting the most value out of AI assistance.

3. Access to the proprietary data you have in data silos will be key to unlocking the full power of AI. You want to keep this data private.

4. Competition between big labs requires the ability to switch to a new model at any given time vs. technologies plateauing, where everyone will be able to train their own (open-sourced) model on a laptop. In the latter case, there’s no router layer deciding which model to call, unlike in the "competition between big labs" scenario.

5. Fine-tuning is not a good idea for most of the things people are excited to fine-tune on. Fine-tuning on company data is an even worse idea. Fine-tuning for a specific task, where you can see tangible gains, is legitimate.

https://www.youtube.com/watch?v=nOyOtxTA03A

ChatGPT translation:

1. Мы попросили весь мир перейти от калькуляторов [детерминированных] технологий — нажимай одни и те же кнопки, и получишь один и тот же результат — к стохастическим технологиям: задавай один и тот же вопрос, и получишь немного разный результат. Это крупнейший сдвиг в инструментах, которые у нас есть, со времен появления компьютера. Мы просим целую когорту рабочей силы перейти к стохастическому образу мышления. Единственный способ добиться этого — иметь комфортное соотношение риска и вознаграждения. Я не прошу, чтобы результат был правильным в 100% случаев; я прошу, чтобы он дал мне черновик, который сэкономит мне время снова и снова. Такое распределение рентабельности инвестиций (RoI) — это то, что я готов исследовать и на чем можно итеративно улучшаться.

2. Одна модель не станет универсальной. Ключ к максимальному извлечению пользы от ИИ — это интеграция нескольких моделей.

3. Доступ к вашим собственным данным, хранящимся в закрытых хранилищах, станет ключом к раскрытию полного потенциала ИИ. Вы хотите, чтобы эти данные оставались конфиденциальными.

4. Конкуренция между крупными лабораториями требует возможности в любой момент переключиться на новую модель против технологического застоя, когда каждый сможет обучить собственную (с открытым исходным кодом) модель на ноутбуке. В последнем случае нет уровня маршрутизации, который определяет, к какой модели обращаться, как это происходит в сценарии «конкуренции между крупными лабораториями».

5.Тонкая настройка — не самая лучшая идея для большинства вещей, которые люди хотят настроить. Настройка на данных компании — еще более плохая идея. Тонкая настройка имеет смысл только для определенных задач, где можно увидеть ощутимые преимущества.

Ниже есть полная транскрипция на английском и русском.

Ниже есть продолжение.

We've asked the entire world to transition from calculator technology—where you punch the same keys and get the same result—to stochastic technology, where asking the same question yields slightly different results. This shift has not yet fully occurred, but it represents the most significant change in our use of tools since the advent of the computer. We are asking an entire cohort of the workforce to adopt a stochastic mindset. The only way to achieve this is by establishing a risk-reward ratio that people are comfortable with. It's about saying, "I don't need it to be right 100% of the time; I need it to provide a draft that saves me time repeatedly." This distribution of ROI is something I'm comfortable exploring and iterating on. I believe this is a key predictor of success for those who have tried ChatGPT or are curious about new technology. They expect some aspects to be imperfect, but the potential upside is so clear and significant that they are willing to make that trade-off or take that local risk to get started.

[Music]

Welcome to Training Data. This week, we welcome Gabriel Hubert and Stanislas Pochon, the co-founders of Dust, a unified product to build, share, and deploy personalized AI assistants at work. Founded in early 2023 after years at Stripe and OpenAI, second-time founders Gabe and Stan started Dust with the belief that one model will not rule them all and that multimodal integration will be key to maximizing the value of AI assistants. They were early to recognize that access to proprietary data in data silos will be crucial to unlocking the full power of AI, and they understand the importance of keeping that data private. We've worked together for 18 months, and their predictions have been consistently accurate. Today, we decided to ask them about those predictions. We'll explore their perspective on how they see the model landscape evolving, the importance of product focus over building proprietary models, and how AI can augment rather than replace human capabilities.

Stan, Gabriel, welcome to Training Data.

Stan: Thank you, glad to be here.

Gabriel: Yeah, thanks, Constantine, super happy to be here.

Constantine: The first thing I want to ask is, you started this company in early 2023. At the time, it seemed like one model might rule them all, and that model was probably GPT-3.5. I don't know if GPT-4 had yet come out, but it was way ahead of the curve, and people were blown away. You guys came out with a pretty contrarian view that there would actually be many models and that the ability to stitch those together and perform advanced workflows on top of them would be important. So far, you've been completely right. How did you get the confidence to make that decision a year and a half ago?

Stan: I think it was clear that many labs were already emerging. It wasn't obvious to the general audience, but for those who understood the market dynamics, it was clear that competition was brewing. As a result, there would be value in enabling people to quickly switch from one model to another to get the best value depending on their use cases.

Gabriel: From a user standpoint, the ability to quickly evaluate and compare is crucial. We're already seeing conversations where the levels of scrutiny and security sensitivity of the data being processed may influence different use cases. We're excited to see people considering running smaller models on devices for some use cases. You could imagine a world where you want to switch between an API call to a frontier model for less sensitive tasks and smaller classification or summarization efforts that could be done locally, while the interface for your agent or assistant remains the same. That switching requires a layer on top of the models.

Constantine: You guys have been right about this every time, as you've called it out. Many of your predictions over the past couple of years have been non-obvious and then correct. I think this is still not obvious—that there will be many models, some local, some via API, and that customers will want to choose between them or have some control. Why do you think that will be the case? Why doesn't that get abstracted away by some sort of router mechanism or hypervisor layer? Would you be that hypervisor layer?

Stan: There are really two modes of operation if you think about the future. It's a bimodal distribution. In one scenario, the technology as it stands today keeps progressing rapidly, and there will still be competition from big labs because of the incredible need for GPUs to build larger models. In that world, the dynamic of switching to the best model at time T will remain true for a long time until we reach the end of that dynamic. Then there's the hypothesis that the technology plateaus, in which case it won't be one model but a gazillion models, and eventually, everyone will have their own model. On your MacBook M6, you'll be able to train a GPT-6 in a few hours in a couple of years. In that world, the need for a router disappears because the technology is commoditized, and every company will have its own model.

Constantine: So you're building a business where you win regardless of which world we go into. Which world do you think we're going into?

Stan: It's tricky. In terms of model capabilities, we've seen or perceived that the ecosystem was moving quickly over the past two years. We've seen larger context support, audio support, image support, and more. But the core thing that matters for changing the world is the reasoning capabilities of those models. The current reasoning capabilities have been pretty flat over the past two years. They are at the level of GPT-4 at the end of its training, which was roughly two years ago. That means that in terms of reasoning capabilities, it's been somewhat flat.

Constantine: Hang on. There's the Kevin Scott point of view, which is that there's actually exponential progress, but you only get to sample that progress every so often. In the absence of a recent sample, people interpret it as flat when, in fact, there's just sample bias. Do you think he's right? Do you think there's exponential progress we just haven't seen yet, or do you think it's asymptoting and reasoning breakthroughs have not progressed at the rate one might hope?

Stan: As far as I'm concerned, I have a strong feeling that it hasn't been moving as fast as I would have expected in my most optimistic views of the technology. That's why I'm allowing myself to consider different scenarios. One of your predictions for 2024 is that we would have a major reasoning breakthrough. Do you think it's coming?

Stan: It's going to be a tough one because it hasn't come for sure. Even GPT-5 or GPT n+1 or Claude n+1, it doesn't matter who cracks it first, hasn't come yet. There are many reasons to believe it might not be a core technological limitation. You can make many hypotheses as to why it might take time. The scale of the clusters required to train the next generation of models is humongous, involving a lot of complexity from an infrastructure and programming standpoint. GPU failures are common when you scale to that many GPUs per cluster, and training is very synchronous across a cluster. It might just be the case that scaling up to the next order of magnitude of GPUs needed is very, very hard. That wouldn't be an inherent limitation; it's just a phase where we learn how to go from Red 1 to Red 5, but for GPUs.

Constantine: Stan, you were at OpenAI at a critical point in time. People know you from the Dust experience, but you were a critical researcher at OpenAI from 2019 through late 2022. You have a bunch of wonderful publications, some related to mathematics and AI, which you worked on with Ilya Sutskever and the crew at OpenAI. Do you think mathematics will be essential to this type of reasoning breakthrough, or is it orthogonal? Is it something that we're actually going to learn on textual language data?

Stan: I remain quite convinced that it's a great environment to study. It was a thesis we had at the time with Guillaume Lample, who then founded Mistral. He was working at FAIR on the same subjects, and our motivation was shared. We were friends competing in the workspace but really fired up by the ideas. The idea was that mathematics, particularly in its form of formal mathematics that gives you perfect verification, is a unique environment to study reasoning capabilities and push them because you have a verifier. You're not constrained by needing humans to check predictions in an informal setup. That verification is probably something that has to unlock something at some point. It hasn't yet for many reasons, but at some point, it should unlock something. So I remain extremely bullish on the kind of math and formal math and LLM studies.

Gabriel: I remember one of the ways you were presenting it to me when I was still ramping up was math as the door to software, software as the door to the rest. You started with some of the critical systems that were the only ones to have been hand-proven and hand-verified as an example of how much more costly it was to do it by hand than by machine, and an indication of the future gains we could expect from being able to extend that and democratize that.

Constantine: You guys see a lot of action through the Dust API calls. When you build a Dust assistant, you're able to choose what type of underlying model to use. You're able to call many different models. I often call not just Claude 3 but also GPT-4 and the Dust assistant, and in my custom assistants, I select one of many options. What have you guys seen in terms of trends? What's performing really well? I've personally been super impressed by the Anthropic models as of late, but you guys have a much closer view of that.

Stan: So, a word of caveat on trends: you're going to have the usual cognitive biases. The grass is always greener, and people will want to switch just to see what it looks like on the other side. When you're observing those switches, you're not necessarily observing a conviction that the model on the other side is better; you're observing the conviction that people want to try. But it is true we've gotten great feedback on Claude's latest release, and empirically, we're seeing some stickiness on that model in our user base. Word on the street is that for some coding applications, Code Llama is performing very well. We haven't yet made it available through Dust, but we're...

Gabriel: It was made available yesterday.

Stan: Ah, there we go. Sorry, see, this is what you get for being in San Francisco and waking up at 7 o'clock in the morning. So, Code Llama is apparently really interesting for some coding capabilities. Then you have to mix it in with the actual experience that people are getting. Reasoning cannot be fully made independent from latency. Latency at some points last year could be used to tell the time in San Francisco. You could see latency literally in the API as people were waking up on the West Coast. People have use cases that may be more or less tolerant of those. We cover the Gemini models, Anthropic's models, OpenAI's, and Mistral right now, and we have seen some interest in moving away from the default, which when we first launched were OpenAI models. Not to say that GPT-4 isn't performing very well.

Constantine: Over the past year, there's been a lot of enthusiasm about open-source models. It's actually one of your predictions, Stan. You have these great predictions every year about AI, and I always enjoy reading them. One of them was that at some point this year, an open-source model would take the brief lead for LLM quality. That doesn't seem to have happened yet, and it also seems like the enthusiasm around open-source models in comparison to closed-source models has maybe slowed down a little bit. Maybe back to that Kevin Scott point about sampling at discrete times as opposed to continuous times, we just haven't seen it yet. Where do you think the open-source ecosystem is going to go? Will it actually at some point surpass the closed-source ecosystem?

Stan: That echoes what we said earlier. In that bimodal distribution, there's one scenario where open-source goes nowhere, and there's one where open-source wins the whole thing. If the technology plateaus, open-source obviously catches up, and eventually, everyone can train their high-quality model themselves. At that point, there is no value in going for proprietary models. So, there's a scenario where open-source is the winner in the end, which would be a fun turn of events. In the current dynamic, it's true that open-source has been lagging behind so far. The one that has to be called out is really Facebook or Meta's effort because they have what it takes to train an excellent model and have been releasing every model very openly. That's exciting to see what will come out of them in the next few months to maybe make the prediction true. The caveat is that assuming the best models are the largest, which is a somewhat safe assumption, it means that the model will be humongous. Even if it's open-source, nobody will be able to make it run because it'll just cost too much money. You'll need GPUs just to do inference, and that will really trump the usage of those models even if they're better in the current state of affairs in terms of cost of running them at a point of consumption.

Gabriel: That's interesting because that means you might still have a world where there's a lot of demand for API-based inference regardless of whether the model on the other end is controlled, hosted, open weights, whatever, just because of the technical abilities to perform that.

Constantine: One of your founding assumptions related to model quality and performance, and this goes back almost two years now, was that even as of two years ago, the models were powerful enough and potentially economically viable enough that you could unlock a huge range of unique and compelling applications on top. The bottleneck even at that point was not necessarily model quality so much as product and engineering that can happen on top of the model. I don't know if that's a consensus point of view today. We still hear a lot of people who are waiting for the models to get better for what it's worth. We happen to agree with you. The question is, what did you see in 2022 that gave you that point of view? If we fast forward to today, what has your lived experience been deploying this stuff into the enterprise in terms of where are the product and engineering unlocks that need to happen to bring this stuff to fruition?

Stan: My triggering point for leaving OpenAI was seeing and playing with GPT-4. It was coming from two very contradictory motivations. The first was, as I said before, it is crazy useful. Nobody knows about it, nobody can use it yet, and still, it exists. Literally, it's almost already in the API. At the time, it was GPT-3.5 in the API, which was a slightly smaller version of GPT-4 but on the same training data. It was a crazy good model, and it was basically Codex, the base model. It was much better than ChatGPT, and it was available in the API. Yet, the ARR of OpenAI was ridiculously small at the time, like inexistent by all standards of what we see today. That was the motivation. The very contradictory motivation that I shared with Gabriel at the time was if that technology goes all the way to AGI, it's the last train to build a company. We better do it right now because otherwise, next time, it's going to be too late. I absolutely didn't answer your question, but I'll let Gabriel answer the question.

Gabriel: I think what got me excited and when we did start brainstorming on the ways to deploy this raw capability in the world, where it made sense to dig was one insight on some of the limitations of the hyper and fine-tuning at the time. People were talking a lot about fine-tuning, and a lot of consultancy firms were selling a lot of slides that were essentially telling big companies to spend a lot of money fine-tuning. The two things that cut it for me were Stan saying, "One, it's expensive, and you do it regularly, and nobody knows that they'll have to do it regularly. Two, it's really not the right idea for most of the things people are excited to fine-tune on." In particular, fine-tuning on your company's data is a bad idea as opposed to maybe sometimes fine-tuning on some specific tasks where you can see gains. The idea that bringing the context of a company, which is obviously every real company's obsession—how does this work for me, how do I get it to work the way I like it to work—was going to happen with technologies that weren't just changing the model itself but rather controlling the data it has access to, controlling the data any of its users have access to. Those are somewhat hybrid models between new world and old world. The very old world version of it is, you know, the keyholders are still the same. The CISO is the one deciding how new technology is exposed to members of a company, the guardrails that are in place, the observability that's available to the teams to measure its impact and any data leaks. Those are old software problems, but they still need to be rolled out on very new interfaces because the interfaces now are these assistants, these agents. Some of the new problems are around access controls. Do access controls look and feel the same in a world where you have half of the actions done by non-humans? I might want to have access to a file that's like 2020. Do I have access to the file, yes or no? In 2024, it's like, well, maybe an assistant might have access to the file and can give me a summary of it that leaves out some of the critical information I should not have access to but still gives me access to some of the decision points that are important for me to move on with my job. That set of primitives, that set of nuances, just doesn't really exist in how documents are stored today. If you think about deploying the capability in a real-world environment where people are still going to have to face those controls and those guardrails, the product layer is actually very thick. The application layer to build the logic and the usability to ensure performance but also adoption is quite thick. That was the go-to to say, all right, there's a lot to do here. We might get started.

Constantine: Maybe you can dig into that because when we intersected in Q2 2023, Q1 Q2 2023, a lot of people were still starting these foundation model companies. You guys had a very specific opinion, which is the future is application layer, and there's going to be a lot going on under the hood. We're just going to be an abstraction layer on top of that and let things happen as they happen. We're going to succeed in any case by building something that people actually use and love first. How do you have the conviction for that? Secondly, how has that been playing out? What has been the hard part about it? You mentioned the CISOs and the enterprise and enterprise deployments. You guys have been way ahead of the curve on RAG. Everyone was talking about fine-tuning, but you guys have done so much in terms of retrieving. This was before it was even called that, really retrieving and actually making smart decisions around information. Walk us through the step-by-step from the idea of the application layer to where you are today.

Gabriel: You can imagine the application layer conviction existing in a world where you still decide to build a frontier model. The reason we split those two is, one, it seemed like a lot of money for a lot of risk. I mean a lot of money for a lot of risk to try and develop a frontier model or an equivalent to a frontier model and also make a bet on the way it was going to be distributed. Our internal slogan was "no GPUs before PMF." We don't see the value in training our own model until we actually know which use cases it's going to get deployed on. There are much cheaper ways to explore and confirm which use cases are actually going to make the most value and generate the most engagement. The second reason was about this data contradiction. The fact that the cutoff dates for training on internet data are hard to set continuously, the fact that you can't actually get an internal understanding of what happened last week in a frontier model means that fine-tuning is a hard problem that is not a solved problem at scale. If you walk from that conviction backward, that means there are many cases where it's not solved, so another technology has to be the one to deliver most of the gains. Extracting a small piece of context from documents where it lives and feeding it into the scenario, the workflow that you need help for, the one trend that seemed interesting was that many decisions require limited amounts of context and information to be greatly improved. The context windows at the time that were small were already compatible with some scenarios of saying, let's just bring the information in. What we've seen over the last year, of course, is the increase in size of those context windows, which just makes it easier to expose all the right data, no more than the right data, hopefully, to the reasoning capabilities of the frontier model. What we've experienced is, first of all, it takes time for people to understand those distinctions. It's hard, and you have to get yourself out of your own bubble regularly to realize that it's true. The future isn't quite evenly distributed yet, and people have varying assumptions on what it means to roll out AI internally or roll out the capabilities of these frontier models on their workflows. You have to walk them back on what they really care about, which is always very simple things. I want to work faster, I want to know the stuff that I'm missing out on, I want to be more productive or more efficient in some tasks that I find repetitive. Then only bring the explanation of what technology is going to solve that when it's absolutely necessary because people will worry about their experience and how they feel about it more than how it's working under the hood 99% of the time. The big insight that's happened and that I think we're leaning into, we have been for a while, and it's great to see some of the market also doing that, is people are actually really good at recognizing which tool they need in the toolbox. I think we've not respected users enough in saying you need a single user that does absolutely everything, and the routing problem should be completely abstracted from you. You should ask this question to the one oracle, and the oracle will reply. People are pretty comfortable telling a screwdriver from a hammer, and when they want to get to work and they need a screwdriver, they're very disappointed when what they get is a hammer, and it sounds like a hammer response. Specializing agents, specializing assistants, and making that easy to do, design, deploy, monitor, iterate on, improve—all those verbs that require product surface—it was quickly apparent to us that people were very comfortable with that. The number one question that made us feel like we had an insight to hang on to and lean in on was everybody asking us about Dust was obsessed with the top use case. What are people using it most for? What is the top use case across companies? I could almost see the Amazon eyes trying to decide which diapers.com they're going to verticalize and integrate, like which verticalized use case should we now just build as a specialized version of this. I think the full story is fragmentation. I think the story is giving the tools to a team or a company to see opportunities for workflows to be improved on, augmented, and understanding the Lego bricks that are going to help them do that. Rather than encapsulate the technological bricks that are ahead for and abstract them away from users, exposing them at the right level gives people a ton more autonomy and really just the ability to design things that we had never thought of. Some of the scenarios that have come up, we literally could not have imagined ourselves.

Constantine: That idea makes sense, like the fragmentation and providing people with the Lego blocks to see what sort of use cases emerge. Just to make it a little bit real, though, can you share a couple of use cases that you've seen in your customer base that have been unique or surprising or particularly valuable? Just something to make it a little more tangible.

Gabriel: There's obviously a ton that people are thinking about. The category of obvious use cases that have been interestingly and quickly deployed are the enablement of sales teams, support teams, and marketing teams. That is essentially context retrieval and content generation. I need to answer a ticket, I need to understand what the answer to the ticket is, and generate a draft to the ticket. I need to talk to a customer, I need to understand which vertical they're in and how our product solves their problems, and draft an email to follow up on their objections. I need to prepare a blog post to show how we're differentiated from the market. Again, I'm going to go and plow into what makes us special and generate with our tone of voice. Those were pretty obvious and quite expected. What I've been excited by is to see two types of things. One, very individual assistants, personal coaches. People, generally actually quite young people in their first years of career, asking for advice on a weekly or daily basis. How did I do today versus my goals? Where do you think I should focus my attention in the coming days? Can you actually break down my interactions on Slack and in Notion over the past couple of days and say where I could have been more concise? I'm getting the feedback that I'm sometimes talking too theoretically. Can you point out the ways in which I can improve on that in these two notes that I'm about to send? That's exciting because our bet was we want to make everybody a builder. We want to make everybody able to see that it's not that hard to get started. By reducing the activation energy there, to see small gains immediately rather than wait for the next model or the next version that's going to really solve everything for them. Personal use cases have been great. The second family of use cases that I'm excited by are essentially cross-functional. Where the data silos exist because the functions don't speak the same language, they speak the same language but they don't speak the same language. Understanding what's happened in the codebase when you don't know how to code is powerful. Having an assistant translate into plain English what the last pull request that's been merged does is powerful. It's powerful to people that were blocked in their work, didn't know who they should bug to actually get an update. Marketing to engineering, sales to engineering. The other scenarios are you're extracting technical information from a long sales call. It's powerful because it means that the engineer doesn't need the abstraction of a PMM or a PM to get nuggets from the last call with a key account. They can just actually focus the attention of an assistant on that type of content on their own project and get those updates. I'd say that's the family of assistants that we're excited by because they really represent, I think, the future of how we'd love fast-moving, well-performing companies to work. Where the data that is useful to you and the decisions you should make is always accessible. You don't need to worry about which function decided on it or created it. You can access it, and that fluidity of information flowing through the company helps you make better and faster decisions day in and day out. Any other examples that I'm missing, Stan, that you think you're excited by?

Stan: No, I think what I wanted to add is the fact that, as you said, the usage is extremely fragmented. We see over and over the same scenario, and so we have data to back that kind of proposition. We built Dust as a sandbox, which makes it extremely powerful and extremely flexible, but also has the complexity of making activation of our users not trivial. When you have a horizontal sandbox-like product, you're like, "Yes, but for what?" Generally, the pilot phase that goes with our users starts by clearly identified use cases. They really try to question what use cases they should care about for their company and try to identify a couple of them. We always see the same pattern. First use case gets deployed, usage starts. We try to move laterally to another use case. Second use case gets deployed, usage picks up a little bit more. Then we generally go through a phase where the usage is kind of flat, increasing slowly. Eventually, it reaches critical mass of usage, and all of a sudden, it skyrockets to something like 70% of the company. That's the pattern of activation of our users. The skyrocketing to 70%, the usage picks up, and the original use cases that were identified by the stakeholders become just anecdotal compared to the rest of the usage. That's where we feel like Dust provides all value. It's very hard to know for us what are all those use cases because we have examples of companies with a few hundred people and a few hundred assistants. It's just hard to answer the question, "What are the best use cases?"

Constantine: Those are great examples, and that calls to mind an analogy that I would like to try out on you guys. You may reject this analogy, but this is what just showed up in my brain. A lot of those use cases you described, you could imagine some sort of vertical application being built around those use cases. The analogy that comes to mind is there are a gazillion vertical applications, and yet where does a lot of work happen? Spreadsheets. Why does it happen in spreadsheets? Everybody knows how to use a spreadsheet. They're flexible, you can customize them to your heart's content. The analogy I'm wondering about is, is this almost like the spreadsheet of the future? Some of these applications may get peeled off into vertical-specific applications, but even then, people are still going to come back to the personal agent because it's there, it's available, it has access to your data, it's familiar, you know how to use it, and you can build what you want quickly and simply and effectively. Is that a reasonable analogy for what this kind of is?

Gabriel: I think it's an amazing analogy for another thing that I'm thinking about, which is it took me the longest time to get Stan to spreadsheets when we started working together. This is way back when, like 20 years ago, 15 years ago. Then at one point, Stan uses it for something and is like, "Oh wow, this is kind of like a cool REPL interface where you can just get the results of your functions in real time." I was like, "Yeah, that's how it works." He's like, "It's a cool REPL interface for non-engineers. I get it now." I think it's also interesting for that. The experimentation cost is very low. If you think about the way in which some of our customers try and describe the gains they're experiencing or seeing, their excitement for the future is some functions have had 80% productivity gains, some functions are seeing 5% productivity gains, and we're not even sure we're measuring them right, but we're seeing gains. When the specialization of the assistant is close enough to the actual workflow that it is able to augment, the distribution problem of that with a verticalized set of assistants is almost impossible to solve. How are you going to get that deep into that function at a time when budgets are tight, decision-making on which technology is going to be a fit is sometimes complicated, when sometimes that's where the performance gains are the most obvious? One of our users has seen like 8,000 hours a year shaved off two workflows for an expansion into a country where they decided not to have a full-time team. Sparing you some of the boring details, the ability to review websites, compare them to incorporation documents in a foreign language, have a policy checker that was making a certain number of checkpoints very clear to the agents that were reviewing the accounts, all in a language and in a geography that none of these people were yet familiar with because they were really exploring the country. Immediate gains, very easy iteration on the first version of the assistant, two weeks to launch it into production, roll it out to three human agents that were then assisted by these assistants. Their CTO sharing, "We're seeing north of 600 hours a month." I'm thinking our pricing is terrible, but what I'm excited by is that that case could not have been explored or discovered with a verticalized sales motion because I just don't know how you get to that fairly junior person in a specific team and actually are able to pitch them and deploy that quickly. Whereas if you have that common infrastructure that people understand the bricks of, not everybody knows how to do sum products, not everybody knows how to do a pivot table, but everybody understands that they can just play around with the basic things and probably get help from somebody close to them. That's the other thing we've seen. The map of builders within companies, this heat map of people, is amazing because it highlights those who are excited about iterating, exploring, and testing new things. This correlates well with high performance or high potential in the future. It's like Dust is heat-seeking for potential and talent across your teams because the people using it the most are those who are comfortable saying, "I don't feel threatened by something that's going to take the boring and repetitive side of my job away from me. I'm excited to have that go away and focus on high-value tasks."

For the first six months, I was one of the loudest voices asking, "What is the main use case?" I think you guys heard that many times. Eventually, I realized this is a primitive. We're talking about spreadsheets; you could talk about a Word document or an office suite. When I interface with Dust, I think about it like Slack, except I'm not slacking my colleagues—I'm slacking assistants, and they actually do this kind of work for me. I can show them the kind of work, so it feels, Pat, to your point, like a spreadsheet meets the ergonomics of Slack as it is brought to me, as opposed to me having to go to it. It took me a while to get there, and now I see how fragmentation is the power of what you're going after.

Gabriel, I have a quick question about the psychographic of your user. Your comment that it's like heat-seeking for people who are ambitious and innovative—do you have a name for them? Let's call them "the makers," the people who are not afraid to try new things and build stuff. Have you come up with a systematic way to find those people, or do they tend to find you through word of mouth or some other means? LinkedIn profiles don't say "Gabriel, maker," right?

I think it's a super interesting question on a couple of levels. Our motion is dual. The things that predict a great outcome with Dust—I'm coming out of a core and trying to think about what was most powerful about this call I had yesterday with a Chief People and Systems Officer of a company that couldn't stop interrupting me five minutes into my pitch. "Yes, I did a talk on this. Yes, I've already written about this. I've got a blog post on this. Okay, when can I demo? Where do I put my credit card? I'll call you next week." The top-down motion is enthusiasm and optimism about this technology changing most things for most people who spend their days in front of a computer. You need that; it's a necessary condition because it unlocks three things: belief in a horizontal platform for exploration, the ability for security to be supportive rather than a blocker, and genuinely sometimes example-setting. We have founders and leadership teams asking, "How have you augmented your own workflows last week?" Leadership meetings are being asked, "How are you going to get better at answering some of your team's queries faster with us?" Once you have that, you have the right sandbox, the right petri dish.

I don't think we've fully cracked the builder identification, so right now, it's more like bait. The product is incredibly easy to use; anybody can create an assistant, even if they haven't been labeled a builder by their organization. It's just the sharing capabilities of their assistant that are somewhat throttled. We can see from the way people explore the product, create assistants for themselves, and share them with their teammates in a limited way, a great predictor of that type of personality. If you ask me to look at LinkedIn and predict who will be in that family, I'd say the number one discriminator is, to a degree, a bit ageist, but people who are maybe earlier in their careers, who have a mix of tasks that they know they can get an assistant to help with, have use case one laid out for them. People who have repetitive tasks and people who have scripted their way out of a lot of repetitive things before. Just to be explicit, like we had the conversation, I think it's okay to say it's people under 25. Like we were saying yesterday, the power users, the people using this all the time at companies, are people under 25 because they aren't set in their ways. That doesn't mean everyone; you can be 70 and constantly innovating in a new way, but in general, they don't have the pattern they've been set to. By the way, that's true of a lot of the next generation of productivity notions, which Pat works closely with. It's an under-25 power law type business. The teammates here under 25 keep pushing me to transfer over to Notion, and it's just a different type of thinking. It feels like a very similar motion at Dust.

I think one thing we have, which is useful, is the immense B2C success of ChatGPT as a now world-famous product. It has made it really easy to set up pilots by just telling teams, "Do you know what? Send a survey out, ask people how often they've used ChatGPT for personal use in the last seven days, rank by descending order, and that's your pilot team. That's the people you want to have poke holes and kick tires." We've asked the entire world to move from calculator technology—punch the same keys, you'll get the same result—to stochastic technology—ask the same question, you'll get a slightly different result. This has not happened. This is the biggest shift in the use of the tools we have since the advent of the computer. We're asking an entire cohort of the workforce to move to a stochastic mindset. The only way you get that is by having a risk-reward ratio that you're comfortable with. It's like, "You know what? I'm not asking it to be right 100% of the time. I'm asking it to give me a draft that saves me time many, many times over." That distribution of ROI is something I'm comfortable exploring and iterating on. I think that is really one of the predictors we see in people who've tried ChatGPT or are just curious about new technology. They expect that some of it will be a bit broken, but the upside scenario is so clear and so 10x that they're willing to make that trade-off or take that local risk to get things started.

You guys have a lot of strongly held beliefs, internally and externally, and the good news is you've consistently been right about them. You've named a few of them. You've talked about this shift from deterministic to stochastic way before it was mainstreamed. You talked about rasterization and vectorization. I think that can be unpacked if you'd like; it certainly would need unpacking on the show if we go down that rabbit hole. You talked about no GPUs before PMF, right? Can you walk through some of the beliefs that Dust lives by? It can either be philosophical, as a couple of these are, or tactical, like the no GPUs before PMF.

The first one is really the continued belief that focusing on the product is the right thing to do because it feels like we are only scratching the surface of what we can do with those models. Right now, we are starting from the conversational interface, so that's why you use the Slack analogy. I truly believe that analogy, the Slack analogy, will not sustain over time because the way we interact with that technology will change. It started with the conversational interface, but it will end in a very different place. Basically, those models are kind of the CPUs of the computer. The APIs and the tokens are really the Bash interface. What we're doing right now is merely inventing Bash scripts. We have yet to invent the GUI, multiprocessing, and so many things. We are really at the very beginning of what we can do from a product standpoint with that technology, whether it evolves or stays like this.

One word that I think is going to be important, and I feel recent news has actually helped confirm or is an interesting new drop in the bucket for, is the notion. One of our product models is augmenting humans, not replacing them. It's not just the naive version of saying, "We're not here to get people fired." It's really that we think there is a tremendous upside in giving people who will still have a job in 5 to 10 years the best possible exoskeleton. It's a very different kind of company and product conversation to be like, "All right, how many dollars are we going to take away from your Opex line next year?" versus "This is the number of latent opportunities that you are not able to explore as a business because your people are dragged down and pushing stale slideware around or not even knowing what dependencies they have on the rest of the company." This is how much friction you've imposed on the smart people you've spent so much money hiring because half of their day or part of their week is spent doing things that we should literally not be talking about in 2024.

That's one thing, and the thing that comes back to the dropper you've been saying from the beginning, Gabriel, is that in the beginning, you didn't use the word "productivity." You didn't want to use the word "productivity." I wonder if that shifted, and if so, the nuance around why you chose not to. I think productivity—there are two terms that I was hesitant on. Productivity, to me, sometimes feels like an optimization when really there are two ways to be productive: doing the same things and doing just better things. The mix effect of productivity is enshrined in effort versus impact. At the end of the day, your boss is never going to be mad if you spent no time doing the things you were assigned to do but brought in the biggest deal for the company. Nobody's actually going to make any comments on that being a bad decision because the more you grow in your career and the closer you are to the leadership of a company, the more you realize it's not about the effort; it's really about the impact. The impact comes in sometimes unplanned, hyper-polar, completely left-field ways where it's like, "Of course, we needed to focus on this," and it's clear in hindsight, but you need to free up time, space, energy, and mental cognitive space for that.

The other one was enterprise search. I just feel like enterprise search is one that we didn't want to put on the website because retrieval of information is obviously a use case that people are very excited about very quickly. But we're just very convinced that looking for the document is a step that people are not particularly passionate about. Nobody wakes up in the morning and is like, "So happy that I'm going to get the right document the first time around when I do the search." People just want to get their job done, and it just so happens that using context from three different documents across seven data silos helps them get it done faster or better. So I think the search bit is just never the job to be done. Nobody really wants to search; they want to complete, they want to prove, they want to test. But the search bit is a step that we think will get abstracted. Going back to Stan's point, I think that the interfaces and the experiences we have with this technology will really try to forget about what the original data source was quite fast, potentially once we've gone over the trust hurdles that exist today.

The thing that this all comes back to is collaboration—collaboration between human and non-human agents. I think projects by Anthropic are an amazing example here. We thought about co-edition last summer. We had an amazing intern from OM with us last summer who spent their time working on a co-edition interface. How do you chat with an assistant to make something you're thinking about better, whether it's an app, a project, a document, or a script? This is something that the recent release by Anthropic has made very palpable to many more people. That is, to me, the interface and the interaction that we need to get right, and that will be in the future. We say augmentation, and we'll stick to it because I think it really helps us focus on the interfaces that help humans and non-humans make progress faster. It's going to be about proposals. How do I get to have a human in the loop with a proposal that's written just in the right way to decide if we swipe left or swipe right on it? It's going to be co-edition. How do I have the language of the human in front of the assistant be as easy to interpret and as foolproof as possible for the final project to move into its final form as quickly as possible? You need that interface, that interaction between the agent and the human. You forget that when you replace too quickly. When you focus on just replacing and removing, you've built something that is fire-and-forget, essentially. You'll see the gains, you'll see the dollar gains, but if you've automated 100% of your customer support tickets, you still need the insights from what people are upset about. You still need to understand and have your finger on the pulse of why people are stuck. Otherwise, you're slowing down your product development efforts, and product development efforts today live and die by some of the comments that are coming in from support tickets. How you've made that problem go away and become maybe cheaper, sure, but also maybe virtual and harder to connect to is not, I think, a super long-term view of how your product and business are going to serve your customers best. You still need to think about the ultimate interfaces that are going to enable decision-making to make it better, strategic, and the best option for your customers in the future.

Keeping the human in the loop always—I mean, it is human-driven. The whole point of all of this technology that we are building is to serve humans better. As soon as you remove that, you've made a terrible mistake because someone else is not going to do that, and they're going to have a better experience with customers, employees, and stakeholders, and then they're going to win. Obviously, there are scenarios in which you're going to catch me and be like, "You know, this one, we know that humans get it wrong way more, and so we should obviously replace it." This is a complex, nuanced problem, so I'm sure there are certain areas where pure replacement has fully understood non-external, with no negative externality value. But I venture that we're pretty poor at modeling where value is created and how it's funneled through the parts of our company today. Economists have been great at showing that when you don't price negative externalities well, we end up in pretty messy situations. This is the question that I pose to leaders who are asking, "What should I automate first?" I'm like, "Well, I don't know which parts of the company you worry about the most." Often, I find that CEOs are panicked about what their customers say on support tickets. Making that problem go away, making that problem less visible, might be great for some OPEX conversations, and your stock price could have unforeseen consequences if you haven't funneled it through in the right places. But I think there's so much more to do than to shave 3% off your balance sheet. The spectrum of opportunity that you're giving your team, if this technology is in their hands and if they're able to come up with ideas, is broader than just firing people out of their jobs. I'm not saying you shouldn't do that. I don't want Dust to be perceived as naive in this ecosystem where the disruptive nature of this technology is going to take some people's jobs away because those jobs were currently being done by humans for lack of a better alternative. I think in certain situations, you could see those jobs as having been created because we were waiting for the robots, having been framed in a way that was because we were waiting for the robots. But I don't know that that's what leaders of companies are excited by. I think the upside, the future, the way in which we need to be resilient and antifragile for what's to come and what our competition is going to come up with—those are the ways in which energy and support should be fueled to support teams.

You guys are second-time founders. You started your first company over 10 years ago. You were an early acquisition of Stripe. You were there super early on. What have you learned and done differently this time as second-time founders?

I think really understanding that a few explosive bets are more likely to get you something meaningful than over-optimizing too early on something that is still meaningless in the market. That's one thing that I think we think about differently, like exploring versus exploiting and all those frameworks. That's one. I think the transparency, the trust, and empowerment that you give to your team—we weren't against it; it's more that we were clueless about how much more empowering you could be. One of the best words from my Stripe years was "paper trail." You had two people in a corridor have a conversation, and then one of them would take the time to just write a paper trail in Slack or in a document, saying, "You know what? We just had this exchange, and we've moved the needle in this direction." It saved other humans the time and effort to go into a meeting room or figure out that this decision had been made. It feeds a graph network of trust and respect for your co-workers that is second to none in how you can then just achieve more as a team. Culturally, you need to push that to begin with because especially people who are earlier in their careers will not always feel comfortable with how information should be shared. I think that's one where example is important.

Big markets that you really believe in for a long time—we loved technology when we started our first company like 12 or 13 years ago. I was like, "This is great, this is amazing, these are QR codes, everybody's going to use them." And it's like, "No, we have to wait for a pandemic to sell QR codes. Okay, I'll do that next time." Falling in love with the technology and not really fundamentally understanding how big the business could be if it's successful and asking that question early and unabashedly is one thing that I feel is different.

What we kept is our experience together. I think it's a natural advantage to having built a company with a person because you've explored everything. You've explored the beauty, the terrible, the joy, the pain, and you know pretty much the entire API in and out. That enables a much more efficient co-founding interaction and collaboration. I think it's a really big and fair advantage.

I think the biggest one that I think is completely different for me, and that Gabriel mentioned, is about empowering people. It's not you; it's not to you early, and it's to you to build and to build that initial spark. But then, for the sake of the company, you are not the one that has to build. You're the one that has to create an environment for people to be empowered to build those things and explore and create new stuff. The best value you can give is—I don't like to use that word, leadership was coming to mind—it's not necessarily leadership; it's really guidance and trying to create an environment where everyone has the chance to do what they want, but yes, in a guided environment so everything works as a whole. That would be the biggest difference and something that we learned about at Stripe.

So guys, let's move to a lightning round. We've got a couple of questions for you.

All right, lightning round question number one: Stan, you share these predictions for where the world of AI is going on Twitter from time to time. At this moment, what is your top contrarian prediction for where the world of AI is going? And don't give me this "a little bit of this, a little bit of that." Let's hear a point of view. What's your top contrarian prediction for where the world of AI is going?

Stan: I see it... It's a lightning round, so I have to say something. It's going to be tough. We know, I think we're on the verge of a pretty tough period. How so? The excitement will go down. Maybe it'll take time to get to the next stage of the technology. There's tremendous value to create, but people will not see it yet, and it'll take a long time for it to diffuse through society. So there is a massive amount of value to create, but we may have tough times in front of us.

All right, short-term pessimist, long-term optimist. I'll take it.

All right, lightning round question number two, and this is for both of you: Who do you admire most in the world of AI?

Stan: Ilya is just incredible. I've had the chance to work with him. He's my favorite person in AI. He's extremely smart, but he's not just a genius builder; he's a genius leader. He's just a visionary, and I think that would be an incredible career. I don't know him personally, but I admire him a lot. In terms of pure genius, I think it's Shimon and Yaku at Hope. They have crazy last names, so I'll let people look it up, but Shimon and Yaku are impressive. They've been around for a while, and they're acting as good resistance and condensator elements in the system. They're providing the friction to remain optimistic but cautiously so. To me, one of the first—I can't remember if it was a tweet or a podcast or an article—but hearing Yann say, "We can make pretty good decisions with a glass of water and a sandwich, and these things require power station-sized data sources and are not making great decisions on some things," so we feel something is missing. Elegantly putting that back into perspective has been interesting to me because it's hard not to cave to the hype. In some ways, pushing for a simple ideal like being open, which I think Yann is doing quite aggressively despite that not always being the easiest decision, and also saying, "We probably haven't solved everything all the time," is nice. From my personal experience, the researchers that have worked for or with him have learned and taken from that quite a bit. It's not French, but some touch of modesty and temperance I've appreciated in my discovery of the generative side of artificial intelligence. After 10 years of just doing prediction and classification from fraud and risk and onboarding at Stripe and healthcare claims management and things like that, it's nice to feel like there are some people who've seen a lot, done a lot, and are just questioning rather than affirming.

All right, so that brings me to the third and final lightning round question. You chose a Frenchman for your most admired. Gabriel and Dust is proudly made in France. Paris has been an epicenter, certainly an epicenter for all things AI. Your take on the Parisian ecosystem, and what do you want to say to the French founders listening to this podcast?

Gabriel: Other than I'm starting with English, it's their fault, not ours. I think the French system is awesome because, compared to where it was 12 or 15 years ago, it's our first company. We have talent because there's been a generation of scale-ups that went through the market and trained all that talent. Most recently, there's been an explosion of AI talent as well, which is super exciting. So I say it creates a pool of talent with the rights to create incredible companies. Obviously, tackling the US market from France is a challenge, and those are things to take into account, of course.

Stan: I think if you have ambition, there's a lot more to do. As long as you're not naive, where you know there are still some realities, you can fight some aspects of narratives, but you can't fight gravity, or at least you shouldn't. You should probably work with gravity way more than you should fight it. But there's a ton more we can do, and I think we have to behave a little more like tech countries like Israel, mixing ruthless ambition with a recognition of where talent is and how it's already connected and has high-trust connective tissue, which I think is a great catalyst and accelerant in making great companies happen. But a recognition of where the markets are, where people are buying, where people are paying, and how quickly people are making decisions on shifting to new technologies, especially in that space.

Gabriel: I think the biggest advice is, as a French founder, if you've always been in France, you have that feeling that something magical must be happening in the US, something special. There must be something special about those people. Well, I'll tell you, I've been at Stripe, I've been at OpenAI, I'm working with Sequoia. These are all normal humans. They don't have any magical capabilities; they're just like us. So it's really important to be ambitious and believe strongly that you can make it, you can do it, whatever it is, from France versus the US.


Wonderful, that's a good place to end it. Thank you, gentlemen.

Thank you, guys.

[Music]

Мы попросили весь мир перейти от технологии калькуляторов, где вы нажимаете одни и те же клавиши и получаете один и тот же результат, к стохастической технологии, где задавая один и тот же вопрос, вы получаете немного разные результаты. Этот переход еще не полностью произошел, но он представляет собой самое значительное изменение в использовании инструментов с момента появления компьютера. Мы просим целую когорту рабочей силы принять стохастическое мышление. Единственный способ достичь этого — установить соотношение риска и вознаграждения, с которым люди будут комфортны. Речь идет о том, чтобы сказать: «Мне не нужно, чтобы это было правильно на 100% времени; мне нужно, чтобы это давало черновик, который экономит мне время многократно». Это распределение ROI — то, что я готов исследовать и улучшать. Я считаю, что это один из ключевых предикторов успеха для тех, кто пробовал ChatGPT или интересуется новой технологией. Они ожидают, что некоторые аспекты будут несовершенны, но потенциальная выгода настолько очевидна и значительна, что они готовы пойти на этот компромисс или принять этот локальный риск, чтобы начать.

[Музыка]

Добро пожаловать в Training Data. На этой неделе мы приветствуем Габриэля Юбера и Станисласа Почона, соучредителей Dust, единого продукта для создания, обмена и развертывания персонализированных AI-ассистентов на работе. Основанная в начале 2023 года после многих лет работы в Stripe и OpenAI, компания Dust была создана вторыми основателями Гейбом и Станом с убеждением, что одна модель не будет править всеми, и что мультимодальная интеграция будет ключом к максимизации ценности AI-ассистентов. Они рано поняли, что доступ к проприетарным данным в изолированных хранилищах данных будет решающим для раскрытия полного потенциала AI, и они понимают важность сохранения этих данных в тайне. Мы работаем вместе уже 18 месяцев, и их прогнозы были постоянно точными. Сегодня мы решили спросить их об этих прогнозах. Мы рассмотрим их точку зрения на то, как они видят развитие ландшафта моделей, важность фокуса на продукте вместо создания проприетарных моделей и то, как AI может дополнять, а не заменять человеческие возможности.

Стан, Габриэль, добро пожаловать в Training Data.

Стан: Спасибо, рад быть здесь.

Габриэль: Да, спасибо, Константин, очень рад быть здесь.

Константин: Первое, что я хочу спросить: вы начали эту компанию в начале 2023 года. В то время казалось, что одна модель может править всеми, и эта модель, вероятно, была GPT-3.5. Я не знаю, вышла ли уже GPT-4, но она была значительно впереди, и люди были поражены. Вы выступили с довольно контркультурным мнением, что на самом деле будет много моделей, и что возможность их объединения и выполнения сложных рабочих процессов на их основе будет важна. До сих пор вы были полностью правы. Как вы обрели уверенность в этом решении полтора года назад?

Стан: Я думаю, было ясно, что многие лаборатории уже появлялись. Это не было очевидно для широкой аудитории, но для тех, кто понимал динамику рынка, было ясно, что конкуренция назревает. В результате будет ценность в том, чтобы позволить людям быстро переключаться с одной модели на другую, чтобы получить наилучшую ценность в зависимости от их случаев использования.

Габриэль: С точки зрения пользователя, возможность быстро оценивать и сравнивать, безусловно, важна. Мы уже видим разговоры, где уровни проверки и чувствительности безопасности обрабатываемых данных могут влиять на различные случаи использования. Мы с интересом наблюдаем, как люди рассматривают возможность запуска меньших моделей на устройствах для некоторых случаев использования. Вы можете представить себе мир, где вы хотите переключаться между вызовом API к передовой модели для менее чувствительных задач и меньшими усилиями по классификации или суммаризации, которые могут быть выполнены локально, в то время как интерфейс для вашего агента или ассистента остается тем же. Это переключение требует слоя поверх моделей.

Константин: Вы всегда были правы в этом, как вы это предсказывали. Многие из ваших прогнозов за последние пару лет были неочевидными, а затем правильными. Я думаю, это все еще не очевидно — что будет много моделей, некоторые локальные, некоторые через API, и что клиенты захотят выбирать между ними или иметь некоторый контроль. Почему вы думаете, что это будет так? Почему это не абстрагируется каким-то маршрутизатором или гипервизором? Будете ли вы этим гипервизором?

Стан: Есть действительно два режима работы, если вы думаете о будущем. Это бимодальное распределение. В одном сценарии технология, как она существует сегодня, продолжает быстро развиваться, и все еще будет конкуренция от крупных лабораторий из-за невероятной потребности в GPU для создания более крупных моделей. В этом мире динамика переключения на лучшую модель в момент времени T останется верной на долгое время, пока мы не достигнем конца этой динамики. Затем есть гипотеза, что технология плато, в этом случае это не будет одна модель, а множество моделей, и в конечном итоге у каждого будет своя модель. На вашем MacBook M6 вы сможете обучить GPT-6 за несколько часов через пару лет. В этом мире необходимость в маршрутизаторе исчезает, потому что технология становится товарной, и у каждой компании будет своя модель.

Константин: Итак, вы строите бизнес, где вы выигрываете независимо от того, в какой мир мы идем. В какой мир, по вашему мнению, мы идем?

Стан: Это сложно. С точки зрения возможностей моделей, мы видели или воспринимали, что экосистема быстро развивалась за последние два года. Мы видели поддержку большего контекста, поддержку аудио, поддержку изображений и многое другое. Но основное, что имеет значение для изменения мира, — это возможности рассуждения этих моделей. Текущие возможности рассуждения были довольно стабильными за последние два года. Они находятся на уровне GPT-4 в конце его обучения, что было примерно два года назад. Это означает, что с точки зрения возможностей рассуждения, это было несколько стабильно.

Константин: Подождите. Есть точка зрения Кевина Скотта, что на самом деле происходит экспоненциальный прогресс, но вы можете его наблюдать только время от времени. В отсутствие недавнего образца люди интерпретируют это как стабильное, когда на самом деле это просто ошибка выборки. Вы думаете, он прав? Вы думаете, что есть экспоненциальный прогресс, который мы просто еще не видели, или вы думаете, что это асимптотическое и прорывы в рассуждениях не прогрессировали с той скоростью, на которую можно было бы надеяться?

Стан: Насколько я понимаю, у меня есть сильное ощущение, что это не двигалось так быстро, как я ожидал в своих самых оптимистичных взглядах на технологию. Вот почему я позволяю себе рассматривать разные сценарии. Один из ваших прогнозов на 2024 год заключается в том, что у нас будет крупный прорыв в рассуждениях. Вы думаете, что это произойдет?

Стан: Это будет сложный вопрос, потому что это еще не произошло. Даже GPT-5 или GPT n+1 или Claude n+1, неважно, кто первым это решит, еще не вышли. Есть много причин полагать, что это может быть не основное технологическое ограничение. Вы можете сделать много гипотез о том, почему это может занять время. Масштаб кластеров, необходимых для обучения следующего поколения моделей, огромен, и это связано с большой сложностью с точки зрения инфраструктуры и программирования. GPU часто выходят из строя, когда вы масштабируете до такого количества GPU на кластер, и обучение очень синхронно по всему кластеру. Возможно, просто масштабирование до следующего порядка величины необходимых GPU очень, очень сложно. Это не было бы внутренним ограничением; это просто этап, на котором мы учимся переходить от Red 1 к Red 5, но для GPU.

Константин: Стан, вы были в OpenAI в критический момент времени. Люди знают вас по опыту Dust, но вы были ключевым исследователем в OpenAI с 2019 по конец 2022 года. У вас есть множество замечательных публикаций, некоторые из которых связаны с математикой и AI, над которыми вы работали с Ильей Суцкевером и командой OpenAI. Вы думаете, что математика будет важна для этого типа прорыва в рассуждениях, или это ортогонально? Это что-то, что мы на самом деле будем изучать на текстовых языковых данных?

Стан: Я остаюсь вполне убежденным, что это отличная среда для изучения. Это была гипотеза, которую мы имели в то время с Гийомом Ламплем, который затем основал Mistral. Он работал в FAIR над теми же темами, и наша мотивация была общей. Мы были друзьями, соревнующимися в рабочем пространстве, но действительно вдохновленными идеями. Идея заключалась в том, что математика, особенно в своей форме формальной математики, которая дает вам идеальную проверку, является уникальной средой для изучения возможностей рассуждения и их продвижения, потому что у вас есть проверяющий. Вы не ограничены необходимостью проверки предсказаний модели людьми в неформальной установке. Эта проверка, вероятно, должна что-то разблокировать в какой-то момент. Это еще не произошло по многим причинам, но в какой-то момент это должно что-то разблокировать. Поэтому я остаюсь чрезвычайно оптимистичным в отношении изучения математики и формальной математики и LLM.

Габриэль: Я помню, как вы представляли это мне, когда я все еще осваивался, как математика как дверь к программному обеспечению, программное обеспечение как дверь к остальному. Вы начали с некоторых критических систем, которые были единственными, которые были вручную доказаны и проверены, как пример того, насколько более дорогостоящим было делать это вручную, чем машиной, и как указание на будущие выгоды, которые мы могли бы ожидать от возможности расширения этого и демократизации.

Константин: Вы видите много действий через вызовы API Dust. Когда вы создаете ассистента Dust, вы можете выбрать, какой тип базовой модели использовать. Вы можете вызвать множество различных моделей. Я часто вызываю не только Claude 3, но и GPT-4 и ассистента Dust, и в своих пользовательских ассистентах я выбираю один из множества вариантов. Что вы видите с точки зрения тенденций? Что работает действительно хорошо? Лично я был очень впечатлен моделями Anthropic в последнее время, но у вас есть гораздо более близкий взгляд на это.

Стан: Итак, слово предостережения о тенденциях: у вас будут обычные когнитивные предвзятости. Трава всегда зеленее, и люди захотят переключиться, чтобы просто увидеть, как это выглядит на другой стороне. Когда вы наблюдаете эти переключения, вы не обязательно наблюдаете убеждение, что модель на другой стороне лучше; вы наблюдаете убеждение, что люди хотят попробовать. Но это правда, что мы получили отличные отзывы о последнем выпуске Claude, и эмпирически мы видим некоторую приверженность этой модели в нашей пользовательской базе. Слухи говорят, что для некоторых приложений кодирования Code Llama работает очень хорошо. Мы еще не сделали его доступным через Dust, но мы...

Габриэль: Он был сделан доступным вчера.

Стан: Ах, вот и все. Извините, видите, это то, что вы получаете за то, что находитесь в Сан-Франциско и просыпаетесь в 7 утра. Итак, Code Llama, по-видимому, действительно интересен для некоторых возможностей кодирования. Затем вы должны смешать это с фактическим опытом, который получают люди. Рассуждение не может быть полностью независимым от задержки. Задержка в некоторые моменты прошлого года могла использоваться для определения времени в Сан-Франциско. Вы могли буквально видеть задержку в API, когда люди просыпались на Западном побережье. У людей есть случаи использования, которые могут быть более или менее терпимы к этим. Мы охватываем модели Gemini, модели Anthropic, OpenAI и Mistral прямо сейчас, и мы видели некоторый интерес к переходу от по умолчанию, который, когда мы впервые запустили, были моделями OpenAI. Не сказать, что GPT-4 не работает очень хорошо.

Константин: За последний год было много энтузиазма по поводу моделей с открытым исходным кодом. Это на самом деле один из ваших прогнозов, Стан. У вас есть эти замечательные прогнозы каждый год о AI, и я всегда с удовольствием их читаю. Один из них заключался в том, что в какой-то момент в этом году модель с открытым исходным кодом займет кратковременное лидерство по качеству LLM. Это, похоже, еще не произошло, и также кажется, что энтузиазм вокруг моделей с открытым исходным кодом по сравнению с закрытыми моделями, возможно, немного замедлился. Может быть, вернемся к той точке зрения Кевина Скотта о выборке в дискретные моменты времени, а не в непрерывные, мы просто еще не видели этого. Куда, по вашему мнению, пойдет экосистема с открытым исходным кодом? Она действительно в какой-то момент превзойдет экосистему с закрытым исходным кодом?

Стан: Это перекликается с тем, что мы сказали ранее. В этом бимодальном распределении есть один сценарий, где открытый исходный код никуда не идет, и есть один, где открытый исходный код выигрывает все. Если технология плато, открытый исходный код, очевидно, догоняет, и в конечном итоге каждый может обучить свою высококачественную модель самостоятельно. В этот момент нет ценности в использовании проприетарных моделей. Так что есть сценарий, где открытый исходный код является победителем в конце, что было бы забавным поворотом событий. В текущей динамике правда, что открытый исходный код пока отстает. Тот, кого нужно упомянуть, это действительно усилия Facebook или Meta, потому что у них есть все необходимое для обучения отличной модели, и они выпускали каждую модель очень открыто. Это захватывающе видеть, что выйдет от них в ближайшие несколько месяцев, чтобы, возможно, сделать прогноз верным. Оговорка заключается в том, что, предполагая, что лучшие модели являются самыми большими, что является несколько безопасным предположением, это означает, что модель будет огромной. Даже если она с открытым исходным кодом, никто не сможет ее запустить, потому что это будет стоить слишком много денег. Вам понадобятся GPU только для выполнения вывода, и это действительно затруднит использование этих моделей, даже если они лучше в текущем состоянии дел с точки зрения стоимости их запуска в точке потребления.

Габриэль: Это интересно, потому что это означает, что у вас все еще может быть мир, где есть большой спрос на вывод на основе API, независимо от того, контролируется ли модель на другом конце, размещена ли она, имеет ли открытые веса, что угодно, просто из-за технических возможностей для выполнения этого.

Константин: Одно из ваших основополагающих предположений, связанных с качеством и производительностью моделей, и это возвращает нас почти на два года назад, заключалось в том, что даже два года назад модели были достаточно мощными и потенциально экономически жизнеспособными, чтобы вы могли разблокировать огромный диапазон уникальных и убедительных приложений на их основе. Узким местом даже в тот момент было не обязательно качество модели, а скорее продукт и инженерия, которые могут происходить на основе модели. Я не знаю, является ли это консенсусной точкой зрения сегодня. Мы все еще слышим много людей, которые ждут, когда модели станут лучше, чтобы это стоило того. Мы, кстати, согласны с вами. Вопрос в том, что вы увидели в 2022 году, что дало вам эту точку зрения? Если мы перемотаем вперед до сегодняшнего дня, каким был ваш жизненный опыт развертывания этого в предприятии с точки зрения того, где находятся разблокировки продукта и инженерии, которые необходимо сделать, чтобы воплотить это в жизнь?

Стан: Моей отправной точкой для ухода из OpenAI было увидеть и поиграть с GPT-4. Это исходило из двух очень противоречивых мотиваций. Первое было, как я уже сказал, это безумно полезно. Никто об этом не знает, никто не может это использовать, и все же это существует. Буквально это почти уже в API. В то время это был GPT-3.5 в API, который был немного меньшей версией GPT-4, но на тех же данных обучения. Это была безумно хорошая модель, и это была базовая модель Codex. Она была намного лучше, чем ChatGPT, и была доступна в API. Тем не менее, ARR OpenAI был смехотворно мал в то время, практически не существовал по всем стандартам того, что мы видим сегодня. Это была мотивация. Очень противоречивая мотивация, которую я поделился с Габриэлем в то время, заключалась в том, что если эта технология дойдет до AGI, это последний поезд, чтобы создать компанию. Мы лучше сделаем это прямо сейчас, потому что в противном случае в следующий раз будет слишком поздно. Я абсолютно не ответил на ваш вопрос, но позволю Габриэлю ответить на вопрос.

Габриэль: Я думаю, что меня взволновало, и когда мы начали мозговой штурм по способам развертывания этой сырой способности в мире, где имело смысл копать, это было одно понимание некоторых ограничений гипер- и тонкой настройки в то время. Люди много говорили о тонкой настройке, и многие консалтинговые фирмы продавали много слайдов, которые по сути говорили крупным компаниям потратить много денег на тонкую настройку. Две вещи, которые меня зацепили, это Стан, который сказал: «Во-первых, это дорого, и вы делаете это регулярно, и никто не знает, что им придется делать это регулярно. Во-вторых, это действительно не та идея для большинства вещей, которые люди взволнованы тонкой настройкой». В частности, тонкая настройка на данных вашей компании — это плохая идея, в отличие от, возможно, иногда тонкой настройки на некоторых конкретных задачах, где вы можете увидеть выгоды. Идея о том, что привнесение контекста компании, который, очевидно, является одержимостью каждой реальной компании — как это работает для меня, как я могу заставить это работать так, как мне нравится, — будет происходить с технологиями, которые не просто изменяют саму модель, а скорее контролируют данные, к которым она имеет доступ, контролируют данные, к которым имеет доступ любой из ее пользователей. Это несколько гибридные модели между новым миром и старым миром. Очень старая версия этого заключается в том, что держатели ключей остаются теми же. CISO — это тот, кто решает, как новая технология будет доступна членам компании, какие ограждения установлены, какая наблюдаемость доступна командам для измерения ее воздействия и любых утечек данных. Это старые проблемы программного обеспечения, но они все еще должны быть развернуты на очень новых интерфейсах, потому что интерфейсы теперь — это эти ассистенты, эти агенты. Некоторые из новых проблем связаны с контролем доступа. Выглядят ли и ощущаются ли контроли доступа так же в мире, где половина действий выполняется не людьми? Я могу захотеть иметь доступ к файлу, который, например, 2020 года. Есть ли у меня доступ к файлу, да или нет? В 2024 году это как, ну, возможно, ассистент может иметь доступ к файлу и может дать мне его краткое содержание, которое исключает некоторую критическую информацию, к которой я не должен иметь доступ, но все же дает мне доступ к некоторым из ключевых моментов принятия решений, которые важны для меня, чтобы двигаться дальше в моей работе. Этот набор примитивов, этот набор нюансов просто не существует в том, как документы хранятся сегодня. Если вы думаете о развертывании этой способности в реальной среде, где люди все еще будут сталкиваться с этими контролями и ограждениями, продуктовый слой на самом деле очень толстый. Слой приложения для построения логики и удобства использования для обеспечения производительности, но также и принятия, довольно толстый. Это был подход, чтобы сказать, хорошо, здесь есть много работы. Мы можем начать.

Константин: Может быть, вы можете углубиться в это, потому что, когда мы пересеклись во втором квартале 2023 года, в первом-втором квартале 2023 года, многие люди все еще начинали эти компании с основными моделями. У вас было очень конкретное мнение, что будущее — это уровень приложений, и под капотом будет происходить много всего. Мы просто будем абстрактным слоем поверх этого и позволим вещам происходить по мере их возникновения. Мы добьемся успеха в любом случае, создав что-то, что люди действительно используют и любят в первую очередь. Как вы обрели уверенность в этом? Во-вторых, как это развивалось? Что было сложным в этом? Вы упомянули CISO и предприятие, и развертывание на предприятии. Вы были далеко впереди кривой на RAG. Все говорили о тонкой настройке, но вы сделали так много в плане извлечения. Это было до того, как это даже называлось так, действительно извлекая и принимая умные решения о информации. Пройдите нас через шаг за шагом от идеи уровня приложений до того, где вы находитесь сегодня.

Габриэль: Вы можете представить себе уверенность в уровне приложений, существующую в мире, где вы все еще решаете построить передовую модель. Причина, по которой мы разделили эти два, заключается в том, что это казалось большим количеством денег за большой риск. Я имею в виду большое количество денег за большой риск, чтобы попытаться разработать передовую модель или эквивалент передовой модели, и также сделать ставку на то, как она будет распространяться. Наш внутренний лозунг был «никаких GPU до PMF». Мы не видим ценности в обучении нашей собственной модели, пока мы действительно не знаем, на какие случаи использования она будет развернута. Есть гораздо более дешевые способы исследовать и подтвердить, какие случаи использования действительно принесут наибольшую ценность и создадут наибольшую вовлеченность. Вторая причина заключалась в этом противоречии данных. Тот факт, что даты отсечения для обучения на данных интернета трудно установить непрерывно, тот факт, что вы не можете действительно получить внутреннее понимание того, что произошло на прошлой неделе в передовой модели, означает, что тонкая настройка — это сложная проблема, которая не решена в масштабе. Если вы идете от этого убеждения назад, это означает, что есть много случаев, где это не решено, поэтому другая технология должна быть той, которая доставляет большую часть выгод. Извлечение небольшого куска контекста из документов, где он находится, и его подача в сценарий, рабочий процесс, для которого вам нужна помощь, одна из тенденций, которая казалась интересной, заключалась в том, что многие решения требуют ограниченного количества контекста и информации, чтобы значительно улучшиться. Контекстные окна в то время, которые были маленькими, уже были совместимы с некоторыми сценариями, говоря, давайте просто принесем информацию. То, что мы видели за последний год, конечно, это увеличение размера этих контекстных окон, что просто упрощает предоставление всех правильных данных, не более чем правильных данных, надеюсь, возможностям рассуждения передовой модели. То, что мы испытали, это, во-первых, требуется время, чтобы люди поняли эти различия. Это сложно, и вы должны регулярно выходить из своего пузыря, чтобы осознать, что это правда. Будущее еще не равномерно распределено, и у людей разные предположения о том, что значит развернуть AI внутри компании или развернуть возможности этих передовых моделей в их рабочих процессах. Вы должны вернуть их к тому, что они действительно заботятся, что всегда очень простые вещи. Я хочу работать быстрее, я хочу знать, что я упускаю, я хочу быть более продуктивным или более эффективным в некоторых задачах, которые я нахожу повторяющимися. Затем только принесите объяснение того, какая технология решит это, когда это абсолютно необходимо, потому что люди будут беспокоиться о своем опыте и о том, как они себя чувствуют, больше, чем о том, как это работает под капотом 99% времени. Большое понимание, которое произошло, и которое, я думаю, мы склоняемся к, мы были в течение некоторого времени, и это здорово видеть, что часть рынка также делает это, это то, что люди действительно хороши в распознавании, какой инструмент им нужен в наборе инструментов. Я думаю, что мы недостаточно уважали пользователей, говоря, что вам нужен один пользователь, который делает абсолютно все, и проблема маршрутизации должна быть полностью абстрагирована от вас. Вы должны задать этот вопрос одному оракулу, и оракул ответит. Люди довольно комфортно различают отвертку от молотка, и когда они хотят приступить к работе и им нужна отвертка, они очень разочарованы, когда то, что они получают, это молоток, и это звучит как ответ молотка. Специализация агентов, специализация ассистентов и упрощение этого процесса, проектирование, развертывание, мониторинг, итерация, улучшение — все эти глаголы, которые требуют поверхности продукта, — это было быстро очевидно для нас, что люди были очень комфортны с этим. Вопрос номер один, который заставил нас почувствовать, что у нас есть понимание, на которое можно опереться и склониться, был каждый, кто спрашивал нас о Dust, был одержим топовым случаем использования. Как люди используют это больше всего? Какой топовый случай использования в компаниях? Я почти мог видеть глаза Amazon, пытающиеся решить, какой diapers.com они собираются вертикализировать и интегрировать, какой вертикализированный случай использования мы теперь должны построить как специализированную версию этого. Я думаю, что полная история — это фрагментация. Я думаю, что история заключается в том, чтобы дать команде или компании инструменты, чтобы увидеть возможности для улучшения рабочих процессов, дополнения и понимания кирпичиков Lego, которые помогут им в этом. Вместо того чтобы инкапсулировать технологические кирпичики, которые впереди, и абстрагировать их от пользователей, предоставление их на правильном уровне дает людям гораздо больше автономии и действительно просто возможность разрабатывать вещи, о которых мы никогда не думали. Некоторые из сценариев, которые возникли, мы буквально не могли себе представить.

Константин: Эта идея имеет смысл, как фрагментация и предоставление людям кирпичиков Lego, чтобы увидеть, какие случаи использования возникают. Просто чтобы сделать это немного реальным, можете ли вы поделиться парой случаев использования, которые вы видели в своей клиентской базе, которые были уникальными или удивительными или особенно ценными? Просто что-то, чтобы сделать это немного более осязаемым.

Габриэль: Очевидно, что есть множество вещей, о которых люди думают. Категория очевидных случаев использования, которые были интересно и быстро развернуты, — это поддержка команд продаж, команд поддержки и команд маркетинга. Это, по сути, извлечение контекста и генерация контента. Мне нужно ответить на тикет, мне нужно понять, каков ответ на тикет, и сгенерировать черновик для тикета. Мне нужно поговорить с клиентом, мне нужно понять, в какой вертикали они находятся и как наш продукт решает их проблемы, и сгенерировать электронное письмо для последующего ответа на их возражения. Мне нужно подготовить блог-пост, чтобы показать, как мы отличаемся от рынка. Опять же, я собираюсь углубиться в то, что делает нас особенными, и сгенерировать с нашим тоном голоса. Это были довольно очевидные и ожидаемые случаи. Что меня взволновало, так это увидеть два типа вещей. Во-первых, очень индивидуальные ассистенты, личные коучи. Люди, в основном довольно молодые люди в первые годы своей карьеры, спрашивающие совета на еженедельной или ежедневной основе. Как я справился сегодня по сравнению с моими целями? Где, по вашему мнению, я должен сосредоточить свое внимание в ближайшие дни? Можете ли вы на самом деле разбить мои взаимодействия в Slack и в Notion за последние пару дней и сказать, где я мог бы быть более кратким? Я получаю отзыв, что иногда говорю слишком теоретически. Можете ли вы указать на способы, которыми я могу улучшить это в этих двух заметках, которые я собираюсь отправить? Это захватывающе, потому что наша ставка заключалась в том, чтобы сделать каждого строителем. Мы хотим, чтобы каждый мог видеть, что начать не так уж и сложно. Уменьшая энергию активации, чтобы увидеть небольшие выгоды сразу, а не ждать следующей модели или следующей версии, которая действительно решит все для них. Личные случаи использования были отличными. Вторая семья случаев использования, которые меня взволновали, — это, по сути, межфункциональные. Где изоляция данных существует, потому что функции не говорят на одном языке, они говорят на одном языке, но не говорят на одном языке. Понимание того, что произошло в кодовой базе, когда вы не знаете, как кодировать, мощно. Наличие ассистента, который переводит на простой английский, что делает последний pull request, который был объединен, мощно. Это мощно для людей, которые были заблокированы в своей работе, не знали, кого они должны беспокоить, чтобы получить обновление. Маркетинг для инженерии, продажи для инженерии. Другие сценарии — это извлечение технической информации из длительного звонка по продажам. Это мощно, потому что это означает, что инженеру не нужна абстракция PMM или PM, чтобы получить самородки из последнего звонка с ключевым клиентом. Они могут просто сосредоточить внимание ассистента на этом типе контента на своем собственном проекте и получить эти обновления. Я бы сказал, что это семья ассистентов, которые нас взволновали, потому что они действительно представляют, я думаю, будущее того, как мы хотели бы, чтобы быстро движущиеся, хорошо работающие компании работали. Где данные, которые полезны для вас, и решения, которые вы должны принять, всегда доступны. Вам не нужно беспокоиться о том, какая функция решила это или создала это. Вы можете получить к ним доступ, и эта плавность потока информации через компанию помогает вам принимать лучшие и более быстрые решения день за днем. Есть ли другие примеры, которые я упускаю, Стан, которые, по вашему мнению, вас взволновали?

Стан: Нет, я думаю, что я хотел добавить, это то, что, как вы сказали, использование чрезвычайно фрагментировано. Мы видим снова и снова один и тот же сценарий, и у нас есть данные, чтобы поддержать это предложение. Мы построили Dust как песочницу, что делает его чрезвычайно мощным и чрезвычайно гибким, но также имеет сложность, делая активацию наших пользователей не тривиальной. Когда у вас есть горизонтальный продукт, похожий на песочницу, вы говорите: «Да, но для чего?» Обычно пилотная фаза, которая идет с нашими пользователями, начинается с четко определенных случаев использования. Они действительно пытаются задать вопрос, какие случаи использования они должны заботиться о своей компании и пытаются определить пару из них. Мы всегда видим один и тот же шаблон. Первый случай использования развертывается, использование начинается. Мы пытаемся двигаться в сторону другого случая использования. Второй случай использования развертывается, использование немного увеличивается. Затем мы обычно проходим через фазу, где использование как бы плоское, медленно увеличивается. В конечном итоге оно достигает критической массы использования, и внезапно оно взлетает до чего-то вроде 70% компании. Это шаблон активации наших пользователей. Взлет до 70%, использование увеличивается, и первоначальные случаи использования, которые были определены заинтересованными сторонами, становятся просто анекдотичными по сравнению с остальным использованием. Вот где мы чувствуем, что Dust предоставляет всю ценность. Очень трудно знать для нас, какие все эти случаи использования, потому что у нас есть примеры компаний с несколькими сотнями людей и несколькими сотнями ассистентов. Просто трудно ответить на вопрос: «Какие лучшие случаи использования?»

Константин: Это отличные примеры, и это вызывает в памяти аналогию, которую я хотел бы попробовать на вас, ребята. Вы можете отвергнуть эту аналогию, но это то, что только что появилось в моем мозгу. Многие из этих случаев использования, которые вы описали, вы могли бы представить себе, что вокруг этих случаев использования строится какое-то вертикальное приложение. Аналогия, которая приходит на ум, заключается в том, что существует множество вертикальных приложений, и все же где происходит много работы? В электронных таблицах. Почему это происходит в электронных таблицах? Все знают, как использовать электронную таблицу. Они гибкие, вы можете настроить их по своему усмотрению. Аналогия, которую я задаюсь, заключается в том, является ли это почти как электронная таблица будущего? Некоторые из этих приложений могут быть выделены в вертикально-специфические приложения, но даже тогда люди все равно будут возвращаться к личному агенту, потому что он там, он доступен, у него есть доступ к вашим данным, он знаком, вы знаете, как его использовать, и вы можете быстро и просто и эффективно построить то, что хотите. Является ли это разумной аналогией для того, что это такое?

Габриэль: Я думаю, что это удивительная аналогия для другой вещи, о которой я думаю, это то, что мне потребовалось больше всего времени, чтобы заставить Стана использовать электронные таблицы, когда мы начали работать вместе. Это было давно, как 20 лет назад, 15 лет назад. Затем в какой-то момент Стан использует это для чего-то и говорит: «О, вау, это как крутой интерфейс REPL, где вы можете просто получить результаты своих функций в реальном времени». Я сказал: «Да, так это работает». Он говорит: «Это крутой интерфейс REPL для не инженеров. Я теперь понимаю». Я думаю, что это также интересно для этого. Стоимость экспериментов очень низкая. Если вы думаете о том, как некоторые из наших клиентов пытаются описать выгоды, которые они испытывают или видят, их волнение за будущее заключается в том, что некоторые функции имели 80% прирост производительности, некоторые функции видят 5% прирост производительности, и мы даже не уверены, что измеряем их правильно, но мы видим выгоды. Когда специализация ассистента достаточно близка к фактическому рабочему процессу, который он может дополнить, проблема распределения этого с вертикализированным набором ассистентов почти невозможно решить. Как вы собираетесь так глубоко проникнуть в эту функцию в то время, когда бюджеты ограничены, принятие решений о том, какая технология будет подходящей, иногда сложно, когда иногда это то, где прирост производительности наиболее очевиден? Один из наших пользователей увидел, как 8000 часов в год сэкономлены на двух рабочих процессах для расширения в страну, где они решили не иметь штатной команды. Избавляя вас от некоторых скучных деталей, возможность просматривать веб-сайты, сравнивать их с документами о регистрации на иностранном языке, иметь проверяющий политику, который делал определенное количество контрольных точек очень ясными для агентов, которые проверяли учетные записи, все на языке и в географии, с которыми никто из этих людей еще не был знаком, потому что они действительно исследовали страну. Немедленные выгоды, очень легкая итерация на первой версии ассистента, две недели, чтобы запустить его в производство, развернуть его для трех человеческих агентов, которые затем были поддержаны этими ассистентами. Их CTO делится: «Мы видим более 600 часов в месяц». Я думаю, что наше ценообразование ужасно, но что меня взволновало, так это то, что этот случай не мог быть исследован или обнаружен с вертикализированным движением продаж, потому что я просто не знаю, как вы доберетесь до этого довольно младшего человека в конкретной команде и действительно сможете предложить им и развернуть это быстро. Тогда как если у вас есть эта общая инфраструктура, которую люди понимают, не все знают, как делать суммирование продуктов, не все знают, как делать сводную таблицу, но все понимают, что они могут просто поиграть с базовыми вещами и, вероятно, получить помощь от кого-то рядом с ними. Это другая вещь, которую мы видели. Карта строителей внутри компаний, эта тепловая карта людей, удивительна, потому что она выделяет тех, кто увлечен итерацией, исследованием и тестированием новых вещей. Это хорошо коррелирует с высокой производительностью или высоким потенциалом в будущем. Это как будто Dust ищет потенциал и талант в ваших командах, потому что люди, которые используют его больше всего, — это те, кто комфортно говорит: «Я не чувствую угрозы от чего-то, что уберет скучную и повторяющуюся часть моей работы. Я рад, что это уйдет, и я смогу сосредоточиться на задачах с высокой ценностью».

В первые шесть месяцев я был одним из самых громких голосов, спрашивающих: «Какой основной случай использования?» Думаю, вы слышали это много раз. В конце концов, я понял, что это примитив. Мы говорим о электронных таблицах; вы могли бы говорить о текстовом документе или офисном пакете. Когда я взаимодействую с Dust, я думаю об этом как о Slack, только я не общаюсь с коллегами — я общаюсь с ассистентами, и они действительно выполняют эту работу за меня. Я могу показать им, какую работу нужно сделать, так что это ощущается, Пэт, к твоей точке зрения, как электронная таблица, сочетающаяся с эргономикой Slack, поскольку она предоставляется мне, а не я иду к ней. Мне потребовалось время, чтобы прийти к этому, и теперь я вижу, как фрагментация является силой того, что вы преследуете.

Габриэль, у меня есть быстрый вопрос о психографике вашего пользователя. Ваш комментарий о том, что это как поиск людей, которые амбициозны и инновационны — у вас есть для них название? Давайте назовем их «создателями», людьми, которые не боятся пробовать новые вещи и строить что-то. Вы разработали систематический способ находить этих людей, или они находят вас через сарафанное радио или каким-то другим способом? Профили LinkedIn не говорят «Габриэль, создатель», верно?

Я думаю, что это супер интересный вопрос на нескольких уровнях. Наше движение двойное. Вещи, которые предсказывают отличный результат с Dust — я выхожу из ядра и пытаюсь подумать о том, что было самым мощным в этом звонке, который у меня был вчера с директором по персоналу и системам компании, который не мог перестать перебивать меня через пять минут после начала моей презентации. «Да, я уже говорил об этом. Да, я уже писал об этом. У меня есть блог-пост на эту тему. Хорошо, когда я могу продемонстрировать? Куда мне ввести данные кредитной карты? Я позвоню вам на следующей неделе». Движение сверху вниз — это энтузиазм и оптимизм по поводу того, что эта технология изменит большинство вещей для большинства людей, которые проводят свои дни перед компьютером. Вам это нужно; это необходимое условие, потому что оно разблокирует три вещи: веру в горизонтальную платформу для исследований, возможность для безопасности быть поддерживающей, а не блокирующей, и иногда действительно пример для подражания. У нас есть основатели и руководящие команды, которые спрашивают: «Как вы улучшили свои рабочие процессы на прошлой неделе?» Руководящие встречи спрашивают: «Как вы собираетесь улучшить ответы на некоторые из запросов вашей команды быстрее с нами?» Как только у вас это есть, у вас есть правильная песочница, правильная питательная среда.

Я не думаю, что мы полностью разобрались с идентификацией строителей, так что сейчас это больше похоже на приманку. Продукт невероятно прост в использовании; любой может создать ассистента, даже если они не были обозначены как строители своей организацией. Это просто возможности обмена их ассистентом, которые несколько ограничены. Мы можем видеть по тому, как люди исследуют продукт, создают ассистентов для себя и делятся ими с коллегами в ограниченном объеме, отличный предиктор этого типа личности. Если вы попросите меня взглянуть на LinkedIn и предсказать, кто будет в этой семье, я бы сказал, что основным отличительным признаком является, в некоторой степени, немного эйджизм, но люди, которые, возможно, находятся на ранних этапах своей карьеры, у которых есть смесь задач, с которыми они знают, что могут получить помощь ассистента, имеют первый случай использования, изложенный для них. Люди, у которых есть повторяющиеся задачи, и люди, которые уже автоматизировали многие повторяющиеся вещи. Просто чтобы быть ясным, как мы обсуждали, я думаю, что можно сказать, что это люди младше 25 лет. Как мы говорили вчера, основные пользователи, люди, которые используют это все время в компаниях, — это люди младше 25 лет, потому что они не застряли в своих привычках. Это не значит, что все; вы можете быть 70-летним и постоянно изобретать что-то новое, но в целом у них нет устоявшегося шаблона. Кстати, это верно для многих из следующего поколения продуктивных идей, с которыми Пэт работает в тесном сотрудничестве. Это бизнес типа закона силы для людей младше 25 лет. Коллеги здесь младше 25 лет продолжают подталкивать меня к переходу на Notion, и это просто другой тип мышления. Это ощущается как очень похожее движение в Dust.

Я думаю, что одна вещь, которую мы имеем, которая полезна, — это огромный успех ChatGPT в B2C, который теперь является всемирно известным продуктом. Это сделало действительно легким настройку пилотов, просто сказав командам: «Знаете что? Отправьте опрос, спросите людей, как часто они использовали ChatGPT для личного использования за последние семь дней, отсортируйте по убыванию, и это ваша пилотная команда. Это люди, которых вы хотите, чтобы они проверили и протестировали». Мы попросили весь мир перейти от технологии калькуляторов — нажмите те же клавиши, получите тот же результат — к стохастической технологии — задайте тот же вопрос, получите немного другой результат. Это не произошло. Это самый большой сдвиг в использовании инструментов, которые у нас есть, с момента появления компьютера. Мы просим целую когорту рабочей силы перейти к стохастическому мышлению. Единственный способ достичь этого — иметь соотношение риска и вознаграждения, с которым вы комфортны. Это как: «Знаете что? Я не прошу, чтобы это было правильно на 100% времени. Я прошу, чтобы это дало мне черновик, который сэкономит мне время много, много раз». Это распределение ROI — то, что я готов исследовать и улучшать. Я думаю, что это действительно один из предикторов, который мы видим у людей, которые пробовали ChatGPT или просто интересуются новой технологией. Они ожидают, что некоторые аспекты будут немного несовершенными, но потенциальный сценарий настолько ясен и в 10 раз лучше, что они готовы пойти на этот компромисс или принять этот локальный риск, чтобы начать.

У вас, ребята, есть много сильно удерживаемых убеждений, как внутри, так и снаружи, и хорошая новость в том, что вы постоянно были правы в этих убеждениях. Вы назвали несколько из них. Вы говорили об этом переходе от детерминированного к стохастическому задолго до того, как это стало мейнстримом. Вы говорили о растеризации и векторизации. Я думаю, что это можно было бы разобрать, если хотите; это, безусловно, нужно было бы разобрать на шоу, если мы пойдем по этому пути. Вы говорили о том, что нет GPU до PMF, верно? Можете ли вы пройтись по некоторым убеждениям, которыми живет Dust? Это может быть либо философским, как некоторые из них, либо тактическим, как отсутствие GPU до PMF.

Первое — это действительно продолжение веры в то, что фокус на продукте — это правильное дело, потому что кажется, что мы только царапаем поверхность того, что мы можем сделать с этими моделями. Прямо сейчас мы начинаем с разговорного интерфейса, поэтому вы используете аналогию со Slack. Я действительно верю, что эта аналогия, аналогия со Slack, не устоит со временем, потому что способ, которым мы взаимодействуем с этой технологией, изменится. Это началось с разговорного интерфейса, но закончится в совершенно другом месте. По сути, эти модели — это своего рода процессоры компьютера. API и токены — это действительно интерфейс Bash. То, что мы делаем сейчас, — это просто изобретение скриптов Bash. Мы еще не изобрели GUI, многопроцессорность и многое другое. Мы действительно находимся в самом начале того, что мы можем сделать с точки зрения продукта с этой технологией, независимо от того, развивается она или остается такой.

Одно слово, которое, я думаю, будет важно, и я чувствую, что недавние новости действительно помогли подтвердить или являются интересной новой каплей в ведре, — это понятие. Одна из наших моделей продукта — это дополнение людей, а не их замена. Это не просто наивная версия, говорящая: «Мы не здесь, чтобы увольнять людей». Это действительно то, что мы думаем, что есть огромная выгода в том, чтобы дать людям, которые все еще будут иметь работу через 5-10 лет, лучший возможный экзоскелет. Это совершенно другой вид компании и разговор о продукте, чтобы быть как: «Хорошо, сколько долларов мы собираемся убрать из вашей операционной линии в следующем году?» по сравнению с «Это количество скрытых возможностей, которые вы не можете исследовать как бизнес, потому что ваши люди загружены и толкают устаревшие слайды или даже не знают, какие зависимости у них есть на остальной части компании». Это то, сколько трения вы наложили на умных людей, которых вы наняли за большие деньги, потому что половина их дня или часть их недели тратится на вещи, о которых мы буквально не должны говорить в 2024 году.

Это одна вещь, и то, что возвращается к капельнице, о которой вы говорили с самого начала, Габриэль, это то, что в начале вы не использовали слово «производительность». Вы не хотели использовать слово «производительность». Мне интересно, изменилось ли это, и если да, то в чем нюанс, почему вы выбрали не использовать его. Я думаю, что производительность — это два термина, в которых я колебался. Производительность для меня иногда кажется оптимизацией, когда на самом деле есть два способа быть продуктивным: делать те же вещи и делать просто лучшие вещи. Эффект смешивания производительности закреплен в усилиях против воздействия. В конце концов, ваш начальник никогда не будет злиться, если вы не потратили время на выполнение задач, которые вам были назначены, но принесли самую большую сделку для компании. Никто на самом деле не будет комментировать это как плохое решение, потому что чем больше вы растете в своей карьере и чем ближе вы к руководству компании, тем больше вы понимаете, что дело не в усилиях; дело действительно в воздействии. Воздействие иногда приходит в непредвиденные, гиперполяристические, совершенно неожиданные способы, где это как: «Конечно, нам нужно было сосредоточиться на этом», и это ясно в ретроспективе, но вам нужно освободить время, пространство, энергию и умственное когнитивное пространство для этого.

Другое — это корпоративный поиск. Я просто чувствую, что корпоративный поиск — это то, что мы не хотели размещать на сайте, потому что извлечение информации, очевидно, является случаем использования, который людей очень быстро волнует. Но мы просто очень убеждены, что поиск документа — это шаг, который людей не особенно увлекает. Никто не просыпается утром и не говорит: «Так рад, что я получу правильный документ с первого раза, когда я делаю поиск». Люди просто хотят выполнить свою работу, и так случается, что использование контекста из трех разных документов через семь изолированных хранилищ данных помогает им сделать это быстрее или лучше. Так что я думаю, что часть поиска — это просто никогда не работа, которую нужно сделать. Никто на самом деле не хочет искать; они хотят завершить, они хотят доказать, они хотят протестировать. Но часть поиска — это шаг, который, как мы думаем, будет абстрагирован. Возвращаясь к точке зрения Стэна, я думаю, что интерфейсы и опыт, которые у нас есть с этой технологией, действительно постараются забыть о том, каким был оригинальный источник данных, довольно быстро, возможно, как только мы преодолеем препятствия доверия, которые существуют сегодня.

Все это возвращается к сотрудничеству — сотрудничеству между человеческими и нечеловеческими агентами. Я думаю, что проекты от Anthropic — это удивительный пример здесь. Мы думали о совместном редактировании прошлым летом. У нас был удивительный стажер из OM с нами прошлым летом, который провел свое время, работая над интерфейсом совместного редактирования. Как вы общаетесь с ассистентом, чтобы улучшить то, о чем вы думаете, будь то приложение, проект, документ или скрипт? Это то, что недавний выпуск от Anthropic сделал очень ощутимым для многих людей. Это, на мой взгляд, интерфейс и взаимодействие, которые мы должны правильно настроить, и это будет в будущем. Мы говорим о дополнении, и мы будем придерживаться этого, потому что я думаю, что это действительно помогает нам сосредоточиться на интерфейсах, которые помогают людям и нечеловеческим агентам быстрее прогрессировать. Это будет о предложениях. Как я могу иметь человека в цикле с предложением, которое написано именно так, чтобы решить, отклонить его или принять? Это будет совместное редактирование. Как я могу сделать язык человека перед ассистентом настолько легким для интерпретации и настолько надежным, насколько это возможно, чтобы финальный проект перешел в свою окончательную форму как можно быстрее? Вам нужен этот интерфейс, это взаимодействие между агентом и человеком. Вы забываете об этом, когда заменяете слишком быстро. Когда вы сосредотачиваетесь только на замене и удалении, вы создаете что-то, что по сути является огнем и забыванием. Вы увидите выгоды, вы увидите денежные выгоды, но если вы автоматизировали 100% ваших тикетов поддержки клиентов, вам все равно нужны инсайты о том, что людей раздражает. Вам все равно нужно понимать и держать руку на пульсе того, почему люди застревают. В противном случае вы замедляете свои усилия по разработке продукта, и усилия по разработке продукта сегодня живут и умирают благодаря некоторым комментариям, которые поступают из тикетов поддержки. Как вы сделали эту проблему менее заметной, может быть, дешевле, конечно, но также, возможно, виртуальной и труднее связаться с ней, я думаю, это не супер долгосрочный взгляд на то, как ваш продукт и бизнес будут лучше обслуживать ваших клиентов. Вы все равно должны думать о конечных интерфейсах, которые будут способствовать принятию решений, чтобы сделать их лучше, стратегически и лучшим вариантом для ваших клиентов в будущем.

Всегда держать человека в цикле — я имею в виду, это человеко-ориентированное. Вся суть всей этой технологии, которую мы строим, заключается в том, чтобы лучше обслуживать людей. Как только вы убираете это, вы совершаете ужасную ошибку, потому что кто-то другой не будет этого делать, и они действительно будут иметь лучший опыт с клиентами, сотрудниками и заинтересованными сторонами, и тогда они победят. Очевидно, есть сценарии, в которых вы поймаете меня и скажете: «Знаете, это, мы знаем, что люди ошибаются гораздо чаще, и поэтому мы должны, очевидно, заменить это». Это сложная, нюансированная проблема, так что я уверен, что есть определенные области, где чистая замена имеет полностью понятную не внешнюю, без негативной внешней ценности. Но я полагаю, что мы довольно плохо моделируем, где создается ценность и как она проходит через части нашей компании сегодня. Экономисты были велики в том, чтобы показать, что когда вы не оцениваете негативные внешние эффекты хорошо, мы оказываемся в довольно запутанных ситуациях. Это вопрос, который я задаю лидерам, которые спрашивают: «Что мне автоматизировать в первую очередь?» Я говорю: «Ну, я не знаю, о каких частях компании вы больше всего беспокоитесь». Часто я нахожу, что генеральные директора паникуют из-за того, что их клиенты говорят на тикетах поддержки. Устранение этой проблемы, уменьшение ее видимости может быть отличным для некоторых разговоров об операционных расходах, и ваша цена акций может иметь непредвиденные последствия, если вы не направили это в правильные места. Но я думаю, что есть гораздо больше, что можно сделать, чем просто сбрить 3% с вашего баланса. Спектр возможностей, который вы даете своей команде, если эта технология в их руках и если они могут придумывать идеи, шире, чем просто увольнение людей с их работы. Я не говорю, что вы не должны этого делать. Я не хочу, чтобы Dust воспринимался как наивный в этой экосистеме, где разрушительная природа этой технологии отнимет у некоторых людей работу, потому что эти работы в настоящее время выполнялись людьми из-за отсутствия лучшей альтернативы. Я думаю, что в определенных ситуациях вы могли бы видеть эти работы как созданные, потому что мы ждали роботов, оформленные таким образом, что это было потому, что мы ждали роботов. Но я не знаю, что это то, что волнует лидеров компаний. Я думаю, что потенциал, будущее, то, как мы должны быть устойчивыми и антихрупкими для того, что грядет, и что наша конкуренция собирается придумать — это те способы, которыми энергия и поддержка должны быть направлены на поддержку команд.

Вы, ребята, вторые основатели. Вы начали свою первую компанию более 10 лет назад. Вы были ранним приобретением Stripe. Вы были там очень рано. Чему вы научились и что сделали по-другому в этот раз как вторые основатели?

Я думаю, что действительно понимание того, что несколько взрывных ставок с большей вероятностью принесут вам что-то значимое, чем чрезмерная оптимизация слишком рано на чем-то, что все еще бессмысленно на рынке. Это одна вещь, о которой мы думаем по-другому, как исследование против эксплуатации и все эти рамки. Это одно. Я думаю, что прозрачность, доверие и расширение возможностей, которые вы даете своей команде — мы не были против этого; скорее, мы были невежественны в том, насколько больше можно было бы расширить возможности. Одно из лучших слов из моих лет в Stripe было «бумажный след». У вас было два человека в коридоре, которые вели разговор, и затем один из них находил время, чтобы просто написать бумажный след в Slack или в документе, говоря: «Знаете что? Мы только что обменялись мнениями, и мы сдвинули стрелку в этом направлении». Это сэкономило другим людям время и усилия, чтобы пойти в комнату для совещаний или выяснить, что это решение было принято. Это питает граф доверия и уважения к вашим коллегам, который, я думаю, не имеет себе равных в том, как вы можете просто достичь большего как команда. Культурно, вам нужно продвигать это с самого начала, потому что особенно люди, которые находятся на ранних этапах своей карьеры, не всегда будут чувствовать себя комфортно с тем, как информация должна быть поделена. Я думаю, что это то, где пример важен.

Большие рынки, в которые вы действительно верите в течение долгого времени — мы любили технологии, когда начинали свою первую компанию, как 12 или 13 лет назад. Я был как: «Это здорово, это удивительно, это QR-коды, все будут их использовать». И это как: «Нет, мы должны ждать пандемии, чтобы продавать QR-коды. Хорошо, я сделаю это в следующий раз». Влюбленность в технологию и не совсем фундаментальное понимание того, насколько большим может быть бизнес, если он успешен, и задавание этого вопроса рано и без стеснения — это то, что я чувствую, отличается.

То, что мы сохранили, — это наш опыт вместе. Я думаю, что это естественное преимущество — построить компанию с человеком, потому что вы исследовали все. Вы исследовали красоту, ужас, радость, боль, и вы знаете практически весь API вдоль и поперек. Это позволяет гораздо более эффективному взаимодействию и сотрудничеству сооснователей. Я думаю, что это действительно большое и справедливое преимущество.

Я думаю, что самое большое, что, как я думаю, полностью отличается для меня, и что Габриэль упомянул, — это расширение возможностей людей. Это не вы; это не к вам рано, и это к вам, чтобы построить и зажечь эту начальную искру. Но затем, ради компании, вы не тот, кто должен строить. Вы тот, кто должен создать среду, чтобы люди могли быть расширены, чтобы строить эти вещи, исследовать и создавать новые вещи. Лучшая ценность, которую вы можете дать, — я не люблю использовать это слово, лидерство приходило на ум — это не обязательно лидерство; это действительно руководство и попытка создать среду, где каждый имеет шанс делать то, что они хотят, но да, в управляемой среде, чтобы все работало как единое целое. Это было бы самым большим отличием и тем, чему мы научились в Stripe.

Итак, ребята, давайте перейдем к блиц-раунду. У нас есть пара вопросов для вас.

Хорошо, вопрос блиц-раунда номер один: Стан, вы время от времени делитесь этими прогнозами о том, куда идет мир AI, в Twitter. На данный момент, каков ваш главный контркультурный прогноз о том, куда идет мир AI? И не давайте мне это «немного того, немного этого». Давайте услышим точку зрения. Каков ваш главный контркультурный прогноз о том, куда идет мир AI?

Стан: Я вижу это... Это блиц-раунд, так что я должен что-то сказать. Это будет сложно. Мы знаем, я думаю, мы на пороге довольно сложного периода. Как так? Волнение спадет. Возможно, потребуется время, чтобы перейти на следующий этап технологии. Есть огромная ценность, которую нужно создать, но люди еще не увидят ее, и потребуется много времени, чтобы она распространилась в обществе. Так что есть огромное количество ценности, которую нужно создать, но у нас могут быть трудные времена впереди.

Хорошо, краткосрочный пессимист, долгосрочный оптимист. Я приму это.

Хорошо, вопрос блиц-раунда номер два, и это для вас обоих: Кого вы больше всего восхищаетесь в мире AI?

Стан: Илья просто невероятен. У меня была возможность работать с ним. Он мой любимый человек в AI. Он чрезвычайно умен, но он не просто гениальный строитель; он гениальный лидер. Он просто визионер, и я думаю, что это была бы невероятная карьера. Я не знаю его лично, но я очень его уважаю. В терминах чистого гения, я думаю, это Шимон и Яку в Hope. У них сумасшедшие фамилии, так что я позволю людям это выяснить, но Шимон и Яку впечатляют. Они были здесь долгое время, и они действуют как хорошие элементы сопротивления и конденсатора в системе. Они обеспечивают трение, чтобы оставаться оптимистичными, но осторожными. Для меня одно из первых — я не могу вспомнить, было ли это твитом или подкастом или статьей — но слышать, как Ян говорит: «Мы можем принимать довольно хорошие решения с стаканом воды и бутербродом, и эти вещи требуют источников данных размером с электростанцию и не принимают отличных решений по некоторым вещам», так что мы чувствуем, что чего-то не хватает. Элегантно возвращая это в перспективу, было интересно для меня, потому что трудно не поддаться ажиотажу. В некотором смысле, стремление к простой идее, как быть открытым, что, я думаю, Ян делает довольно агрессивно, несмотря на то, что это не всегда, вероятно, самое легкое решение, и также говоря: «Мы, вероятно, не решили все время», приятно. Из моего личного опыта, исследователи, которые работали для или с ним, многому научились и взяли из этого. Это не французский, но некоторая доля скромности и умеренности, которую я оценил в своем открытии генеративной стороны искусственного интеллекта. После 10 лет просто предсказания и классификации от мошенничества и риска и онбординга в Stripe и управления претензиями в здравоохранении и подобных вещах, приятно чувствовать, что есть люди, которые видели много, сделали много и просто задают вопросы, а не утверждают.

Хорошо, это подводит меня к третьему и последнему вопросу блиц-раунда. Вы выбрали француза для своего самого уважаемого. Габриэль и Dust гордо сделаны во Франции. Париж был эпицентром, безусловно, эпицентром для всего, что связано с AI. Ваше мнение о парижской экосистеме, и что вы хотите сказать французским основателям, слушающим этот подкаст?

Габриэль: Кроме того, что я начинаю с английского, это их вина, не наша. Я думаю, что французская система потрясающая, потому что, по сравнению с тем, где она была 12 или 15 лет назад, это наша первая компания. У нас есть талант, потому что было поколение масштабируемых компаний, которые прошли через рынок и обучили весь этот талант. Совсем недавно также произошел взрыв AI-таланта, что очень захватывающе. Так что я говорю, что это создает пул таланта с правами на создание невероятных компаний. Очевидно, что выход на рынок США из Франции — это вызов, и это те вещи, которые нужно учитывать, конечно.

Стан: Я думаю, если у вас есть амбиции, есть гораздо больше, что можно сделать. Пока вы не наивны, где вы знаете, что все еще есть некоторые реалии, вы можете бороться с некоторыми аспектами нарративов, но вы не можете бороться с гравитацией, или, по крайней мере, не должны. Вы, вероятно, должны работать с гравитацией гораздо больше, чем бороться с ней. Но есть тонна больше, что мы можем сделать, и я думаю, что мы должны вести себя немного больше, как технологические страны, такие как Израиль, смешивая безжалостные амбиции с признанием того, где находится талант и как он уже связан и имеет высокое доверие соединительной ткани, что, я думаю, является отличным катализатором и ускорителем в создании великих компаний. Но признание того, где находятся рынки, где люди покупают, где люди платят и как быстро люди принимают решения о переходе на новые технологии, особенно в этой области.

Габриэль: Я думаю, что самый большой совет — как французский основатель, если вы всегда были во Франции, у вас есть это чувство, что что-то волшебное должно происходить в США, что-то особенное. Должно быть что-то особенное в этих людях. Ну, я скажу вам, я был в Stripe, я был в OpenAI, я работаю с Sequoia. Это все нормальные люди. У них нет никаких волшебных способностей; они такие же, как мы. Так что действительно важно быть амбициозным и твердо верить, что вы можете это сделать, вы можете это сделать, что бы это ни было, из Франции против США.

Прекрасно, это хорошее место, чтобы закончить. Спасибо, господа.

Спасибо, ребята.

[Музыка]