When Generative AI Meets Product Development
As enterprises experiment with use cases for generative AI, one of the most promising emerging areas is incorporating image-generation and text-generation tools in the product development process. Consequently, corporate innovation groups are increasingly using generative AI to enhance ideation and creativity, gain market and customer insights, and add user-friendly interfaces to sophisticated systems.
In the Fall 2024 MIT Sloan Management Review, researchers Tucker J. Marion, Mahdi Srour, and Frank Piller explain the implications. This is based on extensive research in the field, which includes dozens of real-world interviews with managers.
In the process, they have seen how generative AI can be a catalyst for transforming and enhancing traditional innovation workflows. They examine three “use cases” which provide insights into three ways companies can navigate the integration of generative AI technologies to increase the productivity of their innovation teams.
Use Case 1: Enhancing Creativity and Design Workflows
The Boston-based design agency Loft is one of numerous “innovation shops” using generative AI technology in its creative process. In a project it launched in May 2023, Loft tapped GPT-4 to suggest new product features by prompting it with known customer preferences.
It then identified and refined the most promising ideas via additional prompts. Meanwhile, the designers began sketching product concepts and then uploaded the sketches into image generator Midjourney, where they could refine the visual designs with prompts in addition to reworking them on paper.
In these creative stages of the innovation process, generative AI’s tendency to produce hallucinations - text or images that defy facts or logic - was of no concern, since the team was just looking for ideas. This kind of use case is supported by research that found that humans often come up with more useful ideas when they brainstorm with the assistance of generative AI.
When the development process moves into design and engineering, tools must be trusted to produce reliable outputs. Publicly available generative AI platforms could have helped the Loft team conceptualize ideas and sketch early prototypes, but the company paused its use of generative AI tools at this stage while its engineers built prototypes based on the selected concepts.
The Loft team gathered consumer feedback on the prototypes through video focus groups and surveys. GenAI was used to generate transcripts of consumer interactions with prototypes and then analyze them, a task at which large language models (or LLMs) like ChatGPT excel.
The LLM summarized and clustered the data, recommended areas for improvement, and identified features that consumers liked as input for product launch marketing. The design team then integrated the findings, including general and specific product insights, into the initial design concepts.
At this stage, Loft avoided asking the LLM questions that could elicit information beyond what the input data could address, to prevent hallucinations from affecting the analysis. Since that initial project, augmenting product development with generative AI has led to significant improvements in Loft’s design process.
For example, Loft’s designers used the technology to quickly generate 50 new concepts for a guitar toy that featured different product characteristics. Without generative AI, they would have spent many hours reading testers’ feedback and sketching new concepts accordingly.
Generative AI has not only helped them to work faster but also to more effectively envision the product changes that will best address specific consumer needs. The company estimates that using generative AI has cut its product development time in half.
Use Case 2: Use Generative AI for Customer Insights and Concept Validation
Designers at a Czech company called Creative Dock help clients create new business units, products, and services. To do so, they incorporate numerous rounds of market feedback into multiple iterations of business model concepts before launch.
Using existing large-scale market research data about customer needs in a specific sector, the company programmed an AI agent to generate simulations of qualitative interviews with potential customers representing specific personas. Some interviews concerned customer demands and preferences, while others were intended to get feedback on alternative value propositions for a new offering.
Employing this proprietary data, the tool utilizes pre-trained LLMs such as GPT and fine-tunes them for specific use cases. These customized language models can address specific market questions in each segment, allowing Creative Dock teams to use generative AI for ideation, market needs identification, and rapid concept testing.
The tool also accelerates the design, testing, and creation of minimum viable products. Martin Pejsa, the company’s founder, reported a 30% increase in technical development efficiency, a 40% efficiency gain in graphic design, and a tripling of content creation speed.
AI is also used to review all new business models. As a result, Creative Dock has achieved 50% year-over-year growth without adding any full-time employees.
A firm called FlecheTech is also using generative AI to gather customer requirements, but in a very different way. The Swiss startup has built an expert application for designing and rapidly prototyping printed circuit boards (or PCBs).
Its target users are hobbyists, entrepreneurs, and anyone who needs a custom PCB for a hardware prototype or small-series production but may not have a deep understanding of electrical engineering and PCB design. FlecheTech has fine-tuned a pre-trained LLM using a database of many PCB designs and their descriptions to create an interface that users can interact with in plain language - such as “I need to measure this physical value,” “make X rotate at Y speed,” or “communicate with this protocol” - to design a circuit.
More complex PCB design queries are broken down into simpler subtasks as the LLM automatically identifies them. In addition, customers with complex designs can have the FlecheTech team review their GenAI-assisted PCB design before proceeding to prototyping.
The company says this has reduced the six to eight weeks it typically takes a human designer to create a working board design by an average of more than 80%, with much greater productivity gains for novice users (and thus a much larger market for the company’s product).
Compared with its competition, FlecheTech also has a considerable cost advantage because its staff does not necessarily have to interact with individual customers to understand their specific demands for a custom PCB; it has mostly outsourced this process to its GenAI-based chatbot.
And that brings us to…
Use Case 3: LLMs as Natural Language Interfaces to Complex Design Tools
The linguistic fluency of LLMs and ease of user interaction with them supports another use case in the product design process: using them as front-end interfaces to advanced simulation and engineering systems.
Siemens’ industry division has recently added generative AI capabilities to its highly sophisticated engineering and design software, enabling a much wider range of users to interact with these systems. One of its tools, Simcenter, is an established simulation package that allows engineers to model the exact physical behavior of products or processes, replacing physical prototypes and test beds with digital ones.
While powerful, Simcenter typically requires long ramp-up times and extensive user training, and interpreting its results requires specialized expertise. Siemens combined the tool with a GenAI-based user interface to create HiSimcenter.
HiSimcenter can handle a range of tasks, such as answering simple queries about selecting the best computer-aided engineering tool for a given task or executing a fully automated generative design capability that inputs product requirements and directly generates a compliant design.
The ChatGPT-based application has helped engineers set up and run complex simulation models, resulting in a more than 50% increase in modeling efficiency.
Setting up such a system is not an easy endeavor. The Siemens engineers who developed HiSimcenter realized that having a reliable ground truth is the critical challenge in building a hybrid expert system.
Because they expect training data to become critical to developing additional expert applications using generative AI, they train selected employees across all major engineering tasks to assess the quality of data associated with specific tasks before it’s used to train the LLM model.
Siemens chose a small group of experts to develop HiSimcenter. This centralized approach allows the expert team to maintain control and ensure the quality of the GenAI output and its compliance with Siemens policies and engineering standards.
So, what are the implications? Beyond the hype, generative AI can bring tangible benefits to companies’ innovation and development processes.
Managers should consider how the three ways of using generative AI outlined earlier fit into their industry and their innovation strategy. Organizations also need a clear understanding of expectations and desired outcomes and an appreciation that different innovation tasks require different approaches.
Publicly available generative AI tools like ChatGPT or Midjourney are well suited for creativity and ideation, as experienced by the design firms the authors studied.
For more focused applications, like validating a concept with synthetic personas, a pretrained model must be enhanced with training data on the particular context.
The amount, diversity, and quality of training data defines trust and significantly impacts GenAI output quality in terms of addressing a specific context or market segment.
When very high precision and confidence in the results are essential, conventional simulation platforms and expert systems are required.
As Siemens and FlecheTech have demonstrated, LLMs can serve as efficient user interfaces to these systems, allowing them to be used for complex engineering or scientific research tasks by a much larger base of users, such as those who have domain expertise but are unfamiliar with simulation systems.
When users don’t need to have simulation experts manage the expert systems for them, they are likely to run many more simulations - using such tools for discovery and not just for validation.
Lastly, given the speed with which these technologies are evolving, the question of integration within the organization becomes more critical. As Siemens demonstrates, a top-down approach of strategically investing in internal development and strategic partnerships is one approach to integration.
However, these initiatives take time, and the latency of implementation may result in a technology deployment that is already dated by the time it’s available.
Hence, the authors also recommend a bottom-up, democratized approach where teams and individuals select, use, and build tools as they see fit.
Their research suggests that a mix of both approaches allows organizations to strategically build better data and trustworthy solutions while allowing for dynamic experimentation.
- MIT SLOAN MANAGEMENT REVIEW, Fall 2024, “When Generative AI Meets Product Development,” by Tucker J. Marion, Mahdi Srour, and Frank Piller. © 2024 Massachusetts Institute of Technology. All rights reserved.
생성형 AI가 제품 개발에 미치는 영향
기업들이 생성형 AI의 활용 사례를 실험하면서 가장 유망한 분야 중 하나는 제품 개발 과정에 이미지 생성 및 텍스트 생성 도구를 통합하는 것이다.
이에 따라 기업 혁신 그룹은 점점 더 생성형 AI를 활용하여 아이디어 발상과 창의성 향상, 시장 및 고객 인사이트 확보, 복잡한 시스템에 사용하기 쉬운 인터페이스 추가에 집중하고 있다.
2024년 가을 MIT 슬로인 매니지먼트 리뷰(MIT Sloan Management Review)에서 연구자 터커 J. 메리언(Tucker J. Marion), 마흐디 스로어(Mahdi Srour), 프랭크 필러(Frank Piller)는 이러한 적용 가능성에 대해 설명하고 있다.
이 연구는 매니저들과의 수십 건의 실무 인터뷰를 포함한 광범위한 현장 연구를 기반으로 하고 있다.
연구 과정에서 연구진은 생성형 AI가 기존의 혁신 워크플로를 변혁하고 향상하는 데 촉매 역할을 할 수 있음을 확인했다.
이 연구에서는 생성형 AI 기술을 통합하여 혁신 팀의 생산성을 높일 수 있는 세 가지 방법을 제시하고 있다.
활용 사례 1: 창의성과 디자인 워크플로 향상
보스턴에 기반을 둔 디자인 에이전시 로프트(Loft)는 창의 과정에서 생성형 AI 기술을 사용하는 여러 "혁신적인 작업장" 중 하나이다.
로프트는 2023년 5월 시작된 프로젝트에서 GPT-4를 활용하여 기존 고객 선호도를 입력해 새로운 제품 기능을 제안하도록 했다.
또한 추가 입력을 통해 가장 유망한 아이디어를 식별하고 다듬었다.
한편, 디자이너들은 제품 개념을 스케치하기 시작하고, 이미지 생성 도구 미드저니(Midjourney)에 이 스케치를 업로드하여 종이 작업과 함께 프롬프트를 통해 시각적 디자인을 세부 조정할 수 있었다.
혁신 과정의 이러한 창의적 단계에서 생성형 AI가 사실이나 논리를 벗어나는 '환각'을 일으킬 가능성은 문제가 되지 않았다.
팀은 단순히 아이디어를 모색하고 있었기 때문이다.
이와 같은 사례는 생성형 AI의 지원을 받아 브레인스토밍을 진행할 때 인간이 더 유용한 아이디어를 자주 제안하게 된다는 연구 결과에 의해 뒷받침된다.
제품 개발 과정이 디자인과 엔지니어링 단계로 넘어가면 도구는 신뢰할 수 있는 출력을 제공해야 한다.
공개적으로 사용 가능한 생성형 AI 플랫폼은 로프트 팀이 아이디어를 구상하고 초기 프로토타입을 스케치하는 데 도움을 줄 수 있었지만, 회사는 엔지니어들이 선택한 개념을 기반으로 프로토타입을 제작하는 동안 이 단계에서 생성형 AI 도구의 사용을 일시 중단했다.
로프트 팀은 영상 포커스 그룹과 설문 조사를 통해 프로토타입에 대한 소비자 피드백을 수집했다.
생성형 AI는 소비자와 프로토타입 간 상호작용의 대본을 생성하고 이를 분석하는 데 사용되었는데, 이는 챗GPT(ChatGPT)와 같은 대규모 언어 모델(LLM)이 뛰어난 부분이다.
LLM은 데이터를 요약하고 클러스터링하며, 개선이 필요한 영역을 추천하고 소비자들이 선호하는 기능을 파악해 제품 출시 마케팅에 활용할 인사이트를 제공한다.
디자인 팀은 이 발견 내용을 통합하여 제품에 대한 일반적이고 구체적인 인사이트를 초기 디자인 개념에 반영했다.
이 단계에서 로프트는 입력 데이터가 다룰 수 있는 범위를 벗어나는 질문을 LLM에 하지 않음으로써 환각이 분석에 영향을 미치는 것을 사전에 방지했다.
첫 번째 프로젝트 이후 생성형 AI를 제품 개발에 통합한 결과, 로프트의 디자인 과정은 크게 개선되었다.
예를 들어, 로프트의 디자이너들은 생성형 AI를 사용하여 다양한 제품 특성을 갖춘 기타 장난감의 새로운 콘셉트 50개를 신속하게 생성할 수 있었다.
생성형 AI가 없었다면 테스트 참여자의 피드백을 읽고 새로운 콘셉트를 구상하는 데 상당한 시간이 걸렸을 것이다.
생성형 AI는 작업 속도를 높일 뿐만 아니라 특정 소비자 요구를 가장 잘 충족시킬 수 있는 제품 변경 사항을 더 효과적으로 구상하도록 도왔다.
회사는 생성형 AI를 사용함으로써 제품 개발 시간을 절반으로 단축할 수 있었다고 추산하고 있다.
활용 사례 2: 고객 인사이트와 개념 검증을 위한 생성형 AI 활용
체코에 위치한 크리에이티브 독(Creative Dock)이라는 회사의 디자이너들은 새로운 비즈니스 유닛, 제품, 서비스의 창출을 지원하며, 이를 위해 출시 전 여러 라운드의 시장 피드백을 다양한 비즈니스 모델 컨셉트에 통합한다.
특정 분야에서 고객의 니즈를 반영한 대규모 시장 조사 데이터를 활용해 이 회사는 특정 페르소나를 대표하는 잠재 고객과의 정성적 인터뷰를 시뮬레이션하는 AI 에이전트를 프로그래밍했다.
일부 인터뷰는 고객의 요구와 선호도를 다루고, 다른 일부는 새로운 제품 제공에 대한 대체 가치 제안에 대한 피드백을 받기 위한 목적으로 이루어졌다.
이 독점 데이터를 활용해 도구는 GPT와 같은 사전 학습된 대규모 언어 모델(LLM)을 특정 용도에 맞게 미세 조정해 사용한다.
이렇게 맞춤화된 언어 모델은 각 세그먼트에서 특정 시장 질문에 답할 수 있도록 하여 크리에이티브 독 팀이 생성형 AI를 아이디어 창출, 시장 요구 파악, 신속한 개념 테스트에 활용할 수 있도록 한다.
이 도구는 최소 기능 제품(MVP, minimum viable products)의 디자인, 테스트, 제작을 가속화하기도 한다.
회사 창립자 마틴 페이사(Martin Pejsa)는 기술 개발 효율성이 30% 증가하고, 그래픽 디자인 효율성이 40% 향상되었으며, 콘텐츠 제작 속도는 세 배로 증가했다고 보고했다.
이러한 AI는 모든 신규 비즈니스 모델 검토에도 사용되었는데, 그 결과, 크리에이티브 독은 정규직 직원 추가 없이 전년 대비 50%의 성장을 달성할 수 있었다.
플레쉬테크(FlecheTech)라는 회사도 생성형 AI를 사용해 고객 요구 사항을 수집하지만, 접근 방식은 상당히 다르다.
스위스에 위치한 이 스타트업은 인쇄 회로 기판(PCB)을 디자인하고 신속하게 프로토타입을 제작하는 전문 애플리케이션을 개발했다.
주요 사용자층은 하드웨어 프로토타입이나 소규모 제품 제작에 맞춤형 PCB가 필요한 취미가, 창업자, 그리고 전기공학이나 PCB 설계에 대한 깊은 이해가 없을 수도 있는 사용자들이다.
플레쉬테크는 다수의 PCB 설계와 설명이 포함된 데이터베이스를 활용해 사전 학습된 LLM을 미세 조정하여 사용자가 “이 물리적 값을 측정하고 싶다,” “X를 Y 속도로 회전시키고 싶다,” 또는 “이 프로토콜과 통신하고 싶다”와 같이 평이한 언어로 인터페이스를 통해 회로를 설계할 수 있게 했다.
복잡한 PCB 설계 쿼리는 LLM이 자동으로 이를 인식하여 더 단순한 작업으로 나누어 처리한다.
또한, 복잡한 설계가 필요한 고객은 생성형 AI 지원 PCB 설계를 프로토타이핑 전에 플레쉬테크 팀의 검토를 받을 수 있다.
회사는 이로 인해 보통 사람이 PCB 설계를 완성하는 데 걸리는 6~8주의 기간을 평균적으로 80% 이상 단축했다고 밝혔다.
초보자들의 생산성 향상이 특히 두드러지며, 이는 회사의 제품 시장을 확장하는 효과를 가져왔다.
플레쉬테크는 또한 개별 고객의 맞춤 PCB에 대한 특정 요구를 이해하기 위해 직원들이 직접 상호작용할 필요 없이 주로 생성형 AI 기반 챗봇을 통해 이 프로세스를 아웃소싱하여 상당한 비용 절감을 이루었다.
활용 사례 3: 복잡한 설계 도구와의 자연어 인터페이스로서의 LLM 활용
LLM의 언어적 유창성과 사용자의 상호작용이 용이하다는 점은 제품 설계 프로세스에서 고급 시뮬레이션 및 엔지니어링 시스템과의 프런트엔드 인터페이스로 활용할 수 있는 또 다른 사용 사례를 제공한다.
지멘스(Siemens)의 산업 부서는 최근 자사의 고급 엔지니어링 및 설계 소프트웨어에 생성형 AI 기능을 추가하여 더 다양한 사용자층이 이 시스템들과 상호작용할 수 있게 했다.
이 시스템 중 하나인 심센터(Simcenter)는 제품이나 공정의 물리적 동작을 정확하게 모델링할 수 있는 시뮬레이션 패키지로, 물리적 프로토타입과 테스트 환경을 디지털로 대체할 수 있게 한다.
강력한 기능을 갖추고 있지만, 심센터는 일반적으로 초기 설정에 많은 시간이 걸리며, 광범위한 사용자 교육이 필요하고, 결과를 해석하는 데는 전문적인 지식이 요구된다.
지멘스는 이 도구에 생성형 AI 기반 사용자 인터페이스를 결합하여 하이심센터(HiSimcenter)를 개발했다.
하이심센터는 특정 작업에 가장 적합한 컴퓨터 지원 엔지니어링 도구를 선택하는 간단한 질문에 답변하거나, 제품 요구사항을 입력해 규격에 맞는 설계를 직접 생성하는 완전 자동화된 생성형 설계 기능을 실행하는 등 다양한 작업을 처리할 수 있다.
이 챗GPT 기반 애플리케이션은 복잡한 시뮬레이션 모델을 설정하고 실행하는 데 도움을 주어 모델링 효율성을 50% 이상 향상시켰다.
물론 이러한 시스템을 구축하는 것은 쉬운 작업이 아니다.
하이심센터를 개발한 지멘스의 엔지니어들은 신뢰할 수 있는 기본 데이터의 중요성을 인식했고, 하이브리드 전문 시스템을 구축할 때 이를 확보하는 것이 주요 과제라고 판단했다.
생성형 AI를 사용하여 추가적인 전문 애플리케이션을 개발하려면 학습 데이터가 중요할 것으로 예상하여, 지멘스는 주요 엔지니어링 작업에 대해 선정된 직원들에게 특정 작업과 관련된 데이터 품질을 평가하는 교육을 실시했다.
지멘스는 하이심센터 개발을 위해 소수의 전문가로 구성된 팀을 선택했다.
이 중앙 집중식 접근법을 통해 전문가 팀은 생성형 AI의 출력 품질과 지멘스 정책 및 엔지니어링 표준과의 일관성을 보장할 수 있다.
그렇다면, 이러한 사항들이 시사하는 바는 무엇일까?
--
과대광고를 넘어, 생성형 AI가 기업의 혁신과 개발 프로세스에 실질적인 이점을 가져다줄 수 있다는 것이다!
관리자들은 앞서 설명한 생성형 AI의 세 가지 활용 방식이 자사 산업과 혁신 전략에 어떻게 맞아떨어지는지 고려해야 한다.
또한, 조직은 기대 사항과 원하는 결과에 대한 명확한 이해가 필요하며, 다양한 혁신 작업에는 각기 다른 접근 방식이 필요하다는 점을 인지해야 한다.
일반적으로 사용 가능한 생성형 AI 도구인 챗GPT나 미드저니(Midjourney)는 디자인 기업들이 경험한 바와 같이 창의성과 아이디어 발상에 매우 적합하다.
합성 페르소나와 함께 개념을 검증하는 것과 같은 보다 집중된 애플리케이션에는, 사전 학습된 모델을 특정 맥락에 대한 학습 데이터로 강화해야 한다.
학습 데이터의 양, 다양성, 그리고 품질은 신뢰를 정의하며 특정 맥락이나 시장 부문을 다루는 데 있어 생성형 AI 출력 품질에 큰 영향을 미친다.
결과에 대한 매우 높은 정확성과 신뢰가 필수적인 경우, 기존의 시뮬레이션 플랫폼 및 전문가 시스템이 필요하다.
지멘스와 플레쉬테크가 입증했듯이, LLM은 이러한 시스템에 효율적인 사용자 인터페이스 역할을 할 수 있어 도메인 전문 지식은 있으나 시뮬레이션 시스템에는 익숙하지 않은 더 많은 사용자들이 복잡한 엔지니어링 또는 과학 연구 작업에 이 도구를 사용할 수 있게 한다.
사용자가 시뮬레이션 전문가의 도움 없이 전문가 시스템을 직접 다룰 수 있을 때, 단순한 검증이 아니라 발견을 위한 도구로 활용하여 더 많은 시뮬레이션을 실행할 가능성이 높다.
마지막으로, 이 기술들이 빠르게 발전하고 있는 상황에서 조직 내 통합 문제가 점점 더 중요해지고 있다.
지멘스가 보여주었듯이, 내부 개발과 전략적 파트너십에 전략적으로 투자하는 상향식 접근 방식은 통합을 위한 한 가지 방법이다.
그러나 이러한 이니셔티브에는 시간이 소요되며, 구현 지연으로 인해 가용 시점에는 기술이 이미 구식일 가능성이 있다.
따라서, 연구진은 팀과 개인이 적합한 도구를 선택하고, 사용하고, 구축할 수 있는 하향식 접근법을 통한 민주적 접근을 추천한다.
연구에 따르면, 이 두 가지 접근 방식을 결합하면 조직이 더 나은 데이터와 신뢰할 수 있는 솔루션을 전략적으로 구축하면서도 동적 실험을 가능하게 할 수 있다.
- MIT 슬론 매니지먼트 리뷰(MIT Sloan Management Review), 2024년 가을 호, "When Generative AI Meets Product Development" 저자: 터커 J. 매리언(Tucker J. Marion), 마흐디 스루어(Mahdi Srour), 프랭크 필러(Frank Piller). © 2024 매사추세츠 공과대학교(Massachusetts Institute of Technology).
