本研究使用 ChatGPT 模拟调查用户对支付应用的使用情况,重点关注隐私感知和收益感知。研究发现,生成代理对支付应用的看法与实际调查结果相似,尤其是在隐私关注程度分组的情况下。隐私关注者对应用的评价较低,而用户比非用户对应用的看法更积极,即使提示中没有指定这种特征。然而,ChatGPT 无法匹配真实调查的响应变异性,并且倾向于高估隐私关注。这些结果表明,生成式 AI 可以补充但无法取代人类调查,用于研究人们对支付工具的感知。
研究方法:
- 使用 ChatGPT-4o 模型模拟调查问卷。
- 设计提示,模拟不同用户特征,包括年龄、性别、是否使用支付应用等。
- 将生成代理分为六组年龄组,并根据实际调查数据分配用户比例。
- 进行三种实验:
- 案例一:与实际调查的年龄组和用户分布一致。
- 案例二:在提示中指定 Westin 类别。
- 案例三:添加收入和教育水平属性。
研究结果:
- 生成代理对支付应用收益和隐私的看法与实际调查结果相似。
- 隐私关注者对支付应用的评价较低,风险感知较高。
- 用户对支付应用的看法比非用户更积极,风险感知较低。
- 生成代理的响应变异性低于实际调查。
- 大多数生成代理被归类为“隐私关注者”,与实际调查结果不符。
- 在提示中指定多个特征会导致 ChatGPT 对某些特征重视程度较低,对其他特征重视程度较高。
研究结论:
- 生成式 AI 有潜力成为市场调查的补充工具,但无法完全取代人类调查。
- 使用生成式 AI 进行市场调查时需要谨慎,注意可能存在的偏差和忽略少数观点的风险。
- 提示设计和合成调查的设置会影响调查结果。
- 政策制定者在使用生成式 AI 进行市场调查时需要认识到这些局限性,并采取必要的措施来减轻风险。