探讨众包质量的商业模式控制问题,众包的概念

近年来，众包作为一种新的商业模式发展迅速，并被广泛应用于许多领域。然而，众包是为不确定的群体组织的。平台上的员工有不同的社会背景、能力水平和参与动机，他们完成任务的程度也不同。互联网的匿名性使得交互各方之间的信息不对称，使得众包质量结果难以保证。因此，如何控制众包的质量成为众包研究领域的一个热点问题。

摘要:总结了大量国内外研究文献，介绍了众包模式的概念及众包质量控制的相关研究工作，分析了现有众包质量控制策略的优缺点。之后，通过对众包平台的实际调查，发现平台上有大量的员工历史交易。雇主可以通过这些历史信息预测工人未来可能的行为，从而减少双方之间的信息不对称。为此，本文提出了一种考虑员工声誉的众包质量控制方法，主要包括众包质量评价和动态激励。

首先，对众包质量进行了评价，提出了一种考虑员工声誉的众包质量评价方法。对员工的行为进行分析，将员工的历史交易行为量化为声誉模型，根据声誉值对员工进行分类，提前消除欺诈者，然后将员工的声誉值作为权重引入传统的电磁算法，以获得更可靠的质量评价结果，为众包质量控制做准备。

然后，根据评价结果，提出了一种基于员工完成质量的动态激励方法。该方法分两个阶段进行动态激励，设置任务分割点，并在第一阶段实施统一的支付机制，以吸引足够的员工参与任务。当任务完成程度趋于成熟时，在第二阶段建立动态激励功能。激励功能与员工的质量评价结果呈正相关，与任务完成呈负相关。它可以实现对整体众包任务质量的平衡控制，同时鼓励员工提交高质量的答案。

最后，用真实数据对本文提出的质量控制方法进行了实验验证，并对实验中涉及的参数进行了阈值标定。实验结果表明，本文提出的质量控制方法不仅能提高质量评价结果，而且能激励员工提交高质量的结果。

近年来，众包作为一种新的商业模式发展迅速，并被广泛应用于许多领域。然而，众包面临着一个不确定的大众组织，众包市场的工人通常有不同的背景、专长和激励。互联网的匿名性使得信息在双方之间不对称，因此，工作人员在提交的工作中很可能表现出不同的质量。因此，如何控制质量成为众包领域的一个热点问题。

摘要:文章总结了大量国内外研究文献，介绍了众包模式的概念以及众包质量控制的相关研究工作，分析了众包质量控制策略的优缺点。通过对众包平台形式的实际调查，我们发现平台上有很多员工的历史交易行为。通过历史信息预测劳动者的未来行为，减少双方的信息不对称是可能的。本文提出了一种基于员工声誉的众包质量控制方法，主要包括众包质量评估和动态激励。首先，评估众包的质量。提出了一种考虑工人声誉的质量评价方法。

首先，基于员工过去的表现建立声誉模型。然后，根据员工的声誉选择员工，并把声誉作为权重纳入优化初始值选择方法的电磁算法中，为众包的质量控制做准备。

然后，根据评价结果，提出了基于员工素质的动态激励方法。这种方法是两级动态激励。第一阶段建立任务分割点，实行统一支付机制，吸引足够的员工参与任务。在第二阶段设置动态激励函数，该函数与工人的质量评估结果正相关，与任务完成负相关。

最后，通过数值实验验证了该方法的有效性，并对参数阈值进行了评分。实验结果表明，本文提出的质量控制方法能够提高质量评价结果，激励员工提交高质量的结果。

近年来，众包作为一种新的商业模式发展迅速，并被广泛应用于服装设计、软件测试、科学研究、方案征集等地方。众包和普通意义上的外包的区别在于众包的任务和问题被分配给不确定的网络组[1]，雇主将一个任务细分成多个子任务，通过互联网分配给工人完成，而外包被分配给某些专业组。此外，两者最大的区别之一是外包强调高度专业化，而众包恰恰相反。它更加注重差异化的群体智慧，跨学科创新往往蕴含着巨大的潜力[2】。众包使雇主能够在提高工作效率的同时降低劳动力成本，使工人能够根据自己的兴趣找到任务，并在完成任务后获得报酬。众包平台上有多种任务，根据粒度可以分为微指令和宏指令)[3][3]。微观任务集中在小而重复的任务上，最终的结果通常是通过从更多的工人那里收集答案并整合他们而获得的。典型的微众包任务包括语言翻译、事件注释、图片标记等。微型任务通常不需要特殊技能，每项任务的回报通常非常小[4]。在现实世界中，微任务系统包括:亚马逊的Mturk。与微观任务不同，宏观任务主要用于解决具有挑战性和创新性的任务，如开发计算程序、设计广告等。

这种任务通常要求工人具备特定的技能，需要花费大量的时间来完成，并且通常有许多奖励。2012年3月，奥巴马政府推出的“大数据研发计划”将众包列为大数据时代[5]的三大关键技术之一。众包(crowdsourcing)主要用于发布微观任务来标记数据，已经广泛应用于自然语言处理、机器学习和信息检索等科学研究领域。微任务因其复杂性低和操作简单而占据了主要的众包市场。平台上的一些众包任务通常是高度专业化的，例如语言翻译，这需要有专业背景的人来完成。由于工人的认知偏见和缺乏专业知识，他们提交的结果是不同的[6]。众包依赖于复杂的网络平台。工人是高度匿名和不确定的，雇主无法准确识别不同工人的任务完成质量。此外，众包平台统一定价的激励模式使得平台上经常存在大量恶意欺诈者。他们随意提交任务答案，以最大化自己的利益，导致众包结果的准确性大大降低，难以在雇主和工人之间建立信任。雇主将降低价格以避免这种信息不对称造成的风险损失，这将逐渐形成“柠檬市场”[7，低质量的工人将逐渐取代高质量的工人，导致众包市场萎缩。

为了使众包市场健康发展，如何有效控制众包质量成为一个亟待解决的问题。为了控制众包质量，首先需要对工人的完工质量进行更准确的评估，以减少信息不对称造成的损失。互联网上高度的不确定性使得雇主更愿意接受和信任以前与他们交往过的员工[8]。众包平台上有大量的员工历史交易行为，可以反映员工的行为特征，预测未来互动中可能出现的行为，从而提高评价结果的准确性。质量评估完成后，用人单位应当根据劳动者的完成质量给予合理的激励，奖励优秀劳动者，惩罚恶意欺诈者，引导劳动者以更高的质量完成众包任务，达到对众包质量的控制效果。文献[9]指出声誉是对一个实体过去行为的综合评价，即工人的声誉模型可以通过量化和分析历史行为来获得。因此，如何利用历史交易建立声誉模型，减少雇主和工人之间的信息不对称，提高质量评估的准确性；如何在激发员工积极性的同时，制定合理的激励政策，控制众包质量，是本文的主要研究内容。

目前，国内外学者对众包质量控制进行了一些研究，主要集中在微观任务上。本研究主要分为三类:

(1)评估众包结果的质量，然后确定工人的类型。对于微观任务，雇主通常将任务分配给多个员工，并通过整合提交的答案获得最终任务结果。文献[10-12]介绍了黄金数据注入算法，该算法使用黄金标准数据来评估工人的素质。文献[13-15]建议将任务分配给奇数工人，并通过多数投票获得最终结果。文献[16-19]基于达维德和斯肯提出的电磁算法评估众包质量。根据工人提交的结果，用最大似然法估计工人的错误率，并计算工人的错误矩阵。最后，通过迭代得到最终的众包结果。

(2)分段众包质量控制(Segmented crowdsourcing quality control)，主要是根据工作流的形式划分任务，分阶段对员工提交的结果进行评估，并根据评估结果调整员工的组织结构，达到控制众包质量的目的。文件[20]将工作流程分为数据生成阶段和结果评估阶段，根据实际情况控制评估时间，进一步保证众包质量；[17号文件]从结果评估和替换的角度考虑，雇主在整个任务流程中设置多个监控点，根据前一阶段工人提交的答案对每个监控点的完成质量进行评估，随机替换完成质量较差的工人，采用“评估-替换”的迭代方法控制众包质量。

(3)建立相应的激励机制，鼓励员工提交高质量的结果。文献[21]运用博弈论建立信用担保机制和信用评估机制，通过案例分析表明，信用机制能够抑制双方的欺诈行为，提高交易质量。文献[22-25]提出了一种两阶段支付机制，根据工人的完成质量动态调整激励金额。

上述文件对众包质量控制进行了非常有意义的探索，但存在三个不足:

(1)质量控制的前提是准确评估众包质量。现有的质量评估方法将众包视为一次性行为研究，在任务完成后对结果进行评估，无法提前消除任何欺诈者，从而浪费了一些资源。巴尤斯·[26]通过实证研究发现，持续参与的工人比一次性参与的工人对任务做出更突出的贡献。互联网的匿名性使得员工的行为不确定且不可靠，从而导致众包结果质量的不确定性。因此，在评估众包质量时，应考虑到员工行为对评估结果的影响。

(2)虽然分阶段动态质量控制策略通过评估最后一个监控点的质量可以更早地发现欺诈者，并考虑到持续参与过程中工人完成准确率的变化，但任务执行过程中增加的监控点会增加任务的完成时间和成本，替换规则的设计也会影响众包任务的进度。

(3)现有众包制度的激励机制通常是固定价格模型，这可能导致员工不可信的行为，从而导致激励效果适得其反。虽然[文件23]中提出的两阶段支付机制增加了对工人完工质量的评估，但它将大大增加雇主的预算，并造成资源浪费。

本文研究了现有众包质量控制策略的不足，提出了一种新的众包质量控制策略。具体内容如下:

(1)建立基于员工历史行为的声誉模型。收集员工在众包平台上留下的历史交易行为，通过分析员工的行为特征进行细分，为研究内容(2)识别不同类型的欺诈者做准备。工人在每个历史交易过程中完成任务的准确率被作为量化工人历史行为信息的度量标准。为了考虑员工持续行为的重要性、声誉的时间衰减，以及区分不同类型的行为，如策略欺诈者和错误，本文改进了原有的弹性声誉模型(RRM)。在原有持续性因素的基础上引入惩罚因素和惩罚函数，不仅可以激励员工不断提供可信行为，还可以及时应对不可信行为。对于最新的不可信行为，检查之前积累的信用值，并区分容易混淆的行为，如错误行为和策略欺诈。由于众包平台上的一些员工没有与雇主进行过任何历史交易，因此每个员工都有一个初始值。基于初始值，通过历史行为的积累获得当前信用值，这为在研究内容(2)中识别欺诈者提供了前提。

(2)提出一种考虑员工声誉的众包质量评价方法。电磁算法因其稳定的收敛性被广泛应用于众包质量评价中，但其评价结果容易受到初始值的影响。由于在使用电磁算法时给予工人相同的权重，因此结果容易陷入局部最优。但是，工人提交的答案的可信度不同，信誉良好的工人给出的答案的可信度更高。因此，根据在研究内容(1)中获得的声誉值，通过设置合理的阈值来将工作人员识别为欺诈者，并且消除所识别的欺诈者。其次，基于EM算法，将员工信誉值作为权重加入到初始值评估中。在获取评价结果的后验概率和员工的误差矩阵的过程中，考虑声誉值作为权重，以提高评价结果的准确性和效率，为后续的众包质量控制工作做准备。

(3)提出基于员工完成质量的动态激励机制。为了实现众包质量控制的目标，根据研究内容(2)的质量评价结果动态激励员工，提升众包任务的质量。因为工人可以根据自己的兴趣自由选择任务，在微型众包任务平台上，比如Mturk

资源的不均衡分配经常发生，使得众包任务的进展不均衡。为了更好地控制众包质量，引导员工选择完成度低的众包任务，平衡总体任务完成质量，提出了一种两阶段动态激励机制。根据研究内容(2)中获得的工人任务评价质量和任务完成进度，设置激励函数。工人选择的任务完成程度越低，完成质量越高，他们获得的奖励就越多。基于工人完成质量的动态激励函数被设计成使得工人获得的奖励与当前任务的完成阶段成反比，并且与研究内容(2)中的评估结果成正比。最后，运用博弈论证明了激励机制的有效性。

(4)在Mturk平台上的真实数据验证了质量控制策略的有效性。一方面，利用实验数据标定参数，并将本文提出的考虑声誉的众包质量评价方法与其他质量评价方法进行了比较。实验结果表明，考虑员工声誉的质量评价方法明显优于其他算法。另一方面，针对激励效应，利用历史数据分析不同任务完成阶段工人的收入变化，比较不同完成质量工人的收入。实验表明，工人更愿意选择质量较高、完成程度较低的任务。

本文按以下章节组织。第一章是绪论。本文主要介绍了本课题的研究背景和意义，国内外在该领域的研究现状和问题，以及本文的主要研究内容，并给出了本文的技术路线和章节安排。

第二章是相关研究工作的总结。首先，介绍了众包模式和现有的众包质量评价方法，以及不同评价策略的优缺点。其次，介绍了众包公信力和激励机制的相关工作，并对现有研究进行了分析。

第三章是考虑声誉的质量评价方法的构建。针对现有质量评估方法的不足，提出了一种考虑员工声誉的众包质量评估方法。首先，收集和分析员工在众包平台上的历史交易行为，并对员工进行分类；其次，基于员工的历史行为建立声誉模型。历史交易的准确率作为声誉得分，加入持续性因子、惩罚函数和惩罚因子，得到员工的声誉值，从而激励员工，减少交互各方之间的信息不对称。然后设置可信度阈值，帮助雇主识别不同类型的员工，并提前剔除欺诈者。之后，选择现有的质量评价方法。由于电磁算法能够处理信息缺失问题，因此在现有电磁算法初始值敏感性问题的基础上进行了改进。工人的声誉被添加到电磁算法中作为评价工人众包质量的权重。

第四章是基于员工完成质量的动态激励机制设计。该部分主要包括三个部分:首先，分析众包任务完成质量低下的原因，然后针对现有平台激励机制的不足，设计两阶段动态激励机制，并提出基于完成质量的动态激励功能；最后，运用博弈论分析了本文提出的动态激励机制的有效性。

第五章是实验设计。主要介绍了实验的操作环境、实验数据和具体设计，并对实验中涉及的参数进行了分析和标定。为了更好地证明该方法的有效性，将本文提出的质量评价方法和动态激励机制与其他现有方法进行了比较，并对结果进行了详细分析。

第六章是总结与展望。首先，总结了本文的主要研究内容，并给出了本文的创新点。然后，从质量评价算法和激励机制两个方面进行展望，为今后的研究方向提供参考。

2.3众包声誉研究
2.3.1声誉和声誉模型
2.3.2众包声誉研究
2.4众包中的激励机制
2.5本章总结

5.3动态激励实验
5.3.1实验参数的校准
5.3.2激励机制效果的比较
5.4本章总结

众包依赖于网络平台，互联网的匿名性会导致员工和雇主之间的信息不对称，这使得雇主很难准确衡量员工的完成质量。然而，现有的众包平台大多采用统一的激励机制，薪酬只与完成的任务数量有关。这种激励方式会吸引大量恶意员工，导致众包质量难以控制。为了解决上述问题，提出了一种考虑员工声誉的众包质量控制方法，并在Mturk平台上使用真实数据验证了该方法的有效性。其主要研究工作和结论如下:

(1)考虑员工声誉的多源质量评估方法

互联网的匿名性使得员工的行为不确定且不可靠，这使得众包质量难以控制。然而，众包平台上有大量的历史交互信息。分析这些历史交互信息可以帮助雇主预测工人未来可能的行为。因此，在质量评价过程中，本文考虑了员工持续参与众包时的行为特征对质量评价的影响，并将其量化为一个可信度问题。首先，对员工的行为进行分析，并将历史行为量化为声誉模型。根据信誉价值，欺诈者会被提前淘汰。之后，工人信誉值被用作代表其对众包任务贡献的权重，并被引入到评估算法中以获得更可靠的质量评估结果。最后，将实验与传统算法进行了比较。实验结果表明，考虑员工声誉的电磁质量评价方法能够合理确定初始值，提高评价精度。

(2)基于员工完成质量的动态激励方法。

为了建立合理的激励机制，在提高员工积极性的同时控制众包质量，提出了基于员工完成质量的两阶段动态激励方法。首先，在第一阶段设立任务分割点，实施统一的支付机制，吸引足够的工人参与任务；当任务完成程度趋于成熟时，在第二阶段建立动态激励功能。激励功能与员工的质量评价结果正相关，与任务的完成负相关。这是为了鼓励这一阶段的工人提交高质量的结果，也是为了鼓励工人选择完成程度低的任务参与，以平衡工人的分布，从而实现对整体众包完成质量的平衡控制。本文通过博弈分析证明了激励机制的可行性，并通过众包数据进行了验证。结果表明，激励机制的激励效果优于统一支付机制。

(1)提出一种考虑到工人声誉的众包质量评估方法。在质量评估中，很少有文献考虑到员工在持续参与过程中的行为特征对评估结果的影响，只有众包被认为是一次性的行为研究。一些研究表明，持续参与的工人比曾经参与的工人有更多的突出贡献。由于众包平台的匿名性，雇主更愿意相信它已经与工人互动。因此，在评价众包质量时，本文考虑了员工在持续参与过程中的行为特征对评价结果的影响，并将历史交互行为量化为声誉模型。电磁算法因其稳定的收敛性被广泛应用于众包质量评价中，但其评价结果容易受到初始值的影响。由于在使用电磁算法时给予工人相同的权重，因此结果容易陷入局部最优。将声誉值作为权重加入到传统的电磁算法中，提出了一种考虑员工声誉的众包质量评价方法，可以优化电磁初始值的确定，提高评价精度。

(2)提出基于员工完成质量的两阶段激励方法。现有的众包平台大多采用统一的激励方法。薪酬仅与完成的任务数量相关。这种激励方式将吸引大量恶意员工，导致众包质量低下。为控制众包质量，应建立合理的激励机制，在鼓励员工积极参与的同时，提高众包完成质量。因此，本文提出根据质量评估结果动态激励员工，设置任务分割点，并将分割点设置为员工不可见，以避免欺诈。在第一阶段，实施统一的定价机制以吸引工人参与。当任务完成度较高时，设置动态激励函数，该函数与任务完成度负相关，避免了工人愿意选择热门任务参与的问题，并与完成质量成正比，从而鼓励工人提交高质量的答案，平衡工人的分布，从而对整体众包任务的质量进行均衡控制。

(1)由于避免剽窃，众包平台上宏观任务的结果大多对公众封闭，难以获取数据，因此本文的研究主要集中在微观任务上。在量化员工历史行为的过程中，本文选择完成任务的准确率作为当前历史行为的得分，不适用于主观性强的创造性众包任务。因此，考虑到任务类型如何更好地描述和量化员工的历史行为，如何评价创造性的众包任务，以及如何提高评价方法的准确性和适用性是下一步研究的重点

(2)由于本文的研究是针对微观任务的，微观任务大多采用计件作业模式，因此宏观任务大多采用招投标作业模式，本文提出的动态激励机制暂时不适用。今后应针对更多的众包任务类型分析该机制的适用性，并根据众包平台的实际运行模式讨论激励机制的具体实施方案。