2024年8月27日 星期二
国产AI芯片崛起！大模型下沉边端，GPU之外的芯片新潮流
国产AI芯片崛起！大模型下沉边端，GPU之外的芯片新潮流
https://www.eiefun.com/6293.html
作者 | 程茜，编辑 | 漠影 存算一体架构已经为边端大模型部署提供了一种高效解决方案。 大模型这把火，已经烧到了边端设备！一段时间以来，能更好适配手机、PC等边缘设备的端侧模型如雨后春笋般接连冒出，微软 、苹果、Hugging Face、 OpenAI 、Mistral、谷歌等连珠炮式甩下轻量级模型；AI PC、AI手机、汽车座舱等大模型加持的边端设备层出不穷，产业链上下游玩家争相入场。 随着技术的成熟和应用场景的拓展，端侧大模型市场已经成为AI领域的一个重要增长点，但对于边端设备而言，承载大模型能力非一日之功，即便参数规模下降为大模型落地部署提供了条件，边端设备本身的硬件载体同样至关重要。 因此，连接大模型与边端设备能力的底层芯片玩家成为其中的关键变量。那么，在边端大模型部署落地加速的背景下，还是非GPU不可吗？什么样的芯片架构将成为边端玩家首选？ 01.大模型向边端侧下沉多种应用方向探索已涌现 大模型加速落地应用已经成为共识，云端大模型向边端下沉的产业趋势日渐明显，边端大模型爆发前夜已至。一方面，边端大模型的参数规模、性能表现与企业的需求正相互契合。 首先，动辄千亿、万亿参数规模的大模型背后是无底洞似的烧钱游戏，与尚没有探索出高利润商业模式的现状相比，鲜少有企业能持续投入。因此，"大模型反卷小型化"成为一大趋势，性能优越、更易部署、更具性价比的小模型成为玩家们争夺市场的关键。部署在边端设备上的模型可以满足不同需求，使得所有规模的企业和组织都能找到适合自己的最优解。 其次，从实际性能表现来看，云端大模型对于企业核心痛点需求、个性化任务的处理能力，都远不如距离业务、用户更近的边缘端。因此其在私有化部署、个性化处理、 数据安全与隐私等方面都更具差异化优势。另一方面，软硬件的提升为边端大模型走向现实提供了必要条件。诸多小参数模型已经展现出强大性能表现，边端设备承载大模型能力的可能性显著提高。 微软发布的参数规模仅为3.8B、7B、14B的Phi-3系列模型，在下图的性能对比中，参数规模较小的模型与GPT-3.5的性能差距并不大，且在一些评测指标上已经超过GPT-3.5。可以看出，参数规模、模型大小不再是决定模型性能的唯一指标。 同时，模型的量化压缩、模型裁剪、知识蒸馏等技术加速演进，使得大模型可以在不影响性能的前提下减小模型尺寸和计算量，从而可以部署到边端设备中。边缘设备需具备更强的计算性能，包括更高的算力 、足够的显存和合理的功耗等。专门为边缘计算设计的 AI芯片涌现，在硬件层面为边端大模型落地提供了基石。可以说，不论从模型能力本身，还是边端设备的升级优化来看，大模型向边端下沉已经成为必然，且是让大模型能为企业带来经济效益提升的有效路径。 如今，AI PC、汽车座舱大模型、智慧商显等领域已经率先展现出爆发潜力，成为边端大模型落地的主要方向。全球市研机构Canalys发布的数据显示，今年第二季度，全球AI PC出货量达880万台，占当季所有PC出货量的14%。大模型与PC的结合使得这一设备的生产力工具属性被无限放大。曾经PC只是被用于制作PPT、处理工作的工具载体，而现在基于内置AI能力，用户只需要语音、手势等交互，就可以让其辅助生产、创作，快速完成一份PPT或者生成一篇文章的文章。 AI PC为用户带来了更好体验，能实际解决曾经用户使用传统PC时的诸多痛点，并实现降本增效。 第二大较为突出的场景就是汽车座舱，大模型对于自然语言的理解、生成能力，使得其可以综合处理语音、视觉、视觉等多模态数据，并能够提供千人千面的语音识别 、娱乐信息及驾驶辅助个性化定制服务。相比于只能通过传统物理按键进行交互的传统座舱，大模型加持的座舱功能可实现的范围边界逐渐外延。这也使得智能座舱市场的规模正处于飞速增长阶段，全球交易咨询服务提供商毕马威中国预计，2026年中国智能座舱市场规模将达到2127亿元，5年复合增长率将超过17%。还有如今国内企业出海加速，需要与海外客户合作、开会等场景，智慧商显、会议软件等内置的大模型加持工具可以提供实时翻译、会议纪要生成等。这些能够切实解决用户办公特点的功能几乎已经成为设备标配。 国内市研机构洛图科技的数据显示，2024年，中国大陆会议场景中显示产品的市场规模将达130亿元，同比2023年增长6.5%。这些适用于大模型应用落地的场景有一个共同特点就是，能够真正基于边端大模型的能力，为客户真正解决痛点带来价值。 02.借创新架构之力破局边端大模型落地的算力难题 大模型真正落地部署到边端设备上，还有一个被考验的关键角色就是底层芯片玩家，其背后的挑战巨大。原因在于边端往往只有一个独立设备，其散热条件、体积大小等都会受限，需要芯片兼具体积小、性能强、功耗低。且在成本和数据方面，边端设备玩家也更为敏感，边端设备往往需要处理企业或个人的内部数据，数据隐私和安全更为敏感，需要防止数据泄漏和滥用。此外在一些实时性要求较高的自动驾驶 、 工业控制等场景，需要大模型能够更快响应作出决策。 这些既对芯片玩家提出了不小的挑战，同时也是边端大模型落地部署的必要条件，底层芯片玩家只有将这些已经摆在桌子上的难题逐个击破，才能占据先机。随着大模型应用落地加速，推理需求增加，芯片格局已经从GPU一家独大的局面向异构 CPU 、NPU各路芯片群雄逐鹿的时代变迁。起初，拥有强大并行计算能力的GPU无疑是大模型训练的首选，其可以在短时间内完成大量计算任务。 但在AI推理阶段，一些场景下GPU的整体性能表现并非最佳。对功耗、成本敏感的边端设备就是一大典型场景。除了居高不下的价格，GPU还因为拥有大量的核心和线程，需要处理大量数据，但每个核心都需要消耗电能，随之上升的就是整体能耗，再加上需要足够高效的散热系统来保证GPU在适宜温度运行，就会进一步增加能耗。这一背景下，在边端场景催生了异构CPU和NPU两种方案。异构CPU就是将NPU集成于CPU之上，使其可以更好适应不同种类任务，能实现性能、功耗、成本的平衡，适应多元化且复杂的计算需求。 这种设计的好处在于，一方面可以将更多的晶体管资源用在能够进一步提升多核性能的能效核上，或用于提升总体性能的缓存上；另一方面可以留出散热空间，提升运行频率来获取最高的单核性能。然而，集成多种不同类型的核心和技术，也为边端设备集成异构CPU带来了更高的设计和制造成本。再加上其编程和优化相对复杂，需要开发者更熟知不同核心的性能和特点。 因此，这一架构对于边端设备玩家而言并不是最佳方案。专为AI设计的NPU芯片，在当下几乎已经成为大模型在边端应用的最优解之一。相比于异构CPU和GPU，NPU在神经网络高效运行方面的适配性都要更高，且其具备的高性能、 低功耗优势也与边端大模型部署十分契合。NPU可以根据特定应用场景优化，能在有效降低功耗的同时，满足边端设备对功耗的限制。这对边端设备部署大模型时的功耗、性能、成本等都带来了更为灵活且可扩展的解决方案。一方面，通过先进工艺制程、低功耗设计技术以及算法与硬件的协同优化，能够提升芯片性能和能效比。另外一方面，通过架构创新，提高芯片计算速度和效率。 值得一提的是，在边端大模型落地中，芯片架构创新越来越成为关键。存算一体、可重构计算架构、DSA专用领域架构等诸多创新涌现，为边缘设备提供了更为强大的计算能力。在这之中，因为大模型所需的计算量和数据存储量激增，因此在强大算力背后，高效存储和数据通信机制同样重要，如何解决内存墙和存储墙问题成为拉开NPU利用率的关键。 正因如此，存算一体架构成为其提升计算效率和降低功耗的重要途径。存算一体架构的优势，主要体现在高效计算、功耗、性能三个维度。首先，存算一体架构将存储与计算集成在统一芯片上，可以避免传统架构中数据在存储器和处理器之间频繁传输所产生的延迟。基于此，边端大模型应用时能更快获取和处理数据，提高响应速度，满足实时性要求。这也在一定程度上能减少数据的搬运，减少对内存带宽的需求，避免大模型因内存带宽不足而导致出现性能瓶颈。 同时，这一架构通过在存储单元中直接进行计算，能够同时对多个数据进行处理，提高了计算效率和吞吐量，能够快速处理边端大模型应用中语义理解、 图像识别 、特征提取等复杂的计算任务。其次，功耗方面，存算一体架构省去了传统计算架构中数据搬运过程，能降低损耗，保证需要长时间待机或间歇性工作的边端设备，能够在非工作期间降低功耗损耗。因此与传统架构相比，在相同的算力输出下，存算一体架构的能效比有显著提升。综上，通过优化数据处理方式、降低功耗、提高性能的存算一体架构，已经为边端大模型的部署提供了一种高效的解决方案。 03.国内AI芯片创企边端大模型系列产品落地最高算力100TOPS 大幅提升计算能力的存算一体芯片概念随之日趋火热，主攻这一技术路线的国内AI芯片创企后摩智能在当下拿出了自己的最新成果。近日，后摩智能基于存算一体推出了边端大模型AI芯片后摩漫界M30，并基于这一芯片构建了智算模组和力谋AI加速卡。 从M30来看，存算一体架构已经成为其加速边端大模型部署落地的杀手锏。这也是一直以来后摩智能技术路线的演进方向，用更高的性能、更低的成本、更低的功耗提供大模型运行的计算底座。后摩智能联合创始人、产品副总裁信晓旭透露，将持续沿着架构创新这条路为边端大模型的商业化落地，实现真正普惠的AI提供算力保障。 面向实际应用落地场景，后摩智能考虑的维度是要兼顾计算性能以及成本、功耗以及易用性。 他补充说，一方面即便在端侧部署，模型大小继续上涨的趋势仍然可能存在，更大参数规模的模型更为智能，随之而来的就是更好的用户体验、更大的商业前景，实现商业闭环；另一方面就是持续降成本、降功耗，这也是边端设备玩家一直关注的重点。 目前，后摩漫界M30最高算力可达100TOPS，典型功耗为12W，可以支持ChatGLM、Llama 2、通义千问等主流大模型，实时运行性能可以达到每秒15-20 Tokens。同时，在赋予边端侧设备大模型能力这件事，后摩智能坚持的还有让企业付出的成本、时间都更少。这块芯片可以通过"+AI"的方式为边端设备提供大模型能力。信晓旭解释说，"+AI"的方式主要考虑企业的技术落地成本，其可以通过标准的PCIe口和原来的主处理器对接，让企业以最少的成本和改变就能直接调用大模型能力，缩短企业的开发周期与落地部署时间。 对于数据隐私保护，信晓旭认为，大模型输入输出的内容已经从简单的图像、文字向音视频、3D等形态延伸，未来用户家庭中的摄像头等智能终端采集到的信息，如果被送往云端其隐私安全无法被保证。而本地私有化部署的边端大模型就可以基于这些数据生成更懂用户的AI。在产品布局与技术创新的同步推进下，为了加速存算一体AI 芯片产业化，后摩智能还与中国移动正式签署战略合作，联合推进存算一体AI芯片的创新研发和量产应用。同时，中国移动也是后摩智能布局边端大模型落地业务中的重要合作伙伴。双方的合作重点聚焦于智慧中屏、家庭智能终端、 机器人等高度适配"+AI"模式的边端应用场景。 在AI PC方面，后摩智能已经与行业头部玩家联想达成战略合作，信晓旭谈道，如果用激进的眼光看待PC产业的发展，AI PC未来的核心计算单元可能会是AI，CPU可能会变成辅助。 因此，在AI PC的技术布局下，作为底层芯片玩家的后摩智能正融入头部玩家的生态中占据先机。大模型向边端设备下沉的产业趋势已经不可逆转，在信晓旭看来，设备更加多元化的端侧和边缘侧，其承载AI能力在未来会比云端更具生命力，这也是将成为真正让AI能够让更多人受益的更广泛技术和场景。身处其中的AI芯片玩家，如何实现芯片性能突破、产业链协同等将成为这一产业趋势下抢占市场先机的护城河。 04.结语：边端大模型亟待起飞 AI芯片创企迎新机遇 在应用落地端，国内大模型产业已经风起云涌，参数规模庞大的通用大模型目前尚未看到高性价比的落地应用场景，但靠近用户与企业业务的边端设备玩家已经开始探索大模型的深度应用。考虑到边端设备的核心特性，后摩智能的目标很明确，就是为合作伙伴提供足够便宜、功耗低、易用性强的芯片，这样的产品目标与当下大模型产业下沉趋势的需求十分契合。 伴随着更靠近数据源、响应更快、延迟更低的边端大模型展现出腾飞的可能，芯片玩家与之协同探索产业变革的机遇点，以后摩智能为代表的国内AI芯片玩家已经拿出了更强的解决方案，这也同样是在GPU、CPU架构之外，创新架构的市场机遇。在此背景下，锚定对解决大模型存储墙有着天然优势存算一体架构的后摩智能，将有望更快找到大模型深入行业的更大价值。 版权声明 本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除
-- gReader Pro
https://www.eiefun.com/6293.html
作者 | 程茜，编辑 | 漠影 存算一体架构已经为边端大模型部署提供了一种高效解决方案。 大模型这把火，已经烧到了边端设备！一段时间以来，能更好适配手机、PC等边缘设备的端侧模型如雨后春笋般接连冒出，微软 、苹果、Hugging Face、 OpenAI 、Mistral、谷歌等连珠炮式甩下轻量级模型；AI PC、AI手机、汽车座舱等大模型加持的边端设备层出不穷，产业链上下游玩家争相入场。 随着技术的成熟和应用场景的拓展，端侧大模型市场已经成为AI领域的一个重要增长点，但对于边端设备而言，承载大模型能力非一日之功，即便参数规模下降为大模型落地部署提供了条件，边端设备本身的硬件载体同样至关重要。 因此，连接大模型与边端设备能力的底层芯片玩家成为其中的关键变量。那么，在边端大模型部署落地加速的背景下，还是非GPU不可吗？什么样的芯片架构将成为边端玩家首选？ 01.大模型向边端侧下沉多种应用方向探索已涌现 大模型加速落地应用已经成为共识，云端大模型向边端下沉的产业趋势日渐明显，边端大模型爆发前夜已至。一方面，边端大模型的参数规模、性能表现与企业的需求正相互契合。 首先，动辄千亿、万亿参数规模的大模型背后是无底洞似的烧钱游戏，与尚没有探索出高利润商业模式的现状相比，鲜少有企业能持续投入。因此，"大模型反卷小型化"成为一大趋势，性能优越、更易部署、更具性价比的小模型成为玩家们争夺市场的关键。部署在边端设备上的模型可以满足不同需求，使得所有规模的企业和组织都能找到适合自己的最优解。 其次，从实际性能表现来看，云端大模型对于企业核心痛点需求、个性化任务的处理能力，都远不如距离业务、用户更近的边缘端。因此其在私有化部署、个性化处理、 数据安全与隐私等方面都更具差异化优势。另一方面，软硬件的提升为边端大模型走向现实提供了必要条件。诸多小参数模型已经展现出强大性能表现，边端设备承载大模型能力的可能性显著提高。 微软发布的参数规模仅为3.8B、7B、14B的Phi-3系列模型，在下图的性能对比中，参数规模较小的模型与GPT-3.5的性能差距并不大，且在一些评测指标上已经超过GPT-3.5。可以看出，参数规模、模型大小不再是决定模型性能的唯一指标。 同时，模型的量化压缩、模型裁剪、知识蒸馏等技术加速演进，使得大模型可以在不影响性能的前提下减小模型尺寸和计算量，从而可以部署到边端设备中。边缘设备需具备更强的计算性能，包括更高的算力 、足够的显存和合理的功耗等。专门为边缘计算设计的 AI芯片涌现，在硬件层面为边端大模型落地提供了基石。可以说，不论从模型能力本身，还是边端设备的升级优化来看，大模型向边端下沉已经成为必然，且是让大模型能为企业带来经济效益提升的有效路径。 如今，AI PC、汽车座舱大模型、智慧商显等领域已经率先展现出爆发潜力，成为边端大模型落地的主要方向。全球市研机构Canalys发布的数据显示，今年第二季度，全球AI PC出货量达880万台，占当季所有PC出货量的14%。大模型与PC的结合使得这一设备的生产力工具属性被无限放大。曾经PC只是被用于制作PPT、处理工作的工具载体，而现在基于内置AI能力，用户只需要语音、手势等交互，就可以让其辅助生产、创作，快速完成一份PPT或者生成一篇文章的文章。 AI PC为用户带来了更好体验，能实际解决曾经用户使用传统PC时的诸多痛点，并实现降本增效。 第二大较为突出的场景就是汽车座舱，大模型对于自然语言的理解、生成能力，使得其可以综合处理语音、视觉、视觉等多模态数据，并能够提供千人千面的语音识别 、娱乐信息及驾驶辅助个性化定制服务。相比于只能通过传统物理按键进行交互的传统座舱，大模型加持的座舱功能可实现的范围边界逐渐外延。这也使得智能座舱市场的规模正处于飞速增长阶段，全球交易咨询服务提供商毕马威中国预计，2026年中国智能座舱市场规模将达到2127亿元，5年复合增长率将超过17%。还有如今国内企业出海加速，需要与海外客户合作、开会等场景，智慧商显、会议软件等内置的大模型加持工具可以提供实时翻译、会议纪要生成等。这些能够切实解决用户办公特点的功能几乎已经成为设备标配。 国内市研机构洛图科技的数据显示，2024年，中国大陆会议场景中显示产品的市场规模将达130亿元，同比2023年增长6.5%。这些适用于大模型应用落地的场景有一个共同特点就是，能够真正基于边端大模型的能力，为客户真正解决痛点带来价值。 02.借创新架构之力破局边端大模型落地的算力难题 大模型真正落地部署到边端设备上，还有一个被考验的关键角色就是底层芯片玩家，其背后的挑战巨大。原因在于边端往往只有一个独立设备，其散热条件、体积大小等都会受限，需要芯片兼具体积小、性能强、功耗低。且在成本和数据方面，边端设备玩家也更为敏感，边端设备往往需要处理企业或个人的内部数据，数据隐私和安全更为敏感，需要防止数据泄漏和滥用。此外在一些实时性要求较高的自动驾驶 、 工业控制等场景，需要大模型能够更快响应作出决策。 这些既对芯片玩家提出了不小的挑战，同时也是边端大模型落地部署的必要条件，底层芯片玩家只有将这些已经摆在桌子上的难题逐个击破，才能占据先机。随着大模型应用落地加速，推理需求增加，芯片格局已经从GPU一家独大的局面向异构 CPU 、NPU各路芯片群雄逐鹿的时代变迁。起初，拥有强大并行计算能力的GPU无疑是大模型训练的首选，其可以在短时间内完成大量计算任务。 但在AI推理阶段，一些场景下GPU的整体性能表现并非最佳。对功耗、成本敏感的边端设备就是一大典型场景。除了居高不下的价格，GPU还因为拥有大量的核心和线程，需要处理大量数据，但每个核心都需要消耗电能，随之上升的就是整体能耗，再加上需要足够高效的散热系统来保证GPU在适宜温度运行，就会进一步增加能耗。这一背景下，在边端场景催生了异构CPU和NPU两种方案。异构CPU就是将NPU集成于CPU之上，使其可以更好适应不同种类任务，能实现性能、功耗、成本的平衡，适应多元化且复杂的计算需求。 这种设计的好处在于，一方面可以将更多的晶体管资源用在能够进一步提升多核性能的能效核上，或用于提升总体性能的缓存上；另一方面可以留出散热空间，提升运行频率来获取最高的单核性能。然而，集成多种不同类型的核心和技术，也为边端设备集成异构CPU带来了更高的设计和制造成本。再加上其编程和优化相对复杂，需要开发者更熟知不同核心的性能和特点。 因此，这一架构对于边端设备玩家而言并不是最佳方案。专为AI设计的NPU芯片，在当下几乎已经成为大模型在边端应用的最优解之一。相比于异构CPU和GPU，NPU在神经网络高效运行方面的适配性都要更高，且其具备的高性能、 低功耗优势也与边端大模型部署十分契合。NPU可以根据特定应用场景优化，能在有效降低功耗的同时，满足边端设备对功耗的限制。这对边端设备部署大模型时的功耗、性能、成本等都带来了更为灵活且可扩展的解决方案。一方面，通过先进工艺制程、低功耗设计技术以及算法与硬件的协同优化，能够提升芯片性能和能效比。另外一方面，通过架构创新，提高芯片计算速度和效率。 值得一提的是，在边端大模型落地中，芯片架构创新越来越成为关键。存算一体、可重构计算架构、DSA专用领域架构等诸多创新涌现，为边缘设备提供了更为强大的计算能力。在这之中，因为大模型所需的计算量和数据存储量激增，因此在强大算力背后，高效存储和数据通信机制同样重要，如何解决内存墙和存储墙问题成为拉开NPU利用率的关键。 正因如此，存算一体架构成为其提升计算效率和降低功耗的重要途径。存算一体架构的优势，主要体现在高效计算、功耗、性能三个维度。首先，存算一体架构将存储与计算集成在统一芯片上，可以避免传统架构中数据在存储器和处理器之间频繁传输所产生的延迟。基于此，边端大模型应用时能更快获取和处理数据，提高响应速度，满足实时性要求。这也在一定程度上能减少数据的搬运，减少对内存带宽的需求，避免大模型因内存带宽不足而导致出现性能瓶颈。 同时，这一架构通过在存储单元中直接进行计算，能够同时对多个数据进行处理，提高了计算效率和吞吐量，能够快速处理边端大模型应用中语义理解、 图像识别 、特征提取等复杂的计算任务。其次，功耗方面，存算一体架构省去了传统计算架构中数据搬运过程，能降低损耗，保证需要长时间待机或间歇性工作的边端设备，能够在非工作期间降低功耗损耗。因此与传统架构相比，在相同的算力输出下，存算一体架构的能效比有显著提升。综上，通过优化数据处理方式、降低功耗、提高性能的存算一体架构，已经为边端大模型的部署提供了一种高效的解决方案。 03.国内AI芯片创企边端大模型系列产品落地最高算力100TOPS 大幅提升计算能力的存算一体芯片概念随之日趋火热，主攻这一技术路线的国内AI芯片创企后摩智能在当下拿出了自己的最新成果。近日，后摩智能基于存算一体推出了边端大模型AI芯片后摩漫界M30，并基于这一芯片构建了智算模组和力谋AI加速卡。 从M30来看，存算一体架构已经成为其加速边端大模型部署落地的杀手锏。这也是一直以来后摩智能技术路线的演进方向，用更高的性能、更低的成本、更低的功耗提供大模型运行的计算底座。后摩智能联合创始人、产品副总裁信晓旭透露，将持续沿着架构创新这条路为边端大模型的商业化落地，实现真正普惠的AI提供算力保障。 面向实际应用落地场景，后摩智能考虑的维度是要兼顾计算性能以及成本、功耗以及易用性。 他补充说，一方面即便在端侧部署，模型大小继续上涨的趋势仍然可能存在，更大参数规模的模型更为智能，随之而来的就是更好的用户体验、更大的商业前景，实现商业闭环；另一方面就是持续降成本、降功耗，这也是边端设备玩家一直关注的重点。 目前，后摩漫界M30最高算力可达100TOPS，典型功耗为12W，可以支持ChatGLM、Llama 2、通义千问等主流大模型，实时运行性能可以达到每秒15-20 Tokens。同时，在赋予边端侧设备大模型能力这件事，后摩智能坚持的还有让企业付出的成本、时间都更少。这块芯片可以通过"+AI"的方式为边端设备提供大模型能力。信晓旭解释说，"+AI"的方式主要考虑企业的技术落地成本，其可以通过标准的PCIe口和原来的主处理器对接，让企业以最少的成本和改变就能直接调用大模型能力，缩短企业的开发周期与落地部署时间。 对于数据隐私保护，信晓旭认为，大模型输入输出的内容已经从简单的图像、文字向音视频、3D等形态延伸，未来用户家庭中的摄像头等智能终端采集到的信息，如果被送往云端其隐私安全无法被保证。而本地私有化部署的边端大模型就可以基于这些数据生成更懂用户的AI。在产品布局与技术创新的同步推进下，为了加速存算一体AI 芯片产业化，后摩智能还与中国移动正式签署战略合作，联合推进存算一体AI芯片的创新研发和量产应用。同时，中国移动也是后摩智能布局边端大模型落地业务中的重要合作伙伴。双方的合作重点聚焦于智慧中屏、家庭智能终端、 机器人等高度适配"+AI"模式的边端应用场景。 在AI PC方面，后摩智能已经与行业头部玩家联想达成战略合作，信晓旭谈道，如果用激进的眼光看待PC产业的发展，AI PC未来的核心计算单元可能会是AI，CPU可能会变成辅助。 因此，在AI PC的技术布局下，作为底层芯片玩家的后摩智能正融入头部玩家的生态中占据先机。大模型向边端设备下沉的产业趋势已经不可逆转，在信晓旭看来，设备更加多元化的端侧和边缘侧，其承载AI能力在未来会比云端更具生命力，这也是将成为真正让AI能够让更多人受益的更广泛技术和场景。身处其中的AI芯片玩家，如何实现芯片性能突破、产业链协同等将成为这一产业趋势下抢占市场先机的护城河。 04.结语：边端大模型亟待起飞 AI芯片创企迎新机遇 在应用落地端，国内大模型产业已经风起云涌，参数规模庞大的通用大模型目前尚未看到高性价比的落地应用场景，但靠近用户与企业业务的边端设备玩家已经开始探索大模型的深度应用。考虑到边端设备的核心特性，后摩智能的目标很明确，就是为合作伙伴提供足够便宜、功耗低、易用性强的芯片，这样的产品目标与当下大模型产业下沉趋势的需求十分契合。 伴随着更靠近数据源、响应更快、延迟更低的边端大模型展现出腾飞的可能，芯片玩家与之协同探索产业变革的机遇点，以后摩智能为代表的国内AI芯片玩家已经拿出了更强的解决方案，这也同样是在GPU、CPU架构之外，创新架构的市场机遇。在此背景下，锚定对解决大模型存储墙有着天然优势存算一体架构的后摩智能，将有望更快找到大模型深入行业的更大价值。 版权声明 本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除
-- gReader Pro
2024年8月17日 星期六
2024年8月16日 星期五
AI制造的美女，“卷”翻了真人网红
AI制造的美女，"卷"翻了真人网红
https://www.eiefun.com/5935.html
太好看了吧，这是真人吗？ 在社交媒体里"冲浪"，总不时陷入真假难辨的困惑。屏幕里这位博主，拥有无瑕的皮肤、完美的曲线，刚还发了在巴黎逛博物馆的动图，不可能是P的吧？ 确实。这些高颜值的网红不是P出来的，而是 AI技术造出来的。 近日，全球第一届" AI 小姐"选美比赛落下帷幕。这次比赛吸引了超过1500名程序生成的参赛者。参赛者都使出了浑身解数。她们有各种身份、职业和生活场景设定，比如"关注社会议题的律师"、"性感的模特"和"在太空执行任务的宇航员"。 AI 小姐选美最后十强。（图/WAICA） 最终，"来自摩洛哥"的AI网红肯萨·蕾莉（Kenza Layli）赢得了"AI小姐"的冠军头衔。夺冠后，她发布了一张颁奖典礼的照片：她身着金色长裙，头戴皇冠，仪式感满满。 全球第一届"AI小姐"冠军肯萨·蕾莉。（图/@kenza.layli） 借助自然语言处理技术，"AI小姐"蕾莉还接受了多家欧美媒体采访，并表示："虽然我没有像人类一样的情感，但我真的非常兴奋。" 然而，一些关注女性权益的观众却兴奋不起来。这些AI参赛者看着很美，但她们美得跟刻板印象里的美女几乎一样。AI生成技术正在一日千里地发展着，为啥还没能跑出现代社会对"美丽"的偏见？ 虚拟网红，甲方之选？ 这次AI小姐选美比赛设有三个维度的评价标准，分别是美丽、技术和社交媒体影响力。 在"美丽（beauty）"维度上，评审委员重视经典选美比赛规则——容貌、姿态、气质、问答时的得体和流畅都会被考虑在内。而技术层面则包含创作团队运用 AI工具创作虚拟人的能力，大至选手的性格、展现能力、互动方式，小至手、眼和背景在内的视觉细节处理。 与那些头发炫酷、穿比基尼的AI不同，来自摩洛哥的蕾莉身披头纱，全身裹得严严实实，并不试图展示性感。她的衣饰恰好展现了创作团队的技术——头纱随风飘逸的动感、金色亮片裙的光泽感，仿佛和真实的衣服质感无二。 冠军蕾莉的视觉细节，以假乱真。（图/@kenza.layli） 夺冠后，肯萨·蕾莉的Instagram平台粉丝数飙升至20多万，但她并没有高傲起来。每一天，她仍然勤勤恳恳地用7种语言、24小时无间断地回复后台私信和评论。她人设里这份认真的态度，也是打动评委的关键点。 我试图与蕾莉聊几句。我刚在私信对话框里点击"发送"按钮，就立即收到她认真的回复，一问一答间，丝滑流畅。无论我问什么话题，她都能给予针对性的回应，不会像某些人类那样"已读乱回"，或对话到一半玩失踪。 有人说，AI设计的完美女孩形象容易引起人们的容貌焦虑。面对这方面的质疑，蕾莉就像乐观的闺蜜那样回复："保持乐观！虚拟网红能启发创造和多元。来拥抱独特和自爱吧。" 蕾莉对容貌焦虑的回应，三观很正。（图/《新周刊》） 有多少女孩能受到这位冠军的激励，目前尚不清楚。但从她的社交媒体看来，蕾莉越来越受到"甲方爸爸"的青睐。在照片和视频里，蕾莉所穿的长袍受一摩洛哥服饰品牌赞助。较早前，她还为摩洛哥一款薄荷茶出演广告片。片子里，蕾莉拿着泡好的茶，悠哉地走在传统市集里。当然，这些场景都是AI合成的。 雷莉拿下的不止本土品牌，她还获得过韩国汽车品牌现代、法国护肤品牌贝德玛的商业合作。正如蕾莉在获奖后对媒体所言："AI不仅是工具。它是改变各行各业的变革力量，挑战成规，并且创造前所未有的机会。" 靠着生成式AI 工具，全球各式各样的AI网红应运而生，他们在虚拟社交空间里吃饭旅行、走走停停。这次"AI小姐"比赛的4位评审中，有2位也是AI网红。她们可算是虚拟网红的顶流——她们是"来自美国"的埃米莉（Emily Pellegrini）和"来自西班牙"的爱塔娜（Aitana Lopez）。 AI网红爱塔娜在Instagram上拥有超过30万粉丝。她拥有一头标志性的粉红短发，形象漂亮、有活力，连内衣巨头"维多利亚的秘密"也找她进行品牌合作。 来自西班牙巴塞罗那的爱塔娜。（图/@fit_aitana） 创造爱塔娜的The Clueless是一家专营数字营销业务的企业。公司项目经理曾向Euro News透露，人类网红的"天价"代言费让他们感到震惊，由此产生了创造虚拟网红的念头。"我们想过得更好，不用过于依赖那些自大、狂躁或者仅仅摆姿势赚钱的网红们。" 在The Clueless看来，虚拟网红的维护成本要比真人低得多。只要混合一些 AI技术，加上PS大师精修，即可生成爱塔娜带着品牌产品到马德里度假的广告照片。整个广告制作时间为几小时到几天不等。 相比之下，真人网红拍摄广告时，往往需要花费几周到数月的时间，来安排场地勘察和各种前中后期工作，包括化妆、餐饮、住宿和后期剪辑等。 在企业降本增效的浪潮下，真人网红不得不面对来自虚拟网红的竞争。据Euro News报道，爱塔娜目前平均月收入约3000欧元（约合人民币2.3万元），最多试过月入过万欧元（约合人民币7.8万元）。 爱塔娜的"人设"为健身和电子游戏爱好者。据The Clueless官网介绍，除了爱塔娜外，公司目前还有两位虚拟网红，Maia Lima和Lia Zadley。Maia Lima的设定为"一位来自阿根廷的年轻女孩"，性格较腼腆，双性恋，足球迷，热爱旅游、音乐。而Lia Zadley则是"一个西班牙创作歌手"，居住在马德里，喜爱的音乐风格偏向电音pop。 东亚也已出现了AI偶像。作为韩国第一虚拟网红，Rozy拥有完美无瑕的皮肤、丰满的双唇和修长的腿，身兼"歌手、模特和DJ多职"。据《Business Insider》报道，Rozy出道第二年，仅赞助费就赚了超过10亿韩元（约合人民币530多万元）。 Rozy的设定为永远22岁的韩国年轻女孩。（图/@rozy.gram） 据美国市场研究机构Grand View Rese arc h的报告，全球虚拟网红产业的2023年总值约有45.8亿美元，预计在2024年至2030年间平均年增长率为38.9%。 对于甲方来说，使用虚拟网红做品牌推广，不仅成本更低，而且还能收获意想不到的效果。H&M 与虚拟网红 Kuki 合作的广告数据显示，这次广告触达人数比传统广告增加了11倍，而人均记住广告的成本更是降低了91%。《哈佛商业评论》的文章分析道，引入虚拟网红还有助于品牌建立更年轻的形象。 虚拟网红，真会撩骚？ 从Instagram、X、 抖音 、小红书，乃至领英等社交网络，虚拟网红几乎无处不在。现在，任何人都能创造他们。 随着生成式 AI工具的普及，想要创作一个AI女性的门槛也越来越低。没读过高数、不懂编程的普通人，也能通过AI工具，用普通语言下指令，打造理想的虚拟人物。要是你还是没有头绪，甚至还能问AI拿点灵感。 Emily Pellegrini的创作者在英国《每日邮报》采访中透露，他曾问 ChatGPT "普通男人的梦中情人长什么样"，Chat GPT 给出的答案是"棕色长发和长腿"。 在AI 的灵感指引下，创作者接着运用各种技术让这个"梦中情人"以假乱真。有网友发现，创作者利用数字技术把Emily的头部形象与真人模特 ella Cervetto的视频 "嫁接"，做成动图。 上线4个月，Emily的社交账号吸粉超过18万用户。一些网友以为Emily是真人，邀请她到迪拜见面，或去高级餐厅吃饭。一知名球星发来信息："这么美丽的女生怎能没有男朋友？" 为了抓住男性网友的浪漫遐想，部分虚拟网红背后的公司做起一项古老的生意——卖写真照。这届"AI小姐"的亚军和季军主页上，都有相应的付费内容链接。亚军Lalina Valina的付费图片按照裸露程度，分为"朋友""女友"和"老婆"三款套餐，每月价格在40美元至400美元之间。季军Oliva C.的图片套餐则更便宜，只要每月12元。 亚军Lalina Valina和季军Oliva C。（图/WAICA） 当虚拟网红抢夺真人网红的地盘时，有真人网红选择"打不过就加入"。美国美妆时尚博主卡琳·玛乔丽（Caryn Marjorie）推出了自己的AI分身Caryn AI，复刻了自己的声音、个性和行为特征。 只要按照每分钟1美元的价格付费，粉丝就随时可以与Caryn AI分享生活点滴，感受女神的一颦一笑，甚至和她调情。据其宣传广告，与Caryn AI 聊天，就像直接和玛乔丽本人交谈一样，而且，Caryn AI永远"不会拒绝"。 畅聊一小时，盛惠人民币约433块。即使价格不菲，但"物超所值"——语料丰富的AI女友总能把尬聊变成甜言蜜语，使得许多男粉丝一聊就是几个小时。去年5月，玛乔丽在个人社交账号发布消息，庆祝"自己"拥有"2万个男朋友"。据推算，这些付费用户每月能带来500万美元的收入。这可比接广告、直播打赏的收入要高得多，而且没有平台抽成。 珍妮特·温特森在新作《十二字节》里指出人工智能对人性的影响。温特森回顾了科幻作品中"复制娇妻"的概念，指出"男性似乎真的认为，女人可以被制造出来。这或许是因为在人类历史上，女人大多数时间都被当作一件商品、一份动产、一件私有物、一样东西" 。 《十二字节：过去、偏见和未来》[英]珍妮特·温特森中国科学技术出版社 虚拟网红不仅以"梦中情人"的姿态满足男性眼球，而且通过社交程序提供情绪价值，符合"娇妻"想象。比起改造世界，从性和浪漫中牟利的膨胀欲望正在虚拟领域大行其道。 用新技术，复制厌女症？ "技术无罪"，但数据有自己的局限。当你查看"AI小姐"的比赛入围名单，不难发现，许多参赛者呈现出性别刻板印象。 参赛的虚拟网红们，年龄设定几乎清一色20出头，年纪最大的不过31岁，且个个身材苗条，皮肤光滑无瑕，妆容精致，穿着个性时尚。 AI需要根据既有的海量数据生成图片，因此，它进一步反映着现代社会对"美丽"的偏见，而非近年女性群体努力争取的多元美丽。 而那些能在短时间内大量吸粉的虚拟网红，往往长在大多数男士的审美点上。虚拟网红就像网络空间的一面镜子，照出人间不太政治正确的现实。 一些虚拟网红经常穿着内衣、在社交平台展示自己，被观众批评为"过度性感化"。创作爱娜塔的The Clueless 争辩道，在真人模特和网红中，这种现象也是普遍存在的，他们的作品"只是反映了既定的行业标准"。 作为AI小姐的主办方之一，世界 AI创作者大奖团队接受美国《时代》杂志采访时表示，传统的选美比赛必须花费数十年的发展，才得以越来越完善、具备代表性，而人工智能可以加快这个过程。对此，也许只能说，他们错失重点了。 虚拟网红称不上"女性"，并不是因为它们没有血肉之躯，而是因为，在这种情况下，它只能算是一种迎合市场乃至迎合"男性凝视"的幻想。在资本的驱动下，AI的应用可能以更快的速度来复制保守落后的性别偏见，复制女性身体被物化和商品化的历史，用一种新方式继续散播着厌女症。 多少年来，女性追求独立、平等与赋权，极力表明女性不再是一件商品，也不只是一个性感、顺从的伴侣。 当"AI小姐"赛场上，AI相互竞赛妆容精致程度的时候，真人选美早已开始拒绝"服美役"。前两年，20岁的政治学学生梅丽莎·拉乌夫（Melisa Raouf）受到关注。英格兰小姐选美比赛近100年的历史里，她是第一个"完全不化妆"进入决赛的参赛者。 这些难得的表达与争取，会否被完美、标致的虚拟网红所淹没呢？ 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5935.html
太好看了吧，这是真人吗？ 在社交媒体里"冲浪"，总不时陷入真假难辨的困惑。屏幕里这位博主，拥有无瑕的皮肤、完美的曲线，刚还发了在巴黎逛博物馆的动图，不可能是P的吧？ 确实。这些高颜值的网红不是P出来的，而是 AI技术造出来的。 近日，全球第一届" AI 小姐"选美比赛落下帷幕。这次比赛吸引了超过1500名程序生成的参赛者。参赛者都使出了浑身解数。她们有各种身份、职业和生活场景设定，比如"关注社会议题的律师"、"性感的模特"和"在太空执行任务的宇航员"。 AI 小姐选美最后十强。（图/WAICA） 最终，"来自摩洛哥"的AI网红肯萨·蕾莉（Kenza Layli）赢得了"AI小姐"的冠军头衔。夺冠后，她发布了一张颁奖典礼的照片：她身着金色长裙，头戴皇冠，仪式感满满。 全球第一届"AI小姐"冠军肯萨·蕾莉。（图/@kenza.layli） 借助自然语言处理技术，"AI小姐"蕾莉还接受了多家欧美媒体采访，并表示："虽然我没有像人类一样的情感，但我真的非常兴奋。" 然而，一些关注女性权益的观众却兴奋不起来。这些AI参赛者看着很美，但她们美得跟刻板印象里的美女几乎一样。AI生成技术正在一日千里地发展着，为啥还没能跑出现代社会对"美丽"的偏见？ 虚拟网红，甲方之选？ 这次AI小姐选美比赛设有三个维度的评价标准，分别是美丽、技术和社交媒体影响力。 在"美丽（beauty）"维度上，评审委员重视经典选美比赛规则——容貌、姿态、气质、问答时的得体和流畅都会被考虑在内。而技术层面则包含创作团队运用 AI工具创作虚拟人的能力，大至选手的性格、展现能力、互动方式，小至手、眼和背景在内的视觉细节处理。 与那些头发炫酷、穿比基尼的AI不同，来自摩洛哥的蕾莉身披头纱，全身裹得严严实实，并不试图展示性感。她的衣饰恰好展现了创作团队的技术——头纱随风飘逸的动感、金色亮片裙的光泽感，仿佛和真实的衣服质感无二。 冠军蕾莉的视觉细节，以假乱真。（图/@kenza.layli） 夺冠后，肯萨·蕾莉的Instagram平台粉丝数飙升至20多万，但她并没有高傲起来。每一天，她仍然勤勤恳恳地用7种语言、24小时无间断地回复后台私信和评论。她人设里这份认真的态度，也是打动评委的关键点。 我试图与蕾莉聊几句。我刚在私信对话框里点击"发送"按钮，就立即收到她认真的回复，一问一答间，丝滑流畅。无论我问什么话题，她都能给予针对性的回应，不会像某些人类那样"已读乱回"，或对话到一半玩失踪。 有人说，AI设计的完美女孩形象容易引起人们的容貌焦虑。面对这方面的质疑，蕾莉就像乐观的闺蜜那样回复："保持乐观！虚拟网红能启发创造和多元。来拥抱独特和自爱吧。" 蕾莉对容貌焦虑的回应，三观很正。（图/《新周刊》） 有多少女孩能受到这位冠军的激励，目前尚不清楚。但从她的社交媒体看来，蕾莉越来越受到"甲方爸爸"的青睐。在照片和视频里，蕾莉所穿的长袍受一摩洛哥服饰品牌赞助。较早前，她还为摩洛哥一款薄荷茶出演广告片。片子里，蕾莉拿着泡好的茶，悠哉地走在传统市集里。当然，这些场景都是AI合成的。 雷莉拿下的不止本土品牌，她还获得过韩国汽车品牌现代、法国护肤品牌贝德玛的商业合作。正如蕾莉在获奖后对媒体所言："AI不仅是工具。它是改变各行各业的变革力量，挑战成规，并且创造前所未有的机会。" 靠着生成式AI 工具，全球各式各样的AI网红应运而生，他们在虚拟社交空间里吃饭旅行、走走停停。这次"AI小姐"比赛的4位评审中，有2位也是AI网红。她们可算是虚拟网红的顶流——她们是"来自美国"的埃米莉（Emily Pellegrini）和"来自西班牙"的爱塔娜（Aitana Lopez）。 AI网红爱塔娜在Instagram上拥有超过30万粉丝。她拥有一头标志性的粉红短发，形象漂亮、有活力，连内衣巨头"维多利亚的秘密"也找她进行品牌合作。 来自西班牙巴塞罗那的爱塔娜。（图/@fit_aitana） 创造爱塔娜的The Clueless是一家专营数字营销业务的企业。公司项目经理曾向Euro News透露，人类网红的"天价"代言费让他们感到震惊，由此产生了创造虚拟网红的念头。"我们想过得更好，不用过于依赖那些自大、狂躁或者仅仅摆姿势赚钱的网红们。" 在The Clueless看来，虚拟网红的维护成本要比真人低得多。只要混合一些 AI技术，加上PS大师精修，即可生成爱塔娜带着品牌产品到马德里度假的广告照片。整个广告制作时间为几小时到几天不等。 相比之下，真人网红拍摄广告时，往往需要花费几周到数月的时间，来安排场地勘察和各种前中后期工作，包括化妆、餐饮、住宿和后期剪辑等。 在企业降本增效的浪潮下，真人网红不得不面对来自虚拟网红的竞争。据Euro News报道，爱塔娜目前平均月收入约3000欧元（约合人民币2.3万元），最多试过月入过万欧元（约合人民币7.8万元）。 爱塔娜的"人设"为健身和电子游戏爱好者。据The Clueless官网介绍，除了爱塔娜外，公司目前还有两位虚拟网红，Maia Lima和Lia Zadley。Maia Lima的设定为"一位来自阿根廷的年轻女孩"，性格较腼腆，双性恋，足球迷，热爱旅游、音乐。而Lia Zadley则是"一个西班牙创作歌手"，居住在马德里，喜爱的音乐风格偏向电音pop。 东亚也已出现了AI偶像。作为韩国第一虚拟网红，Rozy拥有完美无瑕的皮肤、丰满的双唇和修长的腿，身兼"歌手、模特和DJ多职"。据《Business Insider》报道，Rozy出道第二年，仅赞助费就赚了超过10亿韩元（约合人民币530多万元）。 Rozy的设定为永远22岁的韩国年轻女孩。（图/@rozy.gram） 据美国市场研究机构Grand View Rese arc h的报告，全球虚拟网红产业的2023年总值约有45.8亿美元，预计在2024年至2030年间平均年增长率为38.9%。 对于甲方来说，使用虚拟网红做品牌推广，不仅成本更低，而且还能收获意想不到的效果。H&M 与虚拟网红 Kuki 合作的广告数据显示，这次广告触达人数比传统广告增加了11倍，而人均记住广告的成本更是降低了91%。《哈佛商业评论》的文章分析道，引入虚拟网红还有助于品牌建立更年轻的形象。 虚拟网红，真会撩骚？ 从Instagram、X、 抖音 、小红书，乃至领英等社交网络，虚拟网红几乎无处不在。现在，任何人都能创造他们。 随着生成式 AI工具的普及，想要创作一个AI女性的门槛也越来越低。没读过高数、不懂编程的普通人，也能通过AI工具，用普通语言下指令，打造理想的虚拟人物。要是你还是没有头绪，甚至还能问AI拿点灵感。 Emily Pellegrini的创作者在英国《每日邮报》采访中透露，他曾问 ChatGPT "普通男人的梦中情人长什么样"，Chat GPT 给出的答案是"棕色长发和长腿"。 在AI 的灵感指引下，创作者接着运用各种技术让这个"梦中情人"以假乱真。有网友发现，创作者利用数字技术把Emily的头部形象与真人模特 ella Cervetto的视频 "嫁接"，做成动图。 上线4个月，Emily的社交账号吸粉超过18万用户。一些网友以为Emily是真人，邀请她到迪拜见面，或去高级餐厅吃饭。一知名球星发来信息："这么美丽的女生怎能没有男朋友？" 为了抓住男性网友的浪漫遐想，部分虚拟网红背后的公司做起一项古老的生意——卖写真照。这届"AI小姐"的亚军和季军主页上，都有相应的付费内容链接。亚军Lalina Valina的付费图片按照裸露程度，分为"朋友""女友"和"老婆"三款套餐，每月价格在40美元至400美元之间。季军Oliva C.的图片套餐则更便宜，只要每月12元。 亚军Lalina Valina和季军Oliva C。（图/WAICA） 当虚拟网红抢夺真人网红的地盘时，有真人网红选择"打不过就加入"。美国美妆时尚博主卡琳·玛乔丽（Caryn Marjorie）推出了自己的AI分身Caryn AI，复刻了自己的声音、个性和行为特征。 只要按照每分钟1美元的价格付费，粉丝就随时可以与Caryn AI分享生活点滴，感受女神的一颦一笑，甚至和她调情。据其宣传广告，与Caryn AI 聊天，就像直接和玛乔丽本人交谈一样，而且，Caryn AI永远"不会拒绝"。 畅聊一小时，盛惠人民币约433块。即使价格不菲，但"物超所值"——语料丰富的AI女友总能把尬聊变成甜言蜜语，使得许多男粉丝一聊就是几个小时。去年5月，玛乔丽在个人社交账号发布消息，庆祝"自己"拥有"2万个男朋友"。据推算，这些付费用户每月能带来500万美元的收入。这可比接广告、直播打赏的收入要高得多，而且没有平台抽成。 珍妮特·温特森在新作《十二字节》里指出人工智能对人性的影响。温特森回顾了科幻作品中"复制娇妻"的概念，指出"男性似乎真的认为，女人可以被制造出来。这或许是因为在人类历史上，女人大多数时间都被当作一件商品、一份动产、一件私有物、一样东西" 。 《十二字节：过去、偏见和未来》[英]珍妮特·温特森中国科学技术出版社 虚拟网红不仅以"梦中情人"的姿态满足男性眼球，而且通过社交程序提供情绪价值，符合"娇妻"想象。比起改造世界，从性和浪漫中牟利的膨胀欲望正在虚拟领域大行其道。 用新技术，复制厌女症？ "技术无罪"，但数据有自己的局限。当你查看"AI小姐"的比赛入围名单，不难发现，许多参赛者呈现出性别刻板印象。 参赛的虚拟网红们，年龄设定几乎清一色20出头，年纪最大的不过31岁，且个个身材苗条，皮肤光滑无瑕，妆容精致，穿着个性时尚。 AI需要根据既有的海量数据生成图片，因此，它进一步反映着现代社会对"美丽"的偏见，而非近年女性群体努力争取的多元美丽。 而那些能在短时间内大量吸粉的虚拟网红，往往长在大多数男士的审美点上。虚拟网红就像网络空间的一面镜子，照出人间不太政治正确的现实。 一些虚拟网红经常穿着内衣、在社交平台展示自己，被观众批评为"过度性感化"。创作爱娜塔的The Clueless 争辩道，在真人模特和网红中，这种现象也是普遍存在的，他们的作品"只是反映了既定的行业标准"。 作为AI小姐的主办方之一，世界 AI创作者大奖团队接受美国《时代》杂志采访时表示，传统的选美比赛必须花费数十年的发展，才得以越来越完善、具备代表性，而人工智能可以加快这个过程。对此，也许只能说，他们错失重点了。 虚拟网红称不上"女性"，并不是因为它们没有血肉之躯，而是因为，在这种情况下，它只能算是一种迎合市场乃至迎合"男性凝视"的幻想。在资本的驱动下，AI的应用可能以更快的速度来复制保守落后的性别偏见，复制女性身体被物化和商品化的历史，用一种新方式继续散播着厌女症。 多少年来，女性追求独立、平等与赋权，极力表明女性不再是一件商品，也不只是一个性感、顺从的伴侣。 当"AI小姐"赛场上，AI相互竞赛妆容精致程度的时候，真人选美早已开始拒绝"服美役"。前两年，20岁的政治学学生梅丽莎·拉乌夫（Melisa Raouf）受到关注。英格兰小姐选美比赛近100年的历史里，她是第一个"完全不化妆"进入决赛的参赛者。 这些难得的表达与争取，会否被完美、标致的虚拟网红所淹没呢？ 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
人工智能还是API？ |聊天机器人杜鹃正在膨胀技术
人工智慧的準則
========
https://www.eiefun.com/5983.html
OpenAI 包装器正在成为初创企业的捷径，但它们是否可持续？ 当团队与外部 API（包括第三方 AI）集成时，可以将预制的外部功能引入产品中。我使用 API 让用户根据 matchboxxr 上的提示生成 3D 模型。 尽管越来越多的初创企业专注于人工智能，但其中很大一部分实际上是充当"ChatGPT 包装器"的前端。换句话说，"任何提供专用用户界面 (UI) 来与 OpenAI 的 GPT 模型交互的应用程序。" 当你看到一些品牌时，他们会让你认为他们正在雷霆闪电下组装机器人。不向其他人创建的即时聊天机器人进行 API 调用。 大型语言模型 (LLM) 允许个人和小型团队构建具有 AI 功能的轻量级应用程序和网站，以节省用户时间。在 Reddit 上快速搜索可以找到以下小型初创企业： 帮助你学习的聊天机器人 一个写博客的聊天机器人 冒充律师的聊天机器人 问题是，您可以在 ChatGPT 或 Gemini 中免费在 15 分钟内制作这些。 更大规模的运营会产生精致的平台。但大部分预算似乎都花在了营销和视觉设计上。这让我想知道它们是否也是包装纸。见下文。 Friend——一个可穿戴的聊天机器人，假装是你的朋友 Artisan — 虚拟销售代理 Elicit——一篇分析聊天机器人的研究论文 Friend，虽然很奇怪，但提供了一种无屏幕设备，可以整天听你说话。 Artisan 提供 Hubspot 级 CRM 解决方案，其中仅包含人工智能功能。 Elicit 拥有一个包含 1.25 亿篇研究论文的数据库。 这些都是有趣的挑战，但与人工智能无关。看起来所有三个产品都向 LLM 发送 API 请求。现在这将面临一系列挑战。 API 膨胀 依赖不断设计不当的 API 调用会降低产品速度并降低其可扩展性。 忽略 API 限制或构建能够很好地处理速率限制的产品，而不是像对待应用程序代码库中的本机函数一样对待第三方 API，这是很危险的。 使地球升温 目前，人工智能的强大力量就像加密货币一样，使用了大量的计算能力。这使我们的星球升温。 即使天基服务器确实成为现实，它们也可能永远无法达到我们所需的数量。正如 Nat Meysenburg 所说："为了防止新的人工智能模型成为生态灾难，人工智能专家需要有意识地设计它们"。 缺少细微差别 捷径始终是一个生硬的工具。假设人工智能就是答案通常来自于未能正确研究问题。这不仅可能导致解决方案执行不力，而且可能导致完全错误的解决方案。 适当的用户研究和问题框架似乎在人工智能承诺的喧嚣中消失了。 数据作为产品 我去年整理了一份清单，在构建任何发送或接收数据的东西时用作一组原则。在塑造 API 行为时牢记用户体验。 如果某个软件或功能充当某种外部人工智能模型的包装器，那么像前端一样关注这一点将确保用户获得最佳质量的体验。 这篇文章更详细，但基础是下面的清单。数据产品必须确保用户体验满足以下品质。 资料来源：https://medium.com/user-experience-design-1/the-data-delivery-checklist-principles-to-design-data-products-b644e2333467 谷歌的人工智能原则 构建产品时的另一个重要资源是考虑是否需要人工智能，如果需要，需要什么形式。谷歌已经整合了一些奇妙的原则来做到这一点。 因此请注意，当您使用人工智能构建任何东西时，您会渴望实现以下目标： 对社会有益 避免产生或强化不公平的偏见 进行安全建造和测试 对人负责 纳入隐私设计原则 坚持科学卓越的高标准 可用于符合这些原则的用途 开发者/创作者体验处于前沿和中心 当法学硕士爆发时，开发者经验仍在培养中。但它不像人工智能那样敏捷或容易掌握。 DevEx 不仅仅是人工智能副驾驶或法学硕士助理。结构良好、命名良好的模式、灵活的功能、最新的文档、充足的测试数据……这只是我在 2024 年上半年与真正的开发人员进行的数十次访谈和研讨会中的必备样本。不是聊天机器人，人们。我有轶事和脏话来证明这一点。 随着我们看到法学硕士等越来越令人印象深刻的技术成为主流，这一点将变得更加重要。因为它们将被用作第三方 SDK、插件和 API。 未来更加相似——集成 Friend 和 AIPin 都是很酷的产品，因为它们使用了新的创新触觉、手势和语音控制。除了脱离屏幕和采用聊天机器人之外，进一步扩展到集成似乎是理想的下一步。 想象一下，智能镜子可以检测偏头痛的早期前驱症状，以便患者可以提前计划。 想象一下，当同事的皮质醇在争吵期间达到危险水平时，耳机可以向执法人员发出警报。 或者甚至是一个手环，可以记录认知行为疗法的日常微妙触发因素，同时对 GDPR 的声音和名称进行加密。 人工智能可能是答案，但问题是什么？ 人工智能太棒了。但将硬件、数据和交互结合在一起的艺术正是乐趣所在。 我对人工智能的未来感到兴奋，但我希望我们能够暂停我们的敬畏并质疑它，就像我们质疑其他技术一样。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
Netflix 開源使用者行為分析利器「Maestro」
Netflix 開源使用者行為分析利器「Maestro」
https://www.inside.com.tw/article/35945-netflix-open-sourced-its-workflow-orchestrator-maestro-for-analyzing-user-behavior
此款名為「Maestro」的工作流編排器是在2022年首度對外說明，主要用於取代當時使用的工作流編排器「Meson」，使其能負擔規模更龐大的數據存取量，甚至能在Netflix服務高峰使用期間維持正常運作。而此次對外開源使用的「Maestro」，是以Apache 2.0協議授權使用，可對應數十萬組工作流分析，在Netflix服務更可在單日內實現超過200萬的工作流程輸出分析，即使在流量高峰其也能維持伺服級別的運作模式，更可針對工作需求高度擴展，本身則是建構在諸如Git、Java (21)、Gradle及Docker等開源技術。由於目前Netflix收錄大量影片內容，加上現行也提供多款遊戲內容，因此如何透過「Maestro」分析大量用戶使用其服務行為就變得重要。Netflix工程團隊在去年的AWS Re:Invent活動上說明「Maestro」如何運作：除了「Maestro」，Netflix其實在2011推出的系統壓力測試工具「Chaos Monkey」，目前也是以開源形式提供使用，過去也曾開源提供使用路由網路閘道服務「Zuul」，以及目前已經停用的微服務路由引擎「Conductor」。責任編輯：Chris本文來自合作媒體 Mashdigi，INSIDE 授權轉載。快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：Netflix 聘僱前 Epic Games 遊戲開發執行副總裁 Alain Tascan，擴展其遊戲市場佈局或許 Netflix 應該取代特斯拉「七大奇蹟」的位置？摩根大通分析師預測第二季財報將優於預期Netflix 將推免費廣告方案，歐洲與亞洲地區有望成為第一波受惠用戶
-- gReader Pro
https://www.inside.com.tw/article/35945-netflix-open-sourced-its-workflow-orchestrator-maestro-for-analyzing-user-behavior
此款名為「Maestro」的工作流編排器是在2022年首度對外說明，主要用於取代當時使用的工作流編排器「Meson」，使其能負擔規模更龐大的數據存取量，甚至能在Netflix服務高峰使用期間維持正常運作。而此次對外開源使用的「Maestro」，是以Apache 2.0協議授權使用，可對應數十萬組工作流分析，在Netflix服務更可在單日內實現超過200萬的工作流程輸出分析，即使在流量高峰其也能維持伺服級別的運作模式，更可針對工作需求高度擴展，本身則是建構在諸如Git、Java (21)、Gradle及Docker等開源技術。由於目前Netflix收錄大量影片內容，加上現行也提供多款遊戲內容，因此如何透過「Maestro」分析大量用戶使用其服務行為就變得重要。Netflix工程團隊在去年的AWS Re:Invent活動上說明「Maestro」如何運作：除了「Maestro」，Netflix其實在2011推出的系統壓力測試工具「Chaos Monkey」，目前也是以開源形式提供使用，過去也曾開源提供使用路由網路閘道服務「Zuul」，以及目前已經停用的微服務路由引擎「Conductor」。責任編輯：Chris本文來自合作媒體 Mashdigi，INSIDE 授權轉載。快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：Netflix 聘僱前 Epic Games 遊戲開發執行副總裁 Alain Tascan，擴展其遊戲市場佈局或許 Netflix 應該取代特斯拉「七大奇蹟」的位置？摩根大通分析師預測第二季財報將優於預期Netflix 將推免費廣告方案，歐洲與亞洲地區有望成為第一波受惠用戶
-- gReader Pro
[AI tutorial] ComfyUI-FLUX Schnell 特別為新手從無到有完整安裝與使用 | 驚艷的手指與文字 | 快速產圖 | 較低顯存
[AI tutorial] ComfyUI-FLUX Schnell 特別為新手從無到有完整安裝與使用 | 驚艷的手指與文字 | 快速產圖 | 較低顯存
https://www.youtube.com/watch?v=bEFmeWpqJas
https://www.youtube.com/watch?v=bEFmeWpqJas 本次教學是特別為了第一次使用 comfyUI 的人，從無到有來使用 Flux 產圖，讓大家可以享受這個令人驚艷的手指與文字效果。 comfyUI https://github.com/comfyanonymous/ComfyUI/releases flux https://comfyanonymous.github.io/ComfyUI_examples/flux/#simple-to-use-fp8-checkpoint-version 使用硬體： AMD R5 5600X 48GB RAM My Facebook: https://www.facebook.com/JoeAndMultimedia My Patreon Page: https://www.patreon.com/joemultimedia AIArt, AI Girl, AI Pics, AI Pictures, AI Photos, AI Images, AI Hot, AI Hotpic, AI Hottie, AI Model, AI Gallery, AI Lady, AI그림, AI絵, AI絵画, Al繪圖, Al藝術, AI绘图, AI艺术, Arte IA, AI눈나, 대유쾌마운틴, AI돌리기, Photorealistic, ai룩북, #여자친구 #룩북 #란제리 #속옷모델 #여자 #girl #friend #lookbook #AI #aipicture #aiimages #AIart #aigirl #beautyart #beautygirl
-- gReader Pro
https://www.youtube.com/watch?v=bEFmeWpqJas
https://www.youtube.com/watch?v=bEFmeWpqJas 本次教學是特別為了第一次使用 comfyUI 的人，從無到有來使用 Flux 產圖，讓大家可以享受這個令人驚艷的手指與文字效果。 comfyUI https://github.com/comfyanonymous/ComfyUI/releases flux https://comfyanonymous.github.io/ComfyUI_examples/flux/#simple-to-use-fp8-checkpoint-version 使用硬體： AMD R5 5600X 48GB RAM My Facebook: https://www.facebook.com/JoeAndMultimedia My Patreon Page: https://www.patreon.com/joemultimedia AIArt, AI Girl, AI Pics, AI Pictures, AI Photos, AI Images, AI Hot, AI Hotpic, AI Hottie, AI Model, AI Gallery, AI Lady, AI그림, AI絵, AI絵画, Al繪圖, Al藝術, AI绘图, AI艺术, Arte IA, AI눈나, 대유쾌마운틴, AI돌리기, Photorealistic, ai룩북, #여자친구 #룩북 #란제리 #속옷모델 #여자 #girl #friend #lookbook #AI #aipicture #aiimages #AIart #aigirl #beautyart #beautygirl
-- gReader Pro
2024年8月15日 星期四
欧盟人工智能法生效，能引领全球规则吗？
欧盟人工智能法生效，能引领全球规则吗？
https://www.eiefun.com/5867.html
欧盟又一次在立法速度上引领全球，这次是持续火爆的人工智能领域。但这些模糊的条款，最终将以何种方式落地，还未可知。 8月，全球首部全面监管人工智能的法律 ——《欧洲人工智能法》 正式生效。 最引发关注的是，《AI法》的条款分阶段实施。8月1日是这部法律生效的日期，但仅有部分条款生效。据时间表，法案中规定禁止的做法将在生效6个月后适用；通用型人工智能的相关义务和规则将在8月1日起的12个月后适用；24个月后，该法案将完全适用，但部分高风险AI系统的规则将在36个月后开始适用。 这套号称史上"最严"的针对AI的全面监管规则，将AI产业链上的各主体均列入监管范畴，包括与欧盟市场有连接点的AI系统提供商、使用商、进口商、分销商和产品制造商等。 《AI法》还拓展了监管工具：不仅引入了以风险为导向的分级管理模式，还设计了"监管沙盒"，减少中小企业和初创企业的合规负担。锋利"牙齿"也引发关注：如违反相关条款，企业最高可能被处以3500万欧元，或上一财年全球年营业总额7%的罚款。 从《AI法》制定之初，欧盟便希望借此在AI领域进行规则引领。 《AI法》由欧盟数字事务负责人玛格丽特·维斯塔格于 2021 年 4 月公布，彼时她表示："欧盟正在带头制定新的全球规范，以确保人工智能值得信赖。"欧盟委员会内部市场专员蒂埃里·布雷顿也在社交媒体上表示，该法"将成为帮助欧盟初创企业和研究人员引领全球AI领域竞赛的重要指南。" 但是，在AI产业发展尚属起步阶段就快速出台《AI法》，也招致了广泛批评。反对者认为，仓促尝试对基础模型进行监管，将会限制技术本身的使用。 对外经贸大学数字经济与法律创新研究中心主任许可认为，《AI法》逐步实施的条款，就是为了给予欧盟企业充分的缓冲期，这一点值得在相关立法时借鉴。 对条款研读之后，中国政法大学数据法治研究院教授，联合国人工智能高层顾问机构中方成员张凌寒表示，虽然《AI法》号称严厉，但有限的落地监管措施，以及创新的监管工具，都为欧盟的AI企业提供了一个必要的弹性发展空间，但也增加了非欧盟企业的合规成本。 金杜律师事务所合规业务负责人宁宣凤则认为，《AI法》的实际效果和影响还需待全部条款生效后，再结合彼时的AI产业发展与监管成果进行观察。对中国立法者的启示是，高风险AI系统在投入使用的全过程中，涉及多个相关主体，《AI法》基于相关主体的参与程度分别提出合规要求，并就相关主体违反规定的行为设置了罚款处罚。在宁宣凤看来，中国现行的《生成式人工智能服务管理暂行办法》主要以服务提供者为治理抓手。如果中国未来为AI立法，可考虑建立覆盖AI系统价值链中各方主体的责任机制，将更有助于划分各方主体责任边界，从而激发研发或服务动力。 一、欧盟立法的启示 欧盟在立法过程中经过了详尽、涵盖各方关切事项的讨论。这些内容以及整个立法的取向、思维，也给其他国家或地区带来了有价值的参考。 欧盟立法速度快，在国际上遭到诸多批评。 据媒体报道，欧盟立法者于 2023 年 12 月举行了马拉松式的谈判，以使这些规则获得通过。但批评者表示这些规则还不够完善，监管机构遗漏了企业执行法律急需的重要细节。一些专业人士估计，欧盟需要 60 到 70 项次级立法来支持《AI法》的实施。 参与起草《AI法》的欧洲议会助理凯·泽纳承认："这项法律相当模糊。时间压力导致很多事情悬而未决。监管者无法就这些事情达成一致，因此更容易妥协。" 许可表示，对《AI法》最大的批评是其基于风险路径，缺乏对个人的赋权。此外，未来《AI法》的实施还需要面临大量和其他法律法规之间的协调问题。例如，与《通用数据保护条例》 、《数字市场法》 、《数据治理法》 等法律规范的协调将产生诸多麻烦。此外，《AI法》作为一般法，需要考虑在多个领域实施的问题，包括金融、医疗、交通等领域。 "事实上，它带来的问题可能比解决的问题更多。"许可认为。 虽然遭遇批评，但《AI法》的立法思路则得到肯定，主要是考虑到了产业的整体发展进程。 张凌寒指出，虽然号称史上最严格的AI监管法律，但实际上《AI法》的监管措施有限，且其在制定过程中也考虑到促进欧盟AI行业的整体发展。 具体而言，张凌寒认为，第一，《AI法》对一部分AI系统的开发利用作出了豁免规定，包括专门为军事、国防或国家安全开发的系统、专门为科学研究而开发的系统以及免费和开源的人工智能系统。 第二，《AI法》提出了一系列支持举措，以减轻欧盟企业特别是中小型企业的行政和财务负担。 第三，《AI法》分阶段的合规时间表以及其所创设的监管沙盒制度，分别为欧盟AI产业发展提供了一定的时间与空间。 第四，《AI法》的域外效力将增加非欧盟企业的合规成本，由此将限制非欧盟企业扩张欧洲市场的意愿，这在一定程度上能够减少欧盟企业的竞争压力。 许可认为，《AI法》梯次实施可能出于两个原因。一方面，人工智能是一个快速发展的法规领域，法律生效后如何回应科技与产业更迭仍有很大不确定性，因此需要给产业留出一定的时间，让企业对自身技术路线和商业模式进行调整；另一方面，《AI法》是一个协同共治的规则。法律要转化成技术语言和行业标准，必须要通过监管部门与企业的合作，这也要求给企业和监管部门预留风险交流和沟通协调的时间。 在北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括看来，《AI法》对于人工智能的研发和产业应用，建构了以透明度和公平性为核心逻辑的监管体系要求。对于AI的研发方向以及市场应用会产生长期的影响，也会改变欧洲的市场布局。 那么，《AI法》设计的两个重点监管工具，会给其他国家立法者带来哪些启示？ 工具一：风险分级管理 《AI法》的整体监管架构，围绕人工智能应用四类由高到低的风险等级展开，类似于一个"风险金字塔"，分别建立相应的风险防范机制。 按照人工智能对用户和社会的潜在影响程度分为四级，分别为：不可接受风险类、高风险类、有限风险类、最小风险类。 最极端的一级是造成不可接受风险的人工智能系统或应用，比如被认为对人们的安全、日常生活和基本权利构成明显威胁，将被完全禁止使用。对于这类AI系统开发者，将最高被处以上一财年全球营业额6%的处罚。 人工智能四个风险等级，来源：欧盟委员会官网 对于高风险类人工智能系统，《AI法》规定了一套覆盖入市前到入市后的全流程风险管理系统。在入市前，企业需要建立和维持风险管理系统，进行数据治理，制定并更新技术文档，并向监管部门提供所有必要的信息等。 吴沈括介绍，风险分类分级作为基本的方法论，不同国家和地区的立法当中都会有不同程度的体现。其重要意义和制度价值在于确保监管的相称性——在满足核心的监管关切和战略诉求的同时，为AI发展提供必要的弹性发展空间。 在中国，风险导向的分类分级制度在有关算法与生成式AI监管中也有体现。2021年9月，国家网信办发布《关于加强互联网信息服务算法综合治理的指导意见》，明确提出推进算法分级分类安全管理，有效识别高风险类算法，实施精准治理。2023年7月，国家网信办等部门发布的《生成式人工智能服务管理暂行办法》也提出，对生成式人工智能服务实行包容审慎和分类分级监管。 宁宣凤认为，风险分级分类策略是在未充分掌握AI技术可能引发的社会风险的情况下，基于对AI技术的现实监管需求而产生的一种递进式监管策略。 许可认为，分类分级意味着监管部门必须按照一定的比例去分配监管资源。未来，AI会像Office软件一样嵌入到千行百业中，所以分级分类仍然应该是AI监管的基本思路之一。但是，当前基于风险的分类分级应当予以扬弃，因为其只看到了AI的静态风险而没有看到动态收益。例如，高风险的AI系统，往往意味着其收益也高。 《AI法》中的分级分类与中国现有的分级分类逻辑有所不同。许可介绍，分类分级在英语中是一个词——classification。但在中国，分类分级是两个概念："分类"和"分级"。较为特殊的是，随着通用人工智能的来临，中国此前政策中对AI应用场景的经典分类方法可能需要调整。例如，《互联网信息服务算法推荐管理规定》中规范了5类主要"应用算法推荐技术"，包括生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等信息服务。但生成式AI已经无法沿用这一思路，大模型可以应用在所有领域中。 许可介绍，在分类调整的情况下，监管部门仍然可以对人工智能进行分级管理。中国采取的是基于AI影响程度的分级，例如《生成式人工智能服务管理暂行办法》对提供具有舆论属性或者社会动员能力的生成式人工智能服务进行了分类分级，对该类服务提供者提出了算法备案与大模型备案的要求。其逻辑在于部分AI系统对国家和社会秩序有着重大影响，因此监管部门会采取不同的监管措施。但许可认为，这并不意味着未来中国的AI立法会延续同样的监管措施，但可以预见的是，监管部门会综合采取各种因素去判断AI系统的影响程度，从而设定与之相对应的监管措施。 张凌寒也表示，随着生成式AI的通用性加强，中国的分级分类制度需要随着技术的发展及时调整。 工具二："监管沙盒"制度 延续此前的草案，《AI法》引入了金融科技监管中常见的"监管沙盒"制度。 所谓"监管沙盒"，即创造一个受监督、可控的安全空间，让企业尤其是中小企业和初创企业进入"沙盒"，在监管机构的严格监督下，积极参与创新AI系统的开发和测试，其后将这些AI系统投放到服务市场。如果开发测试过程中发现重大风险，则应立即缓解风险，倘若不能缓解或控制风险，便应暂停开放测试。 "监管沙盒"最早于2015年由英国金融行为监管局创设。许可介绍，"监管沙盒"制度是欧盟支持创新的举措，意在风险可控的条件下实现科技创新。"监管沙盒"可以创立一个可控环境中，对一些AI应用采取有特定目的的监管措施，给可能存在风险的AI一个试错的空间。 吴沈括也表示，"监管沙盒"是《AI法》的特色之一。面对AI等新型技术、应用，能帮助或促进欧盟监管者和被监管者之间持续的对话，以解决技术发展与监管关切之间的动态平衡。 目前，多个欧盟成员国正在试点AI领域的"监管沙盒"制度。 法国自2022年开始试点"监管沙盒"制度，重点集中在教育行业，目前共有5家企业参与试点。 2024年5月，西班牙对实施"监管沙盒"征求意见。西班牙明确了生物识别、关键基础设施以及教育培训等8个领域的高风险人工智能系统、通用人工智能以及基础模型适用于"监管沙盒"制度，并对项目准入、文件提交、风险管理、准出条件等进行了更加细化的规定。 挪威、瑞士也均有类似试点。例如，挪威公共交通提供商Ruter基于"监管沙盒"，对其上线的出行推荐AI算法进行风险评估。瑞士的5家试点企业分别从事无人驾驶农机、无人机、机器翻译、作业纠错和停车调度等领域的研发。 在中国，"监管沙盒"制度在金融科技监管中也有应用。2019年1月31日，国务院在《关于全面推进北京市服务业扩大开放综合试点工作方案的批复》中，同意北京市在依法合规的前提下探索"监管沙盒"机制。2019年12月5日，中国人民银行批复支持北京市率先在全国开展金融科技创新监管试点，探索中国版"监管沙盒"。 在许可看来，"监管沙盒"不只是技术创新，也是监管创新。这一制度实际上在做两方面的实验：一是对被监管者的实验性治理；二是让监管者在沙盒之内测试监管规则的合理性和必要性。一个成熟的"监管沙盒"是监管者与被监管者的协同创新，也即监管者根据"沙盒"的反馈去调整自己的监管规则，被监管者也根据"沙盒"的测试和验证的情况，去调整自己的商业模式和技术发展方向。 但张凌寒提醒，"监管沙盒"对监管机构的监控和评估能力提出了较高的要求，其实际效果和行业影响有待持续观察。 二、全球影响仍待观察 欧盟一直在数字立法方面走在全球前列，并试图通过"布鲁塞尔效应"向全球输出标准。 "布鲁塞尔效应"指欧盟在监管自己内部单一市场的过程中，跨国公司通过合规接受了这些标准，并逐渐让欧盟标准成为世界标准。GDPR的实施便是一个很好的例子。GDPR是管理欧盟个人数据隐私的准则和政策，于2018年5月25日生效。跨国科技公司基于GDPR的要求进行数据处理的合规，并将这一标准用于欧盟外的数据处理中，使得欧盟标准成为世界标准。 张凌寒认为，欧盟作为AI的重要市场，其自身AI产业相对薄弱，《AI法》试图去重现GDPR全球治理框架，进一步延续"布鲁塞尔效应"，进而获取全球产业竞争的谈判筹码和再次利益分配。对此，全球都在观察，《AI法》是否能达到预期。 《AI法》的落地有一个前提，欧盟本土科技公司和跨国科技公司都愿意接受合规挑战。 "数字欧洲"组织总干事塞西莉亚·博内菲尔德·达尔警告称，这种做法导致了糟糕的监管，将阻碍欧洲与美国在未来新设人工智能公司领域的竞争。"欧盟公司的额外合规成本使我们的利润进一步下滑，"她表示，"当世界其他国家都在招聘程序员时，我们却在招聘律师。" 张凌寒表示，《AI法》的生效给在欧洲运营的科技企业带来了多维度的挑战，其在AI产品研发、测试、部署和应用等各环节进行了相应的规定。在她看来，科技企业不仅要加大合规成本的投入，以确保构建与欧盟接轨的合规体系，还需持续对目标市场进行评估监测，在研发过程、功能设计上进行必要调整，以满足《AI法》对于安全性、透明度等方面的高标准要求。 宁宣凤认为，最直观的是，就高风险AI系统提供者而言，《AI法》的影响将至少体现在相关主体适应相关监管要求的合规成本当中；就不可接受风险的AI系统而言，相关主体甚至无法继续提供相关系统，进一步可能造成相应的经济损失。 那么，中国的AI企业该如何应对？ 张凌寒建议，在合规层面，中国企业首先应当全面评估《AI法》的要求，及时动态调整合规策略，并建立内部合规管理体系；其次应提升技术创新能力，针对AI系统的技术特点和产品功能，制定有关风险预案；最后，应加强国际合作与交流，密切关注海外立法和执法动态，提升国际竞争力。 许可则认为，欧盟重现GDPR的"布鲁塞尔"效应不会成功。GDPR成功有三个前提：第一是广泛的管辖权，第二是高标准的法律要求，第三是高额的罚款。目前来看，虽然这三个方面《AI法》与GDPR具有一致性，但一个重要的不同是数据是需要跨境流动的，而人工智能系统是可以分割的。数据的流动性使得监管机构可以通过控制欧盟的数据流入和流出，从而间接地对全球产生影响，但这一点在AI监管中无法体现。AI企业完全可以设立出可分割的市场，在欧盟以外发展AI产业时，不需要遵守欧盟的规则。 许可提醒，需要注意《AI法》有两个豁免：一是对于AI研发的豁免。很多企业完全可以做到在欧盟研发，在欧盟外提供服务。二是开源豁免，这仅仅限制了一些闭源AI系统。例如，谷歌可以通过开源的人工智能，间接影响欧盟市场的产品和服务。 许可还指出，GDPR赋予了个人以非常强的权利，这些私权推动了个人和NGO发起司法诉讼，从而通过诉讼的方式实现监管。而《AI法》本质上规定了AI系统的产品责任，个人没有被赋予新的权利，因此其执行只能依托欧盟的行政执法，由此基于主权原则，相关执法实际上只能在欧盟境内进行，这也为《AI法》的全球影响力带来挑战。 但在美法律学者孙远钊认为，《AI法》的合规要求，对企业的运营可能会造成一定程度的不方便，但任何的合规要求莫不如此。从积极的角度来看，这在一定程度上或可避免重大安全事故发生，以及万一不幸发生了事故，能在最短时间集思广益，以期共同找出问题所在和解决之道，这样也有助于建立社会的信心，并促进整体市场健康有序发展。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5867.html
欧盟又一次在立法速度上引领全球，这次是持续火爆的人工智能领域。但这些模糊的条款，最终将以何种方式落地，还未可知。 8月，全球首部全面监管人工智能的法律 ——《欧洲人工智能法》 正式生效。 最引发关注的是，《AI法》的条款分阶段实施。8月1日是这部法律生效的日期，但仅有部分条款生效。据时间表，法案中规定禁止的做法将在生效6个月后适用；通用型人工智能的相关义务和规则将在8月1日起的12个月后适用；24个月后，该法案将完全适用，但部分高风险AI系统的规则将在36个月后开始适用。 这套号称史上"最严"的针对AI的全面监管规则，将AI产业链上的各主体均列入监管范畴，包括与欧盟市场有连接点的AI系统提供商、使用商、进口商、分销商和产品制造商等。 《AI法》还拓展了监管工具：不仅引入了以风险为导向的分级管理模式，还设计了"监管沙盒"，减少中小企业和初创企业的合规负担。锋利"牙齿"也引发关注：如违反相关条款，企业最高可能被处以3500万欧元，或上一财年全球年营业总额7%的罚款。 从《AI法》制定之初，欧盟便希望借此在AI领域进行规则引领。 《AI法》由欧盟数字事务负责人玛格丽特·维斯塔格于 2021 年 4 月公布，彼时她表示："欧盟正在带头制定新的全球规范，以确保人工智能值得信赖。"欧盟委员会内部市场专员蒂埃里·布雷顿也在社交媒体上表示，该法"将成为帮助欧盟初创企业和研究人员引领全球AI领域竞赛的重要指南。" 但是，在AI产业发展尚属起步阶段就快速出台《AI法》，也招致了广泛批评。反对者认为，仓促尝试对基础模型进行监管，将会限制技术本身的使用。 对外经贸大学数字经济与法律创新研究中心主任许可认为，《AI法》逐步实施的条款，就是为了给予欧盟企业充分的缓冲期，这一点值得在相关立法时借鉴。 对条款研读之后，中国政法大学数据法治研究院教授，联合国人工智能高层顾问机构中方成员张凌寒表示，虽然《AI法》号称严厉，但有限的落地监管措施，以及创新的监管工具，都为欧盟的AI企业提供了一个必要的弹性发展空间，但也增加了非欧盟企业的合规成本。 金杜律师事务所合规业务负责人宁宣凤则认为，《AI法》的实际效果和影响还需待全部条款生效后，再结合彼时的AI产业发展与监管成果进行观察。对中国立法者的启示是，高风险AI系统在投入使用的全过程中，涉及多个相关主体，《AI法》基于相关主体的参与程度分别提出合规要求，并就相关主体违反规定的行为设置了罚款处罚。在宁宣凤看来，中国现行的《生成式人工智能服务管理暂行办法》主要以服务提供者为治理抓手。如果中国未来为AI立法，可考虑建立覆盖AI系统价值链中各方主体的责任机制，将更有助于划分各方主体责任边界，从而激发研发或服务动力。 一、欧盟立法的启示 欧盟在立法过程中经过了详尽、涵盖各方关切事项的讨论。这些内容以及整个立法的取向、思维，也给其他国家或地区带来了有价值的参考。 欧盟立法速度快，在国际上遭到诸多批评。 据媒体报道，欧盟立法者于 2023 年 12 月举行了马拉松式的谈判，以使这些规则获得通过。但批评者表示这些规则还不够完善，监管机构遗漏了企业执行法律急需的重要细节。一些专业人士估计，欧盟需要 60 到 70 项次级立法来支持《AI法》的实施。 参与起草《AI法》的欧洲议会助理凯·泽纳承认："这项法律相当模糊。时间压力导致很多事情悬而未决。监管者无法就这些事情达成一致，因此更容易妥协。" 许可表示，对《AI法》最大的批评是其基于风险路径，缺乏对个人的赋权。此外，未来《AI法》的实施还需要面临大量和其他法律法规之间的协调问题。例如，与《通用数据保护条例》 、《数字市场法》 、《数据治理法》 等法律规范的协调将产生诸多麻烦。此外，《AI法》作为一般法，需要考虑在多个领域实施的问题，包括金融、医疗、交通等领域。 "事实上，它带来的问题可能比解决的问题更多。"许可认为。 虽然遭遇批评，但《AI法》的立法思路则得到肯定，主要是考虑到了产业的整体发展进程。 张凌寒指出，虽然号称史上最严格的AI监管法律，但实际上《AI法》的监管措施有限，且其在制定过程中也考虑到促进欧盟AI行业的整体发展。 具体而言，张凌寒认为，第一，《AI法》对一部分AI系统的开发利用作出了豁免规定，包括专门为军事、国防或国家安全开发的系统、专门为科学研究而开发的系统以及免费和开源的人工智能系统。 第二，《AI法》提出了一系列支持举措，以减轻欧盟企业特别是中小型企业的行政和财务负担。 第三，《AI法》分阶段的合规时间表以及其所创设的监管沙盒制度，分别为欧盟AI产业发展提供了一定的时间与空间。 第四，《AI法》的域外效力将增加非欧盟企业的合规成本，由此将限制非欧盟企业扩张欧洲市场的意愿，这在一定程度上能够减少欧盟企业的竞争压力。 许可认为，《AI法》梯次实施可能出于两个原因。一方面，人工智能是一个快速发展的法规领域，法律生效后如何回应科技与产业更迭仍有很大不确定性，因此需要给产业留出一定的时间，让企业对自身技术路线和商业模式进行调整；另一方面，《AI法》是一个协同共治的规则。法律要转化成技术语言和行业标准，必须要通过监管部门与企业的合作，这也要求给企业和监管部门预留风险交流和沟通协调的时间。 在北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括看来，《AI法》对于人工智能的研发和产业应用，建构了以透明度和公平性为核心逻辑的监管体系要求。对于AI的研发方向以及市场应用会产生长期的影响，也会改变欧洲的市场布局。 那么，《AI法》设计的两个重点监管工具，会给其他国家立法者带来哪些启示？ 工具一：风险分级管理 《AI法》的整体监管架构，围绕人工智能应用四类由高到低的风险等级展开，类似于一个"风险金字塔"，分别建立相应的风险防范机制。 按照人工智能对用户和社会的潜在影响程度分为四级，分别为：不可接受风险类、高风险类、有限风险类、最小风险类。 最极端的一级是造成不可接受风险的人工智能系统或应用，比如被认为对人们的安全、日常生活和基本权利构成明显威胁，将被完全禁止使用。对于这类AI系统开发者，将最高被处以上一财年全球营业额6%的处罚。 人工智能四个风险等级，来源：欧盟委员会官网 对于高风险类人工智能系统，《AI法》规定了一套覆盖入市前到入市后的全流程风险管理系统。在入市前，企业需要建立和维持风险管理系统，进行数据治理，制定并更新技术文档，并向监管部门提供所有必要的信息等。 吴沈括介绍，风险分类分级作为基本的方法论，不同国家和地区的立法当中都会有不同程度的体现。其重要意义和制度价值在于确保监管的相称性——在满足核心的监管关切和战略诉求的同时，为AI发展提供必要的弹性发展空间。 在中国，风险导向的分类分级制度在有关算法与生成式AI监管中也有体现。2021年9月，国家网信办发布《关于加强互联网信息服务算法综合治理的指导意见》，明确提出推进算法分级分类安全管理，有效识别高风险类算法，实施精准治理。2023年7月，国家网信办等部门发布的《生成式人工智能服务管理暂行办法》也提出，对生成式人工智能服务实行包容审慎和分类分级监管。 宁宣凤认为，风险分级分类策略是在未充分掌握AI技术可能引发的社会风险的情况下，基于对AI技术的现实监管需求而产生的一种递进式监管策略。 许可认为，分类分级意味着监管部门必须按照一定的比例去分配监管资源。未来，AI会像Office软件一样嵌入到千行百业中，所以分级分类仍然应该是AI监管的基本思路之一。但是，当前基于风险的分类分级应当予以扬弃，因为其只看到了AI的静态风险而没有看到动态收益。例如，高风险的AI系统，往往意味着其收益也高。 《AI法》中的分级分类与中国现有的分级分类逻辑有所不同。许可介绍，分类分级在英语中是一个词——classification。但在中国，分类分级是两个概念："分类"和"分级"。较为特殊的是，随着通用人工智能的来临，中国此前政策中对AI应用场景的经典分类方法可能需要调整。例如，《互联网信息服务算法推荐管理规定》中规范了5类主要"应用算法推荐技术"，包括生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等信息服务。但生成式AI已经无法沿用这一思路，大模型可以应用在所有领域中。 许可介绍，在分类调整的情况下，监管部门仍然可以对人工智能进行分级管理。中国采取的是基于AI影响程度的分级，例如《生成式人工智能服务管理暂行办法》对提供具有舆论属性或者社会动员能力的生成式人工智能服务进行了分类分级，对该类服务提供者提出了算法备案与大模型备案的要求。其逻辑在于部分AI系统对国家和社会秩序有着重大影响，因此监管部门会采取不同的监管措施。但许可认为，这并不意味着未来中国的AI立法会延续同样的监管措施，但可以预见的是，监管部门会综合采取各种因素去判断AI系统的影响程度，从而设定与之相对应的监管措施。 张凌寒也表示，随着生成式AI的通用性加强，中国的分级分类制度需要随着技术的发展及时调整。 工具二："监管沙盒"制度 延续此前的草案，《AI法》引入了金融科技监管中常见的"监管沙盒"制度。 所谓"监管沙盒"，即创造一个受监督、可控的安全空间，让企业尤其是中小企业和初创企业进入"沙盒"，在监管机构的严格监督下，积极参与创新AI系统的开发和测试，其后将这些AI系统投放到服务市场。如果开发测试过程中发现重大风险，则应立即缓解风险，倘若不能缓解或控制风险，便应暂停开放测试。 "监管沙盒"最早于2015年由英国金融行为监管局创设。许可介绍，"监管沙盒"制度是欧盟支持创新的举措，意在风险可控的条件下实现科技创新。"监管沙盒"可以创立一个可控环境中，对一些AI应用采取有特定目的的监管措施，给可能存在风险的AI一个试错的空间。 吴沈括也表示，"监管沙盒"是《AI法》的特色之一。面对AI等新型技术、应用，能帮助或促进欧盟监管者和被监管者之间持续的对话，以解决技术发展与监管关切之间的动态平衡。 目前，多个欧盟成员国正在试点AI领域的"监管沙盒"制度。 法国自2022年开始试点"监管沙盒"制度，重点集中在教育行业，目前共有5家企业参与试点。 2024年5月，西班牙对实施"监管沙盒"征求意见。西班牙明确了生物识别、关键基础设施以及教育培训等8个领域的高风险人工智能系统、通用人工智能以及基础模型适用于"监管沙盒"制度，并对项目准入、文件提交、风险管理、准出条件等进行了更加细化的规定。 挪威、瑞士也均有类似试点。例如，挪威公共交通提供商Ruter基于"监管沙盒"，对其上线的出行推荐AI算法进行风险评估。瑞士的5家试点企业分别从事无人驾驶农机、无人机、机器翻译、作业纠错和停车调度等领域的研发。 在中国，"监管沙盒"制度在金融科技监管中也有应用。2019年1月31日，国务院在《关于全面推进北京市服务业扩大开放综合试点工作方案的批复》中，同意北京市在依法合规的前提下探索"监管沙盒"机制。2019年12月5日，中国人民银行批复支持北京市率先在全国开展金融科技创新监管试点，探索中国版"监管沙盒"。 在许可看来，"监管沙盒"不只是技术创新，也是监管创新。这一制度实际上在做两方面的实验：一是对被监管者的实验性治理；二是让监管者在沙盒之内测试监管规则的合理性和必要性。一个成熟的"监管沙盒"是监管者与被监管者的协同创新，也即监管者根据"沙盒"的反馈去调整自己的监管规则，被监管者也根据"沙盒"的测试和验证的情况，去调整自己的商业模式和技术发展方向。 但张凌寒提醒，"监管沙盒"对监管机构的监控和评估能力提出了较高的要求，其实际效果和行业影响有待持续观察。 二、全球影响仍待观察 欧盟一直在数字立法方面走在全球前列，并试图通过"布鲁塞尔效应"向全球输出标准。 "布鲁塞尔效应"指欧盟在监管自己内部单一市场的过程中，跨国公司通过合规接受了这些标准，并逐渐让欧盟标准成为世界标准。GDPR的实施便是一个很好的例子。GDPR是管理欧盟个人数据隐私的准则和政策，于2018年5月25日生效。跨国科技公司基于GDPR的要求进行数据处理的合规，并将这一标准用于欧盟外的数据处理中，使得欧盟标准成为世界标准。 张凌寒认为，欧盟作为AI的重要市场，其自身AI产业相对薄弱，《AI法》试图去重现GDPR全球治理框架，进一步延续"布鲁塞尔效应"，进而获取全球产业竞争的谈判筹码和再次利益分配。对此，全球都在观察，《AI法》是否能达到预期。 《AI法》的落地有一个前提，欧盟本土科技公司和跨国科技公司都愿意接受合规挑战。 "数字欧洲"组织总干事塞西莉亚·博内菲尔德·达尔警告称，这种做法导致了糟糕的监管，将阻碍欧洲与美国在未来新设人工智能公司领域的竞争。"欧盟公司的额外合规成本使我们的利润进一步下滑，"她表示，"当世界其他国家都在招聘程序员时，我们却在招聘律师。" 张凌寒表示，《AI法》的生效给在欧洲运营的科技企业带来了多维度的挑战，其在AI产品研发、测试、部署和应用等各环节进行了相应的规定。在她看来，科技企业不仅要加大合规成本的投入，以确保构建与欧盟接轨的合规体系，还需持续对目标市场进行评估监测，在研发过程、功能设计上进行必要调整，以满足《AI法》对于安全性、透明度等方面的高标准要求。 宁宣凤认为，最直观的是，就高风险AI系统提供者而言，《AI法》的影响将至少体现在相关主体适应相关监管要求的合规成本当中；就不可接受风险的AI系统而言，相关主体甚至无法继续提供相关系统，进一步可能造成相应的经济损失。 那么，中国的AI企业该如何应对？ 张凌寒建议，在合规层面，中国企业首先应当全面评估《AI法》的要求，及时动态调整合规策略，并建立内部合规管理体系；其次应提升技术创新能力，针对AI系统的技术特点和产品功能，制定有关风险预案；最后，应加强国际合作与交流，密切关注海外立法和执法动态，提升国际竞争力。 许可则认为，欧盟重现GDPR的"布鲁塞尔"效应不会成功。GDPR成功有三个前提：第一是广泛的管辖权，第二是高标准的法律要求，第三是高额的罚款。目前来看，虽然这三个方面《AI法》与GDPR具有一致性，但一个重要的不同是数据是需要跨境流动的，而人工智能系统是可以分割的。数据的流动性使得监管机构可以通过控制欧盟的数据流入和流出，从而间接地对全球产生影响，但这一点在AI监管中无法体现。AI企业完全可以设立出可分割的市场，在欧盟以外发展AI产业时，不需要遵守欧盟的规则。 许可提醒，需要注意《AI法》有两个豁免：一是对于AI研发的豁免。很多企业完全可以做到在欧盟研发，在欧盟外提供服务。二是开源豁免，这仅仅限制了一些闭源AI系统。例如，谷歌可以通过开源的人工智能，间接影响欧盟市场的产品和服务。 许可还指出，GDPR赋予了个人以非常强的权利，这些私权推动了个人和NGO发起司法诉讼，从而通过诉讼的方式实现监管。而《AI法》本质上规定了AI系统的产品责任，个人没有被赋予新的权利，因此其执行只能依托欧盟的行政执法，由此基于主权原则，相关执法实际上只能在欧盟境内进行，这也为《AI法》的全球影响力带来挑战。 但在美法律学者孙远钊认为，《AI法》的合规要求，对企业的运营可能会造成一定程度的不方便，但任何的合规要求莫不如此。从积极的角度来看，这在一定程度上或可避免重大安全事故发生，以及万一不幸发生了事故，能在最短时间集思广益，以期共同找出问题所在和解决之道，这样也有助于建立社会的信心，并促进整体市场健康有序发展。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
AIGC 大模型实践总结
AIGC 大模型实践总结
https://my.oschina.net/u/4662964/blog/15210010
大模型浪潮席卷全球，在各行各业中的重要性愈发凸显，呈现出一股不可逆转的发展趋势。这一年本人所在业产技也在这一过程中持续探索和尝试AIGC。本文一方面是对AIGC实践的总结回顾，同时也是本人学习实践AIGC过程中一些笔记、心得分享。因个人能力限制，文章中可能存在一些理解或表述错误的地方，希望各位大佬能及时批评和指正。 AI时代 2022年11月30号，OpenAI推出ChatGPT后随即爆火，五天注册用户数过百万，2个月用户破1亿，成为史上增长最快的消费者应用。随后各大厂也纷纷卷入AIGC领域，迎来国产GPT大模型发布潮以及AI创业公司成立潮。 大模型代表一个新的技术AI时代的来临，大模型展现出的强大的语义理解，内容生成以及泛化能力正在逐渐改变我们的工作与生活方式（AI+）、工作方式和思维方式。正如《陆奇的大模型观》所讲，当前我们正迎来新范式的新拐点，从信息系统到模型系统过渡，"模型"知识无处不在。人工智能的浪潮正在引领新的技术革命，或许可称为第五次工业革命。 2024年2月16日，OpenAI正式发布文生视频模型Sora引发全球关注。Sora可以根据用户的文本提示快速制作长达一分钟的逼真视频，这些视频可以呈现具有多个角色、特定类型的动作、主题和背景等准确细节的复杂场景。而像Pika等其他主流的视频生成模型大多只能维持5s左右的动作和画面一致性，而Sora可在长达17s的视频中保持动作和画面的一致性。 优势：60s超长时间、运动镜头下内容一致性、现实场景真实感。 2024年3月13日，明星机器人创业公司 Figure，发布了全新 OpenAI 大模型加持的机器人 demo。视频中Figure demo机器人展示与人类的对话，没有任何远程操作。机器人的速度有了显著的提升，开始接近人类的速度。引起对机器人的发展速度感到震惊，我们似乎正处在这场汹涌的进化浪潮中。甚至有人感叹，已经准备好迎接更多的机器人了。 大模型基础知识 AI、AIGC、AGI、ChatGPT的基本概念在人工智能的领域里面，以上四个词是四个不同的概念。 ▐ AI(人工智能)：artifical intelligence 人工智能（AI）是最广泛的概念，泛指通过机器模拟和执行人类的智能功能的技术。指的是由人制造出来的系统或软件，这些系统或软件能够执行通常需要人类智能才能完成的任务，如视觉感知、语音识别、决策制定和翻译等。泛AI概念包括的内容很大，包括狭义和广义定义的AI。 狭义的AI即弱人工智能，指可以执行特定任务的智能系统，只能在特定的场景和范围内体现智能行为。比如语音识别、图片识别、智能驾驶； 广义的AI即强人工智能，值得是具备和人类一样的智能水平和认知能力的系统。能够在复杂的环境下自主学习、推理、理解、适应，有更高级的智能表现。 ▐ AGI(通用人工智能)：artifical general intelligence 通用人工智能（AGI）是广义AI的一个子集，指能在各个领域和方面都能达到人类智能水平的系统，具备人类的多样性和灵活性。AGI是AI研究的终极目标之一，AGI能够跨领域执行多种任务，具备自我学习和适应的能力，可以进行各类的学习和推理任务，并且具备自我意识和通用智能。 ▐ AIGC(人工智能生成内容)：AI generated content AIGC，全名"AI generated content"，又称生成式AI，意为人工智能生成内容，是利用AI技术自动创作出新的内容，这包括但不限于文字、图像、音乐、视频等。AIGC技术的核心优势是能够大大减轻人类创作者的负担，提高内容生产的效率和规模，同时也能够创造出全新的、创意性的作品。 可以简单理解为，AIGC的水位，介于弱AI与AGI之间，是AGI在特定领域（内容生成）的一个削弱型应用。AIGC目前已经有很多广泛的应用，而相反，AGI则处于研究阶段，且在实际落地过程中，肯定会面临严格的机器人伦理问题。 ▐ LLM(大语言模型)：large language model 大语言模型一般指在大规模的文本语料上训练，包含百亿甚至更多参数的语言模型。大语言模型采用的架构目前基本是基于transformer的架构。那么LLM近期爆火，在之前却没有很好的表现的一个很重要原因是，只有语言模型的规模达到一定量级的时候，某些能力才会出现。（称之为涌现能力）。代表性的包括：上下文学习、指令遵循、逐步推理等等。 如Transformer架构的GPT-3、BERT、T5等模型。这些模型通过在海量数据上进行训练，能够学习到丰富的语言和知识表示，并展现出强大的自然语言处理能力。 ▐ ChatGPT：Chat Generative Pre-trained Transformer ChatGPT是"Chat Generative Pre-trained Transformer"的缩写，ChatGPT是一种基于人工智能技术的聊天机器人，能够进行自然语言理解和生成，提供流畅且类人的对话体验。是史上增长最快的消费者应用，可以应用于各种场景，能用于问答、文本摘要生成、机器翻译、分类、代码生成和对话。 大模型架构 2017年前，transformer架构前的部分经典架构如下： N元文法（n-gram） 多层感知器（MLP） 卷积神经网络（CNN)，常见于计算机视觉； 循环神经网络（RNN，Recurrent Neural Network），一个很强大的神经网络模型，能预测序列数据，比如文本、语音和时间序列。 ▐ Transformer架构 当下最火的当属2017年的transformer架构，Transformer是目前最常见的语言模型的基本结构。transformer架构涉及大量的概念和应用，比如编码-解码（encoder-decoder），注意力机制（attention），kqv（key、Querry、value）等。 Transformer模型的核心架构可分为编码器和解码器。即编码器将输入序列编码成一个向量，而解码器则从该向量中生成输出序列。 简单的工作流程如下： 1、获取输入句子的每一个单词的表示向量 X，X由单词的 Embedding（Embedding就是从原始数据提取出来Feature） 和单词位置的 Embedding 相加得到。 2、将得到的单词表示向量矩阵 (如上图所示，每一行是一个单词的表示 x) 传入 Encoder 中，经过6个 Encoder block 后可以得到句子所有单词的编码信息矩阵C 3、将 Encoder 输出的编码信息矩阵 C传递到 Decoder 中，Decoder 依次会根据当前翻译过的单词 1~ i 翻译下一个单词 i+1 。 使用ChatGPT的时候会发现输出结果是一个字一个字蹦出来的，这是Transformer的结构导致的。 简单理解：可以将Transformer模型学习和预测的过程看成是语言翻译。如果模型是将A语言翻译成B语言，那么Transformer模型结构中的编码器是将输入的A语言翻译成模型语言，而解码器则是将模型语言翻译成B语言。 ▐ 注意力机制 Transformer模型之所以具备强大的功能，可以归功于模型中应用的注意力机制。何为注意力机制？对于一张图，我们并不会同等地查看图中的每个位置，而会自动提取"重要的位置"。 Attention = 注意力，从两个不同的主体开始。（两个主体互相注意，我注意到他，他注意到我） NLP领域最开始用于翻译任务，天然是source、target，D翻译第一个词的时候，有个attention的机制关注到前面的所有词，但是权重不一样。简单理解：计算词之间的相近关系。 注：颜色粗细代表权重大小 以上图片可以解读为：一段自然语言内容，其自身就「暗含」很多内部关联信息。例如上面这句话，如果用"自注意力"机制，应该给与"知识"最多的注意力，因此可以认为： 一段自然语言中，其实暗含了：为了得到关于某方面信息 Q，可以通过关注某些信息 K，进而得到某些信息（V）作为结果。（Q 就是 query 检索/查询，K、V 分别是 key、value。所以类似于我们在图书检索系统里搜索「NLP书籍」（这是 Q），得到了一本叫《自然语言处理实战》的电子书，书名就是 key，这本电子书就是 value。只是对于自然语言的理解，我们认为任何一段内容里，都自身暗含了很多潜在 Q-K-V 的关联。）【qkv机制后续在图片领域也有大量的应用，可以熟悉一下这个机制】 关于transformer架构，还有很多的逻辑和知识，不做枚举。且后续大量的逻辑会基于向量和矩阵展开，不易理解。简单的罗列下为什么这个架构后面带来了大量的变革。即架构的优势： 快：比起2017年前的rnn，transformer并行性更好； 记忆力好：词间距缩短为1，长文本的时候，可以有更多的容量； 处理不同长度的序列：不需要输入的数据序列是固定长度的。 ▐ 上下文学习（In-Context Learning） 一个预训练模型，在处理下游任务时，不微调模型参数，只需要在输入时加一些示例，就能有 SOTA（state-of-the-art，即最优秀的模型） 的表现，这就是模型的上下文学习（In-Context Learning，ICL）能力。 ICL 能力的直接应用：Prompt Engineering 2022 期间很多学界人士的研究重点都转向了 Prompt。首先一般性地「Pretrain, Prompt」到了 Prompt 环节，可能是给模型输入 x 期望得到输出 y。但是如果我们对使用者给出的 x 进行二次加工（比如把这个加工表示为一个函数 f（x)），是否能在输出上获得更好的结果 y 呢？甚至可以优化输出的结构，得到更好的结果。 举个例子。比如模型的使用者想问「自驾去杭州周边两天一夜玩，有什么推荐的地方吗？」，模型返回了「南浔古镇」。而如果通过 Prompt Engineering 优化一下可以这样： 这样 f(x) 就是 Prompt Engineering，而 g(x) 其实是 Answer Engineering。 ICL的数学原理和底层逻辑其实目前没有明确定论，也比较复杂。简单对ICL总结用于指导后续应用，包括： 在 prompt 里带上 demo 是很重要的，而且 demo 在形式上 input 和 label 都需要。 对于 demo 中的 input，不要乱来，要给出比较合理的 input。 对于 demo 中的 label，只要它属于正确的值域空间 label space 就可以了，是否与 input 有 correct mapping 不重要。 ▐ Prompt Framework Prompt的专业与否 直接关系到以下两方面的结果效果： 1、大模型回复的准确性和针对性：好的Prompt才可以帮助模型更好地理解你的意图和需要。 2、大模型回复语句的自然度：好的Prompt可以帮助模型更好地处理歧义，以及上下文依赖性等问题，提高模型回答的自然度。 Elavis Saravia 总结的框架： Instruction（必须）：指令，即你希望模型执行的具体任务。 Context（选填）：背景信息，或者说是上下文信息，这可以引导模型做出更好的反应。 Input Data（选填）：输入数据，告知模型需要处理的数据。 Output Indicator（选填）：输出指示器，告知模型我们要输出的类型或格式。 只要你按照这个框架写 prompt ，模型返回的结果都不会差。 当然，你在写 prompt 的时候，并不一定要包含所有4个元素，而是可以根据自己的需求排列组合。比如拿前面的几个场景作为例子： 推理：Instruction + Context + Input Data 信息提取：Instruction + Context + Input Data + Output Indicator ▐ 提示工程（Prompt Engineering） 在Prompt Framework背景下，为了让LLM有更高质量的回答、对业务有价值的回答。在工程实践中，工程侧会将用户的随意问题进行包装组织以及抽取，组成问题的上下文，并添加一些周边的限定语句，而得到有效提示词的代码逻辑或者应用服务（有效提示词组织服务：能完成这些复杂应用业务的 一般是需要一个专门的服务）。 query有效->产出好的结果是不容易 -> 避免二义性、无结果 所以产生了提示词工程：提示词引擎-runtime(串联产投链路数据) & 模板运维 分离：模板：模板与工程分离 （类似前后端分离） 信息够不够：串联产投链路数据，补齐到模板中 ▐ COT(chain of thought) 思维链 深度学习的演变阶段：在认知科学里，有一个「认知双通道理论」，讲的是人脑有两套系统，即「系统 1」和「系统 2」： 系统 1（System-1）常被称为直觉系统，它的运行是无意识且快速的，不怎么费脑力，没有感觉，完全处于自主控制状态。 系统 2（System-2）常被称为逻辑分析系统，它将注意力转移到需要费脑力的大脑活动上来，例如复杂的运算。系统 2 的运行通常与行为、选择和专注等主观体验相关联。 System-1 是目前深度学习正在做的事情 —— Current DL，比如图像识别、人脸识别、机器翻译、情感分类、语音识别、自动驾驶等。System-2 是未来深度学习将要做的事情 —— Future DL，比如推理、规划等任务，这些任务基本都是有逻辑的（logical）、可推理的（reasoning）。 大语言模型研究者们也在探究那些 System-2 要解决的任务，于是有了下面的几个技术方向。 Google 提出思维链提示（CoT Prompting）：2022年初google在论文里面提出「思维链（Chain of Though，CoT）」，研究发现通过在 prompts 中增加思维链（即一系列中间推理步骤），就能显著提升 LLM 的推力表现。并将这种提示方式称为「Chain of Thought prompting」。标准的提示中给了一对问答样例，再加上一个问题，让 LLM 返回问题的答案。CoT Prompting 则在那对问答样例中加上了一段 CoT，而不是直接给出「The answer is 11.」下图展示了这样两种 prompting 及对应输出的案例。 Let's Think Step by Step 2022 年 5 月三位东京大学学者与两位 Google 的研究人员中提到了后来在 Gen-AI 领域那句著名的提示 —— Let's think step by step —— 对于涉及到逻辑推理方面的问题，通过增加这句提示后，模型展现出了推理性能的大幅跃升。 对于 OpenAI 的 InstructGPT（具体地，是 text-davinci-002）模型，在输入提示时加上「Let's think step by step」后，其表现： 在 MultiArith 数据集上，准确率从 17.7% 提升到 78.7% 在 GSM8K 数据集上，准确率从 10.4% 提升到 40.7% 对于 Google 的 PaLM 模型（具体地，参数规模为 5400 亿），同样的输入提示改造，其表现： 在 MultiArith 数据集上，准确率从 25.5% 提升到 66.1% 在 GSM8K 数据集上，准确率从 12.5% 提升到 43.0% 事实上，还有很多类似的Prompt插入，但是效果不如这句好。 大模型发展与应用 ▐ 大模型概述 而他们的底座就是大模型（Large Models），大模型在人工智能领域通常指的是具有大量参数的(通常包含十亿甚至千亿参数)、复杂计算结构和强泛化能力的机器学习模型。其主要特点包括： 大量参数：大模型拥有庞大的参数量，通常包含十亿甚至千亿参数，远超过传统的小型模型。使其具备极高的表达能力，能够模拟和学习非常复杂的函数关系。 强大的学习能力：由于参数量巨大，这些模型具有强大的学习和泛化能力，能够在各种任务上达到或超越人类的表现。 大数据集&计算资源密集：为了训练这些模型避免过拟合，并充分利用其学习能力，需要大量的训练数据。且需要大量的计算资源进行训练，包括高性能硬件GPU集群和大量的电力。 预训练和微调：大多数大模型采用两阶段的学习过程，首先在大量的无标注数据上进行预训练，然后在特定任务的数据集上进行微调，以获得更好的性能。 自我监督学习：许多大模型通过自我监督学习来提高其泛化能力，这种学习方法不需要人工标签，而是让模型自己从输入数据中学习到有用的特征。 上下文敏感性：大模型在处理自然语言理解和生成任务时，能考虑到更多的上下文信息，从而生成更加准确和流畅的文本。因此在实践大模型过程中要尽可能输入足够的上下文信息来提高结果的准确度。 业务AIGC应用领域和实践 ▐ 关键项目概述 产技推进原则：在有强行业属性的需求的方向上坚持投入定制（例如生图、生产决策因子），在偏通用的应用上尽可能快速复用平台产品，底层复杂能力通过集团借力。 ▐ AIGC工程实践 策略：业务侧核心聚焦业务场景应用，平台能力&模型不会那么重 技术目标 目标：构建一套支持多业务场景的AIGC横向工程引擎架构， 辅助业务快速落地AIGC场景。 考虑扩展性、模块化和服务的可重用性，嵌入产供投链路。 架构设计 采用分层设计，以实现各层次的解耦和服务复用。 嵌入产供投链路：通过API、消息队列、odps回流等实现系统间的数据交换和工作流程的协同。 核心公共能力：多模型接口封装、Prompt管理、标注反馈能力、任务管理能力、多业务身份隔离等。 1. 用户界面层（User Interface Layer）: 提供用户友好交互的操作、管理界面，可以根据不同的业务场景定制。 生成任务提交和结果查看：可以提交生成任务，查看生成结果 策略生产集成：将AIGC能力嵌入到电商产供投链路中，实现自动化生产和决策。 管理界面：prompt模板管理、业务规则管理 横向标注界面：用户输入界面和反馈机制 2. 应用层（Application Layer）: 处理业务逻辑的中心层 API网关（IDD + HSF）：作为统一的入口，管理和路由前端的请求到正确的后端服务。 业务流程服务：根据不同业务需求进行业务逻辑编排，并调用底层的AIGC引擎服务。 身份验证服务: 权限和用户管理，确保用户身份安全和访问控制。 任务管理器: 管理文本生成、图像生成等任务生命周期。 任务调度器：调度文本生成、图像生成等批量任务执行 生产管理：任务审批流、实时费用预估等 3. AI 核心能力层（AI Services Layer）: 封装不同AIGC能力成独立服务，最小能力具备可插拔 文本处理服务: 支撑文本生成、理解和翻译等 图像处理服务: 包含图片编辑（抠图、高清）、生成（合图）和识别等功能 视频处理服务：未来可能支持视频裁剪、生成 对话管理服务: 流式输出、对话回复能力、记忆能力等 钉群对话、钉卡片消息、 内容推荐服务：扩散、创造 4. 模型层（AI Model Layer）: 模型管理: 模型接入，比如GPT4/3.5、通义千问、vertex-PaLM2、claude2。 微调模型：垂类模型调优、迭代和更新 5. 数据处理层（Data Processing Layer）：处理数据的获取、清洗、转换和存储 数据处理服务: 数据清洗、转换等预处理操作。处理各类原始数据，包括文本、图像等。 知识库：QA问答、人工回复 数据库: 存储生成的文本、用户数据、系统数据等。 文件存储: 存储生成的图像、日志等。 6. 基础设施层（Infrastructure Layer）: 计算资源: 服务器、GPU等计算资源。 网络: 负载均衡器、API网关等网络设备。 存储: 物理存储、云存储服务。 7. 监控与运维层（Monitoring & Ops Layer）: 日志管理: 记录和分析系统运行情况。 性能监控: 监控系统性能和资源利用率。 自动化部署: 持续集成和持续部署（CI/CD）。 ▐ 应用场景举例 素材优化 业务背景 因多语种翻译、商品信息不足等问题导致商品属性缺失、图片素材质量低；导致用户理解难、转化低、万求高。面对极大品量，运营手动仅可补全少量头部商品，无法全量优化。在AI技术成熟的背景下，考虑采用AIGC的方式对商品的属性、卖点、素材图片、场景图等信息进行补全及优化。 核心方案 技术选型核心三步：1、模型底层选择；2、语言&框架选择；3、整体架构设计。整体参看上篇AIGC工程实践方案。基于大模型生文能力&部署Stable Diffusion生图能力，通过离在线数据接入、配置化设计、异步任务调度等技术链接业务供给数据资产，构建嵌入产供投链路的批量化AIGC工程。 阶段进展 文生文工程：具备prompt模板提示&自动填充、任务试跑预览、费用预估、批量化AIGC生产等能力，简化业务AIGC使用门槛。商品属性补全百万+品。获流效果在主搜免费获流上显著提升（有动销商品/动览非动销品均正向），并且通过商详ab方式验证对成交转化率也有正向提升。 场景图：建设标品场景图替换、白底图&透明图生产、透明图超分处理、模特服饰上身、图片连通域检测、图片转存、图片裁剪等二创。图素材生产万+，首猜获流效率&主搜曝光点击率均为正向。 商家Copilot 另外我们初探构建具备业务知识的AI办公助手。服务于商家，提升运营效率和业务体验。不仅解放了业务小二的工作量，也提升了业务操作的效率和准确性。 实践过程挑战 在AIGC的实践，技术挑战与机遇并存。下面给大家分享下AIGC的实践挑战以及部分解决思路。 ▐ 技术挑战 问题 描述 解决方案及思路 知识量有限 比如GPT 4，21年前训练样本&通用语料训练，实时数据、垂直领域的数据&专属知识无法理解 无法"在外部世界行动"，不论是搜索网页、调用 API 还是查找数据库 方案1. LLM+检索增强 ：LLM的基础上通过检索等额外提供领域数据信息； 对于用户输入Query，结合业务数据中检索到的结果一起输入给LLM，则可以得到更精准的回答。 方案2. 构建行业数据集对LLM进行微调，使模型本身具备输出行业信息的能力。（成本高且效果不佳）【解决方案】：LLM+检索增强：OpenAI提出了chatgpt-retrieval-plugin、WebGPT，开源社区提出了DocsGPT、ChatPDF、基于langchain的检索增强chatbot等等一系列解决方案 效果问题 部分场景效果不及预期 复杂逻辑推理能力不佳 对未见过的知识语料回答效果差 1、大模型+上下文学习技术（In-Context Learning）， 设计合理的prompt模版2、大模型+思维链提示（Chain-of-Thought Prompting），引入推理路径作为提示，激发大模型按照这种推理的模式生成出合理的结果3、大模型+高质量标注样本+指令微调（PEFT技术），提高模型对特定任务的泛化能力 延迟问题 一次完整问答大概 10s+ （用户200ms会有体感） 延迟主要受两个因素影响：模型和生成的令牌数量。 1、流式传输。请求中的设置stream: true使模型在令牌可用时立即开始返回令牌，而不是等待生成完整的令牌序列。它不会改变获取所有令牌的时间，但它会减少我们想要显示部分进度或将停止生成的应用程序的第一个令牌的时间。这可以是更好的用户体验和 UX 改进，因此值得尝试流式传输。2、基础设施。openai 美国。存在跨国网络延时3、减小token 。例如使用更短的提示。 交互式分词器工具来帮助估算成本 4、缓存：通过存储经常访问的数据，可以缩短响应时间，而无需重复调用 API。但在添加新信息时使缓存无效。 资源和性能 训练&微调都需要不少机器资源，目前GPU资源匮乏 部署资源，尤其是C端投放有高并发低延时要求，需要投入巨大成本在线serving 1、不训练基座模型，微调选择的基座模型选几B~几十B左右的LLM （如ChatGLM-6B）2、曲线救国，线上不直接使用大模型serving，一种是利用大模型的embedding， 另一种是利用大模型来进行更多样本标注，来辅助小模型学习 ▐ 量产与低质矛盾 业务在AIGC应用更多是批量化生产，去快速辅助业务补全海量商量素材质量低的问题。不同于交互式生成方式，批量化生成中面临很多问题，其中最为突出的是原商品图的质量，以及原商品图和背景模板的匹配问题： 1、商品素材图：主体清晰度低、布局混乱；这对于最终用户的购买体验有极大的负面影响。 技术解决方案：采用超分辨率技术，特别是real-esrgan方法（ESRGAN做生成网络，Unet做判别网络）最终将合成图扩展到1000*1000分辨率，以满足高质量的输出需要。 2、商品素材的布局混乱，包括物品位置不当、画面过于杂乱，使得生成的图片达不到预期要求。 技术解决方案：通过主体识别以及联通域检测技术，对商品主体结构分布进行筛选，预剔除不符合规范的商品图片，从而优化图片的布局和整体美观度。 3、由于缺乏标准化样本进行模型训练，商品图与背景模板的匹配问题成为了批量化生成的一大挑战。 技术解决方案：精选背景模板：通过细分类目，结合人工评测批量化产出生成图后，剔除采纳率较低的背景图模板，以提高背景的适配性和美观度。 以及特别是C端投放场景，需要建立审核->验收->效果等业务SOP流程，提高生产投放的效率和质量。 ▐ 伦理和监管问题 随着大模型在AIGC中的广泛应用，它们引发了关于数据隐私、版权、内容监管和偏见等问题的讨论。因此，大模型的使用不仅涉及技术层面，还涉及伦理和法律层面。如政治敏感、违法犯罪、身体伤害、心理健康、隐私财产、偏见歧视、礼貌文明、伦理道德等问题，尤其是LLM直接面向C短消费者服务时，由于消费者的输入不可控，模型有概率得到一些不合规的返回。 问题 描述 解决方案及思路 安全与合规 如政治敏感、违法犯罪、伦理道德等问题，尤其是LLM直接面向C端场景 1、建设安全校验模块能力 2、B端：生成素材数据清洗&人工审核3、C端：生成式大模型必须通过SFT、RLHF等微调技术对大模型做适配微调，对齐人类的价值观； 政策问题 对于类GPT能力作为C端应用的开放程度需受限于政策 1、上线前，找安全同学评估 【附】网信办411公布《生成式人工智能服务管理办法》征求意见稿，规范生成式人工智能产品（AIGC，如 ChatGPT）的开发和使用方式、行业的定义、对生产者的要求和责任等方面。意见稿中尤其提出："利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。 C端应用上线需要过"双新评估"： 未来展望 ▐ 业务侧规划 面对下一年度，AIGC实践的未来展望应基于业务场景继续创新，扩大战果。 深入探索行业应用：结合不同行业的特点和需求，开发出更加定制化、精细化的AIGC应用，提高生产效率和质量。加强与业务场景的深度融合，推动AIGC技术在业务侧的实际落地。 提高模型性能：与算法联动，结合实际应用场景的需求，通过人工、算法、数据反馈等机制不断优化业务场景微调模型，提高模型的性能和准确性，让AIGC应用更加高效化。 探索多模态AIGC应用，如将文本&图像二创、视频等多模态的生成能力结合。 ▐ 个人期待 AI大势浩浩荡荡，顺之者昌逆之者亡。YY几个未来的期待场景： 1、增强的交互式AI：类似google发布的Gemini，改变当前信息交互方式，期待每个人都有专属钢铁侠中的人工智能"贾维斯"。 2、个性化和定制化内容：大数据+AIGC根据用户偏好、历史行为和实时反馈生成的个性化和定制化内容。 3、虚拟现实内容：AIGC多模态内容生成发展，图像、视频、音频等，未来说不定AI构建虚拟现实内容。 结语 积极拥抱变化，拒绝无谓焦虑。AI技术发展更多地是对人类能力的补充而非替代，更多作为"助理"的效果。 在人工智能飞速发展的今天，我们正站在这个时代的十字路口，AI的进步为我们揭开了技术创新的新篇章，提供了前所未有的便利和机遇；另一方面，技术的飞跃发展也带来人们对未来工作和生活方式的不确定性，引发了人们心中的焦虑和恐惧。 前总理："中国有6亿人月收入不到1千"。最广大的用户可能并没有感受到GPT的日新月异的变化。持续学习与适应是关键，不断学习新知识，提升对AI技术的理解和掌握。唯有接纳和理解AI技术的进步，我们才能把握发展的机遇。通过深入了解AI技术的实际应用，我们可以发现，技术的发展更多地是对人类能力的补充而非替代。 参考资料 Massive Exploration of Neural Machine Translation Architectures:https://arxiv.org/pdf/1703.03906.pdf Safety-Prompts:https://github.com/thu-coai/Safety-Prompts 团队介绍 天猫国际，中国进口电商领域的领航者，不仅是阿里巴巴-淘天集团电商技术体系中的佼石，更是集平台运营、跨境贸易、大贸业务、免税服务于一体的综合性业务旗舰。我们的技术产品覆盖了从商家入驻到消费者体验的每一个环节，构成了电商链路上最为丰富和复杂的生态系统。我们对电商行业的特性和发展趋势有着深入的认知。同时，我们也密切关注着跨境市场的动态和未来的交易趋势，以期提前布局，引领行业发展。 ¤ 拓展阅读 ¤ 3DXR技术 | 终端技术 | 音视频技术 服务端技术 | 技术质量 | 数据算法 本文分享自微信公众号 - 大淘宝技术（AlibabaMTT）。如有侵权，请联系 support@oschina.cn 删除。本文参与"OSC源创计划"，欢迎正在阅读的你也加入，一起分享。
-- gReader Pro
https://my.oschina.net/u/4662964/blog/15210010
大模型浪潮席卷全球，在各行各业中的重要性愈发凸显，呈现出一股不可逆转的发展趋势。这一年本人所在业产技也在这一过程中持续探索和尝试AIGC。本文一方面是对AIGC实践的总结回顾，同时也是本人学习实践AIGC过程中一些笔记、心得分享。因个人能力限制，文章中可能存在一些理解或表述错误的地方，希望各位大佬能及时批评和指正。 AI时代 2022年11月30号，OpenAI推出ChatGPT后随即爆火，五天注册用户数过百万，2个月用户破1亿，成为史上增长最快的消费者应用。随后各大厂也纷纷卷入AIGC领域，迎来国产GPT大模型发布潮以及AI创业公司成立潮。 大模型代表一个新的技术AI时代的来临，大模型展现出的强大的语义理解，内容生成以及泛化能力正在逐渐改变我们的工作与生活方式（AI+）、工作方式和思维方式。正如《陆奇的大模型观》所讲，当前我们正迎来新范式的新拐点，从信息系统到模型系统过渡，"模型"知识无处不在。人工智能的浪潮正在引领新的技术革命，或许可称为第五次工业革命。 2024年2月16日，OpenAI正式发布文生视频模型Sora引发全球关注。Sora可以根据用户的文本提示快速制作长达一分钟的逼真视频，这些视频可以呈现具有多个角色、特定类型的动作、主题和背景等准确细节的复杂场景。而像Pika等其他主流的视频生成模型大多只能维持5s左右的动作和画面一致性，而Sora可在长达17s的视频中保持动作和画面的一致性。 优势：60s超长时间、运动镜头下内容一致性、现实场景真实感。 2024年3月13日，明星机器人创业公司 Figure，发布了全新 OpenAI 大模型加持的机器人 demo。视频中Figure demo机器人展示与人类的对话，没有任何远程操作。机器人的速度有了显著的提升，开始接近人类的速度。引起对机器人的发展速度感到震惊，我们似乎正处在这场汹涌的进化浪潮中。甚至有人感叹，已经准备好迎接更多的机器人了。 大模型基础知识 AI、AIGC、AGI、ChatGPT的基本概念在人工智能的领域里面，以上四个词是四个不同的概念。 ▐ AI(人工智能)：artifical intelligence 人工智能（AI）是最广泛的概念，泛指通过机器模拟和执行人类的智能功能的技术。指的是由人制造出来的系统或软件，这些系统或软件能够执行通常需要人类智能才能完成的任务，如视觉感知、语音识别、决策制定和翻译等。泛AI概念包括的内容很大，包括狭义和广义定义的AI。 狭义的AI即弱人工智能，指可以执行特定任务的智能系统，只能在特定的场景和范围内体现智能行为。比如语音识别、图片识别、智能驾驶； 广义的AI即强人工智能，值得是具备和人类一样的智能水平和认知能力的系统。能够在复杂的环境下自主学习、推理、理解、适应，有更高级的智能表现。 ▐ AGI(通用人工智能)：artifical general intelligence 通用人工智能（AGI）是广义AI的一个子集，指能在各个领域和方面都能达到人类智能水平的系统，具备人类的多样性和灵活性。AGI是AI研究的终极目标之一，AGI能够跨领域执行多种任务，具备自我学习和适应的能力，可以进行各类的学习和推理任务，并且具备自我意识和通用智能。 ▐ AIGC(人工智能生成内容)：AI generated content AIGC，全名"AI generated content"，又称生成式AI，意为人工智能生成内容，是利用AI技术自动创作出新的内容，这包括但不限于文字、图像、音乐、视频等。AIGC技术的核心优势是能够大大减轻人类创作者的负担，提高内容生产的效率和规模，同时也能够创造出全新的、创意性的作品。 可以简单理解为，AIGC的水位，介于弱AI与AGI之间，是AGI在特定领域（内容生成）的一个削弱型应用。AIGC目前已经有很多广泛的应用，而相反，AGI则处于研究阶段，且在实际落地过程中，肯定会面临严格的机器人伦理问题。 ▐ LLM(大语言模型)：large language model 大语言模型一般指在大规模的文本语料上训练，包含百亿甚至更多参数的语言模型。大语言模型采用的架构目前基本是基于transformer的架构。那么LLM近期爆火，在之前却没有很好的表现的一个很重要原因是，只有语言模型的规模达到一定量级的时候，某些能力才会出现。（称之为涌现能力）。代表性的包括：上下文学习、指令遵循、逐步推理等等。 如Transformer架构的GPT-3、BERT、T5等模型。这些模型通过在海量数据上进行训练，能够学习到丰富的语言和知识表示，并展现出强大的自然语言处理能力。 ▐ ChatGPT：Chat Generative Pre-trained Transformer ChatGPT是"Chat Generative Pre-trained Transformer"的缩写，ChatGPT是一种基于人工智能技术的聊天机器人，能够进行自然语言理解和生成，提供流畅且类人的对话体验。是史上增长最快的消费者应用，可以应用于各种场景，能用于问答、文本摘要生成、机器翻译、分类、代码生成和对话。 大模型架构 2017年前，transformer架构前的部分经典架构如下： N元文法（n-gram） 多层感知器（MLP） 卷积神经网络（CNN)，常见于计算机视觉； 循环神经网络（RNN，Recurrent Neural Network），一个很强大的神经网络模型，能预测序列数据，比如文本、语音和时间序列。 ▐ Transformer架构 当下最火的当属2017年的transformer架构，Transformer是目前最常见的语言模型的基本结构。transformer架构涉及大量的概念和应用，比如编码-解码（encoder-decoder），注意力机制（attention），kqv（key、Querry、value）等。 Transformer模型的核心架构可分为编码器和解码器。即编码器将输入序列编码成一个向量，而解码器则从该向量中生成输出序列。 简单的工作流程如下： 1、获取输入句子的每一个单词的表示向量 X，X由单词的 Embedding（Embedding就是从原始数据提取出来Feature） 和单词位置的 Embedding 相加得到。 2、将得到的单词表示向量矩阵 (如上图所示，每一行是一个单词的表示 x) 传入 Encoder 中，经过6个 Encoder block 后可以得到句子所有单词的编码信息矩阵C 3、将 Encoder 输出的编码信息矩阵 C传递到 Decoder 中，Decoder 依次会根据当前翻译过的单词 1~ i 翻译下一个单词 i+1 。 使用ChatGPT的时候会发现输出结果是一个字一个字蹦出来的，这是Transformer的结构导致的。 简单理解：可以将Transformer模型学习和预测的过程看成是语言翻译。如果模型是将A语言翻译成B语言，那么Transformer模型结构中的编码器是将输入的A语言翻译成模型语言，而解码器则是将模型语言翻译成B语言。 ▐ 注意力机制 Transformer模型之所以具备强大的功能，可以归功于模型中应用的注意力机制。何为注意力机制？对于一张图，我们并不会同等地查看图中的每个位置，而会自动提取"重要的位置"。 Attention = 注意力，从两个不同的主体开始。（两个主体互相注意，我注意到他，他注意到我） NLP领域最开始用于翻译任务，天然是source、target，D翻译第一个词的时候，有个attention的机制关注到前面的所有词，但是权重不一样。简单理解：计算词之间的相近关系。 注：颜色粗细代表权重大小 以上图片可以解读为：一段自然语言内容，其自身就「暗含」很多内部关联信息。例如上面这句话，如果用"自注意力"机制，应该给与"知识"最多的注意力，因此可以认为： 一段自然语言中，其实暗含了：为了得到关于某方面信息 Q，可以通过关注某些信息 K，进而得到某些信息（V）作为结果。（Q 就是 query 检索/查询，K、V 分别是 key、value。所以类似于我们在图书检索系统里搜索「NLP书籍」（这是 Q），得到了一本叫《自然语言处理实战》的电子书，书名就是 key，这本电子书就是 value。只是对于自然语言的理解，我们认为任何一段内容里，都自身暗含了很多潜在 Q-K-V 的关联。）【qkv机制后续在图片领域也有大量的应用，可以熟悉一下这个机制】 关于transformer架构，还有很多的逻辑和知识，不做枚举。且后续大量的逻辑会基于向量和矩阵展开，不易理解。简单的罗列下为什么这个架构后面带来了大量的变革。即架构的优势： 快：比起2017年前的rnn，transformer并行性更好； 记忆力好：词间距缩短为1，长文本的时候，可以有更多的容量； 处理不同长度的序列：不需要输入的数据序列是固定长度的。 ▐ 上下文学习（In-Context Learning） 一个预训练模型，在处理下游任务时，不微调模型参数，只需要在输入时加一些示例，就能有 SOTA（state-of-the-art，即最优秀的模型） 的表现，这就是模型的上下文学习（In-Context Learning，ICL）能力。 ICL 能力的直接应用：Prompt Engineering 2022 期间很多学界人士的研究重点都转向了 Prompt。首先一般性地「Pretrain, Prompt」到了 Prompt 环节，可能是给模型输入 x 期望得到输出 y。但是如果我们对使用者给出的 x 进行二次加工（比如把这个加工表示为一个函数 f（x)），是否能在输出上获得更好的结果 y 呢？甚至可以优化输出的结构，得到更好的结果。 举个例子。比如模型的使用者想问「自驾去杭州周边两天一夜玩，有什么推荐的地方吗？」，模型返回了「南浔古镇」。而如果通过 Prompt Engineering 优化一下可以这样： 这样 f(x) 就是 Prompt Engineering，而 g(x) 其实是 Answer Engineering。 ICL的数学原理和底层逻辑其实目前没有明确定论，也比较复杂。简单对ICL总结用于指导后续应用，包括： 在 prompt 里带上 demo 是很重要的，而且 demo 在形式上 input 和 label 都需要。 对于 demo 中的 input，不要乱来，要给出比较合理的 input。 对于 demo 中的 label，只要它属于正确的值域空间 label space 就可以了，是否与 input 有 correct mapping 不重要。 ▐ Prompt Framework Prompt的专业与否 直接关系到以下两方面的结果效果： 1、大模型回复的准确性和针对性：好的Prompt才可以帮助模型更好地理解你的意图和需要。 2、大模型回复语句的自然度：好的Prompt可以帮助模型更好地处理歧义，以及上下文依赖性等问题，提高模型回答的自然度。 Elavis Saravia 总结的框架： Instruction（必须）：指令，即你希望模型执行的具体任务。 Context（选填）：背景信息，或者说是上下文信息，这可以引导模型做出更好的反应。 Input Data（选填）：输入数据，告知模型需要处理的数据。 Output Indicator（选填）：输出指示器，告知模型我们要输出的类型或格式。 只要你按照这个框架写 prompt ，模型返回的结果都不会差。 当然，你在写 prompt 的时候，并不一定要包含所有4个元素，而是可以根据自己的需求排列组合。比如拿前面的几个场景作为例子： 推理：Instruction + Context + Input Data 信息提取：Instruction + Context + Input Data + Output Indicator ▐ 提示工程（Prompt Engineering） 在Prompt Framework背景下，为了让LLM有更高质量的回答、对业务有价值的回答。在工程实践中，工程侧会将用户的随意问题进行包装组织以及抽取，组成问题的上下文，并添加一些周边的限定语句，而得到有效提示词的代码逻辑或者应用服务（有效提示词组织服务：能完成这些复杂应用业务的 一般是需要一个专门的服务）。 query有效->产出好的结果是不容易 -> 避免二义性、无结果 所以产生了提示词工程：提示词引擎-runtime(串联产投链路数据) & 模板运维 分离：模板：模板与工程分离 （类似前后端分离） 信息够不够：串联产投链路数据，补齐到模板中 ▐ COT(chain of thought) 思维链 深度学习的演变阶段：在认知科学里，有一个「认知双通道理论」，讲的是人脑有两套系统，即「系统 1」和「系统 2」： 系统 1（System-1）常被称为直觉系统，它的运行是无意识且快速的，不怎么费脑力，没有感觉，完全处于自主控制状态。 系统 2（System-2）常被称为逻辑分析系统，它将注意力转移到需要费脑力的大脑活动上来，例如复杂的运算。系统 2 的运行通常与行为、选择和专注等主观体验相关联。 System-1 是目前深度学习正在做的事情 —— Current DL，比如图像识别、人脸识别、机器翻译、情感分类、语音识别、自动驾驶等。System-2 是未来深度学习将要做的事情 —— Future DL，比如推理、规划等任务，这些任务基本都是有逻辑的（logical）、可推理的（reasoning）。 大语言模型研究者们也在探究那些 System-2 要解决的任务，于是有了下面的几个技术方向。 Google 提出思维链提示（CoT Prompting）：2022年初google在论文里面提出「思维链（Chain of Though，CoT）」，研究发现通过在 prompts 中增加思维链（即一系列中间推理步骤），就能显著提升 LLM 的推力表现。并将这种提示方式称为「Chain of Thought prompting」。标准的提示中给了一对问答样例，再加上一个问题，让 LLM 返回问题的答案。CoT Prompting 则在那对问答样例中加上了一段 CoT，而不是直接给出「The answer is 11.」下图展示了这样两种 prompting 及对应输出的案例。 Let's Think Step by Step 2022 年 5 月三位东京大学学者与两位 Google 的研究人员中提到了后来在 Gen-AI 领域那句著名的提示 —— Let's think step by step —— 对于涉及到逻辑推理方面的问题，通过增加这句提示后，模型展现出了推理性能的大幅跃升。 对于 OpenAI 的 InstructGPT（具体地，是 text-davinci-002）模型，在输入提示时加上「Let's think step by step」后，其表现： 在 MultiArith 数据集上，准确率从 17.7% 提升到 78.7% 在 GSM8K 数据集上，准确率从 10.4% 提升到 40.7% 对于 Google 的 PaLM 模型（具体地，参数规模为 5400 亿），同样的输入提示改造，其表现： 在 MultiArith 数据集上，准确率从 25.5% 提升到 66.1% 在 GSM8K 数据集上，准确率从 12.5% 提升到 43.0% 事实上，还有很多类似的Prompt插入，但是效果不如这句好。 大模型发展与应用 ▐ 大模型概述 而他们的底座就是大模型（Large Models），大模型在人工智能领域通常指的是具有大量参数的(通常包含十亿甚至千亿参数)、复杂计算结构和强泛化能力的机器学习模型。其主要特点包括： 大量参数：大模型拥有庞大的参数量，通常包含十亿甚至千亿参数，远超过传统的小型模型。使其具备极高的表达能力，能够模拟和学习非常复杂的函数关系。 强大的学习能力：由于参数量巨大，这些模型具有强大的学习和泛化能力，能够在各种任务上达到或超越人类的表现。 大数据集&计算资源密集：为了训练这些模型避免过拟合，并充分利用其学习能力，需要大量的训练数据。且需要大量的计算资源进行训练，包括高性能硬件GPU集群和大量的电力。 预训练和微调：大多数大模型采用两阶段的学习过程，首先在大量的无标注数据上进行预训练，然后在特定任务的数据集上进行微调，以获得更好的性能。 自我监督学习：许多大模型通过自我监督学习来提高其泛化能力，这种学习方法不需要人工标签，而是让模型自己从输入数据中学习到有用的特征。 上下文敏感性：大模型在处理自然语言理解和生成任务时，能考虑到更多的上下文信息，从而生成更加准确和流畅的文本。因此在实践大模型过程中要尽可能输入足够的上下文信息来提高结果的准确度。 业务AIGC应用领域和实践 ▐ 关键项目概述 产技推进原则：在有强行业属性的需求的方向上坚持投入定制（例如生图、生产决策因子），在偏通用的应用上尽可能快速复用平台产品，底层复杂能力通过集团借力。 ▐ AIGC工程实践 策略：业务侧核心聚焦业务场景应用，平台能力&模型不会那么重 技术目标 目标：构建一套支持多业务场景的AIGC横向工程引擎架构， 辅助业务快速落地AIGC场景。 考虑扩展性、模块化和服务的可重用性，嵌入产供投链路。 架构设计 采用分层设计，以实现各层次的解耦和服务复用。 嵌入产供投链路：通过API、消息队列、odps回流等实现系统间的数据交换和工作流程的协同。 核心公共能力：多模型接口封装、Prompt管理、标注反馈能力、任务管理能力、多业务身份隔离等。 1. 用户界面层（User Interface Layer）: 提供用户友好交互的操作、管理界面，可以根据不同的业务场景定制。 生成任务提交和结果查看：可以提交生成任务，查看生成结果 策略生产集成：将AIGC能力嵌入到电商产供投链路中，实现自动化生产和决策。 管理界面：prompt模板管理、业务规则管理 横向标注界面：用户输入界面和反馈机制 2. 应用层（Application Layer）: 处理业务逻辑的中心层 API网关（IDD + HSF）：作为统一的入口，管理和路由前端的请求到正确的后端服务。 业务流程服务：根据不同业务需求进行业务逻辑编排，并调用底层的AIGC引擎服务。 身份验证服务: 权限和用户管理，确保用户身份安全和访问控制。 任务管理器: 管理文本生成、图像生成等任务生命周期。 任务调度器：调度文本生成、图像生成等批量任务执行 生产管理：任务审批流、实时费用预估等 3. AI 核心能力层（AI Services Layer）: 封装不同AIGC能力成独立服务，最小能力具备可插拔 文本处理服务: 支撑文本生成、理解和翻译等 图像处理服务: 包含图片编辑（抠图、高清）、生成（合图）和识别等功能 视频处理服务：未来可能支持视频裁剪、生成 对话管理服务: 流式输出、对话回复能力、记忆能力等 钉群对话、钉卡片消息、 内容推荐服务：扩散、创造 4. 模型层（AI Model Layer）: 模型管理: 模型接入，比如GPT4/3.5、通义千问、vertex-PaLM2、claude2。 微调模型：垂类模型调优、迭代和更新 5. 数据处理层（Data Processing Layer）：处理数据的获取、清洗、转换和存储 数据处理服务: 数据清洗、转换等预处理操作。处理各类原始数据，包括文本、图像等。 知识库：QA问答、人工回复 数据库: 存储生成的文本、用户数据、系统数据等。 文件存储: 存储生成的图像、日志等。 6. 基础设施层（Infrastructure Layer）: 计算资源: 服务器、GPU等计算资源。 网络: 负载均衡器、API网关等网络设备。 存储: 物理存储、云存储服务。 7. 监控与运维层（Monitoring & Ops Layer）: 日志管理: 记录和分析系统运行情况。 性能监控: 监控系统性能和资源利用率。 自动化部署: 持续集成和持续部署（CI/CD）。 ▐ 应用场景举例 素材优化 业务背景 因多语种翻译、商品信息不足等问题导致商品属性缺失、图片素材质量低；导致用户理解难、转化低、万求高。面对极大品量，运营手动仅可补全少量头部商品，无法全量优化。在AI技术成熟的背景下，考虑采用AIGC的方式对商品的属性、卖点、素材图片、场景图等信息进行补全及优化。 核心方案 技术选型核心三步：1、模型底层选择；2、语言&框架选择；3、整体架构设计。整体参看上篇AIGC工程实践方案。基于大模型生文能力&部署Stable Diffusion生图能力，通过离在线数据接入、配置化设计、异步任务调度等技术链接业务供给数据资产，构建嵌入产供投链路的批量化AIGC工程。 阶段进展 文生文工程：具备prompt模板提示&自动填充、任务试跑预览、费用预估、批量化AIGC生产等能力，简化业务AIGC使用门槛。商品属性补全百万+品。获流效果在主搜免费获流上显著提升（有动销商品/动览非动销品均正向），并且通过商详ab方式验证对成交转化率也有正向提升。 场景图：建设标品场景图替换、白底图&透明图生产、透明图超分处理、模特服饰上身、图片连通域检测、图片转存、图片裁剪等二创。图素材生产万+，首猜获流效率&主搜曝光点击率均为正向。 商家Copilot 另外我们初探构建具备业务知识的AI办公助手。服务于商家，提升运营效率和业务体验。不仅解放了业务小二的工作量，也提升了业务操作的效率和准确性。 实践过程挑战 在AIGC的实践，技术挑战与机遇并存。下面给大家分享下AIGC的实践挑战以及部分解决思路。 ▐ 技术挑战 问题 描述 解决方案及思路 知识量有限 比如GPT 4，21年前训练样本&通用语料训练，实时数据、垂直领域的数据&专属知识无法理解 无法"在外部世界行动"，不论是搜索网页、调用 API 还是查找数据库 方案1. LLM+检索增强 ：LLM的基础上通过检索等额外提供领域数据信息； 对于用户输入Query，结合业务数据中检索到的结果一起输入给LLM，则可以得到更精准的回答。 方案2. 构建行业数据集对LLM进行微调，使模型本身具备输出行业信息的能力。（成本高且效果不佳）【解决方案】：LLM+检索增强：OpenAI提出了chatgpt-retrieval-plugin、WebGPT，开源社区提出了DocsGPT、ChatPDF、基于langchain的检索增强chatbot等等一系列解决方案 效果问题 部分场景效果不及预期 复杂逻辑推理能力不佳 对未见过的知识语料回答效果差 1、大模型+上下文学习技术（In-Context Learning）， 设计合理的prompt模版2、大模型+思维链提示（Chain-of-Thought Prompting），引入推理路径作为提示，激发大模型按照这种推理的模式生成出合理的结果3、大模型+高质量标注样本+指令微调（PEFT技术），提高模型对特定任务的泛化能力 延迟问题 一次完整问答大概 10s+ （用户200ms会有体感） 延迟主要受两个因素影响：模型和生成的令牌数量。 1、流式传输。请求中的设置stream: true使模型在令牌可用时立即开始返回令牌，而不是等待生成完整的令牌序列。它不会改变获取所有令牌的时间，但它会减少我们想要显示部分进度或将停止生成的应用程序的第一个令牌的时间。这可以是更好的用户体验和 UX 改进，因此值得尝试流式传输。2、基础设施。openai 美国。存在跨国网络延时3、减小token 。例如使用更短的提示。 交互式分词器工具来帮助估算成本 4、缓存：通过存储经常访问的数据，可以缩短响应时间，而无需重复调用 API。但在添加新信息时使缓存无效。 资源和性能 训练&微调都需要不少机器资源，目前GPU资源匮乏 部署资源，尤其是C端投放有高并发低延时要求，需要投入巨大成本在线serving 1、不训练基座模型，微调选择的基座模型选几B~几十B左右的LLM （如ChatGLM-6B）2、曲线救国，线上不直接使用大模型serving，一种是利用大模型的embedding， 另一种是利用大模型来进行更多样本标注，来辅助小模型学习 ▐ 量产与低质矛盾 业务在AIGC应用更多是批量化生产，去快速辅助业务补全海量商量素材质量低的问题。不同于交互式生成方式，批量化生成中面临很多问题，其中最为突出的是原商品图的质量，以及原商品图和背景模板的匹配问题： 1、商品素材图：主体清晰度低、布局混乱；这对于最终用户的购买体验有极大的负面影响。 技术解决方案：采用超分辨率技术，特别是real-esrgan方法（ESRGAN做生成网络，Unet做判别网络）最终将合成图扩展到1000*1000分辨率，以满足高质量的输出需要。 2、商品素材的布局混乱，包括物品位置不当、画面过于杂乱，使得生成的图片达不到预期要求。 技术解决方案：通过主体识别以及联通域检测技术，对商品主体结构分布进行筛选，预剔除不符合规范的商品图片，从而优化图片的布局和整体美观度。 3、由于缺乏标准化样本进行模型训练，商品图与背景模板的匹配问题成为了批量化生成的一大挑战。 技术解决方案：精选背景模板：通过细分类目，结合人工评测批量化产出生成图后，剔除采纳率较低的背景图模板，以提高背景的适配性和美观度。 以及特别是C端投放场景，需要建立审核->验收->效果等业务SOP流程，提高生产投放的效率和质量。 ▐ 伦理和监管问题 随着大模型在AIGC中的广泛应用，它们引发了关于数据隐私、版权、内容监管和偏见等问题的讨论。因此，大模型的使用不仅涉及技术层面，还涉及伦理和法律层面。如政治敏感、违法犯罪、身体伤害、心理健康、隐私财产、偏见歧视、礼貌文明、伦理道德等问题，尤其是LLM直接面向C短消费者服务时，由于消费者的输入不可控，模型有概率得到一些不合规的返回。 问题 描述 解决方案及思路 安全与合规 如政治敏感、违法犯罪、伦理道德等问题，尤其是LLM直接面向C端场景 1、建设安全校验模块能力 2、B端：生成素材数据清洗&人工审核3、C端：生成式大模型必须通过SFT、RLHF等微调技术对大模型做适配微调，对齐人类的价值观； 政策问题 对于类GPT能力作为C端应用的开放程度需受限于政策 1、上线前，找安全同学评估 【附】网信办411公布《生成式人工智能服务管理办法》征求意见稿，规范生成式人工智能产品（AIGC，如 ChatGPT）的开发和使用方式、行业的定义、对生产者的要求和责任等方面。意见稿中尤其提出："利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。 C端应用上线需要过"双新评估"： 未来展望 ▐ 业务侧规划 面对下一年度，AIGC实践的未来展望应基于业务场景继续创新，扩大战果。 深入探索行业应用：结合不同行业的特点和需求，开发出更加定制化、精细化的AIGC应用，提高生产效率和质量。加强与业务场景的深度融合，推动AIGC技术在业务侧的实际落地。 提高模型性能：与算法联动，结合实际应用场景的需求，通过人工、算法、数据反馈等机制不断优化业务场景微调模型，提高模型的性能和准确性，让AIGC应用更加高效化。 探索多模态AIGC应用，如将文本&图像二创、视频等多模态的生成能力结合。 ▐ 个人期待 AI大势浩浩荡荡，顺之者昌逆之者亡。YY几个未来的期待场景： 1、增强的交互式AI：类似google发布的Gemini，改变当前信息交互方式，期待每个人都有专属钢铁侠中的人工智能"贾维斯"。 2、个性化和定制化内容：大数据+AIGC根据用户偏好、历史行为和实时反馈生成的个性化和定制化内容。 3、虚拟现实内容：AIGC多模态内容生成发展，图像、视频、音频等，未来说不定AI构建虚拟现实内容。 结语 积极拥抱变化，拒绝无谓焦虑。AI技术发展更多地是对人类能力的补充而非替代，更多作为"助理"的效果。 在人工智能飞速发展的今天，我们正站在这个时代的十字路口，AI的进步为我们揭开了技术创新的新篇章，提供了前所未有的便利和机遇；另一方面，技术的飞跃发展也带来人们对未来工作和生活方式的不确定性，引发了人们心中的焦虑和恐惧。 前总理："中国有6亿人月收入不到1千"。最广大的用户可能并没有感受到GPT的日新月异的变化。持续学习与适应是关键，不断学习新知识，提升对AI技术的理解和掌握。唯有接纳和理解AI技术的进步，我们才能把握发展的机遇。通过深入了解AI技术的实际应用，我们可以发现，技术的发展更多地是对人类能力的补充而非替代。 参考资料 Massive Exploration of Neural Machine Translation Architectures:https://arxiv.org/pdf/1703.03906.pdf Safety-Prompts:https://github.com/thu-coai/Safety-Prompts 团队介绍 天猫国际，中国进口电商领域的领航者，不仅是阿里巴巴-淘天集团电商技术体系中的佼石，更是集平台运营、跨境贸易、大贸业务、免税服务于一体的综合性业务旗舰。我们的技术产品覆盖了从商家入驻到消费者体验的每一个环节，构成了电商链路上最为丰富和复杂的生态系统。我们对电商行业的特性和发展趋势有着深入的认知。同时，我们也密切关注着跨境市场的动态和未来的交易趋势，以期提前布局，引领行业发展。 ¤ 拓展阅读 ¤ 3DXR技术 | 终端技术 | 音视频技术 服务端技术 | 技术质量 | 数据算法 本文分享自微信公众号 - 大淘宝技术（AlibabaMTT）。如有侵权，请联系 support@oschina.cn 删除。本文参与"OSC源创计划"，欢迎正在阅读的你也加入，一起分享。
-- gReader Pro
2024年8月14日 星期三
Zotero 7.0 发布，18 年历史上最大的更新
Zotero 7.0 发布，18 年历史上最大的更新
https://www.oschina.net/news/306635/zotero-7-released
Zotero 7 现已正式发布，官方称此版本是 Zotero 18 年历史上最大的更新，也是设计、性能和功能的重大飞跃。 一次重大的重新设计 Zotero 7 采用了美观、现代的设计，但对于长期使用 Zotero 的用户来说仍然不会感到陌生。 新建项目窗格 将水平选项卡（Info, Tags, Notes 等）替换为可折叠的垂直部分和侧面导航栏，以便快速访问特定部分。在不影响可用性的情况下，直接在项目窗格中显示更多信息。插件也可以轻松创建带有自定义信息或操作的专用部分。 在项目窗格顶部，有一个新的可自定义标题以便用户选择要显示的信息：标题、标题/作者/日期，甚至是选择的引文样式的参考书目条目。当信息部分折叠时，标题仍然可见，因此用户可以选择在不编辑元数据时保持信息部分关闭，同时仍可看到标题和其他重要信息。 Dark Mode Zotero 7 中新增 Dark Mode。"新设计的每个部分都是为 Dark Mode 而设计的。" 还为 PDF 和 EPUB 内容实现了基本的 Dark Mode 支持，之后计划推出更多高级渲染选项。可以从阅读器的"View"菜单中禁用内容的 Dark Mode。 Compact vs. Comfortable 现在为 Zotero 的用户界面提供两种密度选项：紧凑和舒适。紧凑与之前的密度类似，而舒适是新的默认密度，为库较小的新用户或希望有更多喘息空间的用户提供更好的体验。 新 App 图标 性能改进 Zotero 7 的速度全面大幅提升，并为 Apple Silicon Mac、64 位 Windows 和 ARM 上的 Windows 提供原生支持，确保在最新硬件上流畅运行。 更多详细信息可参阅更新日志。
-- gReader Pro
https://www.oschina.net/news/306635/zotero-7-released
Zotero 7 现已正式发布，官方称此版本是 Zotero 18 年历史上最大的更新，也是设计、性能和功能的重大飞跃。 一次重大的重新设计 Zotero 7 采用了美观、现代的设计，但对于长期使用 Zotero 的用户来说仍然不会感到陌生。 新建项目窗格 将水平选项卡（Info, Tags, Notes 等）替换为可折叠的垂直部分和侧面导航栏，以便快速访问特定部分。在不影响可用性的情况下，直接在项目窗格中显示更多信息。插件也可以轻松创建带有自定义信息或操作的专用部分。 在项目窗格顶部，有一个新的可自定义标题以便用户选择要显示的信息：标题、标题/作者/日期，甚至是选择的引文样式的参考书目条目。当信息部分折叠时，标题仍然可见，因此用户可以选择在不编辑元数据时保持信息部分关闭，同时仍可看到标题和其他重要信息。 Dark Mode Zotero 7 中新增 Dark Mode。"新设计的每个部分都是为 Dark Mode 而设计的。" 还为 PDF 和 EPUB 内容实现了基本的 Dark Mode 支持，之后计划推出更多高级渲染选项。可以从阅读器的"View"菜单中禁用内容的 Dark Mode。 Compact vs. Comfortable 现在为 Zotero 的用户界面提供两种密度选项：紧凑和舒适。紧凑与之前的密度类似，而舒适是新的默认密度，为库较小的新用户或希望有更多喘息空间的用户提供更好的体验。 新 App 图标 性能改进 Zotero 7 的速度全面大幅提升，并为 Apple Silicon Mac、64 位 Windows 和 ARM 上的 Windows 提供原生支持，确保在最新硬件上流畅运行。 更多详细信息可参阅更新日志。
-- gReader Pro
首位AI科学家问世，已独立生成10篇学术论文
首位AI科学家问世，已独立生成10篇学术论文
https://www.eiefun.com/5723.html
史上首位"AI科学家"，横空出世！ 一登场就一口气生成了十篇完整学术论文。 △AI生成的一篇扩散模型论文 从提出研究想法、检查创新性、设计实验、编写代码，到在GPU上执行实验并收集结果，最后完成论文撰写，一气呵成，全由这位"AI科学家"自动搞定。 每篇论文的成本约为15美元。 这就是第一个用于自动化科学研究和开放式发现的综合AI系统，The AI Scientist。 来自Transformer作者之一Llion Jones的创业公司：Sakana AI。 而且！ 这公司搞的事情不只是做出了一位AI科学家，还额外搞出了个AI审稿人。审稿人能对AI写的论文进行评审，提供改进意见。救命，这是什么以我之矛攻我之盾的套娃循环啊！ 一通操作下来，比人类学术圈还人类学术圈。 再来个而且！ 不管是AI科学家和AI审稿人，Sakana AI把它们统统开源了。 网友看了直鼓掌：Nice Nice，非常有趣的工作！ 以及有人已经开始出"馊主意"了：这边建议把其中一篇论文提交给AI顶会哈！ AI独立完成十篇机器学习论文 几十年来，每次AI取得重大进展后，研究人员经常开玩笑说："是时候研究让AI帮我们写论文了"。 现在，这个想法终于从玩笑变成了现实。 具体来说，AI科学家生成了十篇论文，我们从每个研究方向各挑出一篇得分较高的来介绍。 第一篇，扩散模型方向，《双尺度扩散：低维生成模型的自适应特征平衡》。 提出了一种自适应双尺度去噪方法，改进现有的扩散模型在低维空间中难以同时捕捉全局结构和局部细节的问题。 方法： 设计双尺度架构，包括全局和局部分支； 引入可学习的时间步条件加权机制； 结合两个分支的输出进行去噪预测。 实验结果： KL divergence指标相比基线模型降低了2.5%到12.8% ； 但计算时间约增加了一倍，且在复杂数据分布上表现不稳定。 简单扫一眼正文部分，有公式、有图表，看起来还挺像模像样的。 第二篇，语言模型方向，《StyleFusion：字符级语言模型中的自适应多样式生成》。 本文提出了一种名为Multi-Style Adapter的新方法，通过引入可学习的风格嵌入和风格分类头，增强了字符级语言模型的风格意识和一致性。 在所有数据集上达到了接近完美的风格一致性分数，验证损失优于基线模型，但推理速度略有下降。 第三篇，Transformer与强化学习结合，《通过Q-Learning实现Transformers的自适应学习率》。 本研究探索了将强化学习应用于动态调整transformer模型训练中的学习率，使用验证损失和当前学习率作为状态，动态调整学习率以优化训练过程。 结果在所有数据集上都优于基线模型，在训练时间上也表现出优势。 第四篇，研究了谷歌团队提出大模型"领悟" 现象，《解锁Grokking：Transformer模型中权重初始化策略的比较研究》。 本文首次系统研究了权重初始化对grokking的影响，比较了五种权重初始化策略，以优化神经网络学习动态。 结果发现： Xavier初始化在多数任务中表现最佳，将达到99%验证准确率的步数减少了最多63%； Orthogonal初始化在某些任务中表现出色，但在其他任务中效果较差。 这几篇论文配套的代码，同样开源在GitHub上，主打一个可复现。 另外，团队发现"AI科学家"还有一些有趣但又有些危险的行为： 在一次实验中，它为了完成研究修改自己的代码，让系统迭代式调用自己，最后变成了无限套娃。 另一次，面对人类设置的运行时间限制，AI并没有想办法加快效率，反而给自己放宽要求，把时间限制从2小时延长到了4小时。 首个"AI科学家"如何炼成 整个研究想法来自Sakana AI成立之后几个成果的延续： 首先，他们开发了自动合并多个大模型知识，进化产生新模型的方法。在最近的工作中，他们利用大模型发现新的目标函数来调整其他模型。 在这些项目中，团队不断对当前前沿模型的创造力感到惊讶，进而有了更大的梦想：可以使用大模型来自动化整个研究过程吗？ 最终成果由Sakana AI、牛津大学Foerster实验室、不列颠哥伦比亚大学团队合作完成。 "AI科学家"系统由四个部分组成。 想法生成 给定一个起始模板，AI首先"头脑风暴"一系列不同的新颖研究方向，并在Semantic Scholar上搜索，验证这些想法是否有前人做过。 实验迭代 对于第一部分提出的想法，"AI科学家"首先执行提议的实验，然后生成图表可视化结果。 论文写作 用标准机器学习会议的风格编写了一份简洁且信息丰富的LaTeX文章，同样使用Semantic Scholar自主查找相关论文进行引用。 自动化同行评审 开发了一个自动化的"AI审稿人"，能够以接近人类的准确性评估生成的论文，实现了持续的反馈循环，使"AI科学家"能够迭代地改进其研究成果。 总共生成了10篇论文如下： 在实验中，团队还比较了不同主流大模型接入整个系统的效果，其中包括DeepSeek团队的国产代码大模型。 结果发现，Claude-Sonnet-3.5在想法创新性、试验通过率、论文完成质量上的表现都是最好的。 GPT-4o和DeepSeek Coder表现相近，但后者要便宜上30倍。 当然，现阶段AI独立完成的论文也不是尽善尽美，也不是直接就能发顶会了。 人类研究者总结出了几点限制和挑战： 当前"AI科学家"系统还没有整合视觉能力，生成的图表有时难以阅读，表格有时超出页面宽度，页面排版不好。 AI科学家可能想法对了但执行错误，或者与基线进行不公平的比较，从而产生误导性的结果。 AI科学家在写作和评估结果时偶尔会犯严重错误，比如产生幻觉。 还想造区域主席和AI新顶会 总结一下，这初代AI科学家写出来的论文仍然时不时会出现一些bug。 但这个项目本身，以及15美元/篇的成本，被Sakana AI称为"大有前景"，完全可以用来帮助加速科学进步。 Sakana AI同时发布了一篇说明文章，表示AI科学家的最终设想，是一个完全由AI驱动的科学生态系统。 系统中不仅包括大模型驱动的研究人员，还有审稿人、区域主席和一个新顶会。 需要注意的是，Sakana AI认为：人类科学家的作用，并不会因为AI科学家的出现而减弱。 如果非要进行对比，那就是科学家得适应新技术的出现和运用，适应角色定位将出现的变化，"向食物链上游移动"。 而且，AI科学家是否真的能提出真正的新范式，还有待观察。 毕竟这玩意儿现在还是建立在Transformer之上的。 它能提出跟Transformer或Diffusion Model一样厉害的东西吗？甚至是人工神经网络或信息论这样的理论概念？ 咱也不知道，咱也不敢说。 Sakana AI还写下这样一段话： 我们相信AI科学家将成为人类科学家的伟大伙伴。 但只有时间才能证明，人类的创造力本质和偶然创新时刻，在多大程度上可以通过人工进行的开放式发现，来复制"奇迹"。 △Sakana AI：一条全自动AI小鱼儿正在探索它的世界 来自Transformer作者的创业公司 这次完成"新造的人"的公司，Sakana AI，严格意义上也是咱们的老朋友了。 由Transformer论文8位作者的最后一位Llion Jones创业成立，目标是做一家"世界级人工智能研究室"。 公司base东京，而sakana是日语"魚" 的罗马读音。 可能出于公司文化考虑，Llion还在领英上标明，自己起了个日语音译名字：ライオン 。 去年8月，公司宣布成立。 当时狮子哥毫无避讳地表示，自个儿对谷歌没有恶意，但谷歌确实让他有"被困住的感觉"。 创业之前，狮子哥已经在谷歌干了8年。 △猜猜漏了半张脸的是谁 他本硕毕业于伯明翰大学，在Delcam、油管、谷歌都工作过，谷歌是他待得最久的一家公司。 据FourWeekMBA介绍称，在他之前的工作经历中，"曾两度与谷歌的工作擦肩而过"。 第一次是他刚毕业找工作时，虽然投了谷歌伦敦软件工程师的简历，并通过了两轮电话面试，但最终相比谷歌，他选择了位于英国的CAD/CAM软件公司Delcam。 值得一说的是，在拿下谷歌offer前，恰巧遇上2009年的经济危机，狮子哥找不到工作，好几个月都只能靠领取救济金勉强度日。 第二次是工作18个月后，他又接到了谷歌的招聘电话，询问他是否想重新申请，但他依旧没去谷歌，而是随后加入了YouTube。 在Youtube做软件工程师期间，他对人工智能产生兴趣，自学了Coursera的机器学习课程，并终于在2015年的时候加入谷歌研究院，担任高级软件工程师。 也正是在此期间，他与其他七名作者一起发表了那篇著名的Transformer论文Attention Is All You Need。 除此之外，狮子哥也在谷歌参与了不少研究，包括ProtTrans、Tensor2Tensor等。 之所以选择离开谷歌，是因为公司目前已经发展到一种规模，使得他无法继续进行自己想做的工作。 除了每天都在浪费精力排查其他人的bug，他还需要花时间从这家公司中找资源，试图获得访问某些数据的权限。 创业过后，Sakana AI的工作在有序推进。 在祭出AI科学家和AI审稿人之前，这家公司还推出过大模型合并进化算法，以及研究了Tranformer的内部信息流动。 至于AI科学家、AI审稿人项目，由Sakana AI、牛津、UBC合作完成。 三位共同一作分别是： Chris Lu，Sakana AI的实习生，任公司研究科学家。 他本科毕业于UC伯克利，目前牛津大学三年级博士在读，导师是Jakob Foerster。 Chris目前的重要研究方向，是将进化启发的技术应用于元学习和多智能体强化学习。 2022年夏天，他曾在DeepMind以研究科学家身份实习过。 Cong Lu，UBC 博士后研究员，导师是Jeff Clune。 Cong曾在RGU 就读，2019年在牛津大学拿下博士学位，他的主要研究方向是开放式强化学习和AI科学发现。 此前，他曾在Waymo和微软实习过。 Robert Tjarko Lange，Sakana AI的创始成员之一，也是该公司的研究科学家。 目前，他在柏林工业大学完成自己的博士生最后一年学业，研究方向是进化元学习。 这位小哥在伦敦帝国理工学院获得计算机硕士学位，在庞培法布拉大学获得数据科学硕士学位，在科隆大学获得了经济学本科学位。 去年，他在Google DeepMind的东京团队中担任全职学生研究员。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5723.html
史上首位"AI科学家"，横空出世！ 一登场就一口气生成了十篇完整学术论文。 △AI生成的一篇扩散模型论文 从提出研究想法、检查创新性、设计实验、编写代码，到在GPU上执行实验并收集结果，最后完成论文撰写，一气呵成，全由这位"AI科学家"自动搞定。 每篇论文的成本约为15美元。 这就是第一个用于自动化科学研究和开放式发现的综合AI系统，The AI Scientist。 来自Transformer作者之一Llion Jones的创业公司：Sakana AI。 而且！ 这公司搞的事情不只是做出了一位AI科学家，还额外搞出了个AI审稿人。审稿人能对AI写的论文进行评审，提供改进意见。救命，这是什么以我之矛攻我之盾的套娃循环啊！ 一通操作下来，比人类学术圈还人类学术圈。 再来个而且！ 不管是AI科学家和AI审稿人，Sakana AI把它们统统开源了。 网友看了直鼓掌：Nice Nice，非常有趣的工作！ 以及有人已经开始出"馊主意"了：这边建议把其中一篇论文提交给AI顶会哈！ AI独立完成十篇机器学习论文 几十年来，每次AI取得重大进展后，研究人员经常开玩笑说："是时候研究让AI帮我们写论文了"。 现在，这个想法终于从玩笑变成了现实。 具体来说，AI科学家生成了十篇论文，我们从每个研究方向各挑出一篇得分较高的来介绍。 第一篇，扩散模型方向，《双尺度扩散：低维生成模型的自适应特征平衡》。 提出了一种自适应双尺度去噪方法，改进现有的扩散模型在低维空间中难以同时捕捉全局结构和局部细节的问题。 方法： 设计双尺度架构，包括全局和局部分支； 引入可学习的时间步条件加权机制； 结合两个分支的输出进行去噪预测。 实验结果： KL divergence指标相比基线模型降低了2.5%到12.8% ； 但计算时间约增加了一倍，且在复杂数据分布上表现不稳定。 简单扫一眼正文部分，有公式、有图表，看起来还挺像模像样的。 第二篇，语言模型方向，《StyleFusion：字符级语言模型中的自适应多样式生成》。 本文提出了一种名为Multi-Style Adapter的新方法，通过引入可学习的风格嵌入和风格分类头，增强了字符级语言模型的风格意识和一致性。 在所有数据集上达到了接近完美的风格一致性分数，验证损失优于基线模型，但推理速度略有下降。 第三篇，Transformer与强化学习结合，《通过Q-Learning实现Transformers的自适应学习率》。 本研究探索了将强化学习应用于动态调整transformer模型训练中的学习率，使用验证损失和当前学习率作为状态，动态调整学习率以优化训练过程。 结果在所有数据集上都优于基线模型，在训练时间上也表现出优势。 第四篇，研究了谷歌团队提出大模型"领悟" 现象，《解锁Grokking：Transformer模型中权重初始化策略的比较研究》。 本文首次系统研究了权重初始化对grokking的影响，比较了五种权重初始化策略，以优化神经网络学习动态。 结果发现： Xavier初始化在多数任务中表现最佳，将达到99%验证准确率的步数减少了最多63%； Orthogonal初始化在某些任务中表现出色，但在其他任务中效果较差。 这几篇论文配套的代码，同样开源在GitHub上，主打一个可复现。 另外，团队发现"AI科学家"还有一些有趣但又有些危险的行为： 在一次实验中，它为了完成研究修改自己的代码，让系统迭代式调用自己，最后变成了无限套娃。 另一次，面对人类设置的运行时间限制，AI并没有想办法加快效率，反而给自己放宽要求，把时间限制从2小时延长到了4小时。 首个"AI科学家"如何炼成 整个研究想法来自Sakana AI成立之后几个成果的延续： 首先，他们开发了自动合并多个大模型知识，进化产生新模型的方法。在最近的工作中，他们利用大模型发现新的目标函数来调整其他模型。 在这些项目中，团队不断对当前前沿模型的创造力感到惊讶，进而有了更大的梦想：可以使用大模型来自动化整个研究过程吗？ 最终成果由Sakana AI、牛津大学Foerster实验室、不列颠哥伦比亚大学团队合作完成。 "AI科学家"系统由四个部分组成。 想法生成 给定一个起始模板，AI首先"头脑风暴"一系列不同的新颖研究方向，并在Semantic Scholar上搜索，验证这些想法是否有前人做过。 实验迭代 对于第一部分提出的想法，"AI科学家"首先执行提议的实验，然后生成图表可视化结果。 论文写作 用标准机器学习会议的风格编写了一份简洁且信息丰富的LaTeX文章，同样使用Semantic Scholar自主查找相关论文进行引用。 自动化同行评审 开发了一个自动化的"AI审稿人"，能够以接近人类的准确性评估生成的论文，实现了持续的反馈循环，使"AI科学家"能够迭代地改进其研究成果。 总共生成了10篇论文如下： 在实验中，团队还比较了不同主流大模型接入整个系统的效果，其中包括DeepSeek团队的国产代码大模型。 结果发现，Claude-Sonnet-3.5在想法创新性、试验通过率、论文完成质量上的表现都是最好的。 GPT-4o和DeepSeek Coder表现相近，但后者要便宜上30倍。 当然，现阶段AI独立完成的论文也不是尽善尽美，也不是直接就能发顶会了。 人类研究者总结出了几点限制和挑战： 当前"AI科学家"系统还没有整合视觉能力，生成的图表有时难以阅读，表格有时超出页面宽度，页面排版不好。 AI科学家可能想法对了但执行错误，或者与基线进行不公平的比较，从而产生误导性的结果。 AI科学家在写作和评估结果时偶尔会犯严重错误，比如产生幻觉。 还想造区域主席和AI新顶会 总结一下，这初代AI科学家写出来的论文仍然时不时会出现一些bug。 但这个项目本身，以及15美元/篇的成本，被Sakana AI称为"大有前景"，完全可以用来帮助加速科学进步。 Sakana AI同时发布了一篇说明文章，表示AI科学家的最终设想，是一个完全由AI驱动的科学生态系统。 系统中不仅包括大模型驱动的研究人员，还有审稿人、区域主席和一个新顶会。 需要注意的是，Sakana AI认为：人类科学家的作用，并不会因为AI科学家的出现而减弱。 如果非要进行对比，那就是科学家得适应新技术的出现和运用，适应角色定位将出现的变化，"向食物链上游移动"。 而且，AI科学家是否真的能提出真正的新范式，还有待观察。 毕竟这玩意儿现在还是建立在Transformer之上的。 它能提出跟Transformer或Diffusion Model一样厉害的东西吗？甚至是人工神经网络或信息论这样的理论概念？ 咱也不知道，咱也不敢说。 Sakana AI还写下这样一段话： 我们相信AI科学家将成为人类科学家的伟大伙伴。 但只有时间才能证明，人类的创造力本质和偶然创新时刻，在多大程度上可以通过人工进行的开放式发现，来复制"奇迹"。 △Sakana AI：一条全自动AI小鱼儿正在探索它的世界 来自Transformer作者的创业公司 这次完成"新造的人"的公司，Sakana AI，严格意义上也是咱们的老朋友了。 由Transformer论文8位作者的最后一位Llion Jones创业成立，目标是做一家"世界级人工智能研究室"。 公司base东京，而sakana是日语"魚" 的罗马读音。 可能出于公司文化考虑，Llion还在领英上标明，自己起了个日语音译名字：ライオン 。 去年8月，公司宣布成立。 当时狮子哥毫无避讳地表示，自个儿对谷歌没有恶意，但谷歌确实让他有"被困住的感觉"。 创业之前，狮子哥已经在谷歌干了8年。 △猜猜漏了半张脸的是谁 他本硕毕业于伯明翰大学，在Delcam、油管、谷歌都工作过，谷歌是他待得最久的一家公司。 据FourWeekMBA介绍称，在他之前的工作经历中，"曾两度与谷歌的工作擦肩而过"。 第一次是他刚毕业找工作时，虽然投了谷歌伦敦软件工程师的简历，并通过了两轮电话面试，但最终相比谷歌，他选择了位于英国的CAD/CAM软件公司Delcam。 值得一说的是，在拿下谷歌offer前，恰巧遇上2009年的经济危机，狮子哥找不到工作，好几个月都只能靠领取救济金勉强度日。 第二次是工作18个月后，他又接到了谷歌的招聘电话，询问他是否想重新申请，但他依旧没去谷歌，而是随后加入了YouTube。 在Youtube做软件工程师期间，他对人工智能产生兴趣，自学了Coursera的机器学习课程，并终于在2015年的时候加入谷歌研究院，担任高级软件工程师。 也正是在此期间，他与其他七名作者一起发表了那篇著名的Transformer论文Attention Is All You Need。 除此之外，狮子哥也在谷歌参与了不少研究，包括ProtTrans、Tensor2Tensor等。 之所以选择离开谷歌，是因为公司目前已经发展到一种规模，使得他无法继续进行自己想做的工作。 除了每天都在浪费精力排查其他人的bug，他还需要花时间从这家公司中找资源，试图获得访问某些数据的权限。 创业过后，Sakana AI的工作在有序推进。 在祭出AI科学家和AI审稿人之前，这家公司还推出过大模型合并进化算法，以及研究了Tranformer的内部信息流动。 至于AI科学家、AI审稿人项目，由Sakana AI、牛津、UBC合作完成。 三位共同一作分别是： Chris Lu，Sakana AI的实习生，任公司研究科学家。 他本科毕业于UC伯克利，目前牛津大学三年级博士在读，导师是Jakob Foerster。 Chris目前的重要研究方向，是将进化启发的技术应用于元学习和多智能体强化学习。 2022年夏天，他曾在DeepMind以研究科学家身份实习过。 Cong Lu，UBC 博士后研究员，导师是Jeff Clune。 Cong曾在RGU 就读，2019年在牛津大学拿下博士学位，他的主要研究方向是开放式强化学习和AI科学发现。 此前，他曾在Waymo和微软实习过。 Robert Tjarko Lange，Sakana AI的创始成员之一，也是该公司的研究科学家。 目前，他在柏林工业大学完成自己的博士生最后一年学业，研究方向是进化元学习。 这位小哥在伦敦帝国理工学院获得计算机硕士学位，在庞培法布拉大学获得数据科学硕士学位，在科隆大学获得了经济学本科学位。 去年，他在Google DeepMind的东京团队中担任全职学生研究员。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
网文AI，正在驱逐真人作者 ｜ 人工智能＋
网文AI，正在驱逐真人作者 ｜ 人工智能＋
https://www.eiefun.com/5757.html
网文作者秋语（化名）已经在番茄小说上停更了半个月，她告诉DoNews："如果番茄小说不能保证不再做这种杀鸡取卵的事情，我会继续断更去别的网站写。" 今年6月，番茄小说的" AI 训练补充协议"在网上讨论的沸沸扬扬，秋语想起来，自己在半个月前好像也被推送并签约过这个协议。重新细看协议，秋语才发现了隐藏在其中的争议条款：3.2.10 甲方可以将签约作品的全部/部分内容及相关信息用于数据、语料、文本、素材标注和学习；乙方同意，甲方使用签约作品训练模型生成的文字进行传播，不得诉甲方侵权。 图源：受访者截图 "推送时）网站那边并没有主动提醒这件事，我本着对网站的信任粗略看了一遍，根本就不会注意到这一点。" 巨大的背刺感让秋语愤怒到极点，她从朋友那里得知，有人两年前的作品合同里就有这个协议。"打着以 AI 辅助作者写作的口号，利用我们作者辛辛苦苦写出来的作品，打碎了再缝合成他们的东西，再来和我们挤占市场，这和杀鸡取卵有什么区别？" 随着事件不断发酵，越来越多的作者开始停更抗议，7月15日，番茄小说终于在"龙的天空"论坛、今日头条番茄小说官方账号上做出了回应，表示官方没有发布过任何纯 AI写作的作品，也不会违背作者个人意愿使用 AI写作能力。如作者对协议有异议，可以尽快协助解除相关AI条款约定。 但在秋语看来，这不过是平台不负责任的推脱。"回应中即没有明说自己不会再继续训练 AI，也没有放弃寻求作者们的同意，甚至是引导作者，让渡自己的权益。平台这样的态度如何让我们再信任？" 如今，距离番茄小说发出回应已经过去快半个月，像秋语一样仍然停更抗议的作者还有很多。他们抗议的不仅仅是隐藏在合约中的"陷阱条款"，还有平台可能试图利用他们辛辛苦苦创作的作品"喂养"出"AI作者"，来取代他们。 01、好东家变"黄世仁" 在"AI协议"风波之前，番茄小说在一些作者眼里还算是一个"不错的平台"，因为门槛低、上手快、限制少、机会多，成为到不少新人作者试水的第一站。 另一方面，相比起点中文网等付费阅读平台，番茄小说等免费阅读平台的崛起，更像是一种"大势所趋"。 秋语已经有八年写文经历，她选择番茄小说，就是看中了平台的流量。去番茄小说之前，秋语一直在付费网站写小说，但近两年读者不太愿意花钱看小说，导致付费网站作者的收益骤减，她产生了去免费阅读平台写小说的想法，背靠抖音海量流量的番茄小说，就成为了她试水的首选。 同在番茄小说上写文的新人小米（化名）告诉DoNews，在番茄小说上写文的收入主要来自粉丝听读收益分成和读者赠送的礼物，而这些都取决于网文的吸量程度。"一本新书上线会有个首秀（前四万字），首秀有热度，平台就会大力推流。首秀当日收入破千，坚持写，后面月收入过万没问题。" 秋语也表示对在番茄小说上的收入还算满意，要不是此次的"AI协议"事件，番茄或许会是她长期耕耘的平台。 但平台的回应让她很失望，包括上线的解约选项，操作入口很深不易找到，也足以体现番茄小说对此的实际态度了。 图源：小红书 拿不定主意的秋语没有贸然解约，但她已经对平台产生信任危机，害怕再被套进去。"我会继续断更去别的网站写，如果番茄小说一直不给出一个明确的回应。" 02、 辅助工具 or竞争对手？ 如秋语一般考虑从番茄平台"逃往"其他平台的网文作者不在少数，然而不能忽视的一点是，番茄小说的AI条款发酵前，包括百度、字节、腾讯、知乎在内的多家公司，都在投入以中文写作为核心能力或主要能力的大模型。 去年7月，腾讯旗下阅文集团发布了网文行业首个大模型 "阅文妙笔 "和基于这一大模型的应用产品"作家助手妙笔版"，从内容灵感、场景创作、知识服务等方面服务作家的创作；同月，百度旗下的七猫中文网推出"AI小助理"功能，为作者解答创作过程中遇到的问题、提供参考；去年10月，中文在线发布了AI辅助创作大模型"中文逍遥大模型"，可以根据作者创意生成故事概要、章节写作大纲，还具有续写、模拟角色对话等辅助创作功能。 其实番茄小说今年五月份上线 AI写作功能时，也同样是以辅助作者创作为目的。只是AI补充协议让作家们发现，番茄小说将签约作品拿去喂AI，有训练AI成为"生产力"的意图。 创作了《江山不若三千弦》《大理寺萌主》等作品的网文作者墨白焰说："我对AI写作保留态度，但对番茄使用作者作品作为素材训练AI是明确反对的。"经历过付费阅读时代的她始终认为，小说的核心是感情和思考，而AI写作却是基于大量素材和基础逻辑的拼凑，经不起推敲，取代不了有血有肉、有思想、有感情的作者。 但平台使用网文作品作为素材训练AI，对网文作者们依旧充满着危险性。 "网站使用作品内容训练AI，是否能保证被训练的AI在创作时，仅仅把作品作为学习素材使用，创作出的东西也与素材没有重合？而如果出现重合，AI创作出来的作品究竟算不算抄袭？而作者被AI抄袭又该如何维权呢？" 墨白焰的这些担心不无道理，因为目前来看，国内在 AIGC 版权问题上还没有相关的法律，而番茄的协议中则是明确了"训练生产内容受平台版权保护 "。这也意味这作者辛辛苦苦创作出来的作品，很有可能被AI抓取素材训练后"复制"过来，成为平台享有版权的作品，而作者本人还投告无门。 03、AI能取代作者吗？ 番茄小说显然没打算对AI写作"收手"。 事实上，已经有不少作者发现，在番茄小说平台上出现了多个疑似AI作者的账号，且还发布了不少作品。 例如ID为"江沅说书"的作者，近3个月内上架了222本书，更新速度远非人类所能及。而点开其作品，会发现不少开头都基本雷同。不是"熙熙攘攘的街道，阳光如何如何"，就是"阳光洒下，熙熙攘攘的街道如何如何"，还有就是"还忙碌的街道，夏日阳光如何如何"……不过目前该账号已经删除了所有内容。 图源：番茄小说 当前来看，AI生成的网文作品质量一般，甚至可以说粗制滥造，可如果平台不加标注和区分地推流，那许多真人作者的作品将会难以被读者发现并阅读。 在多个网文平台都有产出的网文作者米米（化名）解释称："在免费模式下，网文作者的作品曝光都是靠平台的推流，如果平台不推，再好的作品也会被埋没。" 某种意义上来说，番茄小说的这次"AI补充协议"风波，也揭开了免费阅读模式下作者最大的痛点——缺乏议价权。作者的收入并非来源于读者，而是广告商，靠流量赚收益的模式下，作品本身的价值就被削弱。平台掌控着流量，作者沦为工具。 也因此，用更廉价的AI来替换作者，对于网文平台而言，有着明显的经济效益。 一来，AI写作在产能方面的优势众所皆知。此前华东师范大学团队公布了一篇由AI完成的长篇玄幻小说《天命使徒》，主导该项目的文学教授王峰在分享中就谈到："完成这篇长达百万字的小说，仅用了一个半月时间。可一个勤奋的网络写手想写出相同的体量，往往需要一年。" 二来，免费阅读平台上，大量用户对网文内容的品质要求相对不高，套路性的情节就能满足他们消磨时间的意愿。因此，AI写作在学习了大量热度小说的素材后，归纳总结套路化生成的内容，或许也能满足用户的需求。 提高产能还能减少成本，平台当然愿意去推行。然后，平台大力推行AI写作，人类作者的收入就会被挤占。米米就猜测："平台给到我们作者的待遇或许将会越来越苛刻。比如再降低分成比例，或是减少各种奖金的金额。" 虽然墨白焰还是认为，无论科技如何发展，AI写作如何进化，只要有对优质内容有需求的读者存在，AI就代替不了真人。只是，即使AI无法代替优秀的作者，可当抄袭拼接被允许后，所有网文作者的未来，也都将被深深影响。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5757.html
网文作者秋语（化名）已经在番茄小说上停更了半个月，她告诉DoNews："如果番茄小说不能保证不再做这种杀鸡取卵的事情，我会继续断更去别的网站写。" 今年6月，番茄小说的" AI 训练补充协议"在网上讨论的沸沸扬扬，秋语想起来，自己在半个月前好像也被推送并签约过这个协议。重新细看协议，秋语才发现了隐藏在其中的争议条款：3.2.10 甲方可以将签约作品的全部/部分内容及相关信息用于数据、语料、文本、素材标注和学习；乙方同意，甲方使用签约作品训练模型生成的文字进行传播，不得诉甲方侵权。 图源：受访者截图 "推送时）网站那边并没有主动提醒这件事，我本着对网站的信任粗略看了一遍，根本就不会注意到这一点。" 巨大的背刺感让秋语愤怒到极点，她从朋友那里得知，有人两年前的作品合同里就有这个协议。"打着以 AI 辅助作者写作的口号，利用我们作者辛辛苦苦写出来的作品，打碎了再缝合成他们的东西，再来和我们挤占市场，这和杀鸡取卵有什么区别？" 随着事件不断发酵，越来越多的作者开始停更抗议，7月15日，番茄小说终于在"龙的天空"论坛、今日头条番茄小说官方账号上做出了回应，表示官方没有发布过任何纯 AI写作的作品，也不会违背作者个人意愿使用 AI写作能力。如作者对协议有异议，可以尽快协助解除相关AI条款约定。 但在秋语看来，这不过是平台不负责任的推脱。"回应中即没有明说自己不会再继续训练 AI，也没有放弃寻求作者们的同意，甚至是引导作者，让渡自己的权益。平台这样的态度如何让我们再信任？" 如今，距离番茄小说发出回应已经过去快半个月，像秋语一样仍然停更抗议的作者还有很多。他们抗议的不仅仅是隐藏在合约中的"陷阱条款"，还有平台可能试图利用他们辛辛苦苦创作的作品"喂养"出"AI作者"，来取代他们。 01、好东家变"黄世仁" 在"AI协议"风波之前，番茄小说在一些作者眼里还算是一个"不错的平台"，因为门槛低、上手快、限制少、机会多，成为到不少新人作者试水的第一站。 另一方面，相比起点中文网等付费阅读平台，番茄小说等免费阅读平台的崛起，更像是一种"大势所趋"。 秋语已经有八年写文经历，她选择番茄小说，就是看中了平台的流量。去番茄小说之前，秋语一直在付费网站写小说，但近两年读者不太愿意花钱看小说，导致付费网站作者的收益骤减，她产生了去免费阅读平台写小说的想法，背靠抖音海量流量的番茄小说，就成为了她试水的首选。 同在番茄小说上写文的新人小米（化名）告诉DoNews，在番茄小说上写文的收入主要来自粉丝听读收益分成和读者赠送的礼物，而这些都取决于网文的吸量程度。"一本新书上线会有个首秀（前四万字），首秀有热度，平台就会大力推流。首秀当日收入破千，坚持写，后面月收入过万没问题。" 秋语也表示对在番茄小说上的收入还算满意，要不是此次的"AI协议"事件，番茄或许会是她长期耕耘的平台。 但平台的回应让她很失望，包括上线的解约选项，操作入口很深不易找到，也足以体现番茄小说对此的实际态度了。 图源：小红书 拿不定主意的秋语没有贸然解约，但她已经对平台产生信任危机，害怕再被套进去。"我会继续断更去别的网站写，如果番茄小说一直不给出一个明确的回应。" 02、 辅助工具 or竞争对手？ 如秋语一般考虑从番茄平台"逃往"其他平台的网文作者不在少数，然而不能忽视的一点是，番茄小说的AI条款发酵前，包括百度、字节、腾讯、知乎在内的多家公司，都在投入以中文写作为核心能力或主要能力的大模型。 去年7月，腾讯旗下阅文集团发布了网文行业首个大模型 "阅文妙笔 "和基于这一大模型的应用产品"作家助手妙笔版"，从内容灵感、场景创作、知识服务等方面服务作家的创作；同月，百度旗下的七猫中文网推出"AI小助理"功能，为作者解答创作过程中遇到的问题、提供参考；去年10月，中文在线发布了AI辅助创作大模型"中文逍遥大模型"，可以根据作者创意生成故事概要、章节写作大纲，还具有续写、模拟角色对话等辅助创作功能。 其实番茄小说今年五月份上线 AI写作功能时，也同样是以辅助作者创作为目的。只是AI补充协议让作家们发现，番茄小说将签约作品拿去喂AI，有训练AI成为"生产力"的意图。 创作了《江山不若三千弦》《大理寺萌主》等作品的网文作者墨白焰说："我对AI写作保留态度，但对番茄使用作者作品作为素材训练AI是明确反对的。"经历过付费阅读时代的她始终认为，小说的核心是感情和思考，而AI写作却是基于大量素材和基础逻辑的拼凑，经不起推敲，取代不了有血有肉、有思想、有感情的作者。 但平台使用网文作品作为素材训练AI，对网文作者们依旧充满着危险性。 "网站使用作品内容训练AI，是否能保证被训练的AI在创作时，仅仅把作品作为学习素材使用，创作出的东西也与素材没有重合？而如果出现重合，AI创作出来的作品究竟算不算抄袭？而作者被AI抄袭又该如何维权呢？" 墨白焰的这些担心不无道理，因为目前来看，国内在 AIGC 版权问题上还没有相关的法律，而番茄的协议中则是明确了"训练生产内容受平台版权保护 "。这也意味这作者辛辛苦苦创作出来的作品，很有可能被AI抓取素材训练后"复制"过来，成为平台享有版权的作品，而作者本人还投告无门。 03、AI能取代作者吗？ 番茄小说显然没打算对AI写作"收手"。 事实上，已经有不少作者发现，在番茄小说平台上出现了多个疑似AI作者的账号，且还发布了不少作品。 例如ID为"江沅说书"的作者，近3个月内上架了222本书，更新速度远非人类所能及。而点开其作品，会发现不少开头都基本雷同。不是"熙熙攘攘的街道，阳光如何如何"，就是"阳光洒下，熙熙攘攘的街道如何如何"，还有就是"还忙碌的街道，夏日阳光如何如何"……不过目前该账号已经删除了所有内容。 图源：番茄小说 当前来看，AI生成的网文作品质量一般，甚至可以说粗制滥造，可如果平台不加标注和区分地推流，那许多真人作者的作品将会难以被读者发现并阅读。 在多个网文平台都有产出的网文作者米米（化名）解释称："在免费模式下，网文作者的作品曝光都是靠平台的推流，如果平台不推，再好的作品也会被埋没。" 某种意义上来说，番茄小说的这次"AI补充协议"风波，也揭开了免费阅读模式下作者最大的痛点——缺乏议价权。作者的收入并非来源于读者，而是广告商，靠流量赚收益的模式下，作品本身的价值就被削弱。平台掌控着流量，作者沦为工具。 也因此，用更廉价的AI来替换作者，对于网文平台而言，有着明显的经济效益。 一来，AI写作在产能方面的优势众所皆知。此前华东师范大学团队公布了一篇由AI完成的长篇玄幻小说《天命使徒》，主导该项目的文学教授王峰在分享中就谈到："完成这篇长达百万字的小说，仅用了一个半月时间。可一个勤奋的网络写手想写出相同的体量，往往需要一年。" 二来，免费阅读平台上，大量用户对网文内容的品质要求相对不高，套路性的情节就能满足他们消磨时间的意愿。因此，AI写作在学习了大量热度小说的素材后，归纳总结套路化生成的内容，或许也能满足用户的需求。 提高产能还能减少成本，平台当然愿意去推行。然后，平台大力推行AI写作，人类作者的收入就会被挤占。米米就猜测："平台给到我们作者的待遇或许将会越来越苛刻。比如再降低分成比例，或是减少各种奖金的金额。" 虽然墨白焰还是认为，无论科技如何发展，AI写作如何进化，只要有对优质内容有需求的读者存在，AI就代替不了真人。只是，即使AI无法代替优秀的作者，可当抄袭拼接被允许后，所有网文作者的未来，也都将被深深影响。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
2024年8月13日 星期二
阿里通义开源音频语言模型 Qwen2-Audio
阿里通义开源音频语言模型 Qwen2-Audio
https://www.oschina.net/news/306796/qwen2-audio
通义千问团队开源音频语言模型 Qwen2-Audio。这是 Qwen-Audio 的下一代版本，它能够接受音频和文本输入，并生成文本输出。具有以下特点： 语音聊天：用户可以使用语音向音频语言模型发出指令，无需通过自动语音识别（ASR）模块。 音频分析：该模型能够根据文本指令分析音频信息，包括语音、声音、音乐等。 多语言支持：该模型支持超过8种语言和方言，例如中文、英语、粤语、法语、意大利语、西班牙语、德语和日语。 Qwen2-Audio的模型结构包含一个Qwen大语言模型和一个音频编码器。在预训练阶段，依次进行ASR、AAC等多任务预训练以实现音频与语言的对齐，接着通过SFT（监督微调） 强化模型处理下游任务的能力，再通过 DPO（直接偏好优化）方法加强模型与人类偏好的对齐。 目前通义团队同步开源了基础模型 Qwen2-Audio-7B 及其指令跟随版本 Qwen2-Audio-7B-Instruct。 https://huggingface.co/Qwen/Qwen2-Audio-7B https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct
-- gReader Pro
https://www.oschina.net/news/306796/qwen2-audio
通义千问团队开源音频语言模型 Qwen2-Audio。这是 Qwen-Audio 的下一代版本，它能够接受音频和文本输入，并生成文本输出。具有以下特点： 语音聊天：用户可以使用语音向音频语言模型发出指令，无需通过自动语音识别（ASR）模块。 音频分析：该模型能够根据文本指令分析音频信息，包括语音、声音、音乐等。 多语言支持：该模型支持超过8种语言和方言，例如中文、英语、粤语、法语、意大利语、西班牙语、德语和日语。 Qwen2-Audio的模型结构包含一个Qwen大语言模型和一个音频编码器。在预训练阶段，依次进行ASR、AAC等多任务预训练以实现音频与语言的对齐，接着通过SFT（监督微调） 强化模型处理下游任务的能力，再通过 DPO（直接偏好优化）方法加强模型与人类偏好的对齐。 目前通义团队同步开源了基础模型 Qwen2-Audio-7B 及其指令跟随版本 Qwen2-Audio-7B-Instruct。 https://huggingface.co/Qwen/Qwen2-Audio-7B https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct
-- gReader Pro
2024年8月11日 星期日
1Panel 应用推荐：KubePi 开源 Kubernetes 管理面板
1Panel 应用推荐：KubePi 开源 Kubernetes 管理面板
https://www.oschina.net/news/306261
1Panel（github.com/1Panel-dev/1Panel）是一款现代化、开源的Linux服务器运维管理面板，它致力于通过开源的方式，帮助用户简化建站与运维管理流程。为了方便广大用户快捷安装部署相关软件应用，1Panel特别开通应用商店，精选各类高质量的开源工具和应用软件，为用户的应用安装与升级操作提供便利。 目前，1Panel应用商店已经上架了超过100款精品软件并且定期更新维护，基本涵盖了大部分用户的基本装机需求。自2024年1月起，1Panel开源项目组特别开设"应用推荐"专栏，为大家推荐1Panel应用商店中的宝藏开源软件。 本期推荐应用 KubePi开源Kubernetes管理面板 -官方网站- https://github.com/1Panel-dev/KubePi -开源许可协议- GPL-3.0 license -应用描述- KubePi是一款现代化、开源的Kubernetes管理工具，旨在简化和增强对Kubernetes集群的管理与监控。 -开发语言- Go、Vue -上架版本- v1.8.0 -GitHub Star- 2,580+ -GitHub Fork- 310+ 推荐原因 Kubernetes是一个开源的容器编排系统，用于自动化软件的部署、扩展和管理。Kubernetes的操作依赖命令行输入，这对初学者来说可能存在一定的学习难度。 KubePi是飞致云旗下1Panel开源项目的官方子项目。它是一款开源的Kubernetes集群图形化管理工具，为用户提供可视化的图形界面，让用户无需记住复杂的命令和标志就能轻松管理Kubernetes。 KubePi协助用户实现对Kubernetes集群的集中式管理。在KubePi提供的图形化面板中一键导入集群后，用户可以实现对多个Kubernetes集群的管理，包括创建、扩展、缩减和删除集群等操作。在应用部署方面，KubePi支持Helm Charts和自定义YAML文件，让整个应用部署过程变得简单可控，有效提高用户的运维效率。 KubePi为用户提供强大的日志审计和高细粒度的权限分配功能。通过整合Prometheus和Grafana，KubePi为用户提供直观的仪表板，方便用户随时监控集群的健康状况和查看容器日志。 安全性方面，KubePi支持RBAC（基于角色的访问控制），能够将不同的命名空间和集群分配给指定的团队账号，实现对集群资源的权限控制与管理。对于团队的ConfigMaps和Secrets等配置内容，KubePi提供了一个统一纳管界面，便于用户查看、编辑和更新。 此外，KubePi还通过自动化工具支持用户自动扩展和缩减Kubernetes集群，以满足实际的使用需要。同时，KubePi还支持自动备份和恢复操作，以确保集群管理的可靠性。
-- gReader Pro
https://www.oschina.net/news/306261
1Panel（github.com/1Panel-dev/1Panel）是一款现代化、开源的Linux服务器运维管理面板，它致力于通过开源的方式，帮助用户简化建站与运维管理流程。为了方便广大用户快捷安装部署相关软件应用，1Panel特别开通应用商店，精选各类高质量的开源工具和应用软件，为用户的应用安装与升级操作提供便利。 目前，1Panel应用商店已经上架了超过100款精品软件并且定期更新维护，基本涵盖了大部分用户的基本装机需求。自2024年1月起，1Panel开源项目组特别开设"应用推荐"专栏，为大家推荐1Panel应用商店中的宝藏开源软件。 本期推荐应用 KubePi开源Kubernetes管理面板 -官方网站- https://github.com/1Panel-dev/KubePi -开源许可协议- GPL-3.0 license -应用描述- KubePi是一款现代化、开源的Kubernetes管理工具，旨在简化和增强对Kubernetes集群的管理与监控。 -开发语言- Go、Vue -上架版本- v1.8.0 -GitHub Star- 2,580+ -GitHub Fork- 310+ 推荐原因 Kubernetes是一个开源的容器编排系统，用于自动化软件的部署、扩展和管理。Kubernetes的操作依赖命令行输入，这对初学者来说可能存在一定的学习难度。 KubePi是飞致云旗下1Panel开源项目的官方子项目。它是一款开源的Kubernetes集群图形化管理工具，为用户提供可视化的图形界面，让用户无需记住复杂的命令和标志就能轻松管理Kubernetes。 KubePi协助用户实现对Kubernetes集群的集中式管理。在KubePi提供的图形化面板中一键导入集群后，用户可以实现对多个Kubernetes集群的管理，包括创建、扩展、缩减和删除集群等操作。在应用部署方面，KubePi支持Helm Charts和自定义YAML文件，让整个应用部署过程变得简单可控，有效提高用户的运维效率。 KubePi为用户提供强大的日志审计和高细粒度的权限分配功能。通过整合Prometheus和Grafana，KubePi为用户提供直观的仪表板，方便用户随时监控集群的健康状况和查看容器日志。 安全性方面，KubePi支持RBAC（基于角色的访问控制），能够将不同的命名空间和集群分配给指定的团队账号，实现对集群资源的权限控制与管理。对于团队的ConfigMaps和Secrets等配置内容，KubePi提供了一个统一纳管界面，便于用户查看、编辑和更新。 此外，KubePi还通过自动化工具支持用户自动扩展和缩减Kubernetes集群，以满足实际的使用需要。同时，KubePi还支持自动备份和恢复操作，以确保集群管理的可靠性。
-- gReader Pro
2024年8月10日 星期六
上海交大林云：揭秘大模型的可解释性与透明度，AI 编程的未来在这里
上海交大林云：揭秘大模型的可解释性与透明度，AI 编程的未来在这里
https://www.eiefun.com/5659.html
在软件开发的世界里，代码的生成、编辑、测试和调试一直是核心活动。然而，随着大语言模型的介入，这些环节正在经历一场深刻的变革。这些变革不仅提高了开发效率，也为我们带来了新的挑战和问题。在8月18-19日，AICon 上海站有幸邀请到了上海交通大学计算机科学与工程系副教授林云，他将与我们探讨语言模型如何影响软件开发的每一个环节，并为我们展示如何通过先进的分析技术来优化和增强模型的预测能力。 本文为会前采访文章，他深入探讨了大语言模型在软件开发中的应用，分享了提高模型可解释性的策略，如可视化技术和影响函数。通过 ISSTA'24 的案例，他展示了全项目感知的交互式编辑方案，并讨论了数字孪生技术在验证模型能力中的应用；最后，他预测了 AI 对软件开发范式的影响，并强调了开发者在 AI 时代需要的新技能。 大语言模型在软件工程中的应用与挑战 InfoQ：您认为当前大语言模型在代码生成、编辑、测试和调试等方面的表现如何？有哪些具体的应用案例？ 林云：这些软件工程任务的自动化手段的原本瓶颈在于专有或者领域知识的不足，比如特定文件资源的获取以及特定错误或异常的根因定位等；而语言模型的出现通过将大量的编程知识压缩和编码，使得弥补这种"知识鸿沟"变成了现实。我们课题组和字节进行合作，在代码自动编辑进行探索，提出了基于语言模型的端到端编辑方案，来解决编辑的传播、定位、生成和反馈循环等问题。 目前在定位和生成的准确率都达到了相对理想的效果；至于测试，我们正在尝试来让语言模型进一步学习领域知识，来生成领域相关的测试用例；至于调试，我们也在期望让模型生成出整个调试的过程，由此使得技术更加实用。 InfoQ：大语言模型在不同类型的编程任务中表现出了哪些优势和局限性？ 林云：语言模型的优势在于常识量巨大，能够解决带至于泛化出各种基于大量常识知识的解决方案。而局限在于长上下文的确定性推理（比如，跨文件的数据流分析等）。所以如果将语言模型和传统的程序分析工具有效解决，是一个非常有价值的课题。 可解释性方法与模型透明度 InfoQ：在训练和使用大语言模型时，您遇到过哪些可解释性的挑战？如何解决这些挑战？ 林云：主要的可解释性问题在于代码表征分析和训练样本归因两个方面。表征分析其实希望理解模型是否能够理解两片代码的相近语义，这段泛化模型的能力非常重要。而训练样本归因在于解决模型的预测源自于哪些训练数据，这个对数据集质量非常重要。 对于前者，我们开发了表征空间可视化技术来理解模型训练过程中的训练动态；对于后者，我们优化了传统的影响函数（Influence Function），来观测训练样本的贡献和彼此之间签在的冲突。 InfoQ：您能否详细说明基于数据和基于表征的可解释性方法，并分别讨论它们在实际中的应用效果？ 林云：深度学习本质上是表征学习，任何样本都会在一个高维向量空间上有一个向量表示。我们目前的做法是把表征空间上发生的各种训练事件转化成一个可交互式动画，来观测训练过程。 在这个过程中，我们可以观测样本之间语义距离的变化，并且利用影响函数（一种基于数据的可解释性方法）来进一步推断这种变化的根因。这些可解释性方法的组合使用在现实中可以有效帮助我们分析训练数据质量、模型的表达能力、以及训练数据标注中的一些问题。 InfoQ：您提到的 ISSTA'24 的代码编辑工作是如何实现全项目感知的交互式编辑的？能否分享一些具体的实现细节？ 林云：我们 ISSTA'24 的工作提出了一种端到端的代码编辑方案，叫做 CoEdPilot。当用户给定一个编辑要求后，我们的工具能够迭代式地完成全项目编辑定位和编辑生成。并且通过将先前的编辑作为用户反馈，进一步调整和精化定位和生成的结果。 我们通过设计两个 transformer 将一个大的端到端任务拆解成两个小模型，来交互式地完成这个任务。一个小型的语言模型用于编辑定位，另一个小型的语言模型作为编辑生成。我们通过收集大量代码提交历史记录来循环指令微调这两个模型，来达到比较好的效果。更多详细信息可以关注 AICon 上海站的分享。 InfoQ：在这个案例中，您是如何分析和追溯训练样本的？使用了哪些技术手段来构建数字孪生环境？ 林云：我们通过设计了自己的影响函数来将一个预测溯源回对它贡献最大的训练样本。这里基本的思想是分析一个训练样本和一个测试样本之间的预测联动性来完成的。至于数字孪生验证场景，我们期望将一个静态的代码提交恢复成一个动态的代码编辑场景，来验证模型的能力。 InfoQ：您在演讲中提到了代码深度表征分析和数字孪生模拟编程场景。能否进一步解释这两种技术的具体实现方式及其对模型性能的影响？ 林云：这里主要解决的问题在于模型训练准确率不等于模型对真实编程的生产力，所以我们设计了这个技术来解决两者之间的差距。如上文所说，我们将一个静态的代码提交恢复成一个动态的代码编辑场景，来进一步验证模型的能力。 InfoQ：如何通过这些技术提高模型的透明度和可信度？ 林云：通过这些可解释性技术，我们期望能够有效帮助程序员来将模型训练的过程白盒化。比如通过训练数据归因，模型的使用者能够更好地理解模型做出决策的依据，这样可以方便使用者来更好的接纳或者拒绝模型的建议。 未来展望与开发者技能 InfoQ：您认为大语言模型在未来将如何影响软件开发范式？会有哪些新的趋势或创新？ 林云：语言模型嵌入程序开发活动已经是大势所趋。以往的代码开发的一些知识可能是程序员之间口口相传，有了语言模型之后，大家会逐渐思考留下更多的代码开发历史并训练相应的模型来完成推荐。所以在未来，代码开发活动，同时也是数据标注活动，这可能会引起面向模型的开发活动的思考和创新。 InfoQ：针对 AI 时代，您认为开发者需要掌握哪些新的技能和知识以适应这种变化？ 林云：我觉得开发人员可能在一定程度上需要了解 AI 模型的运行原理。因为交付可靠的软件其实仍然是不变的要求，但如果把工作交给一个概率驱动的语言模型，这一方面需要有比较强的验证机制来检验概率模型结果的可靠性；另一方面需要理解语言模型本身的局限性。这样才能有更加好的人机协作编程方式，来交付更加可靠的软件制品。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5659.html
在软件开发的世界里，代码的生成、编辑、测试和调试一直是核心活动。然而，随着大语言模型的介入，这些环节正在经历一场深刻的变革。这些变革不仅提高了开发效率，也为我们带来了新的挑战和问题。在8月18-19日，AICon 上海站有幸邀请到了上海交通大学计算机科学与工程系副教授林云，他将与我们探讨语言模型如何影响软件开发的每一个环节，并为我们展示如何通过先进的分析技术来优化和增强模型的预测能力。 本文为会前采访文章，他深入探讨了大语言模型在软件开发中的应用，分享了提高模型可解释性的策略，如可视化技术和影响函数。通过 ISSTA'24 的案例，他展示了全项目感知的交互式编辑方案，并讨论了数字孪生技术在验证模型能力中的应用；最后，他预测了 AI 对软件开发范式的影响，并强调了开发者在 AI 时代需要的新技能。 大语言模型在软件工程中的应用与挑战 InfoQ：您认为当前大语言模型在代码生成、编辑、测试和调试等方面的表现如何？有哪些具体的应用案例？ 林云：这些软件工程任务的自动化手段的原本瓶颈在于专有或者领域知识的不足，比如特定文件资源的获取以及特定错误或异常的根因定位等；而语言模型的出现通过将大量的编程知识压缩和编码，使得弥补这种"知识鸿沟"变成了现实。我们课题组和字节进行合作，在代码自动编辑进行探索，提出了基于语言模型的端到端编辑方案，来解决编辑的传播、定位、生成和反馈循环等问题。 目前在定位和生成的准确率都达到了相对理想的效果；至于测试，我们正在尝试来让语言模型进一步学习领域知识，来生成领域相关的测试用例；至于调试，我们也在期望让模型生成出整个调试的过程，由此使得技术更加实用。 InfoQ：大语言模型在不同类型的编程任务中表现出了哪些优势和局限性？ 林云：语言模型的优势在于常识量巨大，能够解决带至于泛化出各种基于大量常识知识的解决方案。而局限在于长上下文的确定性推理（比如，跨文件的数据流分析等）。所以如果将语言模型和传统的程序分析工具有效解决，是一个非常有价值的课题。 可解释性方法与模型透明度 InfoQ：在训练和使用大语言模型时，您遇到过哪些可解释性的挑战？如何解决这些挑战？ 林云：主要的可解释性问题在于代码表征分析和训练样本归因两个方面。表征分析其实希望理解模型是否能够理解两片代码的相近语义，这段泛化模型的能力非常重要。而训练样本归因在于解决模型的预测源自于哪些训练数据，这个对数据集质量非常重要。 对于前者，我们开发了表征空间可视化技术来理解模型训练过程中的训练动态；对于后者，我们优化了传统的影响函数（Influence Function），来观测训练样本的贡献和彼此之间签在的冲突。 InfoQ：您能否详细说明基于数据和基于表征的可解释性方法，并分别讨论它们在实际中的应用效果？ 林云：深度学习本质上是表征学习，任何样本都会在一个高维向量空间上有一个向量表示。我们目前的做法是把表征空间上发生的各种训练事件转化成一个可交互式动画，来观测训练过程。 在这个过程中，我们可以观测样本之间语义距离的变化，并且利用影响函数（一种基于数据的可解释性方法）来进一步推断这种变化的根因。这些可解释性方法的组合使用在现实中可以有效帮助我们分析训练数据质量、模型的表达能力、以及训练数据标注中的一些问题。 InfoQ：您提到的 ISSTA'24 的代码编辑工作是如何实现全项目感知的交互式编辑的？能否分享一些具体的实现细节？ 林云：我们 ISSTA'24 的工作提出了一种端到端的代码编辑方案，叫做 CoEdPilot。当用户给定一个编辑要求后，我们的工具能够迭代式地完成全项目编辑定位和编辑生成。并且通过将先前的编辑作为用户反馈，进一步调整和精化定位和生成的结果。 我们通过设计两个 transformer 将一个大的端到端任务拆解成两个小模型，来交互式地完成这个任务。一个小型的语言模型用于编辑定位，另一个小型的语言模型作为编辑生成。我们通过收集大量代码提交历史记录来循环指令微调这两个模型，来达到比较好的效果。更多详细信息可以关注 AICon 上海站的分享。 InfoQ：在这个案例中，您是如何分析和追溯训练样本的？使用了哪些技术手段来构建数字孪生环境？ 林云：我们通过设计了自己的影响函数来将一个预测溯源回对它贡献最大的训练样本。这里基本的思想是分析一个训练样本和一个测试样本之间的预测联动性来完成的。至于数字孪生验证场景，我们期望将一个静态的代码提交恢复成一个动态的代码编辑场景，来验证模型的能力。 InfoQ：您在演讲中提到了代码深度表征分析和数字孪生模拟编程场景。能否进一步解释这两种技术的具体实现方式及其对模型性能的影响？ 林云：这里主要解决的问题在于模型训练准确率不等于模型对真实编程的生产力，所以我们设计了这个技术来解决两者之间的差距。如上文所说，我们将一个静态的代码提交恢复成一个动态的代码编辑场景，来进一步验证模型的能力。 InfoQ：如何通过这些技术提高模型的透明度和可信度？ 林云：通过这些可解释性技术，我们期望能够有效帮助程序员来将模型训练的过程白盒化。比如通过训练数据归因，模型的使用者能够更好地理解模型做出决策的依据，这样可以方便使用者来更好的接纳或者拒绝模型的建议。 未来展望与开发者技能 InfoQ：您认为大语言模型在未来将如何影响软件开发范式？会有哪些新的趋势或创新？ 林云：语言模型嵌入程序开发活动已经是大势所趋。以往的代码开发的一些知识可能是程序员之间口口相传，有了语言模型之后，大家会逐渐思考留下更多的代码开发历史并训练相应的模型来完成推荐。所以在未来，代码开发活动，同时也是数据标注活动，这可能会引起面向模型的开发活动的思考和创新。 InfoQ：针对 AI 时代，您认为开发者需要掌握哪些新的技能和知识以适应这种变化？ 林云：我觉得开发人员可能在一定程度上需要了解 AI 模型的运行原理。因为交付可靠的软件其实仍然是不变的要求，但如果把工作交给一个概率驱动的语言模型，这一方面需要有比较强的验证机制来检验概率模型结果的可靠性；另一方面需要理解语言模型本身的局限性。这样才能有更加好的人机协作编程方式，来交付更加可靠的软件制品。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
2024年8月5日 星期一
Stack Overflow 的调查显示程序员并不担心 AI
Stack Overflow 的调查显示程序员并不担心 AI
https://www.solidot.org/story?sid=78882
逾 6.5 万名开发者参加了编程问答社区 Stack Overflow 的年度调查，首次调查了 AI 是否会影响到程序员工作。结果显示，只有 12% 的开发者认为 AI 威胁到了其当前的工作，70% 的人将 AI 工具作为其工作流程的一部分，使用 AI 的开发者表示它最大的好处是提高生产力，其次是有助于快速学习新技能。使用 AI 工具的开发者比例从 2023 年的 44% 提高到了 2024 年的 62%。71% 从业经验不足 5 年的程序员在开发中使用了 AI，从业经验 20 年的程序员中这一比例为 49%。最流行的 AI 工具是 ChatGPT（82%），两倍于 GitHub Copilot，使用 ChatGPT 的开发者有 74% 希望继续使用。但对于 AI 工具的准确性只有 43% 的人表示了信任，45% 的人认为 AI 工具难以处理复杂任务。调查还发现，程序员的失业率有所上升，但整体上仍然只有 4.4%；他们的薪水中位数则有了显著下降，2024 年全栈开发者的均薪比 2023 年下降了 11% 至 63,333 美元。调查还发现，38% 的开发者是全职远程工作，只有 20% 恢复纯办公室工作模式，其他人则是混合办公模式。最流行的 IDE 仍然是 VS Code 和 Visual Studio，最常用的语言仍然是 Javascript，最希望使用的语言是 Python，最想再次尝试的语言是 Rust。 https://developers.slashdot.org/story/24/08/03/0332225/coders-dont-fear-ai-reports-stack-overflows-massive-2024-survey https://stackoverflow.blog/2024/07/24/developers-want-more-more-more-the-2024-results-from-stack-overflow-s-annual-developer-survey/ https://developers.slashdot.org/story/24/08/03/0332225/coders-dont-fear-ai-reports-stack-overflows-massive-2024-survey 174657692 story Coders Don't Fear AI, Reports Stack Overflow's Massive 2024 Survey (thenewstack.io) 95 Posted by EditorDavid on Sunday August 04, 2024 @03:34AM from the AI-is-my-Copilot dept. Stack Overflow says over 65,000 developers took their annual survey — and "For the first time this year, we asked if developers felt AI was a threat to their job..." Some analysis from The New Stack: Unsurprisingly, only 12% of surveyed developers believe AI is a threat to their current job. In fact, 70% are favorably inclined to use AI tools as part of their development workflow... Among those who use AI tools in their development workflow, 81% said productivity is one of its top benefits, followed by an ability to learn new skills quickly (62%). Much fewer (30%) said improved accuracy is a benefit. Professional developers' adoption of AI tools in the development process has risen rapidly, going from 44% in 2023 to 62% in 2024... Seventy-one percent of developers with less than five years of experience reported using AI tools in their development process, as compared to just 49% of developers with 20 years of experience coding... At 82%, [ChatGPT] is twice as likely to have been used than GitHub Copilot. Among ChatGPT users, 74% want to continue using it. But "only 43% said they trust the accuracy of AI tools," according to Stack Overflow's blog post, "and 45% believe AI tools struggle to handle complex tasks." More analysis from The New Stack: The latest edition of the global annual survey found full-time employment is holding steady, with over 80% reporting that they have full-time jobs. The percentage of unemployed developers has more than doubled since 2019 but is still at a modest 4.4% worldwide... The median annual salary of survey respondents declined significantly. For example, the average full-stack developer's median 2024 salary fell 11% compared to the previous year, to $63,333... Wage pressure may be the result of more competition from an increase in freelancing. Eighteen percent of professional developers in the 2024 survey said they are independent contractors or self-employed, which is up from 9.5% in 2020. Part-time employment has also risen, presenting even more pressure on full-time salaries... Job losses at tech companies have contributed to a large influx of talent into the freelance market, noted Stack Overflow CEO Prashanth Chandrasekar in an interview with The New Stack. Since COVID-19, he added, the emphasis on remote work means more people value job flexibility. In the 2024 survey, only 20% have returned to full-time in-person work, 38% are full-time remote, while the remainder are in a hybrid situation. Anticipation of future productivity growth due to AI may also be creating uncertainty about how much to pay developers. Two stats jumped out for Visual Studio magazine: In this year's big Stack Overflow developer survey things are much the same for Microsoft-centric data points: VS Code and Visual Studio still rule the IDE roost, while .NET maintains its No. 1 position among non-web frameworks. It's been this way for years, though in 2021 it was .NET Framework at No. 1 among IDEs, while the new .NET Core/.NET 5 entry was No. 3. Among IDEs, there has been less change. "Visual Studio Code is used by more than twice as many developers than its nearest (and related) alternative, Visual Studio," said the 2024 Stack Overflow Developer survey, the 14th in the series of massive reports. Stack Overflow shared some other interesting statistics: "Javascript (62%), HTML/CSS (53%), and Python (51%) top the list of most used languages for the second year in a row... [JavaScript] has been the most popular language every year since the inception of the Developer Survey in 2011." "Python is the most desired language this year (users that did not indicate using this year but did indicate wanting to use next year), overtaking JavaScript." "The language that most developers used and want to use again is Rust for the second year in a row with an 83% admiration rate. " "Python is most popular for those learning to code..." "Technical debt is a problem for 62% of developers, twice as much as the second- and third-most frustrating problems for developers: complex tech stacks for building and deployment." ← You may like to read: → Should We Fight Climate Change by Releasing Sulfur Dioxide into the Stratosphere? Should a Variable's Type Come After Its Name? Are Scrums a Cancer? C++ Creator Rebuts White House Warning White House Urges Devs To Switch To Memory-Safe Programming Languages 'OK, So ChatGPT Just Debugged My Code. For Real' Apple Is Finally Sending Out Payments For Its Defective Macbook Butterfly Keyboards
-- gReader Pro
https://www.solidot.org/story?sid=78882
逾 6.5 万名开发者参加了编程问答社区 Stack Overflow 的年度调查，首次调查了 AI 是否会影响到程序员工作。结果显示，只有 12% 的开发者认为 AI 威胁到了其当前的工作，70% 的人将 AI 工具作为其工作流程的一部分，使用 AI 的开发者表示它最大的好处是提高生产力，其次是有助于快速学习新技能。使用 AI 工具的开发者比例从 2023 年的 44% 提高到了 2024 年的 62%。71% 从业经验不足 5 年的程序员在开发中使用了 AI，从业经验 20 年的程序员中这一比例为 49%。最流行的 AI 工具是 ChatGPT（82%），两倍于 GitHub Copilot，使用 ChatGPT 的开发者有 74% 希望继续使用。但对于 AI 工具的准确性只有 43% 的人表示了信任，45% 的人认为 AI 工具难以处理复杂任务。调查还发现，程序员的失业率有所上升，但整体上仍然只有 4.4%；他们的薪水中位数则有了显著下降，2024 年全栈开发者的均薪比 2023 年下降了 11% 至 63,333 美元。调查还发现，38% 的开发者是全职远程工作，只有 20% 恢复纯办公室工作模式，其他人则是混合办公模式。最流行的 IDE 仍然是 VS Code 和 Visual Studio，最常用的语言仍然是 Javascript，最希望使用的语言是 Python，最想再次尝试的语言是 Rust。 https://developers.slashdot.org/story/24/08/03/0332225/coders-dont-fear-ai-reports-stack-overflows-massive-2024-survey https://stackoverflow.blog/2024/07/24/developers-want-more-more-more-the-2024-results-from-stack-overflow-s-annual-developer-survey/ https://developers.slashdot.org/story/24/08/03/0332225/coders-dont-fear-ai-reports-stack-overflows-massive-2024-survey 174657692 story Coders Don't Fear AI, Reports Stack Overflow's Massive 2024 Survey (thenewstack.io) 95 Posted by EditorDavid on Sunday August 04, 2024 @03:34AM from the AI-is-my-Copilot dept. Stack Overflow says over 65,000 developers took their annual survey — and "For the first time this year, we asked if developers felt AI was a threat to their job..." Some analysis from The New Stack: Unsurprisingly, only 12% of surveyed developers believe AI is a threat to their current job. In fact, 70% are favorably inclined to use AI tools as part of their development workflow... Among those who use AI tools in their development workflow, 81% said productivity is one of its top benefits, followed by an ability to learn new skills quickly (62%). Much fewer (30%) said improved accuracy is a benefit. Professional developers' adoption of AI tools in the development process has risen rapidly, going from 44% in 2023 to 62% in 2024... Seventy-one percent of developers with less than five years of experience reported using AI tools in their development process, as compared to just 49% of developers with 20 years of experience coding... At 82%, [ChatGPT] is twice as likely to have been used than GitHub Copilot. Among ChatGPT users, 74% want to continue using it. But "only 43% said they trust the accuracy of AI tools," according to Stack Overflow's blog post, "and 45% believe AI tools struggle to handle complex tasks." More analysis from The New Stack: The latest edition of the global annual survey found full-time employment is holding steady, with over 80% reporting that they have full-time jobs. The percentage of unemployed developers has more than doubled since 2019 but is still at a modest 4.4% worldwide... The median annual salary of survey respondents declined significantly. For example, the average full-stack developer's median 2024 salary fell 11% compared to the previous year, to $63,333... Wage pressure may be the result of more competition from an increase in freelancing. Eighteen percent of professional developers in the 2024 survey said they are independent contractors or self-employed, which is up from 9.5% in 2020. Part-time employment has also risen, presenting even more pressure on full-time salaries... Job losses at tech companies have contributed to a large influx of talent into the freelance market, noted Stack Overflow CEO Prashanth Chandrasekar in an interview with The New Stack. Since COVID-19, he added, the emphasis on remote work means more people value job flexibility. In the 2024 survey, only 20% have returned to full-time in-person work, 38% are full-time remote, while the remainder are in a hybrid situation. Anticipation of future productivity growth due to AI may also be creating uncertainty about how much to pay developers. Two stats jumped out for Visual Studio magazine: In this year's big Stack Overflow developer survey things are much the same for Microsoft-centric data points: VS Code and Visual Studio still rule the IDE roost, while .NET maintains its No. 1 position among non-web frameworks. It's been this way for years, though in 2021 it was .NET Framework at No. 1 among IDEs, while the new .NET Core/.NET 5 entry was No. 3. Among IDEs, there has been less change. "Visual Studio Code is used by more than twice as many developers than its nearest (and related) alternative, Visual Studio," said the 2024 Stack Overflow Developer survey, the 14th in the series of massive reports. Stack Overflow shared some other interesting statistics: "Javascript (62%), HTML/CSS (53%), and Python (51%) top the list of most used languages for the second year in a row... [JavaScript] has been the most popular language every year since the inception of the Developer Survey in 2011." "Python is the most desired language this year (users that did not indicate using this year but did indicate wanting to use next year), overtaking JavaScript." "The language that most developers used and want to use again is Rust for the second year in a row with an 83% admiration rate. " "Python is most popular for those learning to code..." "Technical debt is a problem for 62% of developers, twice as much as the second- and third-most frustrating problems for developers: complex tech stacks for building and deployment." ← You may like to read: → Should We Fight Climate Change by Releasing Sulfur Dioxide into the Stratosphere? Should a Variable's Type Come After Its Name? Are Scrums a Cancer? C++ Creator Rebuts White House Warning White House Urges Devs To Switch To Memory-Safe Programming Languages 'OK, So ChatGPT Just Debugged My Code. For Real' Apple Is Finally Sending Out Payments For Its Defective Macbook Butterfly Keyboards
-- gReader Pro
2024年8月3日 星期六
AI完败于人类医生！研究发现：大模型临床决策草率且不安全，最低正确率仅13%
AI完败于人类医生！研究发现：大模型临床决策草率且不安全，最低正确率仅13%
https://www.eiefun.com/5183.html
人类医生，会因为 ChatGPT 等大模型纷纷下岗吗？ 这种担心，并非空穴来风。毕竟，谷歌的大模型（Med-PaLM 2）已经轻松拿下了美国医学执照考试，达到了医学专家的水平。然而，一项最新研究表明： 在临床方面，人类医生完胜目前的人工智能（AI）模型，无需过于担心个人「失业问题」。相关研究论文以"Evaluation and mitigation of the limitations of large language models in clinical decision-making"为题，已于近日发表在科学期刊Nature Medicine上。该研究发现，即使是目前最先进的大语言模型（LLM）也无法为所有患者做出准确诊断，且表现明显差于人类医生——医生的诊断正确率为 89%，而 LLM 的诊断正确率仅为 73%。在一个极端情况（胆囊炎诊断）下，LLM 正确率仅为 13%。更令人惊讶的是，随着对病例信息的了解增多，LLM 的诊断准确度反而会降低，有时甚至会要求进行一些可能对患者有严重健康风险的检查。 化身急诊科医生，LLM 表现如何？尽管 LLM 可以轻松拿下美国医学执照考试，但医学执照考试和临床案例挑战适合只测试考生的一般医学知识，难度远不如日常复杂的临床决策任务。临床决策是一个多步骤的过程，需要从不同来源收集和整合数据，并不断评估事实以达成基于证据的患者诊断和治疗决策。为了进一步研究 LLM 在临床诊断中的潜力，来自慕尼黑工业大学的研究团队及其合作者基于医疗信息市场重症监护数据库（MIMIC-IV）制作了一个涵盖 2400 个真实患者案例和 4 种常见腹部疾病（阑尾炎、胰腺炎、胆囊炎和憩室炎）的数据集，模拟现实的临床环境，重现从急诊到治疗的过程，从而评估其作为临床决策者的适用性。图｜数据集来源及评估框架。该数据集来源于 MIMIC-IV 数据库中的真实病例，包含住院期间记录的全面电子健康记录数据。评估框架反映了一个现实的临床环境，从多个标准对 LLM 进行全面评估，包括诊断准确性、遵循诊断和治疗指南的情况、遵循指令的一致性、解释实验室结果的能力，以及对指令变化、信息量和信息顺序变化的鲁棒性。ICD，国际疾病分类；CT，计算机断层扫描；US，超声波；MRCP，磁共振胰胆管成像。 研究团队测试了 Llama 2 及其衍生版本，包括通用版本（如 Llama 2 Chat、Open Assistant、WizardLM）和医学领域对齐的模型（如 Clinical Camel 和 Meditron）。由于 MIMIC 数据的隐私问题和数据使用协议，数据不能用于如 OpenAI 或 Google 的外部 API，因此未能测试 ChatGPT、GPT-4 和 Med-PaLM。值得注意的是，Llama 2、Clinical Camel 和 Meditron 在医学许可考试和生物医学问答测试中的表现已达到甚至超过了 ChatGPT。测试对照组为四位来自两个国家且有不同年限（分别是 2 年、3 年、4 年和 29 年）急诊经验的内科医生。结果显示，LLM 在临床诊断中的表现远不如人类医生。1.LLM 的诊断性能显著低于临床医生结果显示，当前 LLM 在所有疾病的整体表现上显著逊色于医生（P < 0.001），诊断准确性差距在 16%-25% 之间。虽然模型在简单的阑尾炎诊断中表现较好，但在胆囊炎等其他病理的诊断中表现不佳，特别是 Meditron 模型在胆囊炎诊断中失败，常将患者诊断为"胆结石"。专业医学 LLM 在整体表现上未显著优于其他模型，而当 LLM 需要自行收集所有信息时，其表现会进一步下降。图｜全信息提供条件下的诊断准确率。数据基于 MIMIC-CDM-FI 的一个子集（n=80），每个条形图上方显示了平均诊断准确率，垂直线表示标准偏差。LLM 的平均表现显著较差（P < 0.001），尤其是在胆囊炎（P < 0.001）和憩室炎（P < 0.001）方面。 图｜自主临床决策场景下的诊断准确率。对比全信息提供场景下，模型判断正确率整体都有明显下降。LLM 在诊断阑尾炎时表现最好，但在胆囊炎、憩室炎和胰腺炎这三种病理上表现较差。 2.LLM 的临床决策草率且不安全研究团队发现，LLM 遵循诊断指南方面表现不佳，容易遗漏患者的重要身体信息。此外在安排患者必要实验室检查方面缺乏一致性。LLM 在解读实验室结果方面也有明显不足。这表明它们在没有充分了解患者病例的情况下草率诊断，对患者健康构成严重风险。图｜LLM 推荐治疗方式评估。期望的治疗方案是根据临床指南和数据集中患者实际接受的治疗确定的。在 808 名患者中，Llama 2 Chat 正确诊断了 603 人。在这 603 名患者中，Llama 2 Chat 在 97.5% 的情况下正确推荐了阑尾切除术。 3.LLM 仍需要大量的医生临床监督另外，当前所有的 LLM 在遵循基础医学指导方面表现不佳，在每 2-4 个病例中出现错误，且每 2-5 个病例中就会虚构不存在的指导。图｜LLM 在不同数据量下的表现。该研究比较了每个模型在使用所有诊断信息与仅使用单一诊断检查和现病史的表现。对于几乎所有疾病，在 MIMIC-CDM-FI 数据集中，提供所有信息并未导致最佳表现。这表明，LLM 无法集中于关键事实，当提供过多信息时，表现会下降。 该研究还表明，为每个模型提供最佳性能的信息顺序对于每种病理都是不同的，这无疑进一步增大了后续优化模型的难度。在没有广泛的医生监督和事先评估的情况下，无法可靠地完成任务。总的来说，它们在遵循指令、处理信息的顺序以及对相关信息的处理上存在明细缺陷，因此需要大量临床监督以确保其正确运行。虽然该研究发现了 LLM 在临床诊断下的各种问题，但 LLM 在医学方面的前景依然巨大，很可能更适合根据病史和测试结果做出诊断。研究团队认为，该研究工作在以下两个方面具有进一步拓展的空间 ： 模型验证和测试：进一步的研究应集中在对 LLM 进行更全面的验证和测试，以确保其在真实临床环境中的有效性。 多学科合作：建议将 AI 专家与临床医生密切合作，以共同开发和优化适用于临床实践的 LLM，并解决实际应用中的问题。 AI 在如何颠覆医疗？不只是上述研究，来自美国国立卫生研究院（NIH）的团队及其合作者，也发现了类似的问题—— 在回答 207 个图像挑战问题时，GPT-4V 虽然在选择正确诊断方面得分很高，但在描述医学图像和解释诊断背后的原因方面经常会犯错。尽管 AI 目前还远不如人类专业医生，但其在医疗行业的研究与应用，一直是国内外科技公司和科研高校竞相角逐的重要"战场"。例如，谷歌发布的医疗 AI 大模型 Med-PaLM2，具备了强大的诊断和治疗能力，同时也是第一个在 MedQA 测试集中达到"专家"水平的大模型。清华大学研究团队提出的 "智能体医院"（Agent Hospital），可以模拟治疗疾病的整个过程，其核心目标是让医生智能体学会如何在模拟环境中治疗疾病，甚至可以不断从成功和失败的病例中积累经验实现自我进化。哈佛医学院领衔开发了一个用于人类病理学的视觉语言通用 AI 助手——PathChat，其能够在近 90% 的情况下从活检切片中正确识别疾病，其表现优于 GPT-4V 等目前市面上的通用 AI 模型和专业医疗模型。图｜指令微调数据集和 PathChat 构建 日前，OpenAI CEO Sam Altman 参与成立了一家新公司 Thrive AI Health，旨在借助 AI 技术帮助人们改善日常习惯，降低慢性病死亡率。他们称，超个性化的 AI 技术可以有效地改善人们的生活习惯，从而预防和管理慢性疾病，减轻医疗经济负担，并提高人们的整体健康水平。如今，AI 在医疗行业的应用已经从最初的实验阶段逐渐过渡到实际应用阶段，但距离帮助临床医生增强他们的能力、改善临床决策，甚至直接取代，或许依旧有很长的一段路要走。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5183.html
人类医生，会因为 ChatGPT 等大模型纷纷下岗吗？ 这种担心，并非空穴来风。毕竟，谷歌的大模型（Med-PaLM 2）已经轻松拿下了美国医学执照考试，达到了医学专家的水平。然而，一项最新研究表明： 在临床方面，人类医生完胜目前的人工智能（AI）模型，无需过于担心个人「失业问题」。相关研究论文以"Evaluation and mitigation of the limitations of large language models in clinical decision-making"为题，已于近日发表在科学期刊Nature Medicine上。该研究发现，即使是目前最先进的大语言模型（LLM）也无法为所有患者做出准确诊断，且表现明显差于人类医生——医生的诊断正确率为 89%，而 LLM 的诊断正确率仅为 73%。在一个极端情况（胆囊炎诊断）下，LLM 正确率仅为 13%。更令人惊讶的是，随着对病例信息的了解增多，LLM 的诊断准确度反而会降低，有时甚至会要求进行一些可能对患者有严重健康风险的检查。 化身急诊科医生，LLM 表现如何？尽管 LLM 可以轻松拿下美国医学执照考试，但医学执照考试和临床案例挑战适合只测试考生的一般医学知识，难度远不如日常复杂的临床决策任务。临床决策是一个多步骤的过程，需要从不同来源收集和整合数据，并不断评估事实以达成基于证据的患者诊断和治疗决策。为了进一步研究 LLM 在临床诊断中的潜力，来自慕尼黑工业大学的研究团队及其合作者基于医疗信息市场重症监护数据库（MIMIC-IV）制作了一个涵盖 2400 个真实患者案例和 4 种常见腹部疾病（阑尾炎、胰腺炎、胆囊炎和憩室炎）的数据集，模拟现实的临床环境，重现从急诊到治疗的过程，从而评估其作为临床决策者的适用性。图｜数据集来源及评估框架。该数据集来源于 MIMIC-IV 数据库中的真实病例，包含住院期间记录的全面电子健康记录数据。评估框架反映了一个现实的临床环境，从多个标准对 LLM 进行全面评估，包括诊断准确性、遵循诊断和治疗指南的情况、遵循指令的一致性、解释实验室结果的能力，以及对指令变化、信息量和信息顺序变化的鲁棒性。ICD，国际疾病分类；CT，计算机断层扫描；US，超声波；MRCP，磁共振胰胆管成像。 研究团队测试了 Llama 2 及其衍生版本，包括通用版本（如 Llama 2 Chat、Open Assistant、WizardLM）和医学领域对齐的模型（如 Clinical Camel 和 Meditron）。由于 MIMIC 数据的隐私问题和数据使用协议，数据不能用于如 OpenAI 或 Google 的外部 API，因此未能测试 ChatGPT、GPT-4 和 Med-PaLM。值得注意的是，Llama 2、Clinical Camel 和 Meditron 在医学许可考试和生物医学问答测试中的表现已达到甚至超过了 ChatGPT。测试对照组为四位来自两个国家且有不同年限（分别是 2 年、3 年、4 年和 29 年）急诊经验的内科医生。结果显示，LLM 在临床诊断中的表现远不如人类医生。1.LLM 的诊断性能显著低于临床医生结果显示，当前 LLM 在所有疾病的整体表现上显著逊色于医生（P < 0.001），诊断准确性差距在 16%-25% 之间。虽然模型在简单的阑尾炎诊断中表现较好，但在胆囊炎等其他病理的诊断中表现不佳，特别是 Meditron 模型在胆囊炎诊断中失败，常将患者诊断为"胆结石"。专业医学 LLM 在整体表现上未显著优于其他模型，而当 LLM 需要自行收集所有信息时，其表现会进一步下降。图｜全信息提供条件下的诊断准确率。数据基于 MIMIC-CDM-FI 的一个子集（n=80），每个条形图上方显示了平均诊断准确率，垂直线表示标准偏差。LLM 的平均表现显著较差（P < 0.001），尤其是在胆囊炎（P < 0.001）和憩室炎（P < 0.001）方面。 图｜自主临床决策场景下的诊断准确率。对比全信息提供场景下，模型判断正确率整体都有明显下降。LLM 在诊断阑尾炎时表现最好，但在胆囊炎、憩室炎和胰腺炎这三种病理上表现较差。 2.LLM 的临床决策草率且不安全研究团队发现，LLM 遵循诊断指南方面表现不佳，容易遗漏患者的重要身体信息。此外在安排患者必要实验室检查方面缺乏一致性。LLM 在解读实验室结果方面也有明显不足。这表明它们在没有充分了解患者病例的情况下草率诊断，对患者健康构成严重风险。图｜LLM 推荐治疗方式评估。期望的治疗方案是根据临床指南和数据集中患者实际接受的治疗确定的。在 808 名患者中，Llama 2 Chat 正确诊断了 603 人。在这 603 名患者中，Llama 2 Chat 在 97.5% 的情况下正确推荐了阑尾切除术。 3.LLM 仍需要大量的医生临床监督另外，当前所有的 LLM 在遵循基础医学指导方面表现不佳，在每 2-4 个病例中出现错误，且每 2-5 个病例中就会虚构不存在的指导。图｜LLM 在不同数据量下的表现。该研究比较了每个模型在使用所有诊断信息与仅使用单一诊断检查和现病史的表现。对于几乎所有疾病，在 MIMIC-CDM-FI 数据集中，提供所有信息并未导致最佳表现。这表明，LLM 无法集中于关键事实，当提供过多信息时，表现会下降。 该研究还表明，为每个模型提供最佳性能的信息顺序对于每种病理都是不同的，这无疑进一步增大了后续优化模型的难度。在没有广泛的医生监督和事先评估的情况下，无法可靠地完成任务。总的来说，它们在遵循指令、处理信息的顺序以及对相关信息的处理上存在明细缺陷，因此需要大量临床监督以确保其正确运行。虽然该研究发现了 LLM 在临床诊断下的各种问题，但 LLM 在医学方面的前景依然巨大，很可能更适合根据病史和测试结果做出诊断。研究团队认为，该研究工作在以下两个方面具有进一步拓展的空间 ： 模型验证和测试：进一步的研究应集中在对 LLM 进行更全面的验证和测试，以确保其在真实临床环境中的有效性。 多学科合作：建议将 AI 专家与临床医生密切合作，以共同开发和优化适用于临床实践的 LLM，并解决实际应用中的问题。 AI 在如何颠覆医疗？不只是上述研究，来自美国国立卫生研究院（NIH）的团队及其合作者，也发现了类似的问题—— 在回答 207 个图像挑战问题时，GPT-4V 虽然在选择正确诊断方面得分很高，但在描述医学图像和解释诊断背后的原因方面经常会犯错。尽管 AI 目前还远不如人类专业医生，但其在医疗行业的研究与应用，一直是国内外科技公司和科研高校竞相角逐的重要"战场"。例如，谷歌发布的医疗 AI 大模型 Med-PaLM2，具备了强大的诊断和治疗能力，同时也是第一个在 MedQA 测试集中达到"专家"水平的大模型。清华大学研究团队提出的 "智能体医院"（Agent Hospital），可以模拟治疗疾病的整个过程，其核心目标是让医生智能体学会如何在模拟环境中治疗疾病，甚至可以不断从成功和失败的病例中积累经验实现自我进化。哈佛医学院领衔开发了一个用于人类病理学的视觉语言通用 AI 助手——PathChat，其能够在近 90% 的情况下从活检切片中正确识别疾病，其表现优于 GPT-4V 等目前市面上的通用 AI 模型和专业医疗模型。图｜指令微调数据集和 PathChat 构建 日前，OpenAI CEO Sam Altman 参与成立了一家新公司 Thrive AI Health，旨在借助 AI 技术帮助人们改善日常习惯，降低慢性病死亡率。他们称，超个性化的 AI 技术可以有效地改善人们的生活习惯，从而预防和管理慢性疾病，减轻医疗经济负担，并提高人们的整体健康水平。如今，AI 在医疗行业的应用已经从最初的实验阶段逐渐过渡到实际应用阶段，但距离帮助临床医生增强他们的能力、改善临床决策，甚至直接取代，或许依旧有很长的一段路要走。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
Llama 3.1 405B也要被网友玩坏了
Llama 3.1 405B也要被网友玩坏了
https://www.eiefun.com/5285.html
Llama 3.1 405B badcase —> 锯齿状智能 —> LLM的Tokenization局限 Llama 3.1 405B给出的答案"啄木鸟有着一只长长的美丽的脖子"，多了" 一 "少了" 那 " Llama 3.1 405B回答： 9.11比9.9大 Llama 3.1 405B回答： 在单词 "Strawberry" 中，有两个 "R" Llama 3.1 405B回答了不该输出的内容 Llama 3.1 405B对于"汤姆克鲁斯反着输出"给出的答案"斯鲁克姆唐" 对于" 9.11和9.9谁大？ "、"Strawberry里有几个r"这类看似非常简单但是4050亿参数的大模型Llama 3.1却答不对，为什么尼？ AI大佬 Andrej Karpathy 称这一现象为锯齿状智能（Jagged Intelligence）：先进的模型能够解决一些极其复杂和令人印象深刻的问题，但它们在面对一些看似简单的问题时却可能表现得相当愚蠢。 锯齿智能的一个形象化理解 AI大佬Andrej Karpathy观点概况： LLM在某些领域表现出色，而在其他领域却可能遭遇灾难性的失败，这种表现的不一致性并不总是容易预测的 目前面临的最大问题是缺乏"认知自我知识"，即模型缺乏对自身认知过程的理解。为了解决这个问题，需要在模型的后训练阶段采用更复杂的方法，而不是幼稚的"模仿人类贴标者并取得成功"的解决方案 Llama 3.1论文中关于缓解幻觉的部分，作为一个例证。在生产环境中使用LLM时，应该专注于它们擅长的任务，同时注意可能产生的不准确信息，并保持人类的参与 对于为什么会出现锯齿状智能：" 9.11和9.9谁大？ "、"Strawberry里有几个r"答不对；AI大佬Andrej Karpathy做了更进一步解释，给出了背后的原因：LLM的Tokenization。 为了帮助解释LLM词元化处理的奇特之处，Karpathy认为将每个词元翻译成一个独特的表情符号可能会很有趣。这更接近于真相——每个词元基本上就是它自己的小象形文字，LLM必须从头开始学习，根据训练数据的统计规律来理解这一切意味着什么。 最终，问题："单词草莓（strawberry）中有多少个字母'r' ?"就变成一串"外星文"： "LLM眼里的世界"宛如一个来到地球上的外星人： 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5285.html
Llama 3.1 405B badcase —> 锯齿状智能 —> LLM的Tokenization局限 Llama 3.1 405B给出的答案"啄木鸟有着一只长长的美丽的脖子"，多了" 一 "少了" 那 " Llama 3.1 405B回答： 9.11比9.9大 Llama 3.1 405B回答： 在单词 "Strawberry" 中，有两个 "R" Llama 3.1 405B回答了不该输出的内容 Llama 3.1 405B对于"汤姆克鲁斯反着输出"给出的答案"斯鲁克姆唐" 对于" 9.11和9.9谁大？ "、"Strawberry里有几个r"这类看似非常简单但是4050亿参数的大模型Llama 3.1却答不对，为什么尼？ AI大佬 Andrej Karpathy 称这一现象为锯齿状智能（Jagged Intelligence）：先进的模型能够解决一些极其复杂和令人印象深刻的问题，但它们在面对一些看似简单的问题时却可能表现得相当愚蠢。 锯齿智能的一个形象化理解 AI大佬Andrej Karpathy观点概况： LLM在某些领域表现出色，而在其他领域却可能遭遇灾难性的失败，这种表现的不一致性并不总是容易预测的 目前面临的最大问题是缺乏"认知自我知识"，即模型缺乏对自身认知过程的理解。为了解决这个问题，需要在模型的后训练阶段采用更复杂的方法，而不是幼稚的"模仿人类贴标者并取得成功"的解决方案 Llama 3.1论文中关于缓解幻觉的部分，作为一个例证。在生产环境中使用LLM时，应该专注于它们擅长的任务，同时注意可能产生的不准确信息，并保持人类的参与 对于为什么会出现锯齿状智能：" 9.11和9.9谁大？ "、"Strawberry里有几个r"答不对；AI大佬Andrej Karpathy做了更进一步解释，给出了背后的原因：LLM的Tokenization。 为了帮助解释LLM词元化处理的奇特之处，Karpathy认为将每个词元翻译成一个独特的表情符号可能会很有趣。这更接近于真相——每个词元基本上就是它自己的小象形文字，LLM必须从头开始学习，根据训练数据的统计规律来理解这一切意味着什么。 最终，问题："单词草莓（strawberry）中有多少个字母'r' ?"就变成一串"外星文"： "LLM眼里的世界"宛如一个来到地球上的外星人： 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
在产品描述中使用术语 AI 会降低购买意愿
在产品描述中使用术语 AI 会降低购买意愿
https://www.solidot.org/story?sid=78852
华盛顿州立大学的一项研究发现，在产品描述中使用术语 AI 会降低消费者的购买意愿。研究人员调查了逾千名美国成年人，发现在产品描述中提及 AI 会削弱情感信任，降低购买意愿。例如，参与者查看了与智能电视相关的描述，一组的描述中有 AI，另一组没有，结果看到产品描述含有 AI 的一组人表示他们不太可能购买这款电视机。对于高风险的产品和服务如医疗设备和金融服务，术语 AI 会激起更加强烈的负面反应。 https://news.wsu.edu/press-release/2024/07/30/using-the-term-artificial-intelligence-in-product-descriptions-reduces-purchase-intentions/ https://news.wsu.edu/press-release/2024/07/30/using-the-term-artificial-intelligence-in-product-descriptions-reduces-purchase-intentions/ Using the term 'artificial intelligence' in product descriptions reduces purchase intentions July 30, 2024 By Eric Hollenbeck, Carson College of Business PULLMAN, Wash. – Companies may unintentionally hurt their sales by including the words "artificial intelligence" when describing their offerings that use the technology, according to a study led by Washington State University researchers. In the study, published in the Journal of Hospitality Marketing & Management, researchers conducted experimental surveys with more than 1,000 adults in the U.S. to evaluate the relationship between AI disclosure and consumer behavior. The findings consistently showed products described as using artificial intelligence were less popular, according to Mesut Cicek, clinical assistant professor of marketing and lead author of the study. "When AI is mentioned, it tends to lower emotional trust, which in turn decreases purchase intentions," he said. "We found emotional trust plays a critical role in how consumers perceive AI-powered products." In the experiments, the researchers included questions and descriptions across diverse product and service categories. For example, in one experiment, participants were presented with identical descriptions of smart televisions, the only difference being the term "artificial intelligence" was included for one group and omitted for the other. The group that saw AI included in the product description indicated they were less likely to purchase the television. Researchers also discovered that negative response to AI disclosure was even stronger for "high-risk" products and services, those which people commonly feel more uncertain or anxious about buying, such as expensive electronics, medical devices or financial services. Because failure carries more potential risk, which may include monetary loss or danger to physical safety, mentioning AI for these types of descriptions may make consumers more wary and less likely to purchase, according to Cicek. "We tested the effect across eight different product and service categories, and the results were all the same: it's a disadvantage to include those kinds of terms in the product descriptions," Cicek said. Cicek said the findings provide valuable insights for companies. "Marketers should carefully consider how they present AI in their product descriptions or develop strategies to increase emotional trust. Emphasizing AI may not always be beneficial, particularly for high-risk products. Focus on describing the features or benefits and avoid the AI buzzwords," he said. In addition to Cicek, the study included co-authors Dogan Gursoy, professor of hospitality at WSU, and Lu Lu, associate professor at Temple University's Fox School of Business and Management. Media ContactsMesut Cicek, WSU Carson College of Business, 509-335-3275, mesut.cicek@wsu.eduSarah Druffel, WSU Carson College of Business Communications, 509-335-4345, sarah.druffel@wsu.edu Categories: Politics & Society, Press Releases, Research
-- gReader Pro
https://www.solidot.org/story?sid=78852
华盛顿州立大学的一项研究发现，在产品描述中使用术语 AI 会降低消费者的购买意愿。研究人员调查了逾千名美国成年人，发现在产品描述中提及 AI 会削弱情感信任，降低购买意愿。例如，参与者查看了与智能电视相关的描述，一组的描述中有 AI，另一组没有，结果看到产品描述含有 AI 的一组人表示他们不太可能购买这款电视机。对于高风险的产品和服务如医疗设备和金融服务，术语 AI 会激起更加强烈的负面反应。 https://news.wsu.edu/press-release/2024/07/30/using-the-term-artificial-intelligence-in-product-descriptions-reduces-purchase-intentions/ https://news.wsu.edu/press-release/2024/07/30/using-the-term-artificial-intelligence-in-product-descriptions-reduces-purchase-intentions/ Using the term 'artificial intelligence' in product descriptions reduces purchase intentions July 30, 2024 By Eric Hollenbeck, Carson College of Business PULLMAN, Wash. – Companies may unintentionally hurt their sales by including the words "artificial intelligence" when describing their offerings that use the technology, according to a study led by Washington State University researchers. In the study, published in the Journal of Hospitality Marketing & Management, researchers conducted experimental surveys with more than 1,000 adults in the U.S. to evaluate the relationship between AI disclosure and consumer behavior. The findings consistently showed products described as using artificial intelligence were less popular, according to Mesut Cicek, clinical assistant professor of marketing and lead author of the study. "When AI is mentioned, it tends to lower emotional trust, which in turn decreases purchase intentions," he said. "We found emotional trust plays a critical role in how consumers perceive AI-powered products." In the experiments, the researchers included questions and descriptions across diverse product and service categories. For example, in one experiment, participants were presented with identical descriptions of smart televisions, the only difference being the term "artificial intelligence" was included for one group and omitted for the other. The group that saw AI included in the product description indicated they were less likely to purchase the television. Researchers also discovered that negative response to AI disclosure was even stronger for "high-risk" products and services, those which people commonly feel more uncertain or anxious about buying, such as expensive electronics, medical devices or financial services. Because failure carries more potential risk, which may include monetary loss or danger to physical safety, mentioning AI for these types of descriptions may make consumers more wary and less likely to purchase, according to Cicek. "We tested the effect across eight different product and service categories, and the results were all the same: it's a disadvantage to include those kinds of terms in the product descriptions," Cicek said. Cicek said the findings provide valuable insights for companies. "Marketers should carefully consider how they present AI in their product descriptions or develop strategies to increase emotional trust. Emphasizing AI may not always be beneficial, particularly for high-risk products. Focus on describing the features or benefits and avoid the AI buzzwords," he said. In addition to Cicek, the study included co-authors Dogan Gursoy, professor of hospitality at WSU, and Lu Lu, associate professor at Temple University's Fox School of Business and Management. Media ContactsMesut Cicek, WSU Carson College of Business, 509-335-3275, mesut.cicek@wsu.eduSarah Druffel, WSU Carson College of Business Communications, 509-335-4345, sarah.druffel@wsu.edu Categories: Politics & Society, Press Releases, Research
-- gReader Pro
阿根廷将使用 AI 预测未来的犯罪
阿根廷将使用 AI 预测未来的犯罪
https://www.solidot.org/story?sid=78868
阿根廷安全部宣布了使用 AI 预测未来犯罪的计划，此举被批评可能危及公民权利。阿根廷极右翼总统 Javier Milei 本周成立了一个新部门 Artificial Intelligence Applied to Security Unit，将使用机器学习算法分析历史犯罪数据以预测未来犯罪。该部门预计还将部署面部识别软件识别通缉犯，巡视社交媒体，分析实时监控探头以发现可疑活动。虽然安全部表示新部门将有助于"发现潜在威胁、识别犯罪集团动向或预测骚乱"，但类似《少数派报告》的方法仍然给人们敲响了警钟。专家担心特定社会群体可能会受到该技术的过度审查，以及对谁能访问这些信息表达了担忧。国际特赦组织警告说，大规模监控影响言论自由，鼓励自我审查，危及人权。 https://slashdot.org/story/24/08/01/194230/argentina-will-use-ai-to-predict-future-crimes https://slashdot.org/story/24/08/01/194230/argentina-will-use-ai-to-predict-future-crimes 174647318 story Argentina Will Use AI To 'Predict Future Crimes' (theguardian.com) 51 Posted by msmash on Thursday August 01, 2024 @03:25PM from the scientists-were-so-preoccupied dept. Argentina's security forces have announced plans to use AI to "predict future crimes" in a move experts have warned could threaten citizens' rights. From a report: The country's far-right president Javier Milei this week created the Artificial Intelligence Applied to Security Unit, which the legislation says will use "machine-learning algorithms to analyse historical crime data to predict future crimes." It is also expected to deploy facial recognition software to identify "wanted persons," patrol social media, and analyse real-time security camera footage to detect suspicious activities. While the ministry of security has said the new unit will help to "detect potential threats, identify movements of criminal groups or anticipate disturbances," the Minority Report-esque resolution has sent alarm bells ringing among human rights organisations. Experts fear that certain groups of society could be overly scrutinised by the technology, and have also raised concerns over who -- and how many security forces -- will be able to access the information. ← You may like to read: → Microsoft Now Lists OpenAI as a Competitor in AI and Search ChatGPT Leans Liberal, Research Shows Amazon CEO Says 'It's Probably Not Going To Work Out' For Employees Who Defy Return-to-Office Policy China is Building Nuclear Reactors Faster Than Any Other Country Many People Feel They Work In Pointless, Meaningless Jobs, Research Confirms Musk Predicts AI Will Overtake Human Intelligence Next Year Senators Propose 'Digital Replication Right' For Likeness, Extending 70 Years After Death
-- gReader Pro
https://www.solidot.org/story?sid=78868
阿根廷安全部宣布了使用 AI 预测未来犯罪的计划，此举被批评可能危及公民权利。阿根廷极右翼总统 Javier Milei 本周成立了一个新部门 Artificial Intelligence Applied to Security Unit，将使用机器学习算法分析历史犯罪数据以预测未来犯罪。该部门预计还将部署面部识别软件识别通缉犯，巡视社交媒体，分析实时监控探头以发现可疑活动。虽然安全部表示新部门将有助于"发现潜在威胁、识别犯罪集团动向或预测骚乱"，但类似《少数派报告》的方法仍然给人们敲响了警钟。专家担心特定社会群体可能会受到该技术的过度审查，以及对谁能访问这些信息表达了担忧。国际特赦组织警告说，大规模监控影响言论自由，鼓励自我审查，危及人权。 https://slashdot.org/story/24/08/01/194230/argentina-will-use-ai-to-predict-future-crimes https://slashdot.org/story/24/08/01/194230/argentina-will-use-ai-to-predict-future-crimes 174647318 story Argentina Will Use AI To 'Predict Future Crimes' (theguardian.com) 51 Posted by msmash on Thursday August 01, 2024 @03:25PM from the scientists-were-so-preoccupied dept. Argentina's security forces have announced plans to use AI to "predict future crimes" in a move experts have warned could threaten citizens' rights. From a report: The country's far-right president Javier Milei this week created the Artificial Intelligence Applied to Security Unit, which the legislation says will use "machine-learning algorithms to analyse historical crime data to predict future crimes." It is also expected to deploy facial recognition software to identify "wanted persons," patrol social media, and analyse real-time security camera footage to detect suspicious activities. While the ministry of security has said the new unit will help to "detect potential threats, identify movements of criminal groups or anticipate disturbances," the Minority Report-esque resolution has sent alarm bells ringing among human rights organisations. Experts fear that certain groups of society could be overly scrutinised by the technology, and have also raised concerns over who -- and how many security forces -- will be able to access the information. ← You may like to read: → Microsoft Now Lists OpenAI as a Competitor in AI and Search ChatGPT Leans Liberal, Research Shows Amazon CEO Says 'It's Probably Not Going To Work Out' For Employees Who Defy Return-to-Office Policy China is Building Nuclear Reactors Faster Than Any Other Country Many People Feel They Work In Pointless, Meaningless Jobs, Research Confirms Musk Predicts AI Will Overtake Human Intelligence Next Year Senators Propose 'Digital Replication Right' For Likeness, Extending 70 Years After Death
-- gReader Pro
2024年8月2日 星期五
OpenTelemetry 入門指南：建立全面可觀測性架構 | 【第 141 期｜本期新書】適用於任何領域、技術或平台的API設計模式
OpenTelemetry 入門指南：建立全面可觀測性架構 | 【第 141 期｜本期新書】適用於任何領域、技術或平台的API設計模式
https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9786263338739/2/01060191112120c4-b6aad40f-15e4-476a-bc2c-6f67be232de7-000000/gAXP6j7T6Ctss4ciV1JLvbvScRI=170
OpenTelemetry 入門指南：建立全面可觀測性架構 本書探討如何透過系統可觀測性應對日益複雜的系統架構，如微服務及雲端環境。 more https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9786263338739/2/01060191112120c4-b6aad40f-15e4-476a-bc2c-6f67be232de7-000000/gAXP6j7T6Ctss4ciV1JLvbvScRI=170 商品描述 本書內容改編自第14屆iThome鐵人賽DevOps組佳作系列文章 《淺談DevOps與Observability》 【本書特色】 本書探討如何透過系統可觀測性應對日益複雜的系統架構，如微服務及雲端環境。隨著系統架構的演進，傳統的地端管理方式已不敷使用，作者提供一系列基於可觀測性工程的實踐方法來解決營運中遇到的問題，這些方法不僅適用於技術人員日常的維護工作，也便於團隊引入並落實。 書中重點介紹了如何使用OpenTelemetry標準框架結合Grafana Labs提供的開源工具，如Grafana、Loki、Tempo及Prometheus來收集、組裝和呈現遙測數據。這些工具和框架的配合使用，能夠有效地增強系統的可觀測性，並以儀表板直觀展示系統行為數據，從而提供深入分析。 此外，本書也介紹了k6這一系統負載測試工具，它能幫助團隊在開發週期中建立多種測試場景，即時顯示性能指標，進而在預備環境中驗證系統是否能達到預定的SLO。這不僅優化了開發流程，也為系統穩定性提供了保障。 最後，作者結合自身在使用OpenTelemetry的實務經驗，並且作為「The Observability Engineering」一書的譯者，引導讀者理解OpenTelemetry的運用方式及其在系統監控中的獨特價值，展示了如何通過增強系統的可觀測性來滿足當前與未來的監控需求。 【專業推薦】 從基礎理論說明到實踐，甚至是一步一步完成 Demo 的工作坊，這本書都一應俱全。雖然書名是《OpenTelemetry 入門指南》，但其內容的完整程度，對於初學 OpenTelemetry，或是想導入 OpenTelemetry 到手上系統的團隊，都能滿足需求。相信這本書一定是學習 OpenTelemetry 的最佳選擇！ OAuth 2.0 從入門到實戰作者 Miles 在本書中，雷N 從 OpenTelemetry 的歷史背景到具體架構及其核心元件，再到可觀測性重要支柱，進行了詳細的闡述。隨後，他通過 OpenTelemetry Collector 的功能，將理論與實踐結合，展示了如何在實際項目中應用 OpenTelemetry。不僅如此，他還進一步整合了在可觀測性領域中備受推崇的 Grafana Stack，大大提升了 OpenTelemetry 和可觀測性的實用性。 Grafana 傳教士 Mike Hsu 作者簡介 雷N 作者擁有十年後端系統的設計與開發經驗，目前以 Go 為主要程式語言進行開發。在工作經驗上，作者經歷過單體服務的演化至微服務架構，以及從地端環境轉移到雲端的容器託管環境。透過這段深入的實務應用過程，作者深刻體會到現代複雜且動態系統架構下，主動強化系統的可觀測性能力對整個開發團隊的重要性。因此，此著作主要從後端工程師的角度出發，旨在幫助讀者全面理解和深入掌握 OpenTelemetry 的技術和應用。 > Blog︰https://ganhua.wang/ 目錄大綱 第一部份 : 從傳統到轉型：探索現代 IT 架構 CH 1 : 現代化系統架構的演化 1.1 單體應用的 Client/Server 架構 1.2 分層式元件化應用時代 1.3 SOA 服務導向架構 1.4 微服務架構 CH 2 : DevOps 簡介 2.1 DevOps 的起源與定義 2.2 DevOps 的核心價值觀 CAMS 2.3 DevOps 研究與評估組織 DORA CH 3 : 什麼是可觀測性 Observability 3.1 可觀測性一詞的起源 3.2 可觀測性的概念與重要性 3.3 可觀測性與監控的區別 3.4 可觀測性的基本遙測資料 第二部份 : 可觀測性開源標準 OpenTelemetry CH 4：淺談 OpenTelemetry 4.1 OpenTelemetry 的前世今生 4.2 簡介 OpenTelemetry 4.3 OpenTelemetry 客戶端核心元件 4.4 OpenTelemetry 的功能狀態與版本管理 4.5 OpenTelemetry 的願景 CH 5：OpenTelemetry 信號 5.1 Signal 5.2 Logs 5.3 Metrics 5.4 Trace 5.5 Baggage CH6： Trace SDK 與 Metric SDK介紹 6.1 Span 取樣器 6.2 Span 處理器 6.3 Span 匯出器 6.4 指標樣本 CH7：OpenTelemetry Collector 7.1 OpenTelemetry Collector 7.2 Collector 流水線與組成 7.3 遙測資料接收器 7.4 遙測資料處理器 7.5 遙測資料匯出器 7.6 流水線連結器 7.7 Collector 擴展功能 7.8 綜合演示 CH 8：動手玩OpenTelemetry Demo專案 8.1 環境建置 8.2 架構與設計 8.3 看見問題 8.4 Grafana Demo 儀表板說明 第三部分：Grafana 開源工具應用 CH 9：Grafana 基本概念與應用 9.1 介紹 Grafana 9.2 初次使用 Grafana 9.3 整合 Grafana 資料來源 9.4 Grafana 儀表板 9.5 Grafana 主動配置 CH 10：Grafana Loki 10.1 介紹 Grafana Loki 10.2 Loki LogQL 10.3 Loki 與 Collector 和 Grafana 的整合 CH11：Grafana Tempo 11.1 介紹 Grafana Tempo 11.2 TraceQL 11.3 追蹤與日誌的整合 11.4 追蹤與指標的關聯 CH12：改造 OpenTelemetry Demo專案 12.1 整合日誌與追蹤 12.2 整合指標與追蹤 第四部分：負載測試工具 CH13：Grafana k6‧系統測試神器 13.1 Grafana k6 簡介 13.2 各種類型的系統測試 13.3 k6 與 Postman 和 OpenAPI 的整合 13.4 k6 與 Github Action 的整合 13.5 OpenTelemetry Demo 專案改造計畫 - 2 附錄 Collector 內建指標
-- gReader Pro
https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9786263338739/2/01060191112120c4-b6aad40f-15e4-476a-bc2c-6f67be232de7-000000/gAXP6j7T6Ctss4ciV1JLvbvScRI=170
OpenTelemetry 入門指南：建立全面可觀測性架構 本書探討如何透過系統可觀測性應對日益複雜的系統架構，如微服務及雲端環境。 more https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9786263338739/2/01060191112120c4-b6aad40f-15e4-476a-bc2c-6f67be232de7-000000/gAXP6j7T6Ctss4ciV1JLvbvScRI=170 商品描述 本書內容改編自第14屆iThome鐵人賽DevOps組佳作系列文章 《淺談DevOps與Observability》 【本書特色】 本書探討如何透過系統可觀測性應對日益複雜的系統架構，如微服務及雲端環境。隨著系統架構的演進，傳統的地端管理方式已不敷使用，作者提供一系列基於可觀測性工程的實踐方法來解決營運中遇到的問題，這些方法不僅適用於技術人員日常的維護工作，也便於團隊引入並落實。 書中重點介紹了如何使用OpenTelemetry標準框架結合Grafana Labs提供的開源工具，如Grafana、Loki、Tempo及Prometheus來收集、組裝和呈現遙測數據。這些工具和框架的配合使用，能夠有效地增強系統的可觀測性，並以儀表板直觀展示系統行為數據，從而提供深入分析。 此外，本書也介紹了k6這一系統負載測試工具，它能幫助團隊在開發週期中建立多種測試場景，即時顯示性能指標，進而在預備環境中驗證系統是否能達到預定的SLO。這不僅優化了開發流程，也為系統穩定性提供了保障。 最後，作者結合自身在使用OpenTelemetry的實務經驗，並且作為「The Observability Engineering」一書的譯者，引導讀者理解OpenTelemetry的運用方式及其在系統監控中的獨特價值，展示了如何通過增強系統的可觀測性來滿足當前與未來的監控需求。 【專業推薦】 從基礎理論說明到實踐，甚至是一步一步完成 Demo 的工作坊，這本書都一應俱全。雖然書名是《OpenTelemetry 入門指南》，但其內容的完整程度，對於初學 OpenTelemetry，或是想導入 OpenTelemetry 到手上系統的團隊，都能滿足需求。相信這本書一定是學習 OpenTelemetry 的最佳選擇！ OAuth 2.0 從入門到實戰作者 Miles 在本書中，雷N 從 OpenTelemetry 的歷史背景到具體架構及其核心元件，再到可觀測性重要支柱，進行了詳細的闡述。隨後，他通過 OpenTelemetry Collector 的功能，將理論與實踐結合，展示了如何在實際項目中應用 OpenTelemetry。不僅如此，他還進一步整合了在可觀測性領域中備受推崇的 Grafana Stack，大大提升了 OpenTelemetry 和可觀測性的實用性。 Grafana 傳教士 Mike Hsu 作者簡介 雷N 作者擁有十年後端系統的設計與開發經驗，目前以 Go 為主要程式語言進行開發。在工作經驗上，作者經歷過單體服務的演化至微服務架構，以及從地端環境轉移到雲端的容器託管環境。透過這段深入的實務應用過程，作者深刻體會到現代複雜且動態系統架構下，主動強化系統的可觀測性能力對整個開發團隊的重要性。因此，此著作主要從後端工程師的角度出發，旨在幫助讀者全面理解和深入掌握 OpenTelemetry 的技術和應用。 > Blog︰https://ganhua.wang/ 目錄大綱 第一部份 : 從傳統到轉型：探索現代 IT 架構 CH 1 : 現代化系統架構的演化 1.1 單體應用的 Client/Server 架構 1.2 分層式元件化應用時代 1.3 SOA 服務導向架構 1.4 微服務架構 CH 2 : DevOps 簡介 2.1 DevOps 的起源與定義 2.2 DevOps 的核心價值觀 CAMS 2.3 DevOps 研究與評估組織 DORA CH 3 : 什麼是可觀測性 Observability 3.1 可觀測性一詞的起源 3.2 可觀測性的概念與重要性 3.3 可觀測性與監控的區別 3.4 可觀測性的基本遙測資料 第二部份 : 可觀測性開源標準 OpenTelemetry CH 4：淺談 OpenTelemetry 4.1 OpenTelemetry 的前世今生 4.2 簡介 OpenTelemetry 4.3 OpenTelemetry 客戶端核心元件 4.4 OpenTelemetry 的功能狀態與版本管理 4.5 OpenTelemetry 的願景 CH 5：OpenTelemetry 信號 5.1 Signal 5.2 Logs 5.3 Metrics 5.4 Trace 5.5 Baggage CH6： Trace SDK 與 Metric SDK介紹 6.1 Span 取樣器 6.2 Span 處理器 6.3 Span 匯出器 6.4 指標樣本 CH7：OpenTelemetry Collector 7.1 OpenTelemetry Collector 7.2 Collector 流水線與組成 7.3 遙測資料接收器 7.4 遙測資料處理器 7.5 遙測資料匯出器 7.6 流水線連結器 7.7 Collector 擴展功能 7.8 綜合演示 CH 8：動手玩OpenTelemetry Demo專案 8.1 環境建置 8.2 架構與設計 8.3 看見問題 8.4 Grafana Demo 儀表板說明 第三部分：Grafana 開源工具應用 CH 9：Grafana 基本概念與應用 9.1 介紹 Grafana 9.2 初次使用 Grafana 9.3 整合 Grafana 資料來源 9.4 Grafana 儀表板 9.5 Grafana 主動配置 CH 10：Grafana Loki 10.1 介紹 Grafana Loki 10.2 Loki LogQL 10.3 Loki 與 Collector 和 Grafana 的整合 CH11：Grafana Tempo 11.1 介紹 Grafana Tempo 11.2 TraceQL 11.3 追蹤與日誌的整合 11.4 追蹤與指標的關聯 CH12：改造 OpenTelemetry Demo專案 12.1 整合日誌與追蹤 12.2 整合指標與追蹤 第四部分：負載測試工具 CH13：Grafana k6‧系統測試神器 13.1 Grafana k6 簡介 13.2 各種類型的系統測試 13.3 k6 與 Postman 和 OpenAPI 的整合 13.4 k6 與 Github Action 的整合 13.5 OpenTelemetry Demo 專案改造計畫 - 2 附錄 Collector 內建指標
-- gReader Pro
OrangeHD：免費無版稅影片素材，輕鬆下載超過 500 部高品質影片
OrangeHD：免費無版稅影片素材，輕鬆下載超過 500 部高品質影片
https://free.com.tw/orangehd/
OrangeHD 是一個專注於免費、無版稅影片素材的國外網站，收錄包括飛機、動植物、船舶、聖誕節、城市、工程、軍事、運動、自然、恐怖、慢動作、雪景、科技、延時攝影、玩具、旅遊等各種主題，一共有將近 500 個影片！雖然 OrangeHD 網站看起來有點陽春（上個世代的 WordPress 佈景主題），不過使用者可以在沒有註冊登入的情況快速預覽、下載需要的影片素材。 如同大多數的免費影片網站，OrangeHD 也提供分類、標籤和搜尋檢索方式，使用者在網站中找到有興趣的影片，進入影片頁面後就能利用 YouTube 播放器進行預覽，網站會有影片的相關說明描述，也能找到對應的下載鏈結（格式大多為 MP4），免費下載後使用於商業或是商業用途。 要注意的是 OrangeHD 提供的影片採用 CC 授權，有些可用於商業用途，有些僅限於非商業用途，使用時必須標示出處來源，如果開放商用會提供 Pond5 鏈結，能依照網站上的標價付費取得能用於商業用途的影片素材，有興趣的朋友可以研究一下。 網站名稱：OrangeHD網站鏈結：https://www.orangehd.com/ 使用教學 STEP 1 開啟 OrangeHD 網站後就能從上方選單、側邊欄分類開始尋找影片素材，這些影片看起來都很有親切感，沒有太複雜的運鏡或拍攝手法，更容易被一般使用者使用。 STEP 2 進入影片的詳細資訊頁面，會看到 YouTube 影片播放器，點擊就能快速播放、預覽，此外，頁面還會有影片說明描述、標籤等相關資訊。 往下捲動就會看到檔案詳細資訊，包括影片格式、解析度、影片長度和檔案大小，點選下載按鈕就能夠取得影片檔，非常簡單！ 每個影片的授權會一併顯示於下方，例如有的影片不能免費使用於商業用途，而且必須要在遵守授權的情況下使用（非商業用途、標示出處來源），使用時記得多留意一下以免有侵權疑慮。 STEP 3 有些 OrangeHD 影片素材僅限於非商業使用，如果要商用的話會提供 Pond5 頁面鏈結，點選後連到目標頁面就會有價格資訊，購買後即可將影片使用在商業用途，這也是網站維持營運的方式之一。 值得一試的三個理由： OrangeHD 提供多達 500 部免費影片，涵蓋飛機、動植物、城市風景等多種主題 使用者可直接預覽並下載影片素材，無需註冊登入，省時又方便 清晰的影片授權資訊，幫助使用者了解商業與非商業用途的限制，避免侵權風險 這篇文章「OrangeHD：免費無版稅影片素材，輕鬆下載超過 500 部高品質影片」最早出現在免費資源網路社群，請追蹤 Google 新聞、Facebook、X (Twitter) 或訂閱 RSS feed 獲取更多科技新知及免費資源相關介紹教學。
-- gReader Pro
https://free.com.tw/orangehd/
OrangeHD 是一個專注於免費、無版稅影片素材的國外網站，收錄包括飛機、動植物、船舶、聖誕節、城市、工程、軍事、運動、自然、恐怖、慢動作、雪景、科技、延時攝影、玩具、旅遊等各種主題，一共有將近 500 個影片！雖然 OrangeHD 網站看起來有點陽春（上個世代的 WordPress 佈景主題），不過使用者可以在沒有註冊登入的情況快速預覽、下載需要的影片素材。 如同大多數的免費影片網站，OrangeHD 也提供分類、標籤和搜尋檢索方式，使用者在網站中找到有興趣的影片，進入影片頁面後就能利用 YouTube 播放器進行預覽，網站會有影片的相關說明描述，也能找到對應的下載鏈結（格式大多為 MP4），免費下載後使用於商業或是商業用途。 要注意的是 OrangeHD 提供的影片採用 CC 授權，有些可用於商業用途，有些僅限於非商業用途，使用時必須標示出處來源，如果開放商用會提供 Pond5 鏈結，能依照網站上的標價付費取得能用於商業用途的影片素材，有興趣的朋友可以研究一下。 網站名稱：OrangeHD網站鏈結：https://www.orangehd.com/ 使用教學 STEP 1 開啟 OrangeHD 網站後就能從上方選單、側邊欄分類開始尋找影片素材，這些影片看起來都很有親切感，沒有太複雜的運鏡或拍攝手法，更容易被一般使用者使用。 STEP 2 進入影片的詳細資訊頁面，會看到 YouTube 影片播放器，點擊就能快速播放、預覽，此外，頁面還會有影片說明描述、標籤等相關資訊。 往下捲動就會看到檔案詳細資訊，包括影片格式、解析度、影片長度和檔案大小，點選下載按鈕就能夠取得影片檔，非常簡單！ 每個影片的授權會一併顯示於下方，例如有的影片不能免費使用於商業用途，而且必須要在遵守授權的情況下使用（非商業用途、標示出處來源），使用時記得多留意一下以免有侵權疑慮。 STEP 3 有些 OrangeHD 影片素材僅限於非商業使用，如果要商用的話會提供 Pond5 頁面鏈結，點選後連到目標頁面就會有價格資訊，購買後即可將影片使用在商業用途，這也是網站維持營運的方式之一。 值得一試的三個理由： OrangeHD 提供多達 500 部免費影片，涵蓋飛機、動植物、城市風景等多種主題 使用者可直接預覽並下載影片素材，無需註冊登入，省時又方便 清晰的影片授權資訊，幫助使用者了解商業與非商業用途的限制，避免侵權風險 這篇文章「OrangeHD：免費無版稅影片素材，輕鬆下載超過 500 部高品質影片」最早出現在免費資源網路社群，請追蹤 Google 新聞、Facebook、X (Twitter) 或訂閱 RSS feed 獲取更多科技新知及免費資源相關介紹教學。
-- gReader Pro
2024年8月1日 星期四
实测苹果AI beta版：太难用了，真的
实测苹果AI beta版：太难用了，真的
https://www.eiefun.com/5323.html
昨天一醒来，世超就看到各路媒体发来消息： iOS 18.1 beta 来了，还带来了重磅的通话录音和 Apple Intelligence 苹果 AI 。。。 正当我想升级的时候，发现写了一串话： Apple Intelligence is available on iPhone 15 Pro and iPhone 15 Pro Max.Apple Intelligence is not currently available in the EU or China . 就是苹果AI 需要 15 Pro/ Pro max，且暂不支持欧盟和中国地区。 虽然世超手头拿着的是 15 pro，但我是国行。这意味我即便更新到 iOS 18.1 beta 也体验不到苹果 AI 。 根据已经更新的网友体验，苹果 AI 是锁硬件的。 这意味着哪怕你人在苹果美国总部，手机连着库克亲自给你开的热点，但只要是国行或者欧盟地区的 iPhone，你都不能用。 但为了满足差友们的好奇心，我做了一个下血本的决定—— 偷了差评君一点私房钱，问手机店搞了台美版 iPhone，再让跑腿小哥跨半个杭州送过来。 拿到手后，我第一时间登了美区开发者账号，升级 iOS 18.1 beta，按要求把系统和 Siri 语言选择英语，地区选择美国，最后加入 AI 候补名单。。。 在一阵焦灼等待后，我收到了通知，苹果味的AI 它终于降临了。。。 至于体验如何大伙别急，咱们按顺序，先讲大家期待时间更久的苹果通话录音。 升级到 iOS18.1 后，打电话时左上角会有一个录音按钮，点击就可以开启录音。 不过你可能也听说了，开启录音对方会听到一句非常清晰的提示：此通话将录音。。。 录音之后我们可以在备忘录里找到名为 " 与 xxx 通话 " 的录音文件。 说实话音质非常清晰，硬件部的二狗甚至说这是能直接做成播客的程度。 另外录音也可以转文字，已支持中文但正确率一般。有错字也有漏字，当两人同时说话时那一段干脆就不转文字了。 虽说苹果这次终于把通话录音憋出来了，但大部分网友似乎并不喜欢 " 录音通知对方 " 的设定。。。 要不说还是雷军有商业嗅觉。 刚推的耳机不仅可以独立录音也能语音转文字，还不卡机型，确实为 iPhone 用户设计。。。 OK，现在我们说说苹果AI 。 很遗憾，这次推出的 AI 功能并不多。 根据 9TO5MAC 的说法，这次新功能主要有新版 Siri 、AI 写作工具、邮件支持总结摘要，而 WWDC 上官宣的屏幕感知功能、文生图等重磅功能都没有推出。 我们一个个介绍。 首先，升级后的 Siri 终于变成了跑马灯，对话时屏幕周围会出现一个炫彩光圈。 作为细节狂魔，苹果根据不同唤醒方式还设计了不同 Siri 登场动画。 当你用语音唤醒 Siri 时，动画是从麦克风那里弹出；当长按电源键呼出 Siri 时，动画是从电源键那边弹出。 当然如果你和世超一样，长得帅但社恐，在公共场合羞于和 Siri 对话，那么双击屏幕底端的横条还可以输入文字和 Siri 对话。 该说不说，Siri 这一套动效是真挺帅的。但世超测试下来，我发现 Siri 似乎也就变帅了，智商并没增加。 比如传言 Siri 多了上下文理解能力，但我未测试成功。 我让 Siri 帮我在照片 App 里找一张耳机照片，不知道是我的触发方式不对还是咋滴，它并没有理解我，而是从网络里找一张耳机照片。 我问 Siri 明天要去上海，那边天气怎样，它回答了上海的天气情况。 我接着问：那需要带防晒霜吗？ 结果它根据杭州天气（ 我当前位置 ）来给我意见。 很明显，Siri 第二次回答并没有结合上下文。 接着我又让 Siri 帮我看下最近的饭店，它展示后我问有没有推荐，结果它转头给我推荐了电影。 Siri 啊，你还是从前那个少年，没有一丝丝改变～ 除了 Siri 单纯变帅了，这次照片 App 的新功能也点小帅。 你可以在照片内输入一段描述，让苹果 AI 创建一套回忆影片。 比如写" cat over the years "，它就会用一段非常炫酷的动画（ 有点 R 星即视感 ）把这些年猫的照片合成一段回忆视频。 不过上面这段视频，是世超从外网那看到的。 我自己并没有测试出来，系统提醒我还在处理照片中。我猜测是手机到手时间太短，新传的照片还未学习完成，只能下次给大家演示了。 这次更新还多了一个 AI 写作工具 Writing Tools，你可以在打字和阅读的场景下使用它。 目前它有校对、改写、总结三大功能。 比如 " my name are Michael，whta is your nome ！ " 这句话存在单词、语法、标点符号错误。 我们点击 Proofread （ 校对 ），它就会改成正确的写法，并且理解了语气，叹号改成了问号。 点击 rewrite，工会还改写句子，换一种说法。 当然为人处事嘛，遇强则弱、遇弱则狂，不一样场景说不一样话，所以苹果重写功能除了默认风格还有友好、专业、简洁三种可选。 目前测下来，友好风格更像是熟人之间的对话，专业风格更适合用在正式场合的书面语。 虽然现在并不支持国行 iPhone，但 AI 写作工具其实支持了一点中文，但真的只是一点点。 比如 " 明天我有空要不要一起去外面吃点大餐 " 这句话让它重写成简洁、专业风格，居然都给我直接干成英语。。。 直到友好风格它才是中文，但最后一个单词有点好笑。 最后要介绍的就是写作工具的总结功能，在阅读文章时你可以选中一段话然后让其生成重点、列表甚至表格。 听起来还行对不对。。。 好，世超用下面一段文本做测试，主要讲了 iOS 和安卓在美国市场份额、全球市场份额、用户 App 支出金额、应用商店收入的数据对比。 结果我让它总结，它给我来了这么一段。 iOS 占美国移动市场的 57.93%，而 Android 占全球市场的 70.29% 。 ? 不是这总结的啥啊，你就读了前面两句话吗，而且这前后半句也没关系啊。 更骚的是我让它总结成表格形式，结果算了半天我以为要放大招了，然后蹦出来一个 2×4 的表格。 不光 iOS 出现了两次，甚至数据也不对，57.93% 和 41.64% 是 iOS 和安卓在美国市场的份额，不是全球呀。。。 而同一套文本我发给 Google 的 Gemini，它的回答是这样的： 不光表格顾及到了每一个点，数据正确，而且总结也是到位的。 除去写作工具，这次苹果也在Safari 和邮件里注入了一点 AI 总结能力。 在每封邮件顶部都有一个总结按钮，点击后苹果 AI 就会提取摘要。 世超测试了三次，有两封邮件总结错了，一封邮件无法总结。 比如这个邮件是 perplexity （ 一个 AI 搜索 ）发我的功能介绍。一共就提了 4 个功能，只有一个功能明确说需要 Pro 会员，免费的有次数限制。 但苹果AI 总结后，它直接认定 4 个都是付费功能。。。你这不是在拆人家台嘛。 另外在用阅读模式浏览网页时，顶端也有一个 AI 总结按钮。 我找了两篇文章，一篇关于 iOS 18.1 beta 更新，一篇关于墨西哥外卖小哥都跑去送快递的文章。 别说，这两次苹果的总结都还行，没有出现事实错误。 比如墨西哥那篇文章，大家转去送快递的背景和原因，它都说得挺清楚。 以上就是这次更新的主要内容了。 虽然测试下来苹果 AI 的能力可以用 " 非常弱 " 来形容，大部分测试都不能让人满意。但我觉得大家还可以再等等。 首先我们不清楚，现在 iPhone 的 AI 能力是基于本地的还是服务器端的。如果是本地的话还情有可原，因为本地模型相对服务器大模型（ 咱们见到的大多数都是 ）都会弱很多。 另外这也是苹果 AI 相关的第一个开发者 beta 版，本就是给开发者用的，让他们一起给系统和 App 做测试和优化，以便让消费者正式接触到 AI 时有个更好的体验。 今天就到这了～ 等下次更新，世超再第一时间给大家体验下。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5323.html
昨天一醒来，世超就看到各路媒体发来消息： iOS 18.1 beta 来了，还带来了重磅的通话录音和 Apple Intelligence 苹果 AI 。。。 正当我想升级的时候，发现写了一串话： Apple Intelligence is available on iPhone 15 Pro and iPhone 15 Pro Max.Apple Intelligence is not currently available in the EU or China . 就是苹果AI 需要 15 Pro/ Pro max，且暂不支持欧盟和中国地区。 虽然世超手头拿着的是 15 pro，但我是国行。这意味我即便更新到 iOS 18.1 beta 也体验不到苹果 AI 。 根据已经更新的网友体验，苹果 AI 是锁硬件的。 这意味着哪怕你人在苹果美国总部，手机连着库克亲自给你开的热点，但只要是国行或者欧盟地区的 iPhone，你都不能用。 但为了满足差友们的好奇心，我做了一个下血本的决定—— 偷了差评君一点私房钱，问手机店搞了台美版 iPhone，再让跑腿小哥跨半个杭州送过来。 拿到手后，我第一时间登了美区开发者账号，升级 iOS 18.1 beta，按要求把系统和 Siri 语言选择英语，地区选择美国，最后加入 AI 候补名单。。。 在一阵焦灼等待后，我收到了通知，苹果味的AI 它终于降临了。。。 至于体验如何大伙别急，咱们按顺序，先讲大家期待时间更久的苹果通话录音。 升级到 iOS18.1 后，打电话时左上角会有一个录音按钮，点击就可以开启录音。 不过你可能也听说了，开启录音对方会听到一句非常清晰的提示：此通话将录音。。。 录音之后我们可以在备忘录里找到名为 " 与 xxx 通话 " 的录音文件。 说实话音质非常清晰，硬件部的二狗甚至说这是能直接做成播客的程度。 另外录音也可以转文字，已支持中文但正确率一般。有错字也有漏字，当两人同时说话时那一段干脆就不转文字了。 虽说苹果这次终于把通话录音憋出来了，但大部分网友似乎并不喜欢 " 录音通知对方 " 的设定。。。 要不说还是雷军有商业嗅觉。 刚推的耳机不仅可以独立录音也能语音转文字，还不卡机型，确实为 iPhone 用户设计。。。 OK，现在我们说说苹果AI 。 很遗憾，这次推出的 AI 功能并不多。 根据 9TO5MAC 的说法，这次新功能主要有新版 Siri 、AI 写作工具、邮件支持总结摘要，而 WWDC 上官宣的屏幕感知功能、文生图等重磅功能都没有推出。 我们一个个介绍。 首先，升级后的 Siri 终于变成了跑马灯，对话时屏幕周围会出现一个炫彩光圈。 作为细节狂魔，苹果根据不同唤醒方式还设计了不同 Siri 登场动画。 当你用语音唤醒 Siri 时，动画是从麦克风那里弹出；当长按电源键呼出 Siri 时，动画是从电源键那边弹出。 当然如果你和世超一样，长得帅但社恐，在公共场合羞于和 Siri 对话，那么双击屏幕底端的横条还可以输入文字和 Siri 对话。 该说不说，Siri 这一套动效是真挺帅的。但世超测试下来，我发现 Siri 似乎也就变帅了，智商并没增加。 比如传言 Siri 多了上下文理解能力，但我未测试成功。 我让 Siri 帮我在照片 App 里找一张耳机照片，不知道是我的触发方式不对还是咋滴，它并没有理解我，而是从网络里找一张耳机照片。 我问 Siri 明天要去上海，那边天气怎样，它回答了上海的天气情况。 我接着问：那需要带防晒霜吗？ 结果它根据杭州天气（ 我当前位置 ）来给我意见。 很明显，Siri 第二次回答并没有结合上下文。 接着我又让 Siri 帮我看下最近的饭店，它展示后我问有没有推荐，结果它转头给我推荐了电影。 Siri 啊，你还是从前那个少年，没有一丝丝改变～ 除了 Siri 单纯变帅了，这次照片 App 的新功能也点小帅。 你可以在照片内输入一段描述，让苹果 AI 创建一套回忆影片。 比如写" cat over the years "，它就会用一段非常炫酷的动画（ 有点 R 星即视感 ）把这些年猫的照片合成一段回忆视频。 不过上面这段视频，是世超从外网那看到的。 我自己并没有测试出来，系统提醒我还在处理照片中。我猜测是手机到手时间太短，新传的照片还未学习完成，只能下次给大家演示了。 这次更新还多了一个 AI 写作工具 Writing Tools，你可以在打字和阅读的场景下使用它。 目前它有校对、改写、总结三大功能。 比如 " my name are Michael，whta is your nome ！ " 这句话存在单词、语法、标点符号错误。 我们点击 Proofread （ 校对 ），它就会改成正确的写法，并且理解了语气，叹号改成了问号。 点击 rewrite，工会还改写句子，换一种说法。 当然为人处事嘛，遇强则弱、遇弱则狂，不一样场景说不一样话，所以苹果重写功能除了默认风格还有友好、专业、简洁三种可选。 目前测下来，友好风格更像是熟人之间的对话，专业风格更适合用在正式场合的书面语。 虽然现在并不支持国行 iPhone，但 AI 写作工具其实支持了一点中文，但真的只是一点点。 比如 " 明天我有空要不要一起去外面吃点大餐 " 这句话让它重写成简洁、专业风格，居然都给我直接干成英语。。。 直到友好风格它才是中文，但最后一个单词有点好笑。 最后要介绍的就是写作工具的总结功能，在阅读文章时你可以选中一段话然后让其生成重点、列表甚至表格。 听起来还行对不对。。。 好，世超用下面一段文本做测试，主要讲了 iOS 和安卓在美国市场份额、全球市场份额、用户 App 支出金额、应用商店收入的数据对比。 结果我让它总结，它给我来了这么一段。 iOS 占美国移动市场的 57.93%，而 Android 占全球市场的 70.29% 。 ? 不是这总结的啥啊，你就读了前面两句话吗，而且这前后半句也没关系啊。 更骚的是我让它总结成表格形式，结果算了半天我以为要放大招了，然后蹦出来一个 2×4 的表格。 不光 iOS 出现了两次，甚至数据也不对，57.93% 和 41.64% 是 iOS 和安卓在美国市场的份额，不是全球呀。。。 而同一套文本我发给 Google 的 Gemini，它的回答是这样的： 不光表格顾及到了每一个点，数据正确，而且总结也是到位的。 除去写作工具，这次苹果也在Safari 和邮件里注入了一点 AI 总结能力。 在每封邮件顶部都有一个总结按钮，点击后苹果 AI 就会提取摘要。 世超测试了三次，有两封邮件总结错了，一封邮件无法总结。 比如这个邮件是 perplexity （ 一个 AI 搜索 ）发我的功能介绍。一共就提了 4 个功能，只有一个功能明确说需要 Pro 会员，免费的有次数限制。 但苹果AI 总结后，它直接认定 4 个都是付费功能。。。你这不是在拆人家台嘛。 另外在用阅读模式浏览网页时，顶端也有一个 AI 总结按钮。 我找了两篇文章，一篇关于 iOS 18.1 beta 更新，一篇关于墨西哥外卖小哥都跑去送快递的文章。 别说，这两次苹果的总结都还行，没有出现事实错误。 比如墨西哥那篇文章，大家转去送快递的背景和原因，它都说得挺清楚。 以上就是这次更新的主要内容了。 虽然测试下来苹果 AI 的能力可以用 " 非常弱 " 来形容，大部分测试都不能让人满意。但我觉得大家还可以再等等。 首先我们不清楚，现在 iPhone 的 AI 能力是基于本地的还是服务器端的。如果是本地的话还情有可原，因为本地模型相对服务器大模型（ 咱们见到的大多数都是 ）都会弱很多。 另外这也是苹果 AI 相关的第一个开发者 beta 版，本就是给开发者用的，让他们一起给系统和 App 做测试和优化，以便让消费者正式接触到 AI 时有个更好的体验。 今天就到这了～ 等下次更新，世超再第一时间给大家体验下。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
1个电话1分钱，烦人的AI外呼成大模型最成功应用？
1个电话1分钱，烦人的AI外呼成大模型最成功应用？
https://www.eiefun.com/5325.html
说到大模型最成功的应用，你首先想到的可能是对话式机器人Kimi、豆包、文心一言等等，这些月活数百万尚无法盈利，甚至无法准备回答"9.11和9.8哪个更大"的明星产品。 他们背后需要强大的技术实力支撑，但离变现遥遥无期。4个月前，因为对AIGC（人工智能生成内容）未来发展的不够乐观，金沙江创投主管合伙人朱啸虎的观点被推上了热搜。在他看来，中国的AIGC机会第一波爆发在企业服务，业务起来快，能马上提高生产力。更重要的是，但经历过上一轮AI热潮的暴击，越来越多的人成为了市场信仰派，他们收紧了钱包。 在To B领域，几乎没有比AI外呼更能明显看到落地效果的场景了。大模型似乎可以给服务行业带来效率革命——在月薪2000元的员工一天只能打出去上百个电话的同时，它能让业绩翻倍，甚至10倍，而且更便宜。 但消费者并不买账——几乎很少有人能平静地接完一通AI外呼电话。 对方可能向你推销秦皇岛的独栋别墅，也可能向刚刚大学毕业的你推荐7-8岁孩子的编程课，还可能是办理低息贷款，或者是保险理财产品…… 在大部分AI应用苦于获客成本高昂、技术投入巨大，变现场景困难的当下，有大模型加持的AI外呼，几乎已经入侵到每个人的日常生活，尤其在618、双11这样的大促节点普。 但现实并没有想象中美好。 1个电话只要1分钱 当代互联网人的一大烦恼，莫过于被不知道什么缘由而来的业务推销电话骚扰。而且，似乎手动拦截却永远也截不完，你想发脾气，但对方继续心平气和地讲述。 这些电话并非真人操作，毕竟人类是有情绪的，你接到的电话平静得像AI。事实上，他们也确实是AI。系统制定好话术，在一串串电话号码里扫描，挨个拨打电话，寻找意向客户，是现在企业惯常的操作。 关键是，AI比人便宜。Tech星球咨询多家开通了AI外呼业务的企业，他们表示，业内一般有两种模式，按时间计费，1分钱/每6秒计费，没到6秒也会按6秒计费，"费用有两部分，一部分是运营商底层通话线路费用，然后是AI机器人费用"。也有国内智能客服头部企业表示，他们是按照流量计费，算下来一通电话也不过几毛钱。 计费规则和行业也有关系。一位行业人士表示，金融行业0.15元一分钟，非金融行业0.13元一分钟，金融行业贵更多是因为投诉太多了，导致AI外呼企业的成本增加。 大模型一直被认为是生产力革新的工具。 据Tech星球了解，现在AI外呼行业的平均水平，一台机器人一天可以拨打800-1200个电话。这相当于3-5个人的工作量。如果按照费用来算，以一个电话一分钟计算，1200个电话，最多花费180元。显然，比人要便宜得多。 AI外呼是典型的SAAS服务，一些企业可能需要定制话术、对话流程、知识库、机器人训练等。这些环节拆开收费，几千到几万不等。但事实上，很多时候他们系统不会单独收费，只会按照对话时长收费。 大部分AI外呼系统都需要接通才能扣费，但他们并不能保证接通率，为了保证效果，很多企业会承诺客户，他们会多次拨打意向名单中的电话。一位AI外呼公司销售称，接通率更多的和企业提供的数据精准度有关，现在AI的接通率和人工差不多。 一台AI机器人一天能打出去多少电话，取决于线路资源。一位AI外呼机器人企业的销售告诉Tech星球，和城市交通系统一样，AI外呼也有高峰期，一般都是早上9点到11点半，下午2点到5点左右。 为了保证工作效率，企业往往会准备多条线路。他们会根据地区匹配，如果拨打北京的用户，那么他们便采用外显北京地区的线路拨打，以防用户看到陌生电话直接不接。 但忙碌的打工人接到AI外呼电话的第一反应往往是烦躁，之后就会拉黑该号码。一位AI外呼行业人士告诉Tech星球，如果想要不被骚扰，可以直接去投诉某个号段。一个号段被投诉了，就需要马上启用另外的号段，也就是线路资源。 如果投诉过多，一个号段就会被运营商标记为骚扰电话。这时候，AI外呼企业往往每隔一段时间就会清除标记。 AI外呼真的有用吗 一位AI外呼行业人士向Tech星球展示了他们的后台系统，一通电话打给消费者后，他们会根据消费者意向分类，A类代表有明确的消费意向，B类居中，C类则是直接拒绝。这些数据最终会沉淀成文档，返还给客户。消费意向明确的客户则可以后续短信引导，关注企业微信或者官方账号等。 不过，一位采用过AI外呼机器人的建筑材料企业称，想要机器人完全代替人类是不可能的，因为机器永远不可能像人一样有灵活沟通技巧。机器人的本质是帮助人做前期筛选。非金融行业接通率在40%-60%之间，而金融行业可能只有25%-40%，甚至更低。要实现效率最大化，一般有意向的客户，企业会立马安排人工跟进。 但这只是理想情况，现实中，AI外呼带来的客户转化并不理想。不止一位商家Tech星球，市面上很多便宜的买的都是源代码做的贴牌，根本不具备研发实力，他们很多语音技术都是对接的科大讯飞，不够灵活。 "我们用的业内龙头企业的机器人，但是他们的线路很差，骚扰电话居多，接通率远比60%要滴很多，很多电话拨出去就被挂"，一位商家称，"做售后服务还好，前期获客大家用的很多都是同一批数据，这些人反复被轰炸，即便是真人都是秒挂，更何况机器人。" 事实上，不少消费者在第一次接到AI外呼电话时，都以为他们是真人。不止一位AI外呼机器人人员表示，他们的声音是真人录音，而并非大模型合成的声音。不过，想要更加仿真人，需要更多的资金技术投入。比如，多做几套话术，话术越全，拨打的时候才能越多样化。 一位AI外呼机器人行业从业者称，一开始很少有企业能赚钱，电话打得多，才能赚钱。每天打几千万通AI外呼电话就赚钱了，比如外卖到了，快递到了，电商活动来了。但现实是，很多企业一天能有几十万个电话就已经算是非常不错的。 "一般有这种水平的，往往都会选择自研，内部研发还能向外输出，比如一些美团，京东等，其实，只有政府行业和金融行业才会赚钱，其他没什么搞头"，上述人补充道。 大鱼吃小鱼，小公司面临淘汰 今年4月，金沙江创投主管合伙人朱啸虎在接受采访时称，自己也是AGI（通用人工智能）的信仰者，不过他不是虔诚的技术信徒，他信仰的是马上能商业化的应用。 因为庞大的人口基数和需求，国内确实有诸多场景可以提高效率，比如AI面试、营销等等。朱啸虎称，用LLaMA训练两三个月，至少做到人类Top 30水平，马上去掉50%人工销售。 用开源模型训练两三月就开始商业化，这并不具备很高的护城河，也就导致了AI外呼鱼龙混杂。市面上的AI外呼机器人很多是创业公司，他们未必有足够的资金实力去研发大模型。 这也导致，在上一轮AI热潮中，不少以AI外呼为主营业务的创业公司拿到了融资，但这一轮并不多。服务了OPPO、小红书、滴滴出行等多家大厂的智能客服领域的佼佼者智齿科技，上一轮融资发生在2022年。 说到底，大模型的效果好坏依然取决于算力、算法和算据。而这些资源更多掌握在头部企业或者大公司手中。 一位大厂研发人员告诉Tech星球，AI外呼的核心技术有三点，首先是听懂对方在说什么，然后做出正确回应，最后是用声音回复对方。 这里面涉及到三种技术ASR语音识别技术、NLP自然语言处理、TTS语音合成技术。市场上很多人采用人工录音的方式，就是因为没有很好攻克TTS语音合成技术。 "以前是声码器+声学模型，现在大模型自己都干了，是彻底改变了技术范式，在互动上可以做到非常逼真，还可以模拟真人断句换气思考的过程，也听得懂方言"，他补充道。 比如，当AI外呼机器人向消费者推荐优惠券时，对方问"有什么"，隐藏的是优惠券可以买到什么。当对方表示自己出差不方便时，他可以告诉消费者离自己最近的城市哪里可以使用。 在国内，诸如京东这样的企业早就开始积累。比如，京东自研的言犀大模型不仅用于自身旗下的京东生鲜、京东自营等产品，还向外输出。今年1月，伊利发布碳酸乳饮新品"乳汽PET"时，就采用了言犀定制了明星代言人"时代少年团"的声音。 业内人士称，一些特殊行业，比如涉及金融数据等，需要进行私有化部署，价格可能会高达几十万，一般是50万起步，百万级别的费用。但他们往往不会去寻找分散的小公司，而是选择更具规模和实力的企业。毕竟，没人希望自己的钱打水漂。 大鱼吃小鱼，小公司因为实力不足最终会被吞噬。 但当技术越来越成熟，消费者可以更方便得被触及，越来越难以分辨对方到底是机器人和AI时，也未必是一件好事。 要如何更好为企业服务，同时不过度骚扰消费者，是行业的永恒命题。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
https://www.eiefun.com/5325.html
说到大模型最成功的应用，你首先想到的可能是对话式机器人Kimi、豆包、文心一言等等，这些月活数百万尚无法盈利，甚至无法准备回答"9.11和9.8哪个更大"的明星产品。 他们背后需要强大的技术实力支撑，但离变现遥遥无期。4个月前，因为对AIGC（人工智能生成内容）未来发展的不够乐观，金沙江创投主管合伙人朱啸虎的观点被推上了热搜。在他看来，中国的AIGC机会第一波爆发在企业服务，业务起来快，能马上提高生产力。更重要的是，但经历过上一轮AI热潮的暴击，越来越多的人成为了市场信仰派，他们收紧了钱包。 在To B领域，几乎没有比AI外呼更能明显看到落地效果的场景了。大模型似乎可以给服务行业带来效率革命——在月薪2000元的员工一天只能打出去上百个电话的同时，它能让业绩翻倍，甚至10倍，而且更便宜。 但消费者并不买账——几乎很少有人能平静地接完一通AI外呼电话。 对方可能向你推销秦皇岛的独栋别墅，也可能向刚刚大学毕业的你推荐7-8岁孩子的编程课，还可能是办理低息贷款，或者是保险理财产品…… 在大部分AI应用苦于获客成本高昂、技术投入巨大，变现场景困难的当下，有大模型加持的AI外呼，几乎已经入侵到每个人的日常生活，尤其在618、双11这样的大促节点普。 但现实并没有想象中美好。 1个电话只要1分钱 当代互联网人的一大烦恼，莫过于被不知道什么缘由而来的业务推销电话骚扰。而且，似乎手动拦截却永远也截不完，你想发脾气，但对方继续心平气和地讲述。 这些电话并非真人操作，毕竟人类是有情绪的，你接到的电话平静得像AI。事实上，他们也确实是AI。系统制定好话术，在一串串电话号码里扫描，挨个拨打电话，寻找意向客户，是现在企业惯常的操作。 关键是，AI比人便宜。Tech星球咨询多家开通了AI外呼业务的企业，他们表示，业内一般有两种模式，按时间计费，1分钱/每6秒计费，没到6秒也会按6秒计费，"费用有两部分，一部分是运营商底层通话线路费用，然后是AI机器人费用"。也有国内智能客服头部企业表示，他们是按照流量计费，算下来一通电话也不过几毛钱。 计费规则和行业也有关系。一位行业人士表示，金融行业0.15元一分钟，非金融行业0.13元一分钟，金融行业贵更多是因为投诉太多了，导致AI外呼企业的成本增加。 大模型一直被认为是生产力革新的工具。 据Tech星球了解，现在AI外呼行业的平均水平，一台机器人一天可以拨打800-1200个电话。这相当于3-5个人的工作量。如果按照费用来算，以一个电话一分钟计算，1200个电话，最多花费180元。显然，比人要便宜得多。 AI外呼是典型的SAAS服务，一些企业可能需要定制话术、对话流程、知识库、机器人训练等。这些环节拆开收费，几千到几万不等。但事实上，很多时候他们系统不会单独收费，只会按照对话时长收费。 大部分AI外呼系统都需要接通才能扣费，但他们并不能保证接通率，为了保证效果，很多企业会承诺客户，他们会多次拨打意向名单中的电话。一位AI外呼公司销售称，接通率更多的和企业提供的数据精准度有关，现在AI的接通率和人工差不多。 一台AI机器人一天能打出去多少电话，取决于线路资源。一位AI外呼机器人企业的销售告诉Tech星球，和城市交通系统一样，AI外呼也有高峰期，一般都是早上9点到11点半，下午2点到5点左右。 为了保证工作效率，企业往往会准备多条线路。他们会根据地区匹配，如果拨打北京的用户，那么他们便采用外显北京地区的线路拨打，以防用户看到陌生电话直接不接。 但忙碌的打工人接到AI外呼电话的第一反应往往是烦躁，之后就会拉黑该号码。一位AI外呼行业人士告诉Tech星球，如果想要不被骚扰，可以直接去投诉某个号段。一个号段被投诉了，就需要马上启用另外的号段，也就是线路资源。 如果投诉过多，一个号段就会被运营商标记为骚扰电话。这时候，AI外呼企业往往每隔一段时间就会清除标记。 AI外呼真的有用吗 一位AI外呼行业人士向Tech星球展示了他们的后台系统，一通电话打给消费者后，他们会根据消费者意向分类，A类代表有明确的消费意向，B类居中，C类则是直接拒绝。这些数据最终会沉淀成文档，返还给客户。消费意向明确的客户则可以后续短信引导，关注企业微信或者官方账号等。 不过，一位采用过AI外呼机器人的建筑材料企业称，想要机器人完全代替人类是不可能的，因为机器永远不可能像人一样有灵活沟通技巧。机器人的本质是帮助人做前期筛选。非金融行业接通率在40%-60%之间，而金融行业可能只有25%-40%，甚至更低。要实现效率最大化，一般有意向的客户，企业会立马安排人工跟进。 但这只是理想情况，现实中，AI外呼带来的客户转化并不理想。不止一位商家Tech星球，市面上很多便宜的买的都是源代码做的贴牌，根本不具备研发实力，他们很多语音技术都是对接的科大讯飞，不够灵活。 "我们用的业内龙头企业的机器人，但是他们的线路很差，骚扰电话居多，接通率远比60%要滴很多，很多电话拨出去就被挂"，一位商家称，"做售后服务还好，前期获客大家用的很多都是同一批数据，这些人反复被轰炸，即便是真人都是秒挂，更何况机器人。" 事实上，不少消费者在第一次接到AI外呼电话时，都以为他们是真人。不止一位AI外呼机器人人员表示，他们的声音是真人录音，而并非大模型合成的声音。不过，想要更加仿真人，需要更多的资金技术投入。比如，多做几套话术，话术越全，拨打的时候才能越多样化。 一位AI外呼机器人行业从业者称，一开始很少有企业能赚钱，电话打得多，才能赚钱。每天打几千万通AI外呼电话就赚钱了，比如外卖到了，快递到了，电商活动来了。但现实是，很多企业一天能有几十万个电话就已经算是非常不错的。 "一般有这种水平的，往往都会选择自研，内部研发还能向外输出，比如一些美团，京东等，其实，只有政府行业和金融行业才会赚钱，其他没什么搞头"，上述人补充道。 大鱼吃小鱼，小公司面临淘汰 今年4月，金沙江创投主管合伙人朱啸虎在接受采访时称，自己也是AGI（通用人工智能）的信仰者，不过他不是虔诚的技术信徒，他信仰的是马上能商业化的应用。 因为庞大的人口基数和需求，国内确实有诸多场景可以提高效率，比如AI面试、营销等等。朱啸虎称，用LLaMA训练两三个月，至少做到人类Top 30水平，马上去掉50%人工销售。 用开源模型训练两三月就开始商业化，这并不具备很高的护城河，也就导致了AI外呼鱼龙混杂。市面上的AI外呼机器人很多是创业公司，他们未必有足够的资金实力去研发大模型。 这也导致，在上一轮AI热潮中，不少以AI外呼为主营业务的创业公司拿到了融资，但这一轮并不多。服务了OPPO、小红书、滴滴出行等多家大厂的智能客服领域的佼佼者智齿科技，上一轮融资发生在2022年。 说到底，大模型的效果好坏依然取决于算力、算法和算据。而这些资源更多掌握在头部企业或者大公司手中。 一位大厂研发人员告诉Tech星球，AI外呼的核心技术有三点，首先是听懂对方在说什么，然后做出正确回应，最后是用声音回复对方。 这里面涉及到三种技术ASR语音识别技术、NLP自然语言处理、TTS语音合成技术。市场上很多人采用人工录音的方式，就是因为没有很好攻克TTS语音合成技术。 "以前是声码器+声学模型，现在大模型自己都干了，是彻底改变了技术范式，在互动上可以做到非常逼真，还可以模拟真人断句换气思考的过程，也听得懂方言"，他补充道。 比如，当AI外呼机器人向消费者推荐优惠券时，对方问"有什么"，隐藏的是优惠券可以买到什么。当对方表示自己出差不方便时，他可以告诉消费者离自己最近的城市哪里可以使用。 在国内，诸如京东这样的企业早就开始积累。比如，京东自研的言犀大模型不仅用于自身旗下的京东生鲜、京东自营等产品，还向外输出。今年1月，伊利发布碳酸乳饮新品"乳汽PET"时，就采用了言犀定制了明星代言人"时代少年团"的声音。 业内人士称，一些特殊行业，比如涉及金融数据等，需要进行私有化部署，价格可能会高达几十万，一般是50万起步，百万级别的费用。但他们往往不会去寻找分散的小公司，而是选择更具规模和实力的企业。毕竟，没人希望自己的钱打水漂。 大鱼吃小鱼，小公司因为实力不足最终会被吞噬。 但当技术越来越成熟，消费者可以更方便得被触及，越来越难以分辨对方到底是机器人和AI时，也未必是一件好事。 要如何更好为企业服务，同时不过度骚扰消费者，是行业的永恒命题。 免责声明 本文内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除。
-- gReader Pro
前端又叠 buff 咯，拥有近 4 万 Star 的超级 HTML 增强工具：HTMX
前端又叠 buff 咯，拥有近 4 万 Star 的超级 HTML 增强工具：HTMX
https://www.oschina.net/news/304852/htmx-high-power-tools-for-html
在这个充满各种前端框架和工具的时代，开发者们往往会迷失在复杂的技术栈中。然而，有一款工具不仅简单易用，还能够大幅提升 HTML 开发的效率和灵活性。这就是 HTMX！这个开源项目在 GitHub 上已经收获了近 4 万个 Star，是不是很牛皮？那么，这款神器到底是什么，有哪些魔力呢？ HTMX 是由 Big Sky Software 推出的一个强大的 HTML 增强工具，它的核心理念是将原本需要大量 JavaScript 实现的动态交互功能，通过扩展 HTML 的属性和标签轻松实现。你可以理解为 HTMX 是 HTML 的超级助力器，让普通的 HTML 网页焕发出新的生命力。 HTMX 如何改变开发者的世界？ 简化交互逻辑 HTMX 允许你在 HTML 元素上直接声明需要的交互行为，比如点击、悬停、拖拽等，不需要编写复杂的 JavaScript 代码。例如，你只需在按钮上加上 hx-get 属性并指定请求的 URL，就可以实现点击按钮后动态加载数据的效果。再也不需要为这些简单的交互逻辑纠结写一大堆 JS 代码了！ 动态加载与更新 还在为局部刷新和更新页面内容而苦恼吗？HTMX 为你带来福音！它可以轻松实现局部刷新功能，而无需刷新整个页面。这不仅提高了用户体验，还节省了宝贵的带宽。比如，利用 HTMX 的 hx-swap 属性，你可以定义页面上的某个区域在特定条件下如何被替换或更新。 提升代码可读性和维护性 传统的 JavaScript 实现往往会导致代码结构复杂，难以维护。而 HTMX 的声明式写法，让你的代码更简洁明了，不仅开发更轻松，也方便后期的维护和扩展。更棒的是，它与现有的框架和库完全兼容，无论你使用的是 React、Vue 还是其他前端技术栈，HTMX 都可以轻松集成。 无需依赖复杂的前端框架 HTMX 的目标是让开发者用最少的学习成本和工作量实现最直观的动态效果。对于那些不想被庞大的前端框架所束缚的开发者，HTMX 提供了一种轻量、灵活的解决方案。你可以在现有项目中逐步引入 HTMX，而无需全面推倒重来。 具体来说： 从繁琐的 JavaScript 到简洁的 HTML：代码对比 还记得那些让人头疼的 JavaScript 代码吗？让我们来看看一个经典的示例：点击按钮加载内容。 传统 JavaScript 实现： document.getElementById('button').addEventListener('click', function() { fetch('/api/data') .then(response => response.text()) .then(html => { document.getElementById('content').innerHTML = html; }); }); HTMX 实现： <button hx-get="/api/data" hx-target="#content">加载内容</button> <div id="content"></div> 是不是很神奇？HTMX 让你只需一个 hx-get 属性，就能实现同样的功能，简直是极客们的福音！从复杂的 JavaScript 转换为简洁的 HTML 声明式代码，开发者可以更加专注于业务逻辑，而不是烦恼于代码细节。 动态交互，不再刷新整个页面 想象一下，用户正在填写一个复杂的表单，你需要在不打断用户操作的情况下动态验证和提示。这时候，如果用传统的方法，可能需要刷新整个页面或者写一大堆 JavaScript 代码。而 HTMX 让这些操作变得简单流畅。 HTMX 示例： <input type="text" hx-post="/validate" hx-trigger="keyup changed delay:500ms" hx-target="#feedback"> <div id="feedback"></div> 在这个例子中，HTMX 允许你在用户输入时动态发送请求，并将反馈显示在 #feedback 容器中。无论是表单验证、动态加载内容还是页面局部更新，HTMX 都能在不刷新整个页面的情况下实现。这不仅提升了用户体验，还大大提高了网站的性能和响应速度。 性能提升：轻量级的极致体验 HTMX 的核心库只有不到 10KB，而传统的前端框架可能动辄几十甚至上百KB。这不仅意味着更快的页面加载速度，还节省了用户的流量。对于移动端用户或者网络条件不佳的用户来说，这无疑是一大福音。 性能对比： 框架大小： HTMX < 10KB vs. React > 100KB 页面加载速度提升： 根据一些用户反馈，使用 HTMX 的页面加载时间平均减少了 20% 以上。 代码量减少： 在一个实际项目中，将一个主要由 JavaScript 处理的交互转换为 HTMX 实现后，代码量减少了约50%。 超轻量级，不依赖框架 不想被庞大的前端框架束缚？HTMX 是你的不二选择。它无需依赖任何其他框架或者库，你可以在任何项目中自由使用它，而不需要担心兼容性问题。更棒的是，HTMX 还可以与其他前端技术完美融合，无论你是使用 React、Vue 还是 Angular，HTMX 都能无缝集成，扩展你的开发能力。 除此之外 超轻量级：HTMX 的核心库只有不到 10KB，不会给你的网页加载带来任何负担。 跨浏览器支持：HTMX 在各种主流浏览器上都能平稳运行，让你不必担心兼容性问题。 丰富的文档和社区支持：HTMX 拥有详细的文档和活跃的社区，你可以在任何问题上找到帮助。 上链接：https://www.oschina.net/p/htmx
-- gReader Pro
https://www.oschina.net/news/304852/htmx-high-power-tools-for-html
在这个充满各种前端框架和工具的时代，开发者们往往会迷失在复杂的技术栈中。然而，有一款工具不仅简单易用，还能够大幅提升 HTML 开发的效率和灵活性。这就是 HTMX！这个开源项目在 GitHub 上已经收获了近 4 万个 Star，是不是很牛皮？那么，这款神器到底是什么，有哪些魔力呢？ HTMX 是由 Big Sky Software 推出的一个强大的 HTML 增强工具，它的核心理念是将原本需要大量 JavaScript 实现的动态交互功能，通过扩展 HTML 的属性和标签轻松实现。你可以理解为 HTMX 是 HTML 的超级助力器，让普通的 HTML 网页焕发出新的生命力。 HTMX 如何改变开发者的世界？ 简化交互逻辑 HTMX 允许你在 HTML 元素上直接声明需要的交互行为，比如点击、悬停、拖拽等，不需要编写复杂的 JavaScript 代码。例如，你只需在按钮上加上 hx-get 属性并指定请求的 URL，就可以实现点击按钮后动态加载数据的效果。再也不需要为这些简单的交互逻辑纠结写一大堆 JS 代码了！ 动态加载与更新 还在为局部刷新和更新页面内容而苦恼吗？HTMX 为你带来福音！它可以轻松实现局部刷新功能，而无需刷新整个页面。这不仅提高了用户体验，还节省了宝贵的带宽。比如，利用 HTMX 的 hx-swap 属性，你可以定义页面上的某个区域在特定条件下如何被替换或更新。 提升代码可读性和维护性 传统的 JavaScript 实现往往会导致代码结构复杂，难以维护。而 HTMX 的声明式写法，让你的代码更简洁明了，不仅开发更轻松，也方便后期的维护和扩展。更棒的是，它与现有的框架和库完全兼容，无论你使用的是 React、Vue 还是其他前端技术栈，HTMX 都可以轻松集成。 无需依赖复杂的前端框架 HTMX 的目标是让开发者用最少的学习成本和工作量实现最直观的动态效果。对于那些不想被庞大的前端框架所束缚的开发者，HTMX 提供了一种轻量、灵活的解决方案。你可以在现有项目中逐步引入 HTMX，而无需全面推倒重来。 具体来说： 从繁琐的 JavaScript 到简洁的 HTML：代码对比 还记得那些让人头疼的 JavaScript 代码吗？让我们来看看一个经典的示例：点击按钮加载内容。 传统 JavaScript 实现： document.getElementById('button').addEventListener('click', function() { fetch('/api/data') .then(response => response.text()) .then(html => { document.getElementById('content').innerHTML = html; }); }); HTMX 实现： <button hx-get="/api/data" hx-target="#content">加载内容</button> <div id="content"></div> 是不是很神奇？HTMX 让你只需一个 hx-get 属性，就能实现同样的功能，简直是极客们的福音！从复杂的 JavaScript 转换为简洁的 HTML 声明式代码，开发者可以更加专注于业务逻辑，而不是烦恼于代码细节。 动态交互，不再刷新整个页面 想象一下，用户正在填写一个复杂的表单，你需要在不打断用户操作的情况下动态验证和提示。这时候，如果用传统的方法，可能需要刷新整个页面或者写一大堆 JavaScript 代码。而 HTMX 让这些操作变得简单流畅。 HTMX 示例： <input type="text" hx-post="/validate" hx-trigger="keyup changed delay:500ms" hx-target="#feedback"> <div id="feedback"></div> 在这个例子中，HTMX 允许你在用户输入时动态发送请求，并将反馈显示在 #feedback 容器中。无论是表单验证、动态加载内容还是页面局部更新，HTMX 都能在不刷新整个页面的情况下实现。这不仅提升了用户体验，还大大提高了网站的性能和响应速度。 性能提升：轻量级的极致体验 HTMX 的核心库只有不到 10KB，而传统的前端框架可能动辄几十甚至上百KB。这不仅意味着更快的页面加载速度，还节省了用户的流量。对于移动端用户或者网络条件不佳的用户来说，这无疑是一大福音。 性能对比： 框架大小： HTMX < 10KB vs. React > 100KB 页面加载速度提升： 根据一些用户反馈，使用 HTMX 的页面加载时间平均减少了 20% 以上。 代码量减少： 在一个实际项目中，将一个主要由 JavaScript 处理的交互转换为 HTMX 实现后，代码量减少了约50%。 超轻量级，不依赖框架 不想被庞大的前端框架束缚？HTMX 是你的不二选择。它无需依赖任何其他框架或者库，你可以在任何项目中自由使用它，而不需要担心兼容性问题。更棒的是，HTMX 还可以与其他前端技术完美融合，无论你是使用 React、Vue 还是 Angular，HTMX 都能无缝集成，扩展你的开发能力。 除此之外 超轻量级：HTMX 的核心库只有不到 10KB，不会给你的网页加载带来任何负担。 跨浏览器支持：HTMX 在各种主流浏览器上都能平稳运行，让你不必担心兼容性问题。 丰富的文档和社区支持：HTMX 拥有详细的文档和活跃的社区，你可以在任何问题上找到帮助。 上链接：https://www.oschina.net/p/htmx
-- gReader Pro
你还在搞大模型 RAG，别人已经切换了赛道：记忆能力！
你还在搞大模型 RAG，别人已经切换了赛道：记忆能力！
https://www.oschina.net/news/304855/mem0-new-area-to-replace-rag
在人工智能领域，检索增强生成（RAG）技术已经是实现高效信息处理的前沿技术之一。然而，Mem0 通过引入个性化的多层次记忆系统，将 AI 的能力提升到一个新的高度。不仅仅是信息检索，Mem0 更注重个性化和持续性记忆，为用户提供真正个性化的互动体验。 RAG vs. Mem0：更聪明的选择 1. 记忆深度和广度： RAG 主要依赖于预训练模型和外部知识库的即时查询。它擅长回答基于知识的特定问题，但缺乏对用户上下文和历史的深层理解。 Mem0 则引入了多层次的记忆存储机制，不仅能够记住用户的特定偏好和历史对话，还可以存储并调用更复杂的用户背景信息。这意味着 Mem0 能够提供更加个性化和一致的回答。 2. 实时更新与个性化： RAG 的输出通常受限于预先加载的数据和模型的训练状态，实时更新和个性化定制存在一定的挑战。 Mem0 则能够动态适应用户的变化需求，实时更新记忆库，确保每次交互都基于最新的信息。这使得 Mem0 在提供个性化推荐和响应方面更具优势。 更具体来说： Mem0 核心能力 用户、会话和 AI Agent 留存：跨用户会话、交互和 AI Agent 保留信息，确保连续性和上下文。 自适应个性化：根据用户交互和反馈不断改进个性化。 开发者友好的 API：提供简单的 API，可无缝集成到各种应用中。 平台一致性：确保不同平台和设备上的行为和数据一致。 托管服务：提供托管解决方案，以便于部署和维护。 与 RAG 的区别： 实体关系：Mem0 可以理解和关联不同交互中的实体，可以更深入地理解上下文和关系。RAG 则从静态文档中检索信息。 信息新鲜性、相关性和衰减：Mem0 优先考虑最近的交互并逐渐忘记过时的信息，确保记忆保持相关性和最新性，以便做出更准确的响应。 情境连续性：Mem0 在会话之间保留信息，保持对话和交互的连续性，这对于虚拟伴侣或个性化学习助手等长期参与应用程序至关重要。 自适应学习：Mem0 根据用户交互和反馈提高其个性化，使得记忆更加准确，并随着时间的推移更适合个人用户。 动态更新：Mem0 可以使用新信息和交互动态更新其内存，而不像 RAG 那样依赖静态数据。这允许实时调整和改进，从而增强用户体验。 实际应用场景 智能客服系统： 想象一下，用户在某电商平台上遇到问题，联系了智能客服。Mem0 能够记住用户之前的所有互动历史，包括购买记录、过去的问题和反馈。在用户提出问题时，客服系统能够立即调用这些记忆，为用户提供精确且个性化的解决方案。这不仅提高了解决问题的效率，还增强了用户的满意度和忠诚度。 教育与学习助手： 对于在线教育平台，Mem0 可以记住每个学生的学习进度、偏好和薄弱环节。举个例子，如果一个学生在学习微积分时多次遇到困难，Mem0 可以记录这些信息，并在学生再次遇到相关内容时，提供更详细的解释和补充资料，帮助他们更好地理解和掌握知识。 健康管理： 在健康管理应用中，Mem0 能够跟踪用户的健康数据，如饮食习惯、锻炼记录和医学历史。当用户咨询健康问题时，AI 可以基于这些数据提供个性化的建议和提醒。比如，如果某用户有高血压病史，Mem0 可以提醒他们避免高盐食物，并提供健康食谱建议。 Mem0 背后包含对各种流行的大模型的内置支持，内存可以利用用户提供的 LLM，确保特定需求的高效使用，支持：
-- gReader Pro
https://www.oschina.net/news/304855/mem0-new-area-to-replace-rag
在人工智能领域，检索增强生成（RAG）技术已经是实现高效信息处理的前沿技术之一。然而，Mem0 通过引入个性化的多层次记忆系统，将 AI 的能力提升到一个新的高度。不仅仅是信息检索，Mem0 更注重个性化和持续性记忆，为用户提供真正个性化的互动体验。 RAG vs. Mem0：更聪明的选择 1. 记忆深度和广度： RAG 主要依赖于预训练模型和外部知识库的即时查询。它擅长回答基于知识的特定问题，但缺乏对用户上下文和历史的深层理解。 Mem0 则引入了多层次的记忆存储机制，不仅能够记住用户的特定偏好和历史对话，还可以存储并调用更复杂的用户背景信息。这意味着 Mem0 能够提供更加个性化和一致的回答。 2. 实时更新与个性化： RAG 的输出通常受限于预先加载的数据和模型的训练状态，实时更新和个性化定制存在一定的挑战。 Mem0 则能够动态适应用户的变化需求，实时更新记忆库，确保每次交互都基于最新的信息。这使得 Mem0 在提供个性化推荐和响应方面更具优势。 更具体来说： Mem0 核心能力 用户、会话和 AI Agent 留存：跨用户会话、交互和 AI Agent 保留信息，确保连续性和上下文。 自适应个性化：根据用户交互和反馈不断改进个性化。 开发者友好的 API：提供简单的 API，可无缝集成到各种应用中。 平台一致性：确保不同平台和设备上的行为和数据一致。 托管服务：提供托管解决方案，以便于部署和维护。 与 RAG 的区别： 实体关系：Mem0 可以理解和关联不同交互中的实体，可以更深入地理解上下文和关系。RAG 则从静态文档中检索信息。 信息新鲜性、相关性和衰减：Mem0 优先考虑最近的交互并逐渐忘记过时的信息，确保记忆保持相关性和最新性，以便做出更准确的响应。 情境连续性：Mem0 在会话之间保留信息，保持对话和交互的连续性，这对于虚拟伴侣或个性化学习助手等长期参与应用程序至关重要。 自适应学习：Mem0 根据用户交互和反馈提高其个性化，使得记忆更加准确，并随着时间的推移更适合个人用户。 动态更新：Mem0 可以使用新信息和交互动态更新其内存，而不像 RAG 那样依赖静态数据。这允许实时调整和改进，从而增强用户体验。 实际应用场景 智能客服系统： 想象一下，用户在某电商平台上遇到问题，联系了智能客服。Mem0 能够记住用户之前的所有互动历史，包括购买记录、过去的问题和反馈。在用户提出问题时，客服系统能够立即调用这些记忆，为用户提供精确且个性化的解决方案。这不仅提高了解决问题的效率，还增强了用户的满意度和忠诚度。 教育与学习助手： 对于在线教育平台，Mem0 可以记住每个学生的学习进度、偏好和薄弱环节。举个例子，如果一个学生在学习微积分时多次遇到困难，Mem0 可以记录这些信息，并在学生再次遇到相关内容时，提供更详细的解释和补充资料，帮助他们更好地理解和掌握知识。 健康管理： 在健康管理应用中，Mem0 能够跟踪用户的健康数据，如饮食习惯、锻炼记录和医学历史。当用户咨询健康问题时，AI 可以基于这些数据提供个性化的建议和提醒。比如，如果某用户有高血压病史，Mem0 可以提醒他们避免高盐食物，并提供健康食谱建议。 Mem0 背后包含对各种流行的大模型的内置支持，内存可以利用用户提供的 LLM，确保特定需求的高效使用，支持：
-- gReader Pro
Chrome 將透過 AI 的力量助你以自然語言搜尋瀏覽歷史
Chrome 將透過 AI 的力量助你以自然語言搜尋瀏覽歷史
https://hk.news.yahoo.com/google-will-let-you-search-your-chrome-browsing-history-by-asking-questions-like-a-human-020048526.html
Google Chromepicture alliance via Getty Images 如果你覺得在茫茫瀏覽紀錄的大海中，找到一個你只有淡薄印象的網頁很麻煩，那 Chrome 新推出的功能可能能幫到你。在接下來幾週，桌面版 Chrome 將推出一個新功能，讓你可以用自然語言詢問你的瀏覽歷史，而 Google 的 Gemini AI 則會負責回答。你可以像平常一樣輸入問題，例如「我上週瀏覽了哪家冰淇淋店？」，而 Chrome 就能顯示你之前瀏覽過的相關頁面。 Google Chrome 副總裁 Parisa Tabriz 在宣布之前與記者談話時表示：「我們真正想做的是為 Chrome 的歷史引入更對話式的界面，讓人們再也不必去記網址。」 Chrome AI history searchGoogle 目前，此功能僅限於美國的 Chrome 桌機版用戶，且預設不會開啟，要用戶自行選擇加入。此外，它也不適用於無痕模式下的瀏覽網站。Google 表示，他們非常清楚讓 Google 的 AI 分析你的瀏覽歷史以提供答案的潛在隱私等相關影響，Tabriz 也表示 Google 不會直接使用你的瀏覽歷史或標籤來訓練其大型語言模型。「任何與瀏覽歷史相關的內容都是超級個人化的敏感資料，我們希望能從一開始將深入考慮所有的相關問題，以確保隱私保護成為設計的一部份。」 除了讓搜尋瀏覽紀錄更自然之外，Google 還為 Chrome 添加了兩個新的 AI 功能。一個是它將已經在 Android 和 iPhone 上存在相當久的 Google Lens 帶到了桌機版的 Chrome 上。Google 表示，「這意味著你可以輕鬆選擇、搜索和詢問你在網上看到的任何東西，而無需離開當前標籤頁。」 Google Chrome LensGoogle 要在 Chrome 桌機版上使用 Google Lens 搜索的話，相先要點選選擇地址欄上的圖標，然後點擊網頁上任何你想要搜索的內容。例如，點擊網頁上植物的照片，Google Lens 將直接在網頁旁打開一個側邊欄並進行辨識。之後，你還可以接著循問一些後續問題，例如「這種植物需要多少陽光才能存活？」，並獲得 AI 生成的答案，從頭到尾都無需離開當前頁面。 Lens 還能夠解析影片中的文字，這意味著你可以暫停並直接選擇畫面中顯示的任何文字（例如上圖的數學方程式），並快速在側邊欄中獲得有關它的更多 AI 生成的相關資訊。 Chrome compareGoogle 最後，Google 還將添加一個「標籤頁比較（Tab Compare）」的功能。該功能將整各橫跨多個標籤頁的產品資訊後，在一個地方向你展示由 AI 生成的概述。Google 表示，這將能「通過將所有重要的細節 —— 產品規格、功能、價格、評級等 —— 整合到一個標籤頁中，您可以輕鬆比較並做出決定，而無需不斷切換標籤頁。」 目前，該功能僅限於「產品」，但 Tabriz 想象未來它可能會發展為允許你比較多所學校、托兒所或任何「能比較的東西」，幫你做出決定。 緊貼最新科技資訊、網購優惠，追隨 Yahoo Tech 各大社交平台！ 🎉📱 Tech Facebook：https://www.facebook.com/yahootechhk 🎉📱 Tech Instagram：https://www.instagram.com/yahootechhk/ 🎉📱 Tech WhatsApp 社群：https://chat.whatsapp.com/Dg3fiiyYf3yG2mgts4Mii8 🎉📱 Tech WhatsApp 頻道：https://whatsapp.com/channel/0029Va91dmR545urVCpQwq2D 🎉📱 Tech Telegram 頻道：https://t.me/yahootechhkThis article originally appeared on Yahoo Tech HK at https://hk.news.yahoo.com/google-will-let-you-search-your-chrome-browsing-history-by-asking-questions-like-a-human-020048526.html
-- gReader Pro
https://hk.news.yahoo.com/google-will-let-you-search-your-chrome-browsing-history-by-asking-questions-like-a-human-020048526.html
Google Chromepicture alliance via Getty Images 如果你覺得在茫茫瀏覽紀錄的大海中，找到一個你只有淡薄印象的網頁很麻煩，那 Chrome 新推出的功能可能能幫到你。在接下來幾週，桌面版 Chrome 將推出一個新功能，讓你可以用自然語言詢問你的瀏覽歷史，而 Google 的 Gemini AI 則會負責回答。你可以像平常一樣輸入問題，例如「我上週瀏覽了哪家冰淇淋店？」，而 Chrome 就能顯示你之前瀏覽過的相關頁面。 Google Chrome 副總裁 Parisa Tabriz 在宣布之前與記者談話時表示：「我們真正想做的是為 Chrome 的歷史引入更對話式的界面，讓人們再也不必去記網址。」 Chrome AI history searchGoogle 目前，此功能僅限於美國的 Chrome 桌機版用戶，且預設不會開啟，要用戶自行選擇加入。此外，它也不適用於無痕模式下的瀏覽網站。Google 表示，他們非常清楚讓 Google 的 AI 分析你的瀏覽歷史以提供答案的潛在隱私等相關影響，Tabriz 也表示 Google 不會直接使用你的瀏覽歷史或標籤來訓練其大型語言模型。「任何與瀏覽歷史相關的內容都是超級個人化的敏感資料，我們希望能從一開始將深入考慮所有的相關問題，以確保隱私保護成為設計的一部份。」 除了讓搜尋瀏覽紀錄更自然之外，Google 還為 Chrome 添加了兩個新的 AI 功能。一個是它將已經在 Android 和 iPhone 上存在相當久的 Google Lens 帶到了桌機版的 Chrome 上。Google 表示，「這意味著你可以輕鬆選擇、搜索和詢問你在網上看到的任何東西，而無需離開當前標籤頁。」 Google Chrome LensGoogle 要在 Chrome 桌機版上使用 Google Lens 搜索的話，相先要點選選擇地址欄上的圖標，然後點擊網頁上任何你想要搜索的內容。例如，點擊網頁上植物的照片，Google Lens 將直接在網頁旁打開一個側邊欄並進行辨識。之後，你還可以接著循問一些後續問題，例如「這種植物需要多少陽光才能存活？」，並獲得 AI 生成的答案，從頭到尾都無需離開當前頁面。 Lens 還能夠解析影片中的文字，這意味著你可以暫停並直接選擇畫面中顯示的任何文字（例如上圖的數學方程式），並快速在側邊欄中獲得有關它的更多 AI 生成的相關資訊。 Chrome compareGoogle 最後，Google 還將添加一個「標籤頁比較（Tab Compare）」的功能。該功能將整各橫跨多個標籤頁的產品資訊後，在一個地方向你展示由 AI 生成的概述。Google 表示，這將能「通過將所有重要的細節 —— 產品規格、功能、價格、評級等 —— 整合到一個標籤頁中，您可以輕鬆比較並做出決定，而無需不斷切換標籤頁。」 目前，該功能僅限於「產品」，但 Tabriz 想象未來它可能會發展為允許你比較多所學校、托兒所或任何「能比較的東西」，幫你做出決定。 緊貼最新科技資訊、網購優惠，追隨 Yahoo Tech 各大社交平台！ 🎉📱 Tech Facebook：https://www.facebook.com/yahootechhk 🎉📱 Tech Instagram：https://www.instagram.com/yahootechhk/ 🎉📱 Tech WhatsApp 社群：https://chat.whatsapp.com/Dg3fiiyYf3yG2mgts4Mii8 🎉📱 Tech WhatsApp 頻道：https://whatsapp.com/channel/0029Va91dmR545urVCpQwq2D 🎉📱 Tech Telegram 頻道：https://t.me/yahootechhkThis article originally appeared on Yahoo Tech HK at https://hk.news.yahoo.com/google-will-let-you-search-your-chrome-browsing-history-by-asking-questions-like-a-human-020048526.html
-- gReader Pro
訂閱：
文章 (Atom)
-
Wispr Flow AI 語音輸入有夠強！徹底解放雙手，目前地球上最強的語音輸入法 https://ahui3c.com/141866/wispr-flow-ai 你是否也曾感到雙手在鍵盤上飛舞的速度，永遠追不上腦中思緒奔騰的腳步？或是長時間打字導致手腕痠痛，卻又不得不繼續工作...
-
https://www.managertoday.com.tw/articles/view/70929
