2024年12月30日 星期一
AI 教父 Geoffrey Hinton 再警告：未來 30 年內 AI 有 20% 的可能性會消滅人類
AI 教父 Geoffrey Hinton 再警告：未來 30 年內 AI 有 20% 的可能性會消滅人類
https://www.inside.com.tw/article/37177-geoffrey-hinton-ai-wiping-out-humanity
有著 AI 教父之稱的 Geoffrey Hinton 在接受 BBC 節目訪問時，預測 AI 在未來三十年內有 10% 到 20% 的可能性會消滅人類，並警告 AI 的變革速度比預期中快得多。Hinton 進一步指出，人類以前從未遇到過更智慧的事物，且很少發生更智慧的事物被較不智慧事物控制的情形，他表示自己所知道的唯一一個例子，只有因演化而讓嬰兒能控制母親。他認為與強大 AI 系統相比較，人類就像是幼兒一樣，「想像一下你自己和一位三歲的孩子，我們將成為那三歲的孩子。」Hinton 也補充現在 AI 領域的大多數專家都認為，或許在未來 20 年內，我們將開發出比人類更聰明的 AI，「這是一個非常可怕的想法」，且對他而言 AI 發展速度「非常非常快，比我預期的還要快得多」。對此 Hinton 呼籲政府需要監管 AI， 因市場經濟中的無形之手已無法保障人類安全，單純靠大公司的利潤動機是不足以確保能安全地開發 AI ，「唯一能迫使大公司在安全性方面進行更多研究的就是政府監管」。Hinton 於去年正式從 Google 離職，其中一項原因是對近期的 AI 熱潮感到擔憂，選擇離開就可以在不顧慮 Google 的狀情況下評論 AI 的危險性。他也因為在機器學習領域的貢獻，獲得今年諾貝爾物理學獎，得獎後受訪時他再次警告 AI 技術失控的風險。責任編輯：Jocelyn核稿編輯：Sisley本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：深度學習教父 Geoffrey Hinton：AI 好壞取決於人，但不認為好 AI 能輕易獲勝深度學習教父 Geoffrey Hinton、John Hopfield 獲得 2024 諾貝爾物理學獎Geoffrey Hinton：AI 只會讓有錢人更有錢，未來必須有全民基本收入
-- gReader Pro
https://www.inside.com.tw/article/37177-geoffrey-hinton-ai-wiping-out-humanity
有著 AI 教父之稱的 Geoffrey Hinton 在接受 BBC 節目訪問時，預測 AI 在未來三十年內有 10% 到 20% 的可能性會消滅人類，並警告 AI 的變革速度比預期中快得多。Hinton 進一步指出，人類以前從未遇到過更智慧的事物，且很少發生更智慧的事物被較不智慧事物控制的情形，他表示自己所知道的唯一一個例子，只有因演化而讓嬰兒能控制母親。他認為與強大 AI 系統相比較，人類就像是幼兒一樣，「想像一下你自己和一位三歲的孩子，我們將成為那三歲的孩子。」Hinton 也補充現在 AI 領域的大多數專家都認為，或許在未來 20 年內，我們將開發出比人類更聰明的 AI，「這是一個非常可怕的想法」，且對他而言 AI 發展速度「非常非常快，比我預期的還要快得多」。對此 Hinton 呼籲政府需要監管 AI， 因市場經濟中的無形之手已無法保障人類安全，單純靠大公司的利潤動機是不足以確保能安全地開發 AI ，「唯一能迫使大公司在安全性方面進行更多研究的就是政府監管」。Hinton 於去年正式從 Google 離職，其中一項原因是對近期的 AI 熱潮感到擔憂，選擇離開就可以在不顧慮 Google 的狀情況下評論 AI 的危險性。他也因為在機器學習領域的貢獻，獲得今年諾貝爾物理學獎，得獎後受訪時他再次警告 AI 技術失控的風險。責任編輯：Jocelyn核稿編輯：Sisley本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：深度學習教父 Geoffrey Hinton：AI 好壞取決於人，但不認為好 AI 能輕易獲勝深度學習教父 Geoffrey Hinton、John Hopfield 獲得 2024 諾貝爾物理學獎Geoffrey Hinton：AI 只會讓有錢人更有錢，未來必須有全民基本收入
-- gReader Pro
AI 電影時代來臨？印度寶萊塢 AI 生成電影即將上映
AI 電影時代來臨？印度寶萊塢 AI 生成電影即將上映
https://www.techbang.com/posts/120489-ai-cinema-indian-bollywood
挑戰與突破：AI 生成技術如何打造首部 AI 電影？到目前為止，你可能已經看過使用 AI 影片生成工具製作的短片，這些工具可以根據簡單的文字提示創造幾秒鐘的逼真影片片段。一家印度新創公司現在正將這項技術推向極限：它計劃在 2025 年底之前推出一部幾乎完全使用生成式 AI 工具製作的故事片。 Intelliflicks Studios 位於昌迪加爾，是由作家庫希旺特·辛格（Khushwant Singh）和 Qualtrics 的 AI 策略總裁古爾迪普·帕爾（ Gurdeep Pall）共同創立的，古爾迪普·帕爾是前微軟 AI 孵化部門的企業副總裁。該工作室正在將 Singh 2014 年的小說《Maharaja in Denims》改編成電影，該小說講述了一位現代年輕人認為自己是19世紀錫克帝國創建者蘭吉特‧辛格（Maharaja Ranjit Singh）大帝轉世的故事。 辛格說，寶萊塢的電影公司老闆曾兩次購買這本書的電影版權，但因為故事涉及多個時代的複雜性和成本問題，電影始終未能實現。因此，當辛格的兒時好友帕爾告訴他 AI 影片生成器快速提升的能力時，兩人決定聯手創造他們所說的第一部生成式 AI 故事片。「我們正在嘗試採取突破性的步驟來展示這項技術的能力，」辛格說。 ▲ 電影製作者使用 AI 圖像生成器來創造角色，然後將這些角色輸入到影片生成器中。 圖片來源：Intelliflicks Studios 他們使用了哪些生成式 AI 工具？ 帕爾表示，該公司正在使用一套商業和開源的 AI 工具來製作這部電影，並且正在開發自己的軟體來管理新的工作流程。它使用圖像生成模型來生成角色設計、場景和物體，然後將這些內容輸入到影片生成模型中。其他 AI 工具則用於創造音頻、對話的唇形同步和銳化圖像。帕爾說，他的團隊也使用傳統的影片製作工具來完成更簡單的工作，例如匹配場景之間的照明和顏色。 開發人員主要使用預先訓練的模型，帕爾說他們還使用印度的特定數據對一些模型進行了微調。但在某些情況下，微調是不夠的。比如，一個涉及北印度傳統 Kathak 舞蹈的場景，帕爾表示，為此收集足夠的數據來訓練模型是不現實的。因此，他們計劃記錄一場真正的 Kathak 表演，然後使用AI將角色的臉替換到生成的影像中。 ▲Intelliflicks Studios 發佈了這部計劃今年上映的 AI 生成故事片的預告片 帕爾表示，該團隊面臨的最大挑戰是一致性。生成式 AI 本質上是機率性的，因此模型對特定提示的回應每次都會不同。當一個角色必須在整部故事片中保持相同的外觀時，這可能會使事情變得棘手。 在過去的一年中，這一挑戰變得更容易管理，因為許多模型現在可以在每個輸出中添加一個數位標籤。這個標籤可以加到未來的提示中，以確保模型在生成新片段時遵循相似的風格。不過，帕爾 表示，即便如此，這些再創作的結果也從來不會完美。他補充說，團隊正在適應這項技術的限制。「你必須將這視為一種新的媒介，」他解釋道。「用水彩和油畫無法畫出一樣的效果。」 外界專家的看法 紐約 AI 影片新創公司 Runway 的創意負責人傑米·安佛森（Jamie Umpherson）表示，最成功的 AI 影片專案是那些了解技術局限性並利用這些局限性來增強故事敘述的項目。他補充道，這項技術正在不斷改進，因此某些限制可能是短暫的。 不過，安佛森認為，以當今技術製作一部長片仍然有些牽強。他指出，大多數 Runway 的客戶（包括電影製作公司、廣告公司和獨立藝術家）主要使用這項技術來快速迭代創意過程的早期構思，或生成補充實景拍攝的視覺特效。「完全生成一部電影絕對是可能的，」他說，但這需要「極高的藝術造詣」。 ▲ 許多今天的影片生成器現在為每個生成的片段提供一個標籤，可以將其添加到下一個提示中以提高連續性。圖片來源： Intelliflicks Studios 康乃爾大學（Cornell University）電腦科學助理教授艾比·戴維斯（Abe Davis）表示，這些工具的挑戰之一在於，它們的設計目標是以最少的使用者輸入生成高保真的影片——這使它們掌控了許多通常需要人類決策的細節。這種自動化讓外行人能夠迅速生成片段，但對於有專業技能和創作願景的人來說，卻可能令人感到挫折。他說：「人們低估了電影製作人實際需要做出的相關或重要決策的數量。」 ▲ 這部 AI 生成的電影背景設定在現代和 19 世紀。圖片來源：Intelliflicks Studios 電影導演對於演員的表演都會有細緻的要求，例如語氣、表情、肢體動作等等，這些細節會影響角色呈現和劇情推進。但目前的 AI 工具，主要依靠文字提示 (text prompt) 來生成影片。導演很難用文字精準描述所有表演細節，AI 也難以完全理解並執行這些細微的指示。即使 AI 能在某個片段中呈現出導演想要的效果，也很難在之後的影片中保持一致性，因為 AI 模型的輸出具有隨機性。隨著影片長度增加，維持一致性更會成為一大挑戰。 辛格承認，第一部 AI 生成的長篇電影可能與傳統製作的電影截然不同。但他對這項技術充滿希望，認為它將打破阻礙人們表達創意的結構性障礙。他說，AI 是遊戲規則的改變者：「我認為這將以巨大方式實現電影製作的民主化。」 延伸閱讀：Shy Kids揭秘使用Sora製作短片的製作過程！AI 影片產生器的驚人進步與局限性 延伸閱讀：OpenAI的Sora AI影片生成工具現已向ChatGPT Plus和Pro用戶開放 延伸閱讀：真的會動！盤點6個文字生成影片的AI工具－免器材、零基礎，輕鬆晉身影音創作者 資料來源：spectrum.ieee.org 加入T客邦Facebook粉絲團
-- gReader Pro
https://www.techbang.com/posts/120489-ai-cinema-indian-bollywood
挑戰與突破：AI 生成技術如何打造首部 AI 電影？到目前為止，你可能已經看過使用 AI 影片生成工具製作的短片，這些工具可以根據簡單的文字提示創造幾秒鐘的逼真影片片段。一家印度新創公司現在正將這項技術推向極限：它計劃在 2025 年底之前推出一部幾乎完全使用生成式 AI 工具製作的故事片。 Intelliflicks Studios 位於昌迪加爾，是由作家庫希旺特·辛格（Khushwant Singh）和 Qualtrics 的 AI 策略總裁古爾迪普·帕爾（ Gurdeep Pall）共同創立的，古爾迪普·帕爾是前微軟 AI 孵化部門的企業副總裁。該工作室正在將 Singh 2014 年的小說《Maharaja in Denims》改編成電影，該小說講述了一位現代年輕人認為自己是19世紀錫克帝國創建者蘭吉特‧辛格（Maharaja Ranjit Singh）大帝轉世的故事。 辛格說，寶萊塢的電影公司老闆曾兩次購買這本書的電影版權，但因為故事涉及多個時代的複雜性和成本問題，電影始終未能實現。因此，當辛格的兒時好友帕爾告訴他 AI 影片生成器快速提升的能力時，兩人決定聯手創造他們所說的第一部生成式 AI 故事片。「我們正在嘗試採取突破性的步驟來展示這項技術的能力，」辛格說。 ▲ 電影製作者使用 AI 圖像生成器來創造角色，然後將這些角色輸入到影片生成器中。 圖片來源：Intelliflicks Studios 他們使用了哪些生成式 AI 工具？ 帕爾表示，該公司正在使用一套商業和開源的 AI 工具來製作這部電影，並且正在開發自己的軟體來管理新的工作流程。它使用圖像生成模型來生成角色設計、場景和物體，然後將這些內容輸入到影片生成模型中。其他 AI 工具則用於創造音頻、對話的唇形同步和銳化圖像。帕爾說，他的團隊也使用傳統的影片製作工具來完成更簡單的工作，例如匹配場景之間的照明和顏色。 開發人員主要使用預先訓練的模型，帕爾說他們還使用印度的特定數據對一些模型進行了微調。但在某些情況下，微調是不夠的。比如，一個涉及北印度傳統 Kathak 舞蹈的場景，帕爾表示，為此收集足夠的數據來訓練模型是不現實的。因此，他們計劃記錄一場真正的 Kathak 表演，然後使用AI將角色的臉替換到生成的影像中。 ▲Intelliflicks Studios 發佈了這部計劃今年上映的 AI 生成故事片的預告片 帕爾表示，該團隊面臨的最大挑戰是一致性。生成式 AI 本質上是機率性的，因此模型對特定提示的回應每次都會不同。當一個角色必須在整部故事片中保持相同的外觀時，這可能會使事情變得棘手。 在過去的一年中，這一挑戰變得更容易管理，因為許多模型現在可以在每個輸出中添加一個數位標籤。這個標籤可以加到未來的提示中，以確保模型在生成新片段時遵循相似的風格。不過，帕爾 表示，即便如此，這些再創作的結果也從來不會完美。他補充說，團隊正在適應這項技術的限制。「你必須將這視為一種新的媒介，」他解釋道。「用水彩和油畫無法畫出一樣的效果。」 外界專家的看法 紐約 AI 影片新創公司 Runway 的創意負責人傑米·安佛森（Jamie Umpherson）表示，最成功的 AI 影片專案是那些了解技術局限性並利用這些局限性來增強故事敘述的項目。他補充道，這項技術正在不斷改進，因此某些限制可能是短暫的。 不過，安佛森認為，以當今技術製作一部長片仍然有些牽強。他指出，大多數 Runway 的客戶（包括電影製作公司、廣告公司和獨立藝術家）主要使用這項技術來快速迭代創意過程的早期構思，或生成補充實景拍攝的視覺特效。「完全生成一部電影絕對是可能的，」他說，但這需要「極高的藝術造詣」。 ▲ 許多今天的影片生成器現在為每個生成的片段提供一個標籤，可以將其添加到下一個提示中以提高連續性。圖片來源： Intelliflicks Studios 康乃爾大學（Cornell University）電腦科學助理教授艾比·戴維斯（Abe Davis）表示，這些工具的挑戰之一在於，它們的設計目標是以最少的使用者輸入生成高保真的影片——這使它們掌控了許多通常需要人類決策的細節。這種自動化讓外行人能夠迅速生成片段，但對於有專業技能和創作願景的人來說，卻可能令人感到挫折。他說：「人們低估了電影製作人實際需要做出的相關或重要決策的數量。」 ▲ 這部 AI 生成的電影背景設定在現代和 19 世紀。圖片來源：Intelliflicks Studios 電影導演對於演員的表演都會有細緻的要求，例如語氣、表情、肢體動作等等，這些細節會影響角色呈現和劇情推進。但目前的 AI 工具，主要依靠文字提示 (text prompt) 來生成影片。導演很難用文字精準描述所有表演細節，AI 也難以完全理解並執行這些細微的指示。即使 AI 能在某個片段中呈現出導演想要的效果，也很難在之後的影片中保持一致性，因為 AI 模型的輸出具有隨機性。隨著影片長度增加，維持一致性更會成為一大挑戰。 辛格承認，第一部 AI 生成的長篇電影可能與傳統製作的電影截然不同。但他對這項技術充滿希望，認為它將打破阻礙人們表達創意的結構性障礙。他說，AI 是遊戲規則的改變者：「我認為這將以巨大方式實現電影製作的民主化。」 延伸閱讀：Shy Kids揭秘使用Sora製作短片的製作過程！AI 影片產生器的驚人進步與局限性 延伸閱讀：OpenAI的Sora AI影片生成工具現已向ChatGPT Plus和Pro用戶開放 延伸閱讀：真的會動！盤點6個文字生成影片的AI工具－免器材、零基礎，輕鬆晉身影音創作者 資料來源：spectrum.ieee.org 加入T客邦Facebook粉絲團
-- gReader Pro
2024年12月28日 星期六
2024年12月27日 星期五
科技爱好者周刊（第 331 期）：你可能是一个 NPC
科技爱好者周刊（第 331 期）：你可能是一个 NPC
自豪版本號
自豪版本號
http://www.ruanyifeng.com/blog/2024/12/weekly-issue-331.html
这里记录每周值得分享的科技内容，周五发布。 本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（yifeng.ruan@gmail.com）。 封面图 南京城北万象汇商场，与红山动物园合作，架设了一个38米高的长颈鹿。（via） 你可能是一个 NPC 最近，美国发生了一起轰动的大案，一家医疗保险公司的 CEO 当街被人击杀。 嫌疑人很快抓到了，是一个26岁的青年，名为路易吉·曼吉奥内（Luigi Mangione）。 媒体纷纷挖掘这个青年的背景，发现他是一个作家的粉丝。 就在几个月前，他向作家打赏200美元，并进行了多次视频通话。 媒体就去采访作家，询问两人在通话中说了什么。 作家详细地回忆了他们的通话内容。其中有一段，我觉得很有意思，分享给大家。 曼吉奥内对作家说，他很喜欢作家的一篇文章《你可能是一个 NPC》。 NPC 指的是电子游戏的"非玩家角色"，比如路人、门卫、警察等等，用来模拟现实环境，由程序控制，一举一动都是设计好的，没有自主意识。 作家的那篇文章提出，人类越来越像机器人，彷佛 NPC 那样，行为逻辑都是预设好的。 曼吉奥内高度认同这个观点。他前不久去日本旅行，认为日本充满了 NPC。他说了一件亲身见闻。 一天早上，他在街上看到一名男子癫痫发作，倒在地上。他跑到最近的警察局求助，警察就跟着他去现场。 路上遇到了红灯，警察立刻就停下来，坚持要等绿灯再过马路，即使那时马路上根本没有汽车。 曼吉奥内很不理解，病人正在发病，神智不清，可能有生命危险，警察却坚持遵守交通规则。救人难道不是更重要的事情吗？ 他由此认为，日本人"缺乏自由意志"，规则怎么说就怎么做，不会自主行事，就是活着的 NPC。 他还观察到，日本存在一种"隐蔽族"（hikikomori），他们不出门，一个人整天待在卧室里，用电子游戏、上网、视频来消磨时间。 曼吉奥内认为，这些人也是 NPC，他们失去了对生活的控制，无法参与社会生活，就选择放弃，等于丧失了生活的自主权。 他观察到，这种现象不仅存在于日本，正在向全世界蔓延，世界各地越来越多的人正在成为 NPC。他们要么无法自主的生活，要么无法选择自己的行为，而是根据规则和指令来行事，就像被程序控制一样。 科技公司推动和加剧了这种趋势，互联网使得人们越来越分心，把时间都花在网上肤浅的娱乐，不再集中注意力于自己的生活，把生活都交给程序，无法形成自主的意识和行为。 以上就是曼吉奥内的观点，我认为是很真实的观察。一方面，人工智能使得机器人越来越像人类，另一方面，人类的自主性在消退，越来越像机器人。现实与游戏、人类与机器人，越来越难以区分了。 AI 编程挑战赛，即将报名截止 这几期的周刊一直在介绍，正在举行的全国 AI 编程挑战赛。 它的报名马上就要截止了。 （1）应用赛道的作品提交，到1月5日截止。如果你有好的创意，能用 AI 做出可运行的作品，就可以报名参加。 （2）如果你善于刷题，可以报名参加算法赛道，但不能用 AI 来解算法题。 我是鼓励大家参加。大赛有丰厚奖品，设了20万的奖金池，获奖者还有机会拿到岗位 offer。就算没得奖，也是一个很好的锻炼，能够动手编程、熟悉 AI。 大赛由豆包 MarsCode 和稀土掘金技术社区共同主办。详细介绍和报名方法，请看前两期的周刊，或者点击这里。 科技动态 1、观鸟神器 一个美国女子发明了一种观鸟神器，在网上引起了轰动。 她在墨镜上挂了一个托盘，上面洒了鸟食。小鸟就会停在上面，完全没有意识到，就停在她的鼻子前面。 这种观鸟神器，简单又体验独特，怎么以前没人想到。 2、自豪版本规范 一个开发者提出自豪版本规范（pride versioning），对软件版本进行编号。 如果你对新功能感到非常自豪，就发一个大版本（递增第一个版本号），否则就发一个小版本（递增第二个版本号）。 如果你对某个地方感到尴尬和羞耻，就发一个补丁版本进行改正（递增第三个版本号）。 3、能量收集电子贺卡 一位国外的程序员，制作了一张可以收集能量的电子贺卡。 这张贺卡就是信用卡大小，上面有电路，但是不带电池，通过收集周围环境的能量，LED 灯会闪烁。 最简单的方式，就是放在灯光下，它会收集光能。 你也可以用 USB 供电。 它甚至可以放在路由器或微波炉旁边，吸收 WIFI 和微波的能量。 4、糖打印机 你想过用糖来 3D 打印吗？有人就真的做出了一台糖打印机。 它用热风枪，将白砂糖吹塑成型，打印出各种形状。 下面是它打印的一颗钉子。 它可以打印出很复杂的形状。 这些东西都可以食用，因此这种机器在食品行业应该很有用，在夜市可能也会很轰动。 文章 1、我的几何人生（中文） 著名华人数学家丘成桐，回顾自己的成长道路。 2、编程十年的感悟（中文） "代码写多了才意识到，程序员的竞争力并不是写代码，也并不是哪门语言或者框架， 其核心竞争力是通过技术解决问题的能力"。（@ramsayleung 投稿） 3、我给博客添加 dark mode（中文） 作者介绍他为博客添加 dark mode 的处理方法和注意事项。（@Spike-Leung 投稿） 4、七个最佳的生产力 Docker 镜像（英文） 本文介绍七个可以自己用 Docker 镜像架设的生产力服务。 5、不可变 Linux 发行版（英文） 越来越多的开发者开始使用不可变的 Linux 发行版（immutable Linux distro），即系统文件在运行期间不可更改。这样会让系统更稳定，也更容易迁移和回滚。 6、macOS 命令行内置的工具程序（英文） 本文介绍 macOS 内置的一些命令行工具程序，比如 security、open、pbcopy、pbpaste 等。 工具 1、YunoHost 一款虚拟机软件，内置了常见的云服务，可以一键启用，省去了安装云服务的麻烦，参见介绍文章。 2、MarkItDown 微软官方推出的工具，将各种格式的文件（主要是 Office 文件）转成 Markdown 格式。标题是 GitHub 仓库链接，下面是线上体验。 3、爱幕 在线字幕编辑器，支持音频提取和字幕翻译，免费使用，自己部署需付费。（@zhw2590582 投稿） 4、Beautify Screenshots 截图美化工具。（@cxhello 投稿） 5、单词收藏助手 Chrome 插件 + 微信小程序，在网页上收藏单词，建立自己的词库，然后通过小程序加强记忆。（@yuuk 投稿） 6、Free Open Graph Image Generator 根据模版制作"网页分享图"（open graph）的在线工具。（@javayhu 投稿） 7、Kyanos 一个命令行的网络流量采集和分析工具，具有较强的数据过滤和分析能力。（@hengyoush 投稿） 8、在线 Excel 协同编辑器 一个开源的类 Excel 电子表格网页应用，支持多人协同编辑。（@nusr 投稿） 9、红枫云盘（maple-file） 一个多协议云端文件存储的客户端，支持安卓和 macOS，基于 Flutter + Go 开发。（@honmaple 投稿） 10、GitHub Cards 将 GitHub 用户个人数据转换成卡片图。（@iAmCorey 投稿） AI 相关 1、GCOP 基于 AI 的 Git 提交消息生成和工作流程优化工具。（@Undertone0809 投稿） 2、github-assistant 该网站可以对 GitHub 代码库提问，由 AI 来回答，比如"过去30天谁的提交次数最多"。 3、Liubai 开源的微信机器人，在微信里面同时调用三个 AI 模型，完成各种任务。（@yenche123 投稿） 4、AI OCR 在线免费 AI OCR（图片文字识别）工具，所使用的前端代码和 AI 提示词见这里，灵感来自 llama-ocr。（@ringcrl 投稿） 5、Smart Alt Text Generator Generator 上传图片，生成 SEO 友好的 alt 描述，支持多种语言。（@wang1309 投稿） 6、AI 调色盘生成器 该网站可以根据输入的关键词，生成对应的色彩组合。 资源 1、WebSpy.Site 网站流量分析平台，根据域名查询网站流量情况。（@wincatcher 投稿） 2、PNGFree.ai 免费的百万级 PNG 图片库。（@shawnlee000 投稿） 图片 1、无头鸡 1945年，一个美国科罗拉多州的农民杀鸡时，砍掉了一只五个半月大的鸡的大部分头部。 但是没有砍到颈静脉，并且一只耳朵和大部分脑干完好无损。因此，这只鸡虽然没有脑袋了，仍然可以保持平衡并笨拙地行走。 农民发现这只鸡没有死，就决定继续养它，用滴管给它喂食。 后来，这只鸡被巡回展出，门票是25美分，每月为主人带来4,500美元收入。 1947年3月，它死于巡回展出途中。 2、Windows 3.1 时钟 市场上出现了 Windows 3.1 时钟，钟面就是 Windows 3.1 的桌面，看上去很有怀旧感。 注意，上图的钟面不是液晶屏，而是印刷上去的。它是石英钟，使用一节五号电池。 文摘 1、长期软件开发 有些领域的软件会持续运行几十年，比如发电厂、起搏器、飞机、桥梁、重型机械的软件。它们可能几年都不会改动，然后推出一个新的大版本。 如果一个软件的开发周期长达几十年，需要长期维护，那么最好做到下面几点。 （1）尽量减少依赖。 软件的依赖项越多，长期越难以维护。依赖包括开发时依赖和运行时依赖，都是越少越好。 现在，很多软件在运行时会调用云服务，这也不利于长期维护。 （2）完备的测试用例。 测试对于重构、删除/添加功能，会提供极大的帮助。当你中断3年后，重新开始开发，测试也会让你快速了解系统。 （3）减少复杂性。 复杂性是软件开发的头号敌人，会让最好的程序员和团队都铩羽而归。 由于熵增定律和人类行为，除非你有意识地遏制，否则复杂性总是会增加。 因此，你需要养成严格的开发习惯：尽早和频繁地重构，删除不必要的或重复的代码，花时间简化。 （4）编写简单无趣的代码。 代码越简单越好，重点是代码的运行逻辑要显而易见。你永远不会后悔编写了简单的代码。 那些看上去很聪明、很高深的代码，会让后期的调试和理解变得复杂。特别注意那些高性能代码，只有当你正确理解它们时，它们才有效。 另外，那些眼下时髦、被热炒的明星技术，如果没有得到充分验证，也需要规避。 你最好只使用至少有10年历史的可靠技术。有一条规则是，某项技术的寿命与它们当前的年龄成正比，即存在越久的东西越可能继续存在。 （5）日志、遥测和文档 如果软件不是持续更新，开发者的注意力就会转到其他地方，不会立即跟进，所以需要有日志和遥测，能把运行过程记录下来。 文档则可以帮助我们理解几年前、甚至十几年前，编写原始代码时的想法。可能的话，记录所有事物，不仅仅是代码，还有理念、想法和为什么。 （6）团队 团队人员变化是很常见的。在许多地方，在一个团队呆三年，就已经很久了。虽然你可以用良好的文档和出色的测试，来抵消这种人员变化，但这很困难。 软件长寿的最简单办法之一，就是让开发成员长期稳定，保持工作十年。这意味着，你必须给你的程序员提供良好待遇，否则人们会离开。 在某些地方，软件是外包公司或咨询顾问写的，他们将代码丢到你的系统中后离开。对于长期运行的软件，这是非常糟糕的安排。 （7）开源 让你的代码暴露在外界的眼光，是保持代码可靠的好方法。一个有趣的事实是，只有质量良好的代码，人们才愿意对外分享，也就是说，如果不开源，人们会愿意在组织内部接受质量更差的代码。 开源代码有更高的标准、更多的测试，这是让代码不过时的绝佳机制。 言论 1、 银行的 API 特别难用，设计得也很奇怪。我在为银行工作时，发现了原因。 API 不是银行通信的方式，文件才是。银行执行的指令，不是通过我们习惯的 API 传送，而是通过文件接收。 -- 《为什么软件工程师与银行整合如此痛苦？》 2、 美国有很多问题，绝非理想的社会，但是第三世界国家的很多人，尤其是低收入人群，尽管对美国的真实情况一无所知，依然非常向往。 在他们心目中，美国有财富、空间、自由、人性化管理等等。这不是真实的美国，而是美国在他们心目中的投影，他们向往的其实是自己想象中的生活方式。 这是美国的一个很大的优势，尽管自身的诸多问题，依然能够对其他国家的人民产生吸引力。 -- 《美国比欧洲好吗？》 3、 产品经理的职责就是三件事：（1）了解用户需求；（2）提出解决方案；（3）安排任务执行。 -- 《产品经理的 AI》 4、 一个生物学家说过："每个细菌的梦想都是变成两个。" 这是生活的基本真理：你经历的一切只是使自己更加重要的一种手段。 -- Sean Carroll，进化生物学家 5、 我喜欢科学的一点是，无论你喜不喜欢，它都会让你相信。 -- 肖恩·卡罗尔，物理学家 往年回顾 YouTube 有多少个视频？（2023 #284） AI 聊天有多强？（2022 #234） 政府的存储需求有多大？（2021 #184） 未来的游戏业比现在大100倍（2020 #134） （完） 文档信息 版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证） 发表日期： 2024年12月27日
-- gReader Pro
这里记录每周值得分享的科技内容，周五发布。 本杂志开源，欢迎投稿。另有《谁在招人》服务，发布程序员招聘信息。合作请邮件联系（yifeng.ruan@gmail.com）。 封面图 南京城北万象汇商场，与红山动物园合作，架设了一个38米高的长颈鹿。（via） 你可能是一个 NPC 最近，美国发生了一起轰动的大案，一家医疗保险公司的 CEO 当街被人击杀。 嫌疑人很快抓到了，是一个26岁的青年，名为路易吉·曼吉奥内（Luigi Mangione）。 媒体纷纷挖掘这个青年的背景，发现他是一个作家的粉丝。 就在几个月前，他向作家打赏200美元，并进行了多次视频通话。 媒体就去采访作家，询问两人在通话中说了什么。 作家详细地回忆了他们的通话内容。其中有一段，我觉得很有意思，分享给大家。 曼吉奥内对作家说，他很喜欢作家的一篇文章《你可能是一个 NPC》。 NPC 指的是电子游戏的"非玩家角色"，比如路人、门卫、警察等等，用来模拟现实环境，由程序控制，一举一动都是设计好的，没有自主意识。 作家的那篇文章提出，人类越来越像机器人，彷佛 NPC 那样，行为逻辑都是预设好的。 曼吉奥内高度认同这个观点。他前不久去日本旅行，认为日本充满了 NPC。他说了一件亲身见闻。 一天早上，他在街上看到一名男子癫痫发作，倒在地上。他跑到最近的警察局求助，警察就跟着他去现场。 路上遇到了红灯，警察立刻就停下来，坚持要等绿灯再过马路，即使那时马路上根本没有汽车。 曼吉奥内很不理解，病人正在发病，神智不清，可能有生命危险，警察却坚持遵守交通规则。救人难道不是更重要的事情吗？ 他由此认为，日本人"缺乏自由意志"，规则怎么说就怎么做，不会自主行事，就是活着的 NPC。 他还观察到，日本存在一种"隐蔽族"（hikikomori），他们不出门，一个人整天待在卧室里，用电子游戏、上网、视频来消磨时间。 曼吉奥内认为，这些人也是 NPC，他们失去了对生活的控制，无法参与社会生活，就选择放弃，等于丧失了生活的自主权。 他观察到，这种现象不仅存在于日本，正在向全世界蔓延，世界各地越来越多的人正在成为 NPC。他们要么无法自主的生活，要么无法选择自己的行为，而是根据规则和指令来行事，就像被程序控制一样。 科技公司推动和加剧了这种趋势，互联网使得人们越来越分心，把时间都花在网上肤浅的娱乐，不再集中注意力于自己的生活，把生活都交给程序，无法形成自主的意识和行为。 以上就是曼吉奥内的观点，我认为是很真实的观察。一方面，人工智能使得机器人越来越像人类，另一方面，人类的自主性在消退，越来越像机器人。现实与游戏、人类与机器人，越来越难以区分了。 AI 编程挑战赛，即将报名截止 这几期的周刊一直在介绍，正在举行的全国 AI 编程挑战赛。 它的报名马上就要截止了。 （1）应用赛道的作品提交，到1月5日截止。如果你有好的创意，能用 AI 做出可运行的作品，就可以报名参加。 （2）如果你善于刷题，可以报名参加算法赛道，但不能用 AI 来解算法题。 我是鼓励大家参加。大赛有丰厚奖品，设了20万的奖金池，获奖者还有机会拿到岗位 offer。就算没得奖，也是一个很好的锻炼，能够动手编程、熟悉 AI。 大赛由豆包 MarsCode 和稀土掘金技术社区共同主办。详细介绍和报名方法，请看前两期的周刊，或者点击这里。 科技动态 1、观鸟神器 一个美国女子发明了一种观鸟神器，在网上引起了轰动。 她在墨镜上挂了一个托盘，上面洒了鸟食。小鸟就会停在上面，完全没有意识到，就停在她的鼻子前面。 这种观鸟神器，简单又体验独特，怎么以前没人想到。 2、自豪版本规范 一个开发者提出自豪版本规范（pride versioning），对软件版本进行编号。 如果你对新功能感到非常自豪，就发一个大版本（递增第一个版本号），否则就发一个小版本（递增第二个版本号）。 如果你对某个地方感到尴尬和羞耻，就发一个补丁版本进行改正（递增第三个版本号）。 3、能量收集电子贺卡 一位国外的程序员，制作了一张可以收集能量的电子贺卡。 这张贺卡就是信用卡大小，上面有电路，但是不带电池，通过收集周围环境的能量，LED 灯会闪烁。 最简单的方式，就是放在灯光下，它会收集光能。 你也可以用 USB 供电。 它甚至可以放在路由器或微波炉旁边，吸收 WIFI 和微波的能量。 4、糖打印机 你想过用糖来 3D 打印吗？有人就真的做出了一台糖打印机。 它用热风枪，将白砂糖吹塑成型，打印出各种形状。 下面是它打印的一颗钉子。 它可以打印出很复杂的形状。 这些东西都可以食用，因此这种机器在食品行业应该很有用，在夜市可能也会很轰动。 文章 1、我的几何人生（中文） 著名华人数学家丘成桐，回顾自己的成长道路。 2、编程十年的感悟（中文） "代码写多了才意识到，程序员的竞争力并不是写代码，也并不是哪门语言或者框架， 其核心竞争力是通过技术解决问题的能力"。（@ramsayleung 投稿） 3、我给博客添加 dark mode（中文） 作者介绍他为博客添加 dark mode 的处理方法和注意事项。（@Spike-Leung 投稿） 4、七个最佳的生产力 Docker 镜像（英文） 本文介绍七个可以自己用 Docker 镜像架设的生产力服务。 5、不可变 Linux 发行版（英文） 越来越多的开发者开始使用不可变的 Linux 发行版（immutable Linux distro），即系统文件在运行期间不可更改。这样会让系统更稳定，也更容易迁移和回滚。 6、macOS 命令行内置的工具程序（英文） 本文介绍 macOS 内置的一些命令行工具程序，比如 security、open、pbcopy、pbpaste 等。 工具 1、YunoHost 一款虚拟机软件，内置了常见的云服务，可以一键启用，省去了安装云服务的麻烦，参见介绍文章。 2、MarkItDown 微软官方推出的工具，将各种格式的文件（主要是 Office 文件）转成 Markdown 格式。标题是 GitHub 仓库链接，下面是线上体验。 3、爱幕 在线字幕编辑器，支持音频提取和字幕翻译，免费使用，自己部署需付费。（@zhw2590582 投稿） 4、Beautify Screenshots 截图美化工具。（@cxhello 投稿） 5、单词收藏助手 Chrome 插件 + 微信小程序，在网页上收藏单词，建立自己的词库，然后通过小程序加强记忆。（@yuuk 投稿） 6、Free Open Graph Image Generator 根据模版制作"网页分享图"（open graph）的在线工具。（@javayhu 投稿） 7、Kyanos 一个命令行的网络流量采集和分析工具，具有较强的数据过滤和分析能力。（@hengyoush 投稿） 8、在线 Excel 协同编辑器 一个开源的类 Excel 电子表格网页应用，支持多人协同编辑。（@nusr 投稿） 9、红枫云盘（maple-file） 一个多协议云端文件存储的客户端，支持安卓和 macOS，基于 Flutter + Go 开发。（@honmaple 投稿） 10、GitHub Cards 将 GitHub 用户个人数据转换成卡片图。（@iAmCorey 投稿） AI 相关 1、GCOP 基于 AI 的 Git 提交消息生成和工作流程优化工具。（@Undertone0809 投稿） 2、github-assistant 该网站可以对 GitHub 代码库提问，由 AI 来回答，比如"过去30天谁的提交次数最多"。 3、Liubai 开源的微信机器人，在微信里面同时调用三个 AI 模型，完成各种任务。（@yenche123 投稿） 4、AI OCR 在线免费 AI OCR（图片文字识别）工具，所使用的前端代码和 AI 提示词见这里，灵感来自 llama-ocr。（@ringcrl 投稿） 5、Smart Alt Text Generator Generator 上传图片，生成 SEO 友好的 alt 描述，支持多种语言。（@wang1309 投稿） 6、AI 调色盘生成器 该网站可以根据输入的关键词，生成对应的色彩组合。 资源 1、WebSpy.Site 网站流量分析平台，根据域名查询网站流量情况。（@wincatcher 投稿） 2、PNGFree.ai 免费的百万级 PNG 图片库。（@shawnlee000 投稿） 图片 1、无头鸡 1945年，一个美国科罗拉多州的农民杀鸡时，砍掉了一只五个半月大的鸡的大部分头部。 但是没有砍到颈静脉，并且一只耳朵和大部分脑干完好无损。因此，这只鸡虽然没有脑袋了，仍然可以保持平衡并笨拙地行走。 农民发现这只鸡没有死，就决定继续养它，用滴管给它喂食。 后来，这只鸡被巡回展出，门票是25美分，每月为主人带来4,500美元收入。 1947年3月，它死于巡回展出途中。 2、Windows 3.1 时钟 市场上出现了 Windows 3.1 时钟，钟面就是 Windows 3.1 的桌面，看上去很有怀旧感。 注意，上图的钟面不是液晶屏，而是印刷上去的。它是石英钟，使用一节五号电池。 文摘 1、长期软件开发 有些领域的软件会持续运行几十年，比如发电厂、起搏器、飞机、桥梁、重型机械的软件。它们可能几年都不会改动，然后推出一个新的大版本。 如果一个软件的开发周期长达几十年，需要长期维护，那么最好做到下面几点。 （1）尽量减少依赖。 软件的依赖项越多，长期越难以维护。依赖包括开发时依赖和运行时依赖，都是越少越好。 现在，很多软件在运行时会调用云服务，这也不利于长期维护。 （2）完备的测试用例。 测试对于重构、删除/添加功能，会提供极大的帮助。当你中断3年后，重新开始开发，测试也会让你快速了解系统。 （3）减少复杂性。 复杂性是软件开发的头号敌人，会让最好的程序员和团队都铩羽而归。 由于熵增定律和人类行为，除非你有意识地遏制，否则复杂性总是会增加。 因此，你需要养成严格的开发习惯：尽早和频繁地重构，删除不必要的或重复的代码，花时间简化。 （4）编写简单无趣的代码。 代码越简单越好，重点是代码的运行逻辑要显而易见。你永远不会后悔编写了简单的代码。 那些看上去很聪明、很高深的代码，会让后期的调试和理解变得复杂。特别注意那些高性能代码，只有当你正确理解它们时，它们才有效。 另外，那些眼下时髦、被热炒的明星技术，如果没有得到充分验证，也需要规避。 你最好只使用至少有10年历史的可靠技术。有一条规则是，某项技术的寿命与它们当前的年龄成正比，即存在越久的东西越可能继续存在。 （5）日志、遥测和文档 如果软件不是持续更新，开发者的注意力就会转到其他地方，不会立即跟进，所以需要有日志和遥测，能把运行过程记录下来。 文档则可以帮助我们理解几年前、甚至十几年前，编写原始代码时的想法。可能的话，记录所有事物，不仅仅是代码，还有理念、想法和为什么。 （6）团队 团队人员变化是很常见的。在许多地方，在一个团队呆三年，就已经很久了。虽然你可以用良好的文档和出色的测试，来抵消这种人员变化，但这很困难。 软件长寿的最简单办法之一，就是让开发成员长期稳定，保持工作十年。这意味着，你必须给你的程序员提供良好待遇，否则人们会离开。 在某些地方，软件是外包公司或咨询顾问写的，他们将代码丢到你的系统中后离开。对于长期运行的软件，这是非常糟糕的安排。 （7）开源 让你的代码暴露在外界的眼光，是保持代码可靠的好方法。一个有趣的事实是，只有质量良好的代码，人们才愿意对外分享，也就是说，如果不开源，人们会愿意在组织内部接受质量更差的代码。 开源代码有更高的标准、更多的测试，这是让代码不过时的绝佳机制。 言论 1、 银行的 API 特别难用，设计得也很奇怪。我在为银行工作时，发现了原因。 API 不是银行通信的方式，文件才是。银行执行的指令，不是通过我们习惯的 API 传送，而是通过文件接收。 -- 《为什么软件工程师与银行整合如此痛苦？》 2、 美国有很多问题，绝非理想的社会，但是第三世界国家的很多人，尤其是低收入人群，尽管对美国的真实情况一无所知，依然非常向往。 在他们心目中，美国有财富、空间、自由、人性化管理等等。这不是真实的美国，而是美国在他们心目中的投影，他们向往的其实是自己想象中的生活方式。 这是美国的一个很大的优势，尽管自身的诸多问题，依然能够对其他国家的人民产生吸引力。 -- 《美国比欧洲好吗？》 3、 产品经理的职责就是三件事：（1）了解用户需求；（2）提出解决方案；（3）安排任务执行。 -- 《产品经理的 AI》 4、 一个生物学家说过："每个细菌的梦想都是变成两个。" 这是生活的基本真理：你经历的一切只是使自己更加重要的一种手段。 -- Sean Carroll，进化生物学家 5、 我喜欢科学的一点是，无论你喜不喜欢，它都会让你相信。 -- 肖恩·卡罗尔，物理学家 往年回顾 YouTube 有多少个视频？（2023 #284） AI 聊天有多强？（2022 #234） 政府的存储需求有多大？（2021 #184） 未来的游戏业比现在大100倍（2020 #134） （完） 文档信息 版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证） 发表日期： 2024年12月27日
-- gReader Pro
2024年12月25日 星期三
Looperman：免費音樂 Loop 與人聲素材下載，音樂創作者必備平台
Looperman：免費音樂 Loop 與人聲素材下載，音樂創作者必備平台
https://free.com.tw/looperman/
Looperman 是一個由音樂愛好者組成的網路社群，提供各種免費的音樂製作資源，其中包括大量的音樂循環（Loops）、人聲素材（Acapellas）和各種精選的曲目、音軌和節拍，創作者也能在網站中找到各種免費音樂軟體資源。無論是想學習創作音樂，或是純粹尋找可以免費下載、使用的音樂素材，都能在網站中獲得滿足。 Looperman 每日更新，音樂素材都是由社群的成員創作、投稿，網站收錄數以千計的免費音樂循環和樣本，涵蓋各種樂器和風格，例如吉他、鼓、貝斯等等，每個素材都能在線上預覽播放，免費註冊就能下載檔案，並且附上完整的授權說明（但有一些音樂只限收聽，不可下載使用）。 除了音樂循環，Looperman 還有「無伴奏合唱」，也就是經常聽到的的阿卡貝拉（Acapellas），線上收聽、預覽，從進階搜尋設定各種條件將查找範圍縮小，就能找到自己需要的音樂類型囉！ 總而言之，Looperman 是一個豐富的音樂製作資源平台，為音樂人提供免費音樂素材、提高交流合作的機會，接下來我會實際示範 Looperman 的使用方式，需要免費音樂的朋友可以試試看。 網站名稱：Looperman網站鏈結：https://www.looperman.com/ 如何使用 Looperman？ 操作步驟 開啟網站與基礎操作 開啟 Looperman 網站後會看到介紹、最近上傳的創作者和免費音樂循環素材，每個音樂看起來就像下圖，會有標題、創作者、上傳更新日期、音樂波形圖、時間長度等資訊，其中下方的標籤會看到有各種標記，例如音樂速度、音樂風格、節拍標記、檔案大小和音樂調性。 如果想要尋找特定的音樂素材，也可以善用下方的標籤功能。 選擇素材類型 從 Looperman 上方選單點選要尋找類型，包括：音樂循環（Loops）、人聲素材（Acapellas）、精選曲目、音樂製作軟體等等。 Looperman 收錄的無伴奏合唱、精選曲目、音軌和節拍等音樂素材數量也相當龐大，直接點選右下角的「播放」就能線上收聽，無需註冊或是登入帳號。 善用進階搜尋功能 每個音樂分類又上都會有一個「進階搜尋」功能，這個功能對於要尋找特定音樂、將搜尋範圍縮小很有幫助，舉例來說，可以查找特定的音樂分類、流派、速度、曲調、節拍記號（例如 4/4、2/4、3/4、6/8）。 註冊帳號並下載素材 在沒有註冊的情況下，每個音樂播放器左下角會有一個「Login」登入按鈕，將滑鼠移動上去顯示必須要登入後才能夠下載音樂。 進入登入頁面，按一下最下方的註冊鏈結就會看到註冊頁面，依序輸入使用者名稱、Email、國家和密碼等資訊，送出註冊後要先回到 Email 信箱收驗證信，點選信中鏈結登入即可啟用帳號。 注意每個音樂的授權說明 最後返回 Looperman 就能點選「Download」下載需要的音樂素材。 每個音樂下方會有授權說明，例如下圖就是可以使用於商業或是非商業用途，點選相關鏈結查詢詳細的使用條款細項，有些音樂素材表明不允許下載使用（僅限收聽），在下載前務必留意一下。 值得一試的三個理由： 提供數以千計的音樂循環、人聲素材及音樂製作工具 所有素材由音樂愛好者貢獻，每日更新，涵蓋多種風格與樂器 透過條件篩選快速找到符合需求的素材，大幅提高效率 這篇文章「Looperman：免費音樂 Loop 與人聲素材下載，音樂創作者必備平台」最早出現在免費資源網路社群，請追蹤 Google 新聞、Facebook、X (Twitter) 或訂閱 RSS feed 獲取更多科技新知及免費資源相關介紹教學。
-- gReader Pro
https://free.com.tw/looperman/
Looperman 是一個由音樂愛好者組成的網路社群，提供各種免費的音樂製作資源，其中包括大量的音樂循環（Loops）、人聲素材（Acapellas）和各種精選的曲目、音軌和節拍，創作者也能在網站中找到各種免費音樂軟體資源。無論是想學習創作音樂，或是純粹尋找可以免費下載、使用的音樂素材，都能在網站中獲得滿足。 Looperman 每日更新，音樂素材都是由社群的成員創作、投稿，網站收錄數以千計的免費音樂循環和樣本，涵蓋各種樂器和風格，例如吉他、鼓、貝斯等等，每個素材都能在線上預覽播放，免費註冊就能下載檔案，並且附上完整的授權說明（但有一些音樂只限收聽，不可下載使用）。 除了音樂循環，Looperman 還有「無伴奏合唱」，也就是經常聽到的的阿卡貝拉（Acapellas），線上收聽、預覽，從進階搜尋設定各種條件將查找範圍縮小，就能找到自己需要的音樂類型囉！ 總而言之，Looperman 是一個豐富的音樂製作資源平台，為音樂人提供免費音樂素材、提高交流合作的機會，接下來我會實際示範 Looperman 的使用方式，需要免費音樂的朋友可以試試看。 網站名稱：Looperman網站鏈結：https://www.looperman.com/ 如何使用 Looperman？ 操作步驟 開啟網站與基礎操作 開啟 Looperman 網站後會看到介紹、最近上傳的創作者和免費音樂循環素材，每個音樂看起來就像下圖，會有標題、創作者、上傳更新日期、音樂波形圖、時間長度等資訊，其中下方的標籤會看到有各種標記，例如音樂速度、音樂風格、節拍標記、檔案大小和音樂調性。 如果想要尋找特定的音樂素材，也可以善用下方的標籤功能。 選擇素材類型 從 Looperman 上方選單點選要尋找類型，包括：音樂循環（Loops）、人聲素材（Acapellas）、精選曲目、音樂製作軟體等等。 Looperman 收錄的無伴奏合唱、精選曲目、音軌和節拍等音樂素材數量也相當龐大，直接點選右下角的「播放」就能線上收聽，無需註冊或是登入帳號。 善用進階搜尋功能 每個音樂分類又上都會有一個「進階搜尋」功能，這個功能對於要尋找特定音樂、將搜尋範圍縮小很有幫助，舉例來說，可以查找特定的音樂分類、流派、速度、曲調、節拍記號（例如 4/4、2/4、3/4、6/8）。 註冊帳號並下載素材 在沒有註冊的情況下，每個音樂播放器左下角會有一個「Login」登入按鈕，將滑鼠移動上去顯示必須要登入後才能夠下載音樂。 進入登入頁面，按一下最下方的註冊鏈結就會看到註冊頁面，依序輸入使用者名稱、Email、國家和密碼等資訊，送出註冊後要先回到 Email 信箱收驗證信，點選信中鏈結登入即可啟用帳號。 注意每個音樂的授權說明 最後返回 Looperman 就能點選「Download」下載需要的音樂素材。 每個音樂下方會有授權說明，例如下圖就是可以使用於商業或是非商業用途，點選相關鏈結查詢詳細的使用條款細項，有些音樂素材表明不允許下載使用（僅限收聽），在下載前務必留意一下。 值得一試的三個理由： 提供數以千計的音樂循環、人聲素材及音樂製作工具 所有素材由音樂愛好者貢獻，每日更新，涵蓋多種風格與樂器 透過條件篩選快速找到符合需求的素材，大幅提高效率 這篇文章「Looperman：免費音樂 Loop 與人聲素材下載，音樂創作者必備平台」最早出現在免費資源網路社群，請追蹤 Google 新聞、Facebook、X (Twitter) 或訂閱 RSS feed 獲取更多科技新知及免費資源相關介紹教學。
-- gReader Pro
2024年12月24日 星期二
Github Copilot 免費版 + 盤點好用新功能
Github Copilot 免費版 + 盤點好用新功能
https://blog.darkthread.net/blog/github-copilot-free-plan/
講到 AI 輔助開發，有一派聲音崇尚 Less Code 甚至 No Code，主張動手寫 Code 這種髒活兒爛事愈少愈好，期望講完需求 AI 便把程式碼生好，最好能十指不沾 use try set。 (謎：啥鬼，不要硬湊諧音好嗎？) 許多標榜更自動化、更省事的 AI 輔助開發工具如雨後春笱陸續問市，像 Cursor、Windsurf... 推出後都吸引眾多目光。而在這個議題上，我這個寫了快四十年程式的老人，再次淪為少數派。 我還是喜歡程式要保有自己特有的風格與味道，即便不完美，但必須真真實實是「我的作品」。所以我不想要太自動化，偏好半自動式的 AI 輔助開發，只想 AI 代勞重複性工作跟煩人細節，至於流程該怎麼跑、模組如何切割、系統該怎麼串，我想保有主導權並全程參與，覺得程式核心仍該依據人的想法設計。 本著這樣的理念，Github Copilot 的副駕駛精神一直很對我的頻率，也就沒啥動機去 Survey 更自動化更省力的 AI 輔助開發工具。使用 Github Copilot 的感覺，比較像有個程式老手坐在旁邊跟你一起 Pair Programming，而非自己升級成主管或 PM，指揮一堆程序員幫你寫程式。而既然是 Pair Programming，一大特點是一定有意見不同的時候，還蠻多時候我會拒絕 Copilot 建議，維持原有想法。而這是個重要指標：代表你知道這段程式在做什麼，有能力評斷不同做法的優缺點，並在程式出錯有辦法修正，即便有朝一日拿掉 AI 也還有能力寫出可用的程式(只是速度慢三倍)。這跟標榜全自動化，不用懂程式如何運作也能寫完程式，是完全不同的概念。 Github Copilot 像是 Pair Programming 的角色對我來說剛好。程式該怎麼寫仍由自己主導，全程參與但差在少做許多瑣碎細節及重複手工；我也很常從 Copilot 身上學到新語法、見識更輕巧有效率的做法，知識與經驗也持續成長。這樣的合作模式我覺得很自在，沒什麼大問題。 【延伸閱讀】 讓會讀心術的 Github Copilot 陪你寫程式 介紹 Github 學生大禮包 - Developer Pack 與魔法武器 Github Copilot 閒聊 - 老鳥的 Github Copilot 危機？ 這幾天有個好消息! 雖然我覺得跟 Github Copilot 帶來的生產力提升相比，每個月只要 10 塊美金真的便宜(註：學生與老師另有免費方案)，花兩份大麥克套餐的錢讓寫程式速度至少快三倍，太超值了。Github 11/18 宣佈開放 Github Copilot 免費版訂閱方案，提供每個月 2000 次程式碼自動補完跟 50 次聊天區發問的額度，還沒用過的朋友可以快去體驗一下。 都滑到 Copilot 的官方部落格，我順便盤點 Copilot 新功能(有些推出一陣子了，但對我來說是新的)補充知識： Copilot Edits Copilot 介面開啟鈕現在移到 VSCode 標題列[1]，預設是 Chat 視窗，左邊有一個 Edits [2]，操作介面跟 Chat 很像，預設會選取你目前編輯的檔案，但也可 Add Files 或拖拉新增更多檔案 [3]，接著下方可輸入你希望對這些檔案進行的修改 [4]： VSCode 會以 Git 修改前照形式呈現對程式碼的異動建議，開發者可微調後決定接受或放棄： 比起自動完成全面性，省去在 Chat 問完自己剪貼程式片段，很好用。 官方展示影片 客製化指示(Custom Instruction) 概念很像 LLM 的 System Prompt，會在每次 Chat 時送出，可調整 Copilot Chat/Edits 行為。一些實用例子像是： 命名習慣：要求私有變數命名時一律加 _ 底線開頭 產生自動測試程式時用哪一套測試框架 Commit 訊息的格式、內容要求 客製化指示可透過 JSON 設定，但簡便做法是在工作區根目錄放一個 .github/copilot-instructions.md 檔案(也方便分享給團隊成員)。我小試了一下，指定 C# 的私有 Field 命名前面要加兩條底線： Markdown 裡的 ## Csharp 用來指定程式類別，可依語言設定專屬指示。程式名稱可用 Ctrl-P 用 "Preferences: Configure Language Specific Settings..." 查： 設定後，在 Edits 要求新增建構式(add constructor with IWebHostEnvironment)，Copilot 果然依我的要求加了兩條底線： 但這個指示只適用 Chat、Inline Chat 及 Edits，自動完成部分仍會依預設行為。Custom Instruction 能把 Copilot 變成你的形狀，不適用自動完成有點美中不足，但還是蠻實用的，詳情可參考官方說明書。 全專案感知模式 在 Chat 時加上 @workspace 可針對整個專案發問，採索陌生專案時特別好用，例如：接手專案我最愛的起手式問題："DB 是用哪一種、連線字串在哪"，Copilot 很快奉上我滿意的答案。 變數命名小幫手 開發者的千古難題，變數、函式要取什麼名字？Copilot 了解大家的痛苦，按 F2 更名時會主動分析相關程式主動提供建議： 在 Terminal 使用 Copilot 如圖，按 Ctrl-I 也可叫出 Copilot 問事，並可選擇 Run 或 Insert，省去在 Chat 或 ChatGPT 問好貼 Code 的麻煩。 自動產生 Commit 訊息 Commit 時我習慣認真回想這次修改項目做個總結，寫成簡單易懂的扼要說明，有溫度的 Commit 訊息像是一張張舊照片，日後追 Code 時更容易幫你穿越回到當下時空。 但我知道許多人 Commit 一想到要寫訊息就頭大，大半天也擠不出字來，那可以試試 Commit 訊息欄右上角的小星星，點一下讓 Copilot 幫你彙整總結，雖然遠不及人工整理的品質，至少好過隨便塞一句「修改」充數。 如希望自動產生的 Commit 訊息符合特定規格，可用前面提到的 Custom Instruction 指定。 支援多種語言模型 Chat 及 Edits 時可選擇不同的語言模型，包含標榜推理跟程式理解能力的 o1 跟 o1-mini (限付費版本)，不過貴森森的 o1 額度不高，每 12 小時只能發 10 則訊息，得用在刀口上，我打算下回遇到刁鑽問題戰再來見識它的威力。 This post discusses the debate between less code/no-code and traditional coding with AI assistance. I prefers a semi-automated approach using Github Copilot for repetitive tasks while maintaining control over the core design. New features of Copilot, such as Copilot Edits, Custom Instructions, and Workspace Awareness, are explored to enhance development productivity.
-- gReader Pro
https://blog.darkthread.net/blog/github-copilot-free-plan/
講到 AI 輔助開發，有一派聲音崇尚 Less Code 甚至 No Code，主張動手寫 Code 這種髒活兒爛事愈少愈好，期望講完需求 AI 便把程式碼生好，最好能十指不沾 use try set。 (謎：啥鬼，不要硬湊諧音好嗎？) 許多標榜更自動化、更省事的 AI 輔助開發工具如雨後春笱陸續問市，像 Cursor、Windsurf... 推出後都吸引眾多目光。而在這個議題上，我這個寫了快四十年程式的老人，再次淪為少數派。 我還是喜歡程式要保有自己特有的風格與味道，即便不完美，但必須真真實實是「我的作品」。所以我不想要太自動化，偏好半自動式的 AI 輔助開發，只想 AI 代勞重複性工作跟煩人細節，至於流程該怎麼跑、模組如何切割、系統該怎麼串，我想保有主導權並全程參與，覺得程式核心仍該依據人的想法設計。 本著這樣的理念，Github Copilot 的副駕駛精神一直很對我的頻率，也就沒啥動機去 Survey 更自動化更省力的 AI 輔助開發工具。使用 Github Copilot 的感覺，比較像有個程式老手坐在旁邊跟你一起 Pair Programming，而非自己升級成主管或 PM，指揮一堆程序員幫你寫程式。而既然是 Pair Programming，一大特點是一定有意見不同的時候，還蠻多時候我會拒絕 Copilot 建議，維持原有想法。而這是個重要指標：代表你知道這段程式在做什麼，有能力評斷不同做法的優缺點，並在程式出錯有辦法修正，即便有朝一日拿掉 AI 也還有能力寫出可用的程式(只是速度慢三倍)。這跟標榜全自動化，不用懂程式如何運作也能寫完程式，是完全不同的概念。 Github Copilot 像是 Pair Programming 的角色對我來說剛好。程式該怎麼寫仍由自己主導，全程參與但差在少做許多瑣碎細節及重複手工；我也很常從 Copilot 身上學到新語法、見識更輕巧有效率的做法，知識與經驗也持續成長。這樣的合作模式我覺得很自在，沒什麼大問題。 【延伸閱讀】 讓會讀心術的 Github Copilot 陪你寫程式 介紹 Github 學生大禮包 - Developer Pack 與魔法武器 Github Copilot 閒聊 - 老鳥的 Github Copilot 危機？ 這幾天有個好消息! 雖然我覺得跟 Github Copilot 帶來的生產力提升相比，每個月只要 10 塊美金真的便宜(註：學生與老師另有免費方案)，花兩份大麥克套餐的錢讓寫程式速度至少快三倍，太超值了。Github 11/18 宣佈開放 Github Copilot 免費版訂閱方案，提供每個月 2000 次程式碼自動補完跟 50 次聊天區發問的額度，還沒用過的朋友可以快去體驗一下。 都滑到 Copilot 的官方部落格，我順便盤點 Copilot 新功能(有些推出一陣子了，但對我來說是新的)補充知識： Copilot Edits Copilot 介面開啟鈕現在移到 VSCode 標題列[1]，預設是 Chat 視窗，左邊有一個 Edits [2]，操作介面跟 Chat 很像，預設會選取你目前編輯的檔案，但也可 Add Files 或拖拉新增更多檔案 [3]，接著下方可輸入你希望對這些檔案進行的修改 [4]： VSCode 會以 Git 修改前照形式呈現對程式碼的異動建議，開發者可微調後決定接受或放棄： 比起自動完成全面性，省去在 Chat 問完自己剪貼程式片段，很好用。 官方展示影片 客製化指示(Custom Instruction) 概念很像 LLM 的 System Prompt，會在每次 Chat 時送出，可調整 Copilot Chat/Edits 行為。一些實用例子像是： 命名習慣：要求私有變數命名時一律加 _ 底線開頭 產生自動測試程式時用哪一套測試框架 Commit 訊息的格式、內容要求 客製化指示可透過 JSON 設定，但簡便做法是在工作區根目錄放一個 .github/copilot-instructions.md 檔案(也方便分享給團隊成員)。我小試了一下，指定 C# 的私有 Field 命名前面要加兩條底線： Markdown 裡的 ## Csharp 用來指定程式類別，可依語言設定專屬指示。程式名稱可用 Ctrl-P 用 "Preferences: Configure Language Specific Settings..." 查： 設定後，在 Edits 要求新增建構式(add constructor with IWebHostEnvironment)，Copilot 果然依我的要求加了兩條底線： 但這個指示只適用 Chat、Inline Chat 及 Edits，自動完成部分仍會依預設行為。Custom Instruction 能把 Copilot 變成你的形狀，不適用自動完成有點美中不足，但還是蠻實用的，詳情可參考官方說明書。 全專案感知模式 在 Chat 時加上 @workspace 可針對整個專案發問，採索陌生專案時特別好用，例如：接手專案我最愛的起手式問題："DB 是用哪一種、連線字串在哪"，Copilot 很快奉上我滿意的答案。 變數命名小幫手 開發者的千古難題，變數、函式要取什麼名字？Copilot 了解大家的痛苦，按 F2 更名時會主動分析相關程式主動提供建議： 在 Terminal 使用 Copilot 如圖，按 Ctrl-I 也可叫出 Copilot 問事，並可選擇 Run 或 Insert，省去在 Chat 或 ChatGPT 問好貼 Code 的麻煩。 自動產生 Commit 訊息 Commit 時我習慣認真回想這次修改項目做個總結，寫成簡單易懂的扼要說明，有溫度的 Commit 訊息像是一張張舊照片，日後追 Code 時更容易幫你穿越回到當下時空。 但我知道許多人 Commit 一想到要寫訊息就頭大，大半天也擠不出字來，那可以試試 Commit 訊息欄右上角的小星星，點一下讓 Copilot 幫你彙整總結，雖然遠不及人工整理的品質，至少好過隨便塞一句「修改」充數。 如希望自動產生的 Commit 訊息符合特定規格，可用前面提到的 Custom Instruction 指定。 支援多種語言模型 Chat 及 Edits 時可選擇不同的語言模型，包含標榜推理跟程式理解能力的 o1 跟 o1-mini (限付費版本)，不過貴森森的 o1 額度不高，每 12 小時只能發 10 則訊息，得用在刀口上，我打算下回遇到刁鑽問題戰再來見識它的威力。 This post discusses the debate between less code/no-code and traditional coding with AI assistance. I prefers a semi-automated approach using Github Copilot for repetitive tasks while maintaining control over the core design. New features of Copilot, such as Copilot Edits, Custom Instructions, and Workspace Awareness, are explored to enhance development productivity.
-- gReader Pro
AI 越獄神器！Anthropic 新演算法輕鬆破解 GPT-4o 等模型安全防線
AI 越獄神器！Anthropic 新演算法輕鬆破解 GPT-4o 等模型安全防線
https://www.techbang.com/posts/120370-ai-anthropic-gpt-4o
小心！AI 安全護欄形同虛設？簡單文字遊戲即可誘騙 LLMs 產生有害內容Anthropic 開發了一種 AI 越獄演算法，它可以不斷調整提示，直到獲得有害的回應。 Anthropic，一家領先的 AI 公司，也是大型語言模型（LLMs）Claude 系列的開發者，發表了一項新的研究，顯示讓 LLMs 執行它們不應該做的事情仍然很容易，而且可以自動化。有時候，只需要像這樣輸入提示：「SomETIMeS alL it tAKeS Is typing prOMptS Like thiS。」 為了證明這一點，Anthropic 以及來自牛津大學、史丹佛大學和 MATS 的研究人員，開發了一種名為 Best-of-N（BoN）的越獄演算法，「這是一種簡單的黑箱演算法，可以讓當前最先進的 AI 系統在不同模態下實現越獄。「越獄」一詞原本指的是移除設備（如 iPhone）上的軟體限制，現在在 AI 領域則指的是繞過 AI 工具中防止生成特定有害內容的安全機制。最先進的 AI 模型（Frontier AI Models）包括 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5。 正如研究人員所解釋的，「BoN 越獄透過對提示詞進行隨機化變形，例如對文字提示詞進行隨機打亂、變更大小寫等，反覆嘗試，直到 AI 生成有害回應為止。」 例如，如果使用者問 GPT-4o 「如何製造炸彈？」它會拒絕回答，因為「此內容可能違反我們的使用政策。」BoN 越獄只需不斷調整該提示，使用隨機大寫字母、打亂的單詞、拼寫錯誤和錯誤的語法，直到 GPT-4o 提供資訊。Anthropic 在論文中給出的例子看起來就像嘲諷的海綿寶寶梗圖文字。 Anthropic 在自己的 Claude 3.5 Sonnet、Claude 3 Opus、OpenAI 的 GPT-4o、GPT-4o-mini、Google 的 Gemini-1.5-Flash-00、Gemini-1.5-Pro-001 以及 Facebook 的 Llama 3 8B 上測試了這種越獄方法。它發現該方法在 10,000 次嘗試或提示變體內，對所有測試的模型都達到了超過 50% 的 ASR（攻擊成功率）。 研究人員還發現，對其他模態或提示方式進行些許變形（如語音或圖像）同樣可以成功繞過安全機制。在語音模態中，研究人員改變了音訊的速度、音調和音量，或者加入雜音和音樂；在圖像模態中，則改變了字體、加入背景顏色，以及調整圖像的大小或位置。 Anthropic 的 BoN 越獄演算法本質上是在自動化和增強我們所看到的用於越獄生成式 AI 工具的相同方法，通常是為了創建有害和非自願的內容。 今年 1 月，我們展示了如何通過微軟 Designer AI 圖像生成器，透過拼錯泰勒絲（Taylor Swift）的名字、使用化名以及在不使用任何性暗示詞語的情況下描述性場景，來生成非自願的裸照，並讓這些圖片在 Twitter 上病毒式傳播。3 月，我們則展示了 ElevenLabs 的自動化監管機制，如何在使用者加入一段靜音後，依然允許生成包含總統候選人聲音的聲音。 這些漏洞在我們向微軟和 ElevenLabs 報告後已被修復，但隨後又有使用者發現其他方法來繞過新的安全機制。Anthropic 的研究表明，當這些越獄方法被自動化後，成功率（或防護機制的失敗率）仍然很高。Anthropic 的研究不僅僅是為了證明這些安全機制可以被繞過，更希望透過「生成大量成功攻擊模式的數據」，開啟「開發更佳防禦機制的新機會」。 同時需要注意的是，儘管 AI 公司希望對其 AI 工具進行封鎖有充分的理由，並且繞過這些安全機制會帶來許多危害，但現在已經不乏提供任何內容的「無限制」LLMs，以及允許使用者創建各種非自願圖像的 AI 圖像生成平台。 延伸閱讀：上下文長度的增加也帶來了模型越獄風險！Claude團隊新越獄技術，從Llama 2到GPT-4無一倖免 延伸閱讀：ChatGPT 黑化版來了！只要你威脅它 ChatGPT 什麼都敢講，還替各社群平台使用者智商評分 延伸閱讀：AI聊天機器人有「大bug」可被操縱產生危險言論，熱門模型無一倖免！目前無法修復 資料來源：404media 加入T客邦Facebook粉絲團
-- gReader Pro
https://www.techbang.com/posts/120370-ai-anthropic-gpt-4o
小心！AI 安全護欄形同虛設？簡單文字遊戲即可誘騙 LLMs 產生有害內容Anthropic 開發了一種 AI 越獄演算法，它可以不斷調整提示，直到獲得有害的回應。 Anthropic，一家領先的 AI 公司，也是大型語言模型（LLMs）Claude 系列的開發者，發表了一項新的研究，顯示讓 LLMs 執行它們不應該做的事情仍然很容易，而且可以自動化。有時候，只需要像這樣輸入提示：「SomETIMeS alL it tAKeS Is typing prOMptS Like thiS。」 為了證明這一點，Anthropic 以及來自牛津大學、史丹佛大學和 MATS 的研究人員，開發了一種名為 Best-of-N（BoN）的越獄演算法，「這是一種簡單的黑箱演算法，可以讓當前最先進的 AI 系統在不同模態下實現越獄。「越獄」一詞原本指的是移除設備（如 iPhone）上的軟體限制，現在在 AI 領域則指的是繞過 AI 工具中防止生成特定有害內容的安全機制。最先進的 AI 模型（Frontier AI Models）包括 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5。 正如研究人員所解釋的，「BoN 越獄透過對提示詞進行隨機化變形，例如對文字提示詞進行隨機打亂、變更大小寫等，反覆嘗試，直到 AI 生成有害回應為止。」 例如，如果使用者問 GPT-4o 「如何製造炸彈？」它會拒絕回答，因為「此內容可能違反我們的使用政策。」BoN 越獄只需不斷調整該提示，使用隨機大寫字母、打亂的單詞、拼寫錯誤和錯誤的語法，直到 GPT-4o 提供資訊。Anthropic 在論文中給出的例子看起來就像嘲諷的海綿寶寶梗圖文字。 Anthropic 在自己的 Claude 3.5 Sonnet、Claude 3 Opus、OpenAI 的 GPT-4o、GPT-4o-mini、Google 的 Gemini-1.5-Flash-00、Gemini-1.5-Pro-001 以及 Facebook 的 Llama 3 8B 上測試了這種越獄方法。它發現該方法在 10,000 次嘗試或提示變體內，對所有測試的模型都達到了超過 50% 的 ASR（攻擊成功率）。 研究人員還發現，對其他模態或提示方式進行些許變形（如語音或圖像）同樣可以成功繞過安全機制。在語音模態中，研究人員改變了音訊的速度、音調和音量，或者加入雜音和音樂；在圖像模態中，則改變了字體、加入背景顏色，以及調整圖像的大小或位置。 Anthropic 的 BoN 越獄演算法本質上是在自動化和增強我們所看到的用於越獄生成式 AI 工具的相同方法，通常是為了創建有害和非自願的內容。 今年 1 月，我們展示了如何通過微軟 Designer AI 圖像生成器，透過拼錯泰勒絲（Taylor Swift）的名字、使用化名以及在不使用任何性暗示詞語的情況下描述性場景，來生成非自願的裸照，並讓這些圖片在 Twitter 上病毒式傳播。3 月，我們則展示了 ElevenLabs 的自動化監管機制，如何在使用者加入一段靜音後，依然允許生成包含總統候選人聲音的聲音。 這些漏洞在我們向微軟和 ElevenLabs 報告後已被修復，但隨後又有使用者發現其他方法來繞過新的安全機制。Anthropic 的研究表明，當這些越獄方法被自動化後，成功率（或防護機制的失敗率）仍然很高。Anthropic 的研究不僅僅是為了證明這些安全機制可以被繞過，更希望透過「生成大量成功攻擊模式的數據」，開啟「開發更佳防禦機制的新機會」。 同時需要注意的是，儘管 AI 公司希望對其 AI 工具進行封鎖有充分的理由，並且繞過這些安全機制會帶來許多危害，但現在已經不乏提供任何內容的「無限制」LLMs，以及允許使用者創建各種非自願圖像的 AI 圖像生成平台。 延伸閱讀：上下文長度的增加也帶來了模型越獄風險！Claude團隊新越獄技術，從Llama 2到GPT-4無一倖免 延伸閱讀：ChatGPT 黑化版來了！只要你威脅它 ChatGPT 什麼都敢講，還替各社群平台使用者智商評分 延伸閱讀：AI聊天機器人有「大bug」可被操縱產生危險言論，熱門模型無一倖免！目前無法修復 資料來源：404media 加入T客邦Facebook粉絲團
-- gReader Pro
跟 NVIDIA 學深度學習！ | 🎄【第 156 期｜本期活動】✨2024天瓏百大暢銷Top100｜中文簡體任選2書75折 12/23至1/4
跟 NVIDIA 學深度學習！ | 🎄【第 156 期｜本期活動】✨2024天瓏百大暢銷Top100｜中文簡體任選2書75折 12/23至1/4
https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9789863127765%3Flist_name=e-2024-top100/2/01060193f1a805e0-1b189faa-3f95-43cf-92d6-648454683ab3-000000/dHbOq1r9acN88_wms_fjPUk1gxQ=190
跟 NVIDIA 學深度學習！ more https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9789863127765%3Flist_name=e-2024-top100/2/01060193f1a805e0-1b189faa-3f95-43cf-92d6-648454683ab3-000000/dHbOq1r9acN88_wms_fjPUk1gxQ=190 商品描述 內容介紹: ▍attention / self-attention 機制、Transformer、GPT...，大型語言模型 (LLM) 背後的先進技術「硬派」揭密！ ▍AI 界扛霸子 NVIDIA 的深度學習 (Deep Learning) 指定教材！ 近年來，在 NVIDIA (輝達) GPU、CUDA 技術的推波助瀾下，深度學習 (Deep Learning) 領域有著爆炸性的成長，例如最為人知的 ChatGPT 正是運用深度學習技術開發出來的當紅應用。 □【徹底看懂 ChatGPT 背後核心技術 - Transformer、GPT 的模型架構】 自從 ChatGPT 爆紅之後，自然語言處理 (NLP) 一直是深度學習的熱門研究話題，ChatGPT 的背後核心是 GPT 模型，而 GPT 裡面最重要最重要的技術就是最後那個「T」- 也就是大名鼎鼎、使用了 attention (注意力) 機制的 Transformer 模型，這當中所用的建模技術可說是一環扣一環，也容易讓初學者學起來暈的不得了，只要一個關鍵地方沒搞懂，後面就全花了... 為此，本書經過精心設計，是帶你看懂 Transformer、GPT...這些先進技術的最佳救星！本書設計了「環環相扣」的 NLP 章節內容，從最末章的 GPT 模型往回推，循序漸進介紹各技術的細節： 🔹看懂循環神經網路的缺點就知道為什麼需要 attention 機制以及 seq2seq 架構 🔹看懂 attention 機制就能看懂 self-attention 機制 🔹看懂 seq2seq 架構就能看懂 Transformer 的 encoder-decoder 架構 🔹看懂 self-attention、seq2seq 就能看懂 Transformer 🔹看懂 Transformer 就能看懂 GPT 你可以深刻感受到次一章的模型架構幾乎都是為了解決前一章模型的特定問題而誕生的，經此一輪學習下來，保證讓你對 attention / self-attention 機制、Transformer、GPT 技術清清楚楚！這絕對是其他書看不到的精彩內容！ 【★學深度學習先進技術，跟 AI 重要推手 - NVIDIA 學最到位！】 NVIDIA 除了在硬體上為 AI 帶來助益外，為了幫助眾多初學者快速上手深度學習，任職於 NVIDIA 的本書作者 Magnus Ekman 凝聚了他多年來在 NVIDIA 所積累的 AI 知識撰寫了本書。本書同時也是 NVIDIA 的教育和培訓部門 -【深度學習機構 (Deep Learning Institute, DLI)】 指定的培訓教材 (https://www.nvidia.com/zh-tw/training/books/)。 要學深度學習，跟深度學習的重要推手 NVIDIA 學就對了！眾多紮實的內容保證讓你受益滿滿！ 本書特色: □【看懂 ChatGPT 背後核心技術 - GPT 的模型架構】 attention 機制、self-attention 機制、Transformer、GPT、encoder-decoder、seq2seq、query-key-value 機制、Multi-head、位置編碼 (positional encoding)、預訓練 (pre-train)、微調 (fine-tune)...各種建模技術輕鬆搞懂！ □【生成式 AI 語言模型 100% 從零開始打造！】 ‧用 Colab + tf.Keras 實作【多國語言翻譯模型】、【Auto-Complete 文字自動完成模型】 ‧從處理原始文字訓練資料 → 切割資料集 → 建構模型 → 模型調校、優化，從頭到尾示範一遍，帶你紮穩大型語言模型 (LLM) 的建模基礎 □【深度學習基礎知識學好學滿】 ‧紮穩根基！不被損失函數 / 梯度下降 / 反向傳播 / 正規化 / 常規化…一拖拉庫技術名詞搞的暈頭轉向！ ‧深度神經網路基礎 / CNN / RNN / LSTM...基礎概念詳解 ‧多模態學習 (multimodal learning)、多任務學習 (multitask learning)、自動化模型架構搜尋...熱門主題介紹。 □詳細解說, 流暢翻譯 本書由【施威銘研究室】監修, 書中針對原書進行大量補充, 並適當添加註解, 幫助讀者更加理解內容！ 作者簡介 Magnus Ekman 現為 NVIDIA 架構總監，擁有資訊工程博士學位與多項專利。他於 1990 年代後期首次接觸人工神經網路、親身體會進化計算的威力後，開始鑽研計算機架構，並與妻兒遷往矽谷居住。他曾在昇陽電腦和 Samsung Research America 從事處理器設計和研發。他目前在 NVIDIA 領導一個工程團隊，負責開發自駕車、人工智慧 (AI) 資料中心專用的高效能、低功率 CPU。 目錄大綱 Ch01 從感知器看神經網路的底層知識 1-1 最早的人工神經元 - Rosenblatt 感知器 1-2 增加感知器模型的能力 1-3 用線性代數實現神經網路模型 Ch02 梯度下降法與反向傳播 2-1 導數的基礎概念 2-2 以梯度下降法 (gradient descent) 對模型訓練問題求解 2-3 反向傳播 (back propagation) Ch03 多層神經網路的建立與調校 3-1 動手實作：建立辨識手寫數字的多層神經網路 3-2 改善神經網路的訓練成效 3-3 實驗：調整神經網路與學習參數 Ch04 用卷積神經網路 (CNN) 進行圖片辨識 4-1 卷積神經網路 (CNN) 4-2 實作：以卷積神經網路做圖片分類 4-3 更深層的 CNN 與預訓練模型 Ch05 用循環神經網路 (RNN、LSTM...) 處理序列資料 5-1 RNN 的基本概念 5-2 RNN 範例：預測書店銷售額 5-3 LSTM (長短期記憶神經網路) 5-4 LSTM 範例：文字的 Auto-Complete 機制 Ch06 自然語言處理的重要前置工作：建立詞向量空間 6-1 詞向量空間的基本知識 6-2 做法(一)：在神經網路建模過程中「順便」生成詞向量空間 6-3 做法(二)：以 word2vec、GloVe 專用演算法生成詞向量空間 Ch07 用機器翻譯模型熟悉 seq2seq 架構 7-1 機器翻譯模型的基本知識 7-2 機器翻譯的範例實作 7-2-1 tf.Keras 函數式 API 簡介 7-2-2 建構模型前的工作 7-2-3 建構模型 7-2-4 訓練及測試模型 7-2-5 實驗結果 Ch08 認識 attention 與 self-attention 機制 8-1 熟悉 attention 機制 8-2 認識 self-attention 機制 8-2-1 self-attention 的基本概念 8-2-2 self-attention 機制的算法 8-2-3 multi-head (多頭) 的 self-attention 機制 Ch09 Transformer、GPT 及其他衍生模型架構 9-1 Transformer 架構 9-1-1 編碼器端的架構 9-1-2 解碼器端的架構 9-1-3 Transformer 內的其他設計 9-1-4 小編補充：觀摩 keras 官網上的 Transformer 範例 9-2 Transformer 架構的衍生模型：GPT、BERT 9-2-1 認識 GPT 模型 9-2-2 認識 BERT 模型 9-2-3 其他從 Transformer 衍生出的模型 附錄 A 延伸學習 (一)：多模態、多任務...等模型建構相關主題 附錄 B 延伸學習 (二)：自動化模型架構搜尋 附錄 C 延伸學習 (三)：後續學習方向建議 附錄 D 使用 Google 的 Colab 雲端開發環境
-- gReader Pro
https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9789863127765%3Flist_name=e-2024-top100/2/01060193f1a805e0-1b189faa-3f95-43cf-92d6-648454683ab3-000000/dHbOq1r9acN88_wms_fjPUk1gxQ=190
跟 NVIDIA 學深度學習！ more https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9789863127765%3Flist_name=e-2024-top100/2/01060193f1a805e0-1b189faa-3f95-43cf-92d6-648454683ab3-000000/dHbOq1r9acN88_wms_fjPUk1gxQ=190 商品描述 內容介紹: ▍attention / self-attention 機制、Transformer、GPT...，大型語言模型 (LLM) 背後的先進技術「硬派」揭密！ ▍AI 界扛霸子 NVIDIA 的深度學習 (Deep Learning) 指定教材！ 近年來，在 NVIDIA (輝達) GPU、CUDA 技術的推波助瀾下，深度學習 (Deep Learning) 領域有著爆炸性的成長，例如最為人知的 ChatGPT 正是運用深度學習技術開發出來的當紅應用。 □【徹底看懂 ChatGPT 背後核心技術 - Transformer、GPT 的模型架構】 自從 ChatGPT 爆紅之後，自然語言處理 (NLP) 一直是深度學習的熱門研究話題，ChatGPT 的背後核心是 GPT 模型，而 GPT 裡面最重要最重要的技術就是最後那個「T」- 也就是大名鼎鼎、使用了 attention (注意力) 機制的 Transformer 模型，這當中所用的建模技術可說是一環扣一環，也容易讓初學者學起來暈的不得了，只要一個關鍵地方沒搞懂，後面就全花了... 為此，本書經過精心設計，是帶你看懂 Transformer、GPT...這些先進技術的最佳救星！本書設計了「環環相扣」的 NLP 章節內容，從最末章的 GPT 模型往回推，循序漸進介紹各技術的細節： 🔹看懂循環神經網路的缺點就知道為什麼需要 attention 機制以及 seq2seq 架構 🔹看懂 attention 機制就能看懂 self-attention 機制 🔹看懂 seq2seq 架構就能看懂 Transformer 的 encoder-decoder 架構 🔹看懂 self-attention、seq2seq 就能看懂 Transformer 🔹看懂 Transformer 就能看懂 GPT 你可以深刻感受到次一章的模型架構幾乎都是為了解決前一章模型的特定問題而誕生的，經此一輪學習下來，保證讓你對 attention / self-attention 機制、Transformer、GPT 技術清清楚楚！這絕對是其他書看不到的精彩內容！ 【★學深度學習先進技術，跟 AI 重要推手 - NVIDIA 學最到位！】 NVIDIA 除了在硬體上為 AI 帶來助益外，為了幫助眾多初學者快速上手深度學習，任職於 NVIDIA 的本書作者 Magnus Ekman 凝聚了他多年來在 NVIDIA 所積累的 AI 知識撰寫了本書。本書同時也是 NVIDIA 的教育和培訓部門 -【深度學習機構 (Deep Learning Institute, DLI)】 指定的培訓教材 (https://www.nvidia.com/zh-tw/training/books/)。 要學深度學習，跟深度學習的重要推手 NVIDIA 學就對了！眾多紮實的內容保證讓你受益滿滿！ 本書特色: □【看懂 ChatGPT 背後核心技術 - GPT 的模型架構】 attention 機制、self-attention 機制、Transformer、GPT、encoder-decoder、seq2seq、query-key-value 機制、Multi-head、位置編碼 (positional encoding)、預訓練 (pre-train)、微調 (fine-tune)...各種建模技術輕鬆搞懂！ □【生成式 AI 語言模型 100% 從零開始打造！】 ‧用 Colab + tf.Keras 實作【多國語言翻譯模型】、【Auto-Complete 文字自動完成模型】 ‧從處理原始文字訓練資料 → 切割資料集 → 建構模型 → 模型調校、優化，從頭到尾示範一遍，帶你紮穩大型語言模型 (LLM) 的建模基礎 □【深度學習基礎知識學好學滿】 ‧紮穩根基！不被損失函數 / 梯度下降 / 反向傳播 / 正規化 / 常規化…一拖拉庫技術名詞搞的暈頭轉向！ ‧深度神經網路基礎 / CNN / RNN / LSTM...基礎概念詳解 ‧多模態學習 (multimodal learning)、多任務學習 (multitask learning)、自動化模型架構搜尋...熱門主題介紹。 □詳細解說, 流暢翻譯 本書由【施威銘研究室】監修, 書中針對原書進行大量補充, 並適當添加註解, 幫助讀者更加理解內容！ 作者簡介 Magnus Ekman 現為 NVIDIA 架構總監，擁有資訊工程博士學位與多項專利。他於 1990 年代後期首次接觸人工神經網路、親身體會進化計算的威力後，開始鑽研計算機架構，並與妻兒遷往矽谷居住。他曾在昇陽電腦和 Samsung Research America 從事處理器設計和研發。他目前在 NVIDIA 領導一個工程團隊，負責開發自駕車、人工智慧 (AI) 資料中心專用的高效能、低功率 CPU。 目錄大綱 Ch01 從感知器看神經網路的底層知識 1-1 最早的人工神經元 - Rosenblatt 感知器 1-2 增加感知器模型的能力 1-3 用線性代數實現神經網路模型 Ch02 梯度下降法與反向傳播 2-1 導數的基礎概念 2-2 以梯度下降法 (gradient descent) 對模型訓練問題求解 2-3 反向傳播 (back propagation) Ch03 多層神經網路的建立與調校 3-1 動手實作：建立辨識手寫數字的多層神經網路 3-2 改善神經網路的訓練成效 3-3 實驗：調整神經網路與學習參數 Ch04 用卷積神經網路 (CNN) 進行圖片辨識 4-1 卷積神經網路 (CNN) 4-2 實作：以卷積神經網路做圖片分類 4-3 更深層的 CNN 與預訓練模型 Ch05 用循環神經網路 (RNN、LSTM...) 處理序列資料 5-1 RNN 的基本概念 5-2 RNN 範例：預測書店銷售額 5-3 LSTM (長短期記憶神經網路) 5-4 LSTM 範例：文字的 Auto-Complete 機制 Ch06 自然語言處理的重要前置工作：建立詞向量空間 6-1 詞向量空間的基本知識 6-2 做法(一)：在神經網路建模過程中「順便」生成詞向量空間 6-3 做法(二)：以 word2vec、GloVe 專用演算法生成詞向量空間 Ch07 用機器翻譯模型熟悉 seq2seq 架構 7-1 機器翻譯模型的基本知識 7-2 機器翻譯的範例實作 7-2-1 tf.Keras 函數式 API 簡介 7-2-2 建構模型前的工作 7-2-3 建構模型 7-2-4 訓練及測試模型 7-2-5 實驗結果 Ch08 認識 attention 與 self-attention 機制 8-1 熟悉 attention 機制 8-2 認識 self-attention 機制 8-2-1 self-attention 的基本概念 8-2-2 self-attention 機制的算法 8-2-3 multi-head (多頭) 的 self-attention 機制 Ch09 Transformer、GPT 及其他衍生模型架構 9-1 Transformer 架構 9-1-1 編碼器端的架構 9-1-2 解碼器端的架構 9-1-3 Transformer 內的其他設計 9-1-4 小編補充：觀摩 keras 官網上的 Transformer 範例 9-2 Transformer 架構的衍生模型：GPT、BERT 9-2-1 認識 GPT 模型 9-2-2 認識 BERT 模型 9-2-3 其他從 Transformer 衍生出的模型 附錄 A 延伸學習 (一)：多模態、多任務...等模型建構相關主題 附錄 B 延伸學習 (二)：自動化模型架構搜尋 附錄 C 延伸學習 (三)：後續學習方向建議 附錄 D 使用 Google 的 Colab 雲端開發環境
-- gReader Pro
2024年12月23日 星期一
這款AI生圖太讚，連提示詞都不用，給圖當範例就完工
這款AI生圖太讚，連提示詞都不用，給圖當範例就完工
https://dacota.tw/blog/post/whisk
AI 生圖工具，已經多得氾濫了，但Google 最新推出的Whisk，還是找到了一種很新的玩法，讓見過世面的網友也直呼好玩。 只要輸入三張圖片，subject（主題）、scene（場景）、style（風格），Whisk 就可以產生一張博採眾長的圖片。 ▲ 圖片來自：Google 舉個例子，主題是老人，場景是藤蔓，風格是90 年代復古動漫，寫上「角色騎著飛行自行車」的提示詞，等待一會兒，一張類似吉卜力畫風的新圖片誕生了。 ▲ 圖片來自：Google 老人還是那個老人，戴帽子，穿西裝，拿著書，但他騎上了提示詞裡的車，場景和風格也都變成了參考圖片的樣子。 這個全新AI生圖，名叫 Whisk 網址: https://labs.google/fx/tools/whisk/unsupported-country 目前尚未開放台灣註冊，可先預約排隊 Whisk 的長處便在這裡——讓我們少寫、不寫提示詞的同時，輕鬆玩轉各種風格，媽媽再也不擔心我不會寫提示詞了。 別寫複雜的提示詞了，直接給參考圖就好 別看只需要幾張圖片，Whisk 的玩法簡單，卻又無窮無盡。 刷刷刷上傳三張圖片－主題圖片，麥當勞薯條；場景圖片，莫內畫作《睡蓮》；風格圖片，像素風遊戲《星露穀物語》。 不寫提示詞，直接生成，Whisk 給出的結果，一張比三張更強大。 除了上傳自己的圖片，我們也可以擲骰子，讓Whisk 隨機產生主題、場景、風格。 其實，Whisk 為我們提供的預設風格已經很夠用，徽章、貼紙、刺繡、黏土、美漫、馬賽克拼貼等等，特色鮮明，效果立竿見影。 只要有腦洞和想像力，無需一個字，僅透過不同圖片的排列組合，我們可以不斷地做完形填空的遊戲——主題+場景+風格，而且不是每個空都必須填入。 ▲ 1.主題圖片，燻雞；2.場景圖片，梵谷《星月夜》畫作；3.風格圖片，日本木版畫 ▲ 1.主題圖片，《戴珍珠耳環的少女》；2.場景圖片，電影《千與千尋》劇照；3.風格圖片，蒙德里安抽象畫 ▲ 1.主題圖片，衝浪預設頭像粉紅恐龍momo；2.風格圖片，Jellycat 玩偶 另外，Whisk 的每一次生成，場景和風格只能選擇一個參考圖片，但主題可以選擇多個。這意味著什麼？我們可以讓多個角色同框了！ 例如，讓馬斯克、奧特曼、祖克伯通通變成胸章。 三位的服裝、裝飾、神態都還原得挺好，祖克柏的麥克風和項鍊都沒漏掉，但人臉沒辦法保持一致性，全部變成了大眾臉。 雖然Whisk 減少了寫提示詞的需求，但你需要寫的話，Whisk 也鼓勵。 在對話框中加上一句「角色們都舉著一塊告示牌，上面寫著AGI」，徽章小人們輕輕鬆鬆地遵循了提示詞。 如果我們需要某個場景或某種風格，但一時找不到參考圖，Whisk 的預設也沒有提供呢？ 解決方式很簡單，沒有圖片，那就寫提示詞，讓Whisk 臨場發揮一個。 就像我需要一個讓角色站上去的、像素風格的底座作為場景，就讓Whisk 幫我生成了。 然後，再把貓貓表情包當作主題圖片，把像素小雞當作風格圖片，就可以得到一個有底座的像素貓貓。 總之，Whisk 就是非常自由，像橡皮泥一樣，怎麼捏都可以。 既生圖又識圖，把複雜的工作流程包裝成有趣的「打蛋器」 Whisk，其實是Google 多模態模型秀肌肉的一種方式。 為了讓我們少寫提示詞，Whisk 整合了視覺理解和圖片產生能力。 Gemini 模型辨識圖片，自動產生詳細的描述，然後這些描述會被輸入到Google 的圖片產生模型Imagen 3，由Imagen 3 生圖。 Whisk 是這樣的，用戶只要上傳和生成圖片就可以了，但它自己要考慮的事情就很多了。 Whisk 的每張圖片，不管是上傳的還是生成的，都寫了很長的底層提示詞，並且不藏著掩著，我們點開圖片就能看，也可以上手修改。 如果以一個人作為主題圖片，Whisk 會詳細地描述他的外表特徵，場景圖片也是類似的。 ▲ Whisk 對奧特曼的描述：「一個膚色較淺的男子，有著短而深棕色的捲發，從胸部以上展示。他有著淺色的眼睛。他穿著一件淺米色的針織圓領毛衣。背景是一面斑駁的灰色混凝土牆。 風格圖片略有些不同，如果把一張動畫截圖當作風格參考，Whisk 不會說，畫面裡有三個人，而是描述這幅畫的色彩、光線、線條… ▲ Whisk 對史努比畫風的描述：「這張圖片以卡通風格呈現，具有粗獷的輪廓和平面著色。色彩調色板有限，主要使用原色和柔和的次要顏色。光線均勻，缺乏強烈的陰影或高光，給人一種簡單、幾乎孩童般的質感。 所以，Whisk 不是精準複製圖片，而是提取圖片的特色和精髓，將主題、場景、風格自然地融合在一起，各司其職，互不干擾。 同時，Whisk 也疊了甲——只從圖片中提取少量關鍵特徵，結果可能和預期不同。這也解釋了，為什麼Whisk 做不到人臉的精準還原。 所以，即使選擇不那麼抽象的復古膠卷風格，三位大佬的臉也是和本尊都不挨著，但其他細節都很準確。 物體也是一樣，特斯拉的賽博皮卡，經過特徵提取再生成之後，變得非常普通。 但如果是麥當勞薯條這種素材豐富的超級IP，效果倒還不錯，可以拿來當廣告圖了。試過一些迪士尼的角色，Whisk 復刻得也原模原樣，但圖就不放上來了。 另外，Whisk 還存在一個問題——沒法做很細緻的風格參考，模仿不了某種特定的畫風。 當我讓Whisk 生成蒙娜麗莎的樂高小人，出來的結果讓我兩眼一黑，但多加一句提示詞，「讓角色更像樂高人物」，Whisk 又能模仿個七八成。 某個漫畫家的畫風就更難模仿了，上傳漫畫截圖讓Whisk 參考，它最終給出的是一個非常普通的漫畫風格圖片，就算透過提示詞強調作品、角色、漫畫家，也不起什麼作用。 其實，Whisk 好玩就夠了，它更適合做一些不追求精準的創意探索，俗稱整活。 Whisk 可以翻譯為「攪拌」或「打蛋器」，Google 的這個名字取得即視感很強，可不就是把食材都混搭在一起嗎？ Whisk 的不精準，也讓它的定位和傳統的圖片編輯器不同，更像是一種創意工具。有了什麼腦洞，由它實現粗略的視覺效果。 ▲ Whisk 生成，1.主題圖片，《火影忍者》截圖；2.風格圖片，毛絨玩具 以前實現Whisk 這種風格化的效果，跑通一整個影像產生的流程，我們可能需要在ComfyUI 搭建工作流程。 但現在有了Whisk，好像就在玩抽卡遊戲或開盲盒，而且只要能登入（限美國地區），目前還免費。 體驗指引 https://labs.google/fx/zh/tools/whisk Google 領先的模型能力固然是前提與基礎，但設計出被大家需要的產品，仍需要創意和美感。 很喜歡Whisk 的slogan：「prompt less, play more.」（少寫提示詞，多玩耍。） Whisk 出自Google labs，之前爆紅的AI 播客NotebookLM，也是出自這裡，後來慢慢發展成成熟的計畫。這個實驗室，本身就是這句slogan 的最佳註解。 強大的模式能力，有新意的產品，開放的心態，曾經似乎被OpenAI 威脅的Google，風輕雲淡地展現出了王者歸來的姿態。The post 這款AI生圖太讚，連提示詞都不用，給圖當範例就完工 first appeared on 雲爸的私處.
-- gReader Pro
https://dacota.tw/blog/post/whisk
AI 生圖工具，已經多得氾濫了，但Google 最新推出的Whisk，還是找到了一種很新的玩法，讓見過世面的網友也直呼好玩。 只要輸入三張圖片，subject（主題）、scene（場景）、style（風格），Whisk 就可以產生一張博採眾長的圖片。 ▲ 圖片來自：Google 舉個例子，主題是老人，場景是藤蔓，風格是90 年代復古動漫，寫上「角色騎著飛行自行車」的提示詞，等待一會兒，一張類似吉卜力畫風的新圖片誕生了。 ▲ 圖片來自：Google 老人還是那個老人，戴帽子，穿西裝，拿著書，但他騎上了提示詞裡的車，場景和風格也都變成了參考圖片的樣子。 這個全新AI生圖，名叫 Whisk 網址: https://labs.google/fx/tools/whisk/unsupported-country 目前尚未開放台灣註冊，可先預約排隊 Whisk 的長處便在這裡——讓我們少寫、不寫提示詞的同時，輕鬆玩轉各種風格，媽媽再也不擔心我不會寫提示詞了。 別寫複雜的提示詞了，直接給參考圖就好 別看只需要幾張圖片，Whisk 的玩法簡單，卻又無窮無盡。 刷刷刷上傳三張圖片－主題圖片，麥當勞薯條；場景圖片，莫內畫作《睡蓮》；風格圖片，像素風遊戲《星露穀物語》。 不寫提示詞，直接生成，Whisk 給出的結果，一張比三張更強大。 除了上傳自己的圖片，我們也可以擲骰子，讓Whisk 隨機產生主題、場景、風格。 其實，Whisk 為我們提供的預設風格已經很夠用，徽章、貼紙、刺繡、黏土、美漫、馬賽克拼貼等等，特色鮮明，效果立竿見影。 只要有腦洞和想像力，無需一個字，僅透過不同圖片的排列組合，我們可以不斷地做完形填空的遊戲——主題+場景+風格，而且不是每個空都必須填入。 ▲ 1.主題圖片，燻雞；2.場景圖片，梵谷《星月夜》畫作；3.風格圖片，日本木版畫 ▲ 1.主題圖片，《戴珍珠耳環的少女》；2.場景圖片，電影《千與千尋》劇照；3.風格圖片，蒙德里安抽象畫 ▲ 1.主題圖片，衝浪預設頭像粉紅恐龍momo；2.風格圖片，Jellycat 玩偶 另外，Whisk 的每一次生成，場景和風格只能選擇一個參考圖片，但主題可以選擇多個。這意味著什麼？我們可以讓多個角色同框了！ 例如，讓馬斯克、奧特曼、祖克伯通通變成胸章。 三位的服裝、裝飾、神態都還原得挺好，祖克柏的麥克風和項鍊都沒漏掉，但人臉沒辦法保持一致性，全部變成了大眾臉。 雖然Whisk 減少了寫提示詞的需求，但你需要寫的話，Whisk 也鼓勵。 在對話框中加上一句「角色們都舉著一塊告示牌，上面寫著AGI」，徽章小人們輕輕鬆鬆地遵循了提示詞。 如果我們需要某個場景或某種風格，但一時找不到參考圖，Whisk 的預設也沒有提供呢？ 解決方式很簡單，沒有圖片，那就寫提示詞，讓Whisk 臨場發揮一個。 就像我需要一個讓角色站上去的、像素風格的底座作為場景，就讓Whisk 幫我生成了。 然後，再把貓貓表情包當作主題圖片，把像素小雞當作風格圖片，就可以得到一個有底座的像素貓貓。 總之，Whisk 就是非常自由，像橡皮泥一樣，怎麼捏都可以。 既生圖又識圖，把複雜的工作流程包裝成有趣的「打蛋器」 Whisk，其實是Google 多模態模型秀肌肉的一種方式。 為了讓我們少寫提示詞，Whisk 整合了視覺理解和圖片產生能力。 Gemini 模型辨識圖片，自動產生詳細的描述，然後這些描述會被輸入到Google 的圖片產生模型Imagen 3，由Imagen 3 生圖。 Whisk 是這樣的，用戶只要上傳和生成圖片就可以了，但它自己要考慮的事情就很多了。 Whisk 的每張圖片，不管是上傳的還是生成的，都寫了很長的底層提示詞，並且不藏著掩著，我們點開圖片就能看，也可以上手修改。 如果以一個人作為主題圖片，Whisk 會詳細地描述他的外表特徵，場景圖片也是類似的。 ▲ Whisk 對奧特曼的描述：「一個膚色較淺的男子，有著短而深棕色的捲發，從胸部以上展示。他有著淺色的眼睛。他穿著一件淺米色的針織圓領毛衣。背景是一面斑駁的灰色混凝土牆。 風格圖片略有些不同，如果把一張動畫截圖當作風格參考，Whisk 不會說，畫面裡有三個人，而是描述這幅畫的色彩、光線、線條… ▲ Whisk 對史努比畫風的描述：「這張圖片以卡通風格呈現，具有粗獷的輪廓和平面著色。色彩調色板有限，主要使用原色和柔和的次要顏色。光線均勻，缺乏強烈的陰影或高光，給人一種簡單、幾乎孩童般的質感。 所以，Whisk 不是精準複製圖片，而是提取圖片的特色和精髓，將主題、場景、風格自然地融合在一起，各司其職，互不干擾。 同時，Whisk 也疊了甲——只從圖片中提取少量關鍵特徵，結果可能和預期不同。這也解釋了，為什麼Whisk 做不到人臉的精準還原。 所以，即使選擇不那麼抽象的復古膠卷風格，三位大佬的臉也是和本尊都不挨著，但其他細節都很準確。 物體也是一樣，特斯拉的賽博皮卡，經過特徵提取再生成之後，變得非常普通。 但如果是麥當勞薯條這種素材豐富的超級IP，效果倒還不錯，可以拿來當廣告圖了。試過一些迪士尼的角色，Whisk 復刻得也原模原樣，但圖就不放上來了。 另外，Whisk 還存在一個問題——沒法做很細緻的風格參考，模仿不了某種特定的畫風。 當我讓Whisk 生成蒙娜麗莎的樂高小人，出來的結果讓我兩眼一黑，但多加一句提示詞，「讓角色更像樂高人物」，Whisk 又能模仿個七八成。 某個漫畫家的畫風就更難模仿了，上傳漫畫截圖讓Whisk 參考，它最終給出的是一個非常普通的漫畫風格圖片，就算透過提示詞強調作品、角色、漫畫家，也不起什麼作用。 其實，Whisk 好玩就夠了，它更適合做一些不追求精準的創意探索，俗稱整活。 Whisk 可以翻譯為「攪拌」或「打蛋器」，Google 的這個名字取得即視感很強，可不就是把食材都混搭在一起嗎？ Whisk 的不精準，也讓它的定位和傳統的圖片編輯器不同，更像是一種創意工具。有了什麼腦洞，由它實現粗略的視覺效果。 ▲ Whisk 生成，1.主題圖片，《火影忍者》截圖；2.風格圖片，毛絨玩具 以前實現Whisk 這種風格化的效果，跑通一整個影像產生的流程，我們可能需要在ComfyUI 搭建工作流程。 但現在有了Whisk，好像就在玩抽卡遊戲或開盲盒，而且只要能登入（限美國地區），目前還免費。 體驗指引 https://labs.google/fx/zh/tools/whisk Google 領先的模型能力固然是前提與基礎，但設計出被大家需要的產品，仍需要創意和美感。 很喜歡Whisk 的slogan：「prompt less, play more.」（少寫提示詞，多玩耍。） Whisk 出自Google labs，之前爆紅的AI 播客NotebookLM，也是出自這裡，後來慢慢發展成成熟的計畫。這個實驗室，本身就是這句slogan 的最佳註解。 強大的模式能力，有新意的產品，開放的心態，曾經似乎被OpenAI 威脅的Google，風輕雲淡地展現出了王者歸來的姿態。The post 這款AI生圖太讚，連提示詞都不用，給圖當範例就完工 first appeared on 雲爸的私處.
-- gReader Pro
2024年12月21日 星期六
Wubuntu 一款最像 Windows 11 的 Linux系统
Wubuntu 一款最像 Windows 11 的 Linux系统
https://www.freedidi.com/17736.html
Wubuntu 又名"Windows Ubuntu"，是一款基于 Ubuntu 的操作系统，其主题和工具灵感来自 Microsoft Windows，但没有任何荒谬的系统要求。Wubuntu 的运行不需要 TPM、安全启动、POPCNT 或任何其他特殊硬件资源。 Wubuntu 11.24.04.2 LTS（Windows 10 和 11 主题） Wubuntu 的最新 LTS 版本，适用于台式电脑和笔记本电脑。LTS 代表长期支持 — 这意味着五年的免费安全和维护更新，而 Wubuntu PRO 则延长至 10 年 硬件要求： 2 核 CPU（64 位） 2 GB RAM 内存（建议 4 GB） 20 GB 硬盘空间（推荐 SSD 磁盘） 对于虚拟机，建议安装客户插件并启用 3D 支持 1、官方下载 ：【点击前往】 2、网盘下载：【点击前往】 我们可以直接通过 Rufus U盘制作工具把Wubuntu系统写入U盘，可以给任何电脑进行安装，当然我们也可以把它安装到VMware虚拟机上。 Rufus U盘制作工具：【点击下载】 Wubuntu 整合了其他 Linux 发行版所没有的多种独特专用功能。使用 Wubuntu，您可以安全地上网、以自然、轻松的方式娱乐或工作。 兼容 Windows .exe 和 msi 应用程序 通过优化的 Wine，Wubuntu 可以毫无问题地运行 Windows 平台的多个应用程序。 兼容 Android 和 Playstore Android 子系统允许您直接从 PlayStore 安装游戏和应用程序。 针对较旧的硬件设备进行了优化 Wubuntu 没有任何特殊要求，只是要求设备支持 64 位。 分享
-- gReader Pro
https://www.freedidi.com/17736.html
Wubuntu 又名"Windows Ubuntu"，是一款基于 Ubuntu 的操作系统，其主题和工具灵感来自 Microsoft Windows，但没有任何荒谬的系统要求。Wubuntu 的运行不需要 TPM、安全启动、POPCNT 或任何其他特殊硬件资源。 Wubuntu 11.24.04.2 LTS（Windows 10 和 11 主题） Wubuntu 的最新 LTS 版本，适用于台式电脑和笔记本电脑。LTS 代表长期支持 — 这意味着五年的免费安全和维护更新，而 Wubuntu PRO 则延长至 10 年 硬件要求： 2 核 CPU（64 位） 2 GB RAM 内存（建议 4 GB） 20 GB 硬盘空间（推荐 SSD 磁盘） 对于虚拟机，建议安装客户插件并启用 3D 支持 1、官方下载 ：【点击前往】 2、网盘下载：【点击前往】 我们可以直接通过 Rufus U盘制作工具把Wubuntu系统写入U盘，可以给任何电脑进行安装，当然我们也可以把它安装到VMware虚拟机上。 Rufus U盘制作工具：【点击下载】 Wubuntu 整合了其他 Linux 发行版所没有的多种独特专用功能。使用 Wubuntu，您可以安全地上网、以自然、轻松的方式娱乐或工作。 兼容 Windows .exe 和 msi 应用程序 通过优化的 Wine，Wubuntu 可以毫无问题地运行 Windows 平台的多个应用程序。 兼容 Android 和 Playstore Android 子系统允许您直接从 PlayStore 安装游戏和应用程序。 针对较旧的硬件设备进行了优化 Wubuntu 没有任何特殊要求，只是要求设备支持 64 位。 分享
-- gReader Pro
告別版權爭議！哈佛免費釋出百萬級公共領域AI訓練數據集，小型企業與研究者也能輕鬆訓練AI模型！
告別版權爭議！哈佛免費釋出百萬級公共領域AI訓練數據集，小型企業與研究者也能輕鬆訓練AI模型！
https://www.techbang.com/posts/120329-harvard-ai-training-dataset
哈佛正在發布一個由 OpenAI 和微軟資助的大規模免費 AI 訓練資料集，讓所有人都能使用問這個公共領域書籍集將有助於「平衡」AI 產業的競爭環境。哈佛正在發布一個由 OpenAI 和微軟資助的大規模免費 AI 訓練資料集。該專案負責人表示，讓所有人都能使用問這個公共領域書籍集將有助於「平衡」AI 產業的競爭環境。 哈佛大學週四宣布，將發布一個包含近 100 萬本公共領域書籍的高品質資料集，任何人都可以使用它來訓練大型語言模型和其他 AI 工具。該資料集由哈佛新成立的機構資料倡議（Institutional Data Initiative）創建，並獲得微軟和 OpenAI 的資助。它包含了作為 Google Books 專案一部分掃描的、已不受版權保護的書籍。 哈佛大學的機構數據倡議（Institutional Data Initiative）建立了一個規模龐大的資料庫，這個資料庫約為惡名昭彰的 Books3 資料集的五倍大。Books3 曾被用來訓練像 Meta 的 Llama 這樣的人工智慧模型。這個新的資料庫涵蓋了各種不同的類型、年代和語言，內容非常豐富多元，既有莎士比亞、查爾斯·狄更斯和但丁等作家的經典名著，也有比較冷門的捷克數學教科書和威爾斯語袖珍詞典。 機構數據倡議的執行董事格雷格·萊珀特（ Greg Leppert ）表示，這個計畫的目的是要「平衡競爭環境」，讓一般大眾，包括人工智慧產業的小型參與者和個別研究人員，也能夠存取通常只有大型科技巨頭才有資源建立的那種經過高度精煉和策劃的內容庫。「它經過了嚴格的審查」，他的意思是說，這個資料庫的內容品質是有保障的，經過仔細的檢查和篩選希望透過提供免費且優質的資料，降低人工智慧研究和開發的門檻，讓更多人有機會參與其中。 萊珀特認為，這個新的公共領域資料庫可以與其他授權材料結合使用來建立人工智慧模型。他說：「我認為這有點像 Linux 已成為世界上許多領域的基礎作業系統」，並指出公司仍需要使用額外的訓練資料來使其模型與競爭對手的模型區分開來。 微軟智慧財產權副總裁兼副總法律顧問伯頓·戴維斯（ Burton Davis）強調，公司對該專案的支持符合其關於為 AI 新創公司創建「可造訪的資料池」並「以公眾利益為導向管理」的更廣泛信念。換句話說，微軟不一定計劃用像新哈佛資料庫中的公共領域替代品來替換其在自己模型中使用的所有 AI 訓練資料。戴維斯說：「我們使用公開可用的資料來訓練我們的模型。」 OpenAI 的智慧財產權和內容主管湯姆·魯賓 (Tom Rubin) 在一份聲明中表示，該公司「很高興」支持這個專案。 隨著數十起關於使用受版權保護資料進行 AI 訓練的訴訟在法院中進行，人工智慧工具的建構方式未來懸而未定。如果 AI 公司贏得訴訟，它們將能夠繼續在不需要與版權持有者達成授權協議的情況下抓取網路資料。但如果他們輸了，AI 公司可能被迫徹底改革其模型的製作方式。像哈佛資料庫這樣的一系列專案正在推進，假設無論發生什麼，對公共領域資料集的需求都會存在。 除了這批書籍外，機構資料倡議還正在與波士頓公共圖書館合作，掃描數百萬篇現在屬於公共領域的不同報紙文章，並表示願意在未來建立類似的合作關係。書籍資料集的具體發布方式尚未確定。機構資料倡議已要求 Google 在公開發布方面進行合作，但細節仍在商議中。Google 全球事務總裁肯特·沃克（Kent Walker）在一份聲明中表示，該公司「很榮幸能支持」這個專案。 無論 IDI 的資料集如何發布，它都將加入一系列類似的專案、新創公司和倡議，這些專案承諾讓公司能夠在不冒著遇到版權問題的風險的情況下，獲得大量高品質的 AI 訓練材料。像 Calliope Networks 和 ProRata 這樣的公司已經出現，發布授權和管理補償方案，旨在讓創作者和權利持有者因提供 AI 訓練資料而獲得報酬。 還有其他新的公共領域專案。去年春天，法國 AI 新創公司 Pleias 推出了自己的公共領域資料集 Common Corpus，根據專案協調員皮埃爾-卡爾·朗格萊 (Pierre-Carl Langlais) 的說法，該資料集包含大約 300 到 400 萬本書籍和期刊收藏。在開源 AI 平台 Hugging Face 上，Common Corpus 僅在本月就被下載超過 60,000 次。上週，Pleias 宣布發布其首套在這個資料集上訓練的大型語言模型，Langlais 告訴 WIRED，這些模型構成了「有史以來第一個完全在開放資料上訓練並符合歐盟 AI 法案的模型」。 同樣也有努力在創建類似的圖像資料集。AI 新創公司 Spawning 今年夏天發布了其資料集 Source.Plus，其中包含維基共享資源以及各種博物館和檔案館的公共領域圖像。一些重要的文化機構長期以來一直將自己的檔案作為獨立專案向公眾開放，比如紐約的大都會藝術博物館。 前 Stability AI 執行長、現在經營一家認證符合道德訓練 AI 工具的非營利組織的艾德·紐頓（Ed Newton-Rex）表示，這些資料集的興起表明，不需要竊取受版權保護的材料就能建立高性能和高品質的 AI 模型。OpenAI 此前曾向英國立法者表示，如果不使用受版權保護的作品，將「不可能」創建像 ChatGPT 這樣的產品。紐頓說：「這些大型公共領域資料集進一步粉碎了一些 AI 公司用來為抓取受版權保護作品進行模型訓練辯護的『必要性辯護』。」 但他仍然對 IDI 和類似專案是否真能改變 AI 訓練現狀持保留態度。他說：「這些資料集只有在被使用時才會產生積極影響，可能需要與其他資料的授權結合使用，以取代抓取的受版權保護作品。如果它們只是被添加到混合中，成為資料集的一部分，而該資料集還包括世界創作者未經授權的畢生作品，那麼它們將壓倒性地有利於 AI 公司。」 延伸閱讀：ChatGPT等 AI 訓練資料部分來自侵犯版權的「影子圖書館」，數千名作家不滿發聲：得付版權費 延伸閱讀：AI 訓練集爭議再起！Anthropic 遭作家集體訴訟，成為最新的被告 延伸閱讀：紐約時報要求法院銷毀ChatGPT的AI資料集，AI在公開網路上的訓練是否屬於「合理使用」？ 資料來源：wired 加入T客邦Facebook粉絲團
-- gReader Pro
https://www.techbang.com/posts/120329-harvard-ai-training-dataset
哈佛正在發布一個由 OpenAI 和微軟資助的大規模免費 AI 訓練資料集，讓所有人都能使用問這個公共領域書籍集將有助於「平衡」AI 產業的競爭環境。哈佛正在發布一個由 OpenAI 和微軟資助的大規模免費 AI 訓練資料集。該專案負責人表示，讓所有人都能使用問這個公共領域書籍集將有助於「平衡」AI 產業的競爭環境。 哈佛大學週四宣布，將發布一個包含近 100 萬本公共領域書籍的高品質資料集，任何人都可以使用它來訓練大型語言模型和其他 AI 工具。該資料集由哈佛新成立的機構資料倡議（Institutional Data Initiative）創建，並獲得微軟和 OpenAI 的資助。它包含了作為 Google Books 專案一部分掃描的、已不受版權保護的書籍。 哈佛大學的機構數據倡議（Institutional Data Initiative）建立了一個規模龐大的資料庫，這個資料庫約為惡名昭彰的 Books3 資料集的五倍大。Books3 曾被用來訓練像 Meta 的 Llama 這樣的人工智慧模型。這個新的資料庫涵蓋了各種不同的類型、年代和語言，內容非常豐富多元，既有莎士比亞、查爾斯·狄更斯和但丁等作家的經典名著，也有比較冷門的捷克數學教科書和威爾斯語袖珍詞典。 機構數據倡議的執行董事格雷格·萊珀特（ Greg Leppert ）表示，這個計畫的目的是要「平衡競爭環境」，讓一般大眾，包括人工智慧產業的小型參與者和個別研究人員，也能夠存取通常只有大型科技巨頭才有資源建立的那種經過高度精煉和策劃的內容庫。「它經過了嚴格的審查」，他的意思是說，這個資料庫的內容品質是有保障的，經過仔細的檢查和篩選希望透過提供免費且優質的資料，降低人工智慧研究和開發的門檻，讓更多人有機會參與其中。 萊珀特認為，這個新的公共領域資料庫可以與其他授權材料結合使用來建立人工智慧模型。他說：「我認為這有點像 Linux 已成為世界上許多領域的基礎作業系統」，並指出公司仍需要使用額外的訓練資料來使其模型與競爭對手的模型區分開來。 微軟智慧財產權副總裁兼副總法律顧問伯頓·戴維斯（ Burton Davis）強調，公司對該專案的支持符合其關於為 AI 新創公司創建「可造訪的資料池」並「以公眾利益為導向管理」的更廣泛信念。換句話說，微軟不一定計劃用像新哈佛資料庫中的公共領域替代品來替換其在自己模型中使用的所有 AI 訓練資料。戴維斯說：「我們使用公開可用的資料來訓練我們的模型。」 OpenAI 的智慧財產權和內容主管湯姆·魯賓 (Tom Rubin) 在一份聲明中表示，該公司「很高興」支持這個專案。 隨著數十起關於使用受版權保護資料進行 AI 訓練的訴訟在法院中進行，人工智慧工具的建構方式未來懸而未定。如果 AI 公司贏得訴訟，它們將能夠繼續在不需要與版權持有者達成授權協議的情況下抓取網路資料。但如果他們輸了，AI 公司可能被迫徹底改革其模型的製作方式。像哈佛資料庫這樣的一系列專案正在推進，假設無論發生什麼，對公共領域資料集的需求都會存在。 除了這批書籍外，機構資料倡議還正在與波士頓公共圖書館合作，掃描數百萬篇現在屬於公共領域的不同報紙文章，並表示願意在未來建立類似的合作關係。書籍資料集的具體發布方式尚未確定。機構資料倡議已要求 Google 在公開發布方面進行合作，但細節仍在商議中。Google 全球事務總裁肯特·沃克（Kent Walker）在一份聲明中表示，該公司「很榮幸能支持」這個專案。 無論 IDI 的資料集如何發布，它都將加入一系列類似的專案、新創公司和倡議，這些專案承諾讓公司能夠在不冒著遇到版權問題的風險的情況下，獲得大量高品質的 AI 訓練材料。像 Calliope Networks 和 ProRata 這樣的公司已經出現，發布授權和管理補償方案，旨在讓創作者和權利持有者因提供 AI 訓練資料而獲得報酬。 還有其他新的公共領域專案。去年春天，法國 AI 新創公司 Pleias 推出了自己的公共領域資料集 Common Corpus，根據專案協調員皮埃爾-卡爾·朗格萊 (Pierre-Carl Langlais) 的說法，該資料集包含大約 300 到 400 萬本書籍和期刊收藏。在開源 AI 平台 Hugging Face 上，Common Corpus 僅在本月就被下載超過 60,000 次。上週，Pleias 宣布發布其首套在這個資料集上訓練的大型語言模型，Langlais 告訴 WIRED，這些模型構成了「有史以來第一個完全在開放資料上訓練並符合歐盟 AI 法案的模型」。 同樣也有努力在創建類似的圖像資料集。AI 新創公司 Spawning 今年夏天發布了其資料集 Source.Plus，其中包含維基共享資源以及各種博物館和檔案館的公共領域圖像。一些重要的文化機構長期以來一直將自己的檔案作為獨立專案向公眾開放，比如紐約的大都會藝術博物館。 前 Stability AI 執行長、現在經營一家認證符合道德訓練 AI 工具的非營利組織的艾德·紐頓（Ed Newton-Rex）表示，這些資料集的興起表明，不需要竊取受版權保護的材料就能建立高性能和高品質的 AI 模型。OpenAI 此前曾向英國立法者表示，如果不使用受版權保護的作品，將「不可能」創建像 ChatGPT 這樣的產品。紐頓說：「這些大型公共領域資料集進一步粉碎了一些 AI 公司用來為抓取受版權保護作品進行模型訓練辯護的『必要性辯護』。」 但他仍然對 IDI 和類似專案是否真能改變 AI 訓練現狀持保留態度。他說：「這些資料集只有在被使用時才會產生積極影響，可能需要與其他資料的授權結合使用，以取代抓取的受版權保護作品。如果它們只是被添加到混合中，成為資料集的一部分，而該資料集還包括世界創作者未經授權的畢生作品，那麼它們將壓倒性地有利於 AI 公司。」 延伸閱讀：ChatGPT等 AI 訓練資料部分來自侵犯版權的「影子圖書館」，數千名作家不滿發聲：得付版權費 延伸閱讀：AI 訓練集爭議再起！Anthropic 遭作家集體訴訟，成為最新的被告 延伸閱讀：紐約時報要求法院銷毀ChatGPT的AI資料集，AI在公開網路上的訓練是否屬於「合理使用」？ 資料來源：wired 加入T客邦Facebook粉絲團
-- gReader Pro
2024年12月20日 星期五
請在google chrome搜尋改為ChatGPT search：开源日报 | 苹果将推出可折叠iPad；智谱融资30亿；ChatGPT Search免费开放；字节否认与中兴探讨成立新品牌；生成式AI的强控制和弱控制；周鸿祎的直播平台退市了
何時閏年？
表示不是舊版的問題，是新版的問題...
嗯...
如果使用新版的Chrome就能夠使用。但我們目前還沒必要一定要換到這種程度。
开源日报 | 苹果将推出可折叠iPad；智谱融资30亿；ChatGPT Search免费开放；字节否认与中兴探讨成立新品牌；生成式AI的强控制和弱控制；周鸿祎的直播平台退市了
https://www.oschina.net/news/325395
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.12.17 今日要闻 小米开源「Home Assistant 米家集成」 小米在 GitHub 开源了「Home Assistant 米家集成」项目，这是一个由小米官方提供支持的 Home Assistant 的集成组件，它可以让用户在 Home Assistant 中使用小米 IoT 智能设备。Home Assistant 是一个基于 Python 3 开发的开源家庭自动化平台，可以跟踪和控制家庭中的所有设备，并实现自动化控制。 开源地址：https://github.com/XiaoMi/ha_xiaomi_home Xfce 4.20 发布，Wayland 支持 Xfce 轻量级桌面环境项目在大约两年的开发之后发布了 v4.20 版本。主要新特性包括：实验性支持 Wayland，同时继续支持 X11，Xfce 还没有原生的 Wayland 合成器，Xfwm4 未来会支持；改进了图标和缩略图缩放，Exo-Icon-View 能处理 10 万文件而不会卡死；新的 libxfce4windowing 库；改进 Thunar 文件管理器，性能优化，等等。 https://alexxcons.github.io/blogpost_14.html 苹果将推出可折叠 iPad 据彭博社记者 Mark Gurman 最新一期报道，苹果将在 2028 年推出可折叠 iPad，同时还将带来多款产品。 Gurman 提到，苹果目前正在研发一款介于手机和平板电脑、笔记本电脑的新形态产品，此款产品将会是可折叠的巨型 iPad，展开形态的尺寸可达两台 iPad Pro 并排的大小。 这款可折叠 iPad 目前已在内部打磨多年，并计划于 2028 年推向市场。Gurman 还猜测其将运行 iPadOS 的变体版版系统，甚至还将支持 MacOS 的软件。 智谱完成 30 亿元融资，总估值超 200 亿元 大模型独角兽智谱宣布近期完成新一轮 30 亿元融资。新的投资方包括多家战投及国资，君联资本等老股东继续跟投。 本轮融资将用于智谱 GLM 大模型系列的进一步研发，从回答问题到解决复杂推理、多模态任务，更好地支撑行业生态发展。这是智谱近三个月来的第二轮融资。就在 9 月，中关村科学城公司宣布以投前 200 亿估值领投智谱，智谱也是国内估值率先超过 200 亿的大模型创业企业。 ChatGPT AI 搜索「ChatGPT Search」免费开放 今天凌晨，OpenAI 在第八场发布会上宣布向全球用户免费开放 ChatGPT Search。本次更新的主要亮点包括： 高级语音模式现已支持实时网页搜索，并支持多语言实时翻译 ChatGPT 能够智能判断是否需要执行网页搜索，用户也可通过点击 🌐 图标手动触发搜索 搜索结果中的视频可直接在 ChatGPT 聊天窗口中播放 支持将 ChatGPT Search 设为默认浏览器，提升网页导航效率 移动端搜索结果优化显示，包含完整商业信息描述和丰富视觉内容 iOS 设备集成原生苹果地图体验 Turso 发布 Limbo：用 Rust 重写 SQLite，重新定义嵌入式数据库未来 Turso 团队正式发布了一个全新的开源项目 ——Limbo，一个采用 Rust 语言重写的 SQLite 数据库。这个项目不仅保留了 SQLite 的核心功能，还通过引入异步 I/O 和现代化架构，旨在解决嵌入式数据库在边缘计算和无服务器环境中的性能瓶颈。 Limbo 的最大技术突破是全面引入了 异步 I/O 技术，特别是在多租户和高并发场景下，显著降低了查询的 尾部延迟（p999）。SQLite 使用传统的同步 I/O 方式，查询时线程会被阻塞，导致资源浪费。而 Limbo 基于 Rust 的异步特性和 Linux io_uring 接口，允许查询任务非阻塞地进行，提升了系统的整体吞吐能力和资源利用率。 项目地址：https://github.com/tursodatabase/limbo 字节否认与中兴探讨成立新品牌 近日，有市场消息称，字节跳动豆包大模型要内嵌手机，最后可能找了中兴通讯，之后不排除成立一个新的品牌，不过此事尚无权威定论，需要持续关注后续进展。此外，字节跳动现在对于推理用的ASIC芯片需求巨大，英伟达昇腾可能比较贵，中兴通讯则可能存在业务的契合点。 对于上述信息，豆包相关负责人表示：消息不实。豆包大模型已经和许多手机有了深度合作，但并没有和中兴通讯探讨过成立新品牌可能性。芯片也没有相关的合作。 智元开启通用机器人商用量产 无问芯穹开源全球首款端侧全模态理解模型：Megrez-3B-Omni 无问芯穹宣布全球第一款端侧全模态理解模型 Megrez-3B-Omni 开源。 无问芯穹官方介绍，Megrez-3B-Omni 是一个为端而生的全模态理解模型，同时具备图片、音频、文本三种模态数据的处理能力，并在三个模态的多种测评基准中取得了最优性能。 同时，Megrez-3B-Omni 选择了最适合手机、平板等端侧设备的 30 亿参数黄金尺寸，结构规整，推理速度最大领先同精度模型 300%。 今日观察 社交观察 马斯克展示 Grok2 新功能 马斯克秀了波Grok的新功能——Grok搜索按钮已被嵌入到每篇X帖子中。现在，X上的每篇帖子旁边都有一个Grok按钮，你可以一键让人工智能总结这篇帖子，AI会给出要点并进行适当联想。 在马斯克给出的例子中【视频】，他夸了一下特斯拉，AI不仅get到了这一点，还解释了马斯克的引用文章，并拓展了特斯拉AI发展的背景信息。 类似于GPT Search，Grok搜索功能同样支持网页来源、关联词汇扩展以及继续提问等功能。 - 微博 量子位 OpenAI CFO Sarah Friar 说后续会推出 2000 美金订阅的 GPT OpenAI CFO Sarah Friar 说后续会推出2000美金订阅的GPT，有博士生的解决问题的能力。从CFO的角度上来讲她面临的压力确实大，年年巨额亏损，可以理解，要让投资者和股东看到希望。 但是从产品实际landing的进度层面，我觉得目前的基础模型，任何一个都达不到innovator的级别，也就是4级AG I（而且短期没戏，至少2到3年，看这波后训练的天花板在哪里了）市面上最好的模型勉强摸到了3级AGI，也就是Agent的级别，而且也不是完整形态，现在只有感知，决策层面还没落地。只有到达4级才勉强配得上2000美金，当然到了我也没钱买，200我说啥也不会冲，20我都快充不起了。 - 微博 Transformer-周 生成式 AI 的强控制和弱控制 强控制与弱控制其实是我从力度上加以区分的，但是这个力度控制体现到了结果上，就会形成两种不同的表征。传统影视软件的所有参数、功能以及你的操作，都属于强控制，哪怕你只是把参数从0加到0.01，但实打实的，画面就是发生了变化对吧。而且这种变化在大多数情况下给你输出了一个恒定的效果。那么简单地说，一个操作就对应了一种固定的结果，所有这类控制就都属于强控制。 传统工具里面弱控制很少见，比如分形插件可以算是一种弱控制，每一点点参数的变动，结果都不是唯一的。很多软件或者插件还会有"随机"这样的复选框，你勾选了，每一次出现的结果往往也不是唯一的。所以，一次控制产生了不唯一的多种结果的可能性，那么这种控制就叫做弱控制。 - 微博 摇摆时间线ZHLMI 媒体观察 人工智能产品销售强劲 摩根士丹利上调博通目标价 由于人工智能产品销售强劲，摩根士丹利15日上调芯片商博通公司目标价至233美元。此前，在12月13日，博通股价飙升超24%，创其最大单日涨幅，博通成为美国第9家、全球第12家市值达到1万亿美元的上市公司，也是继英伟达和台积电之后，第三家市值达到1万亿美元的半导体公司。 - 经济参考报 上市公司掘金银发经济 AI赋能智慧养老产品落地开花 中国国际科技促进会企业人才工作委员会委员汪张明在接受《证券日报》记者采访时表示："当前我国银发经济尚处在初级阶段，目前还以传统养老方式为主，处于'未老'阶段，'备老'才刚刚起步。随着老龄化程度的不断加深，老年人对产品和服务的需求将不断增强，市场体量逐步释放，个性化需求逐步提升。" - 证券日报 清华天才梦碎！曾估值430亿独角兽12.3亿元资产流拍 天才创始人、明星创业企业、资本宠儿、产品及模式极具颠覆性……这都曾是打在柔宇科技身上鲜明的标签。从昔日500亿独角兽到深陷员工讨薪、订单匮乏漩涡，12年柔宇科技走向末路。 - 风暴眼 硅谷爆火A股也热闹，低代码赛道再升温，AI要革编程的"命"？ 曾于2018年成为国内资本热点的低代码（Low Code）赛道，当下正随着AIGC加速落地热度再起，被部分业内人士视作继AI搜索之后的又一大热门赛道。 - 财联社 30亿，周鸿祎的直播平台退市了 花房集团未能在规定的10月2日之前满足交易所规定的所有复牌条件，以恢复其股票交易，因此，香港交易所的上市委员会依据相关上市规则，决定撤销花房集团的上市资格。花房集团已表明不会就上市委员会的这一决议提出复议。据此，该公司的股票将在2024年12月13日完成最后的交易，而其上市资格将于2024年12月16日起正式终止。 - 融中财经 当做应用成为共识，大模型公司拿出了更多弹药 未来一年我们应该能看到更多类似的AI原生操作界面的尝试。这是一种从AI生成能力向AI创作能力延伸的必然。从更大的视角来看，大模型也到了让更多场景、更多行业、更多人感知到和使用起来的阶段了。只有这样，才能维持住大家对大模型的信心，让大模型发挥应有的价值，抵消一部分质疑的声音。 - 窄播 今日推荐 开源项目 EnixCoda/Gitako https://github.com/EnixCoda/Gitako Gitako 是一款支持 Gitee/GitHub 等网站的文件树浏览器插件，可用于 Chrome & Firefox & Edge 浏览器。 每日一博 MyBatis 布尔字段映射陷阱全过程解析 在开发过程中，我们常常会遇到一些看似简单却令人困惑的问题。本文记录了一次将 boolean 改为 Boolean 后，MyBatis 插入数据时出现的意外情况。本文不仅逐步揭示了问题的根本原因，还提供了解决方案，并强调了在开发中遵循规范和仔细排查问题的重要性。 开源之声 用户观点 Rust重写万物之——彻底重写SQLite 观点 1：总结：原来的项目继续开发，喜欢用Rust的人再开发一个兼容的版本。我觉得重点在这：专为 WASM 设计，Limbo 数据库从设计之初就考虑到了 WASM 构建的支持，并且已经实现了与流行工具（如 Drizzle）兼容的 VFS（虚拟文件系统）接口，无需任何额外的修改即可使用。 观点 2：Rust属实是没活硬整 观点 3：如果是光说不练，确实恶心，但是人家又说又练，那就是实力，比某些老保强太多了 观点 4：sqlite虽然是用C写的，但是出了名的可靠和稳定，语言并不是约束能力的瓶颈，不能把自己的无能归咎于语言。用rust重写sqlite到底是要解决目前哪些无法解决的问题呢？这不是虚空索敌吗？ 观点 5：还记得那句只要能被js实现的最终都会用js来实现，现在这句话不行了改成rust了，过几年会是什么呢 观点 6：如果重写的是Matlab和CAD这些软件，解决社会真实需求，我敬你是条汉子。不要整天搞些玩具出来宣传。 观点 7：最该重写的是前端生态工具，效率真是太尼玛的低了，特别是编译sass。 观点 8：前端编译…那是生态的问题…rust编译几百上千的包…应该比webpack更慢 观点 9：把前端的类ECMA Script也"重写"了吧 观点 10：要不你重写ffmpeg？sqlite一般都是直接用，又不需要二次开发，ffmpeg很多时候都要拿来二开 观点 11：哪天ffpmeg被rust重写了，我就转rust 观点 12：这不得用go dotnet 全部AOT一遍？ 观点 13：用js来一遍吧 观点 14：性能跟不上 观点 15：一个优秀的软件项目，会在启动前就将测试方案考虑全面，测试永远优先于实现，无法测试、没有测试的代码其本身就是项目的BUG。 观点 16：复杂化，不适合人类，人工智能机器人喜欢rust语言 观点 17：sqlite的安全问题不大，重写毫无必要，所以这是练手项目，是想用语言来抢未来数据库的市场罢了。 OpenAI全球宕机复盘：K8S循环依赖 观点 1：过了把高管的瘾，就坐着，手下送来了详尽的事故报告。好的，朕已阅。 观点 2：不得不说复盘水平还是挺高的，比阿里云和微软的复盘报告看起来可靠不少。 观点 3：让AI自己去修复。地球上的智慧生命体，都有自我修复能力 观点 4：太猛了，装逼失败 观点 5：其实感觉做的还可以了，毕竟这种实践上没有书籍和记录在案的最佳实践，只能依靠资深工程师还有不断摸索去构建 观点 6：那天就是等了好久ChatGPT没恢复，严重影响了我的工作进度 观点 7：DNS经历了雪崩。 观点 8：什么都用k8s害了你 ---END---
-- gReader Pro
https://www.oschina.net/news/325395
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.12.17 今日要闻 小米开源「Home Assistant 米家集成」 小米在 GitHub 开源了「Home Assistant 米家集成」项目，这是一个由小米官方提供支持的 Home Assistant 的集成组件，它可以让用户在 Home Assistant 中使用小米 IoT 智能设备。Home Assistant 是一个基于 Python 3 开发的开源家庭自动化平台，可以跟踪和控制家庭中的所有设备，并实现自动化控制。 开源地址：https://github.com/XiaoMi/ha_xiaomi_home Xfce 4.20 发布，Wayland 支持 Xfce 轻量级桌面环境项目在大约两年的开发之后发布了 v4.20 版本。主要新特性包括：实验性支持 Wayland，同时继续支持 X11，Xfce 还没有原生的 Wayland 合成器，Xfwm4 未来会支持；改进了图标和缩略图缩放，Exo-Icon-View 能处理 10 万文件而不会卡死；新的 libxfce4windowing 库；改进 Thunar 文件管理器，性能优化，等等。 https://alexxcons.github.io/blogpost_14.html 苹果将推出可折叠 iPad 据彭博社记者 Mark Gurman 最新一期报道，苹果将在 2028 年推出可折叠 iPad，同时还将带来多款产品。 Gurman 提到，苹果目前正在研发一款介于手机和平板电脑、笔记本电脑的新形态产品，此款产品将会是可折叠的巨型 iPad，展开形态的尺寸可达两台 iPad Pro 并排的大小。 这款可折叠 iPad 目前已在内部打磨多年，并计划于 2028 年推向市场。Gurman 还猜测其将运行 iPadOS 的变体版版系统，甚至还将支持 MacOS 的软件。 智谱完成 30 亿元融资，总估值超 200 亿元 大模型独角兽智谱宣布近期完成新一轮 30 亿元融资。新的投资方包括多家战投及国资，君联资本等老股东继续跟投。 本轮融资将用于智谱 GLM 大模型系列的进一步研发，从回答问题到解决复杂推理、多模态任务，更好地支撑行业生态发展。这是智谱近三个月来的第二轮融资。就在 9 月，中关村科学城公司宣布以投前 200 亿估值领投智谱，智谱也是国内估值率先超过 200 亿的大模型创业企业。 ChatGPT AI 搜索「ChatGPT Search」免费开放 今天凌晨，OpenAI 在第八场发布会上宣布向全球用户免费开放 ChatGPT Search。本次更新的主要亮点包括： 高级语音模式现已支持实时网页搜索，并支持多语言实时翻译 ChatGPT 能够智能判断是否需要执行网页搜索，用户也可通过点击 🌐 图标手动触发搜索 搜索结果中的视频可直接在 ChatGPT 聊天窗口中播放 支持将 ChatGPT Search 设为默认浏览器，提升网页导航效率 移动端搜索结果优化显示，包含完整商业信息描述和丰富视觉内容 iOS 设备集成原生苹果地图体验 Turso 发布 Limbo：用 Rust 重写 SQLite，重新定义嵌入式数据库未来 Turso 团队正式发布了一个全新的开源项目 ——Limbo，一个采用 Rust 语言重写的 SQLite 数据库。这个项目不仅保留了 SQLite 的核心功能，还通过引入异步 I/O 和现代化架构，旨在解决嵌入式数据库在边缘计算和无服务器环境中的性能瓶颈。 Limbo 的最大技术突破是全面引入了 异步 I/O 技术，特别是在多租户和高并发场景下，显著降低了查询的 尾部延迟（p999）。SQLite 使用传统的同步 I/O 方式，查询时线程会被阻塞，导致资源浪费。而 Limbo 基于 Rust 的异步特性和 Linux io_uring 接口，允许查询任务非阻塞地进行，提升了系统的整体吞吐能力和资源利用率。 项目地址：https://github.com/tursodatabase/limbo 字节否认与中兴探讨成立新品牌 近日，有市场消息称，字节跳动豆包大模型要内嵌手机，最后可能找了中兴通讯，之后不排除成立一个新的品牌，不过此事尚无权威定论，需要持续关注后续进展。此外，字节跳动现在对于推理用的ASIC芯片需求巨大，英伟达昇腾可能比较贵，中兴通讯则可能存在业务的契合点。 对于上述信息，豆包相关负责人表示：消息不实。豆包大模型已经和许多手机有了深度合作，但并没有和中兴通讯探讨过成立新品牌可能性。芯片也没有相关的合作。 智元开启通用机器人商用量产 无问芯穹开源全球首款端侧全模态理解模型：Megrez-3B-Omni 无问芯穹宣布全球第一款端侧全模态理解模型 Megrez-3B-Omni 开源。 无问芯穹官方介绍，Megrez-3B-Omni 是一个为端而生的全模态理解模型，同时具备图片、音频、文本三种模态数据的处理能力，并在三个模态的多种测评基准中取得了最优性能。 同时，Megrez-3B-Omni 选择了最适合手机、平板等端侧设备的 30 亿参数黄金尺寸，结构规整，推理速度最大领先同精度模型 300%。 今日观察 社交观察 马斯克展示 Grok2 新功能 马斯克秀了波Grok的新功能——Grok搜索按钮已被嵌入到每篇X帖子中。现在，X上的每篇帖子旁边都有一个Grok按钮，你可以一键让人工智能总结这篇帖子，AI会给出要点并进行适当联想。 在马斯克给出的例子中【视频】，他夸了一下特斯拉，AI不仅get到了这一点，还解释了马斯克的引用文章，并拓展了特斯拉AI发展的背景信息。 类似于GPT Search，Grok搜索功能同样支持网页来源、关联词汇扩展以及继续提问等功能。 - 微博 量子位 OpenAI CFO Sarah Friar 说后续会推出 2000 美金订阅的 GPT OpenAI CFO Sarah Friar 说后续会推出2000美金订阅的GPT，有博士生的解决问题的能力。从CFO的角度上来讲她面临的压力确实大，年年巨额亏损，可以理解，要让投资者和股东看到希望。 但是从产品实际landing的进度层面，我觉得目前的基础模型，任何一个都达不到innovator的级别，也就是4级AG I（而且短期没戏，至少2到3年，看这波后训练的天花板在哪里了）市面上最好的模型勉强摸到了3级AGI，也就是Agent的级别，而且也不是完整形态，现在只有感知，决策层面还没落地。只有到达4级才勉强配得上2000美金，当然到了我也没钱买，200我说啥也不会冲，20我都快充不起了。 - 微博 Transformer-周 生成式 AI 的强控制和弱控制 强控制与弱控制其实是我从力度上加以区分的，但是这个力度控制体现到了结果上，就会形成两种不同的表征。传统影视软件的所有参数、功能以及你的操作，都属于强控制，哪怕你只是把参数从0加到0.01，但实打实的，画面就是发生了变化对吧。而且这种变化在大多数情况下给你输出了一个恒定的效果。那么简单地说，一个操作就对应了一种固定的结果，所有这类控制就都属于强控制。 传统工具里面弱控制很少见，比如分形插件可以算是一种弱控制，每一点点参数的变动，结果都不是唯一的。很多软件或者插件还会有"随机"这样的复选框，你勾选了，每一次出现的结果往往也不是唯一的。所以，一次控制产生了不唯一的多种结果的可能性，那么这种控制就叫做弱控制。 - 微博 摇摆时间线ZHLMI 媒体观察 人工智能产品销售强劲 摩根士丹利上调博通目标价 由于人工智能产品销售强劲，摩根士丹利15日上调芯片商博通公司目标价至233美元。此前，在12月13日，博通股价飙升超24%，创其最大单日涨幅，博通成为美国第9家、全球第12家市值达到1万亿美元的上市公司，也是继英伟达和台积电之后，第三家市值达到1万亿美元的半导体公司。 - 经济参考报 上市公司掘金银发经济 AI赋能智慧养老产品落地开花 中国国际科技促进会企业人才工作委员会委员汪张明在接受《证券日报》记者采访时表示："当前我国银发经济尚处在初级阶段，目前还以传统养老方式为主，处于'未老'阶段，'备老'才刚刚起步。随着老龄化程度的不断加深，老年人对产品和服务的需求将不断增强，市场体量逐步释放，个性化需求逐步提升。" - 证券日报 清华天才梦碎！曾估值430亿独角兽12.3亿元资产流拍 天才创始人、明星创业企业、资本宠儿、产品及模式极具颠覆性……这都曾是打在柔宇科技身上鲜明的标签。从昔日500亿独角兽到深陷员工讨薪、订单匮乏漩涡，12年柔宇科技走向末路。 - 风暴眼 硅谷爆火A股也热闹，低代码赛道再升温，AI要革编程的"命"？ 曾于2018年成为国内资本热点的低代码（Low Code）赛道，当下正随着AIGC加速落地热度再起，被部分业内人士视作继AI搜索之后的又一大热门赛道。 - 财联社 30亿，周鸿祎的直播平台退市了 花房集团未能在规定的10月2日之前满足交易所规定的所有复牌条件，以恢复其股票交易，因此，香港交易所的上市委员会依据相关上市规则，决定撤销花房集团的上市资格。花房集团已表明不会就上市委员会的这一决议提出复议。据此，该公司的股票将在2024年12月13日完成最后的交易，而其上市资格将于2024年12月16日起正式终止。 - 融中财经 当做应用成为共识，大模型公司拿出了更多弹药 未来一年我们应该能看到更多类似的AI原生操作界面的尝试。这是一种从AI生成能力向AI创作能力延伸的必然。从更大的视角来看，大模型也到了让更多场景、更多行业、更多人感知到和使用起来的阶段了。只有这样，才能维持住大家对大模型的信心，让大模型发挥应有的价值，抵消一部分质疑的声音。 - 窄播 今日推荐 开源项目 EnixCoda/Gitako https://github.com/EnixCoda/Gitako Gitako 是一款支持 Gitee/GitHub 等网站的文件树浏览器插件，可用于 Chrome & Firefox & Edge 浏览器。 每日一博 MyBatis 布尔字段映射陷阱全过程解析 在开发过程中，我们常常会遇到一些看似简单却令人困惑的问题。本文记录了一次将 boolean 改为 Boolean 后，MyBatis 插入数据时出现的意外情况。本文不仅逐步揭示了问题的根本原因，还提供了解决方案，并强调了在开发中遵循规范和仔细排查问题的重要性。 开源之声 用户观点 Rust重写万物之——彻底重写SQLite 观点 1：总结：原来的项目继续开发，喜欢用Rust的人再开发一个兼容的版本。我觉得重点在这：专为 WASM 设计，Limbo 数据库从设计之初就考虑到了 WASM 构建的支持，并且已经实现了与流行工具（如 Drizzle）兼容的 VFS（虚拟文件系统）接口，无需任何额外的修改即可使用。 观点 2：Rust属实是没活硬整 观点 3：如果是光说不练，确实恶心，但是人家又说又练，那就是实力，比某些老保强太多了 观点 4：sqlite虽然是用C写的，但是出了名的可靠和稳定，语言并不是约束能力的瓶颈，不能把自己的无能归咎于语言。用rust重写sqlite到底是要解决目前哪些无法解决的问题呢？这不是虚空索敌吗？ 观点 5：还记得那句只要能被js实现的最终都会用js来实现，现在这句话不行了改成rust了，过几年会是什么呢 观点 6：如果重写的是Matlab和CAD这些软件，解决社会真实需求，我敬你是条汉子。不要整天搞些玩具出来宣传。 观点 7：最该重写的是前端生态工具，效率真是太尼玛的低了，特别是编译sass。 观点 8：前端编译…那是生态的问题…rust编译几百上千的包…应该比webpack更慢 观点 9：把前端的类ECMA Script也"重写"了吧 观点 10：要不你重写ffmpeg？sqlite一般都是直接用，又不需要二次开发，ffmpeg很多时候都要拿来二开 观点 11：哪天ffpmeg被rust重写了，我就转rust 观点 12：这不得用go dotnet 全部AOT一遍？ 观点 13：用js来一遍吧 观点 14：性能跟不上 观点 15：一个优秀的软件项目，会在启动前就将测试方案考虑全面，测试永远优先于实现，无法测试、没有测试的代码其本身就是项目的BUG。 观点 16：复杂化，不适合人类，人工智能机器人喜欢rust语言 观点 17：sqlite的安全问题不大，重写毫无必要，所以这是练手项目，是想用语言来抢未来数据库的市场罢了。 OpenAI全球宕机复盘：K8S循环依赖 观点 1：过了把高管的瘾，就坐着，手下送来了详尽的事故报告。好的，朕已阅。 观点 2：不得不说复盘水平还是挺高的，比阿里云和微软的复盘报告看起来可靠不少。 观点 3：让AI自己去修复。地球上的智慧生命体，都有自我修复能力 观点 4：太猛了，装逼失败 观点 5：其实感觉做的还可以了，毕竟这种实践上没有书籍和记录在案的最佳实践，只能依靠资深工程师还有不断摸索去构建 观点 6：那天就是等了好久ChatGPT没恢复，严重影响了我的工作进度 观点 7：DNS经历了雪崩。 观点 8：什么都用k8s害了你 ---END---
-- gReader Pro
2024年12月19日 星期四
SUNO AI PROMPT 音樂提示詞產生器，輕輕鬆鬆生成出高品質音樂
SUNO AI PROMPT 音樂提示詞產生器，輕輕鬆鬆生成出高品質音樂
https://www.koc.com.tw/archives/579236
Suno AI 音樂生成工具我們已經介紹過蠻多次，真的非常強悍，簡簡單單就能生成出很不錯的 AI 音樂，不過就跟生成圖片一樣，很多人一定常常苦惱該怎麼下 Prompt 提示詞，才能生成出想要的 AI 音樂，如果你一直抓不到感覺，或覺得這有點困難，這篇就要介紹一款超好用的免費 Suno AI 音樂提示詞產生器「Suno AI PROMPT」。 Suno AI PROMPT 音樂提示詞產生器介紹 試用 Suno AI PROMPT Suno AI PROMPT 是一款完全免費的 SUNO 音樂提示詞工具，而且支援多國語言，包括中文。 它最方便的地方在，除了輸入對音樂的需求之外，還有提供多個創意元素選項，代表說不用全部靠自己輸入，有些特殊喜好，如：音樂風格、心情、旋律等，直接從選單中選就好。 生成出的提示詞會一次給三個，因此可以從中選出最符合要求的那一個，這點很不錯。 除了音樂的提示詞，也支援歌詞產生器，而且可以產生出中文歌詞。 點擊上方連結進到 Suno AI PROMPT 後，在談談你的偏好裡面輸入音樂需求，可以用中文，最多 250 個字，下面也有一些簡單的提示建議。如果你的偏好給的很完整，那就能直接生成，下方的創意元素不一定要選擇： 對於沒有什麼想法的人，則可以透過下方創意元素來一步步設定出你喜好的音樂類型，像是主題，提供愛情、心碎、友誼、社會議題、大自然、冒險、個人成長、失去、慶祝、奇幻、歷史事件等： 旋律也有超多選項，包括簡單易記、複雜且錯綜複雜、上升、下降、重複、多樣、主要的、藍調等等： 和聲就少一點，目前共有 5 個，包括大調和弦、小調和弦、七和弦、不協和弦、踏板音，如果不知道選哪一個保留隨機即可： 節奏也有不少，可選擇穩定、搖擺、複雜拍號、快速、緩慢等，部份節奏右邊會提供說明： 一切都設定好之後，就按下方的「生成你的歌曲風格」： 等待個幾十秒的時間，就會獲得三個提示詞，還會附上歌曲標題，不會內容是音樂，看不懂沒關係，就複製起來到 Suno AI 貼上： 如下圖所示，不過 Suno 的音樂描述提示詞有字數限制，最多 200 個字，而生成器生成出的提示詞，有時候會超過，這時你就自行修改短一點，或透過 ChatGPT 之類的 AI 工具來縮短： 下面這首就是我透過產生器生成的音樂，跟我要求幾乎一模一樣，歌詞是讓 Suno 自行生成： 旁邊還有一個歌詞產生器，一樣可以輸入偏好需求，下方也有創意元素可選： 支援非常多歌詞語言，包括繁體中文： 生成出的歌詞一樣高品質，長度夠長，還會分前中後，連歌曲名稱都有，一樣就把全部複製起來到 Suno 貼上： 把 Custom 功能打開，上方輸入歌詞，下方輸入歌曲的提示詞，二個我都用這產生器生成的提示詞： 最後出來的 AI 音樂：
-- gReader Pro
https://www.koc.com.tw/archives/579236
Suno AI 音樂生成工具我們已經介紹過蠻多次，真的非常強悍，簡簡單單就能生成出很不錯的 AI 音樂，不過就跟生成圖片一樣，很多人一定常常苦惱該怎麼下 Prompt 提示詞，才能生成出想要的 AI 音樂，如果你一直抓不到感覺，或覺得這有點困難，這篇就要介紹一款超好用的免費 Suno AI 音樂提示詞產生器「Suno AI PROMPT」。 Suno AI PROMPT 音樂提示詞產生器介紹 試用 Suno AI PROMPT Suno AI PROMPT 是一款完全免費的 SUNO 音樂提示詞工具，而且支援多國語言，包括中文。 它最方便的地方在，除了輸入對音樂的需求之外，還有提供多個創意元素選項，代表說不用全部靠自己輸入，有些特殊喜好，如：音樂風格、心情、旋律等，直接從選單中選就好。 生成出的提示詞會一次給三個，因此可以從中選出最符合要求的那一個，這點很不錯。 除了音樂的提示詞，也支援歌詞產生器，而且可以產生出中文歌詞。 點擊上方連結進到 Suno AI PROMPT 後，在談談你的偏好裡面輸入音樂需求，可以用中文，最多 250 個字，下面也有一些簡單的提示建議。如果你的偏好給的很完整，那就能直接生成，下方的創意元素不一定要選擇： 對於沒有什麼想法的人，則可以透過下方創意元素來一步步設定出你喜好的音樂類型，像是主題，提供愛情、心碎、友誼、社會議題、大自然、冒險、個人成長、失去、慶祝、奇幻、歷史事件等： 旋律也有超多選項，包括簡單易記、複雜且錯綜複雜、上升、下降、重複、多樣、主要的、藍調等等： 和聲就少一點，目前共有 5 個，包括大調和弦、小調和弦、七和弦、不協和弦、踏板音，如果不知道選哪一個保留隨機即可： 節奏也有不少，可選擇穩定、搖擺、複雜拍號、快速、緩慢等，部份節奏右邊會提供說明： 一切都設定好之後，就按下方的「生成你的歌曲風格」： 等待個幾十秒的時間，就會獲得三個提示詞，還會附上歌曲標題，不會內容是音樂，看不懂沒關係，就複製起來到 Suno AI 貼上： 如下圖所示，不過 Suno 的音樂描述提示詞有字數限制，最多 200 個字，而生成器生成出的提示詞，有時候會超過，這時你就自行修改短一點，或透過 ChatGPT 之類的 AI 工具來縮短： 下面這首就是我透過產生器生成的音樂，跟我要求幾乎一模一樣，歌詞是讓 Suno 自行生成： 旁邊還有一個歌詞產生器，一樣可以輸入偏好需求，下方也有創意元素可選： 支援非常多歌詞語言，包括繁體中文： 生成出的歌詞一樣高品質，長度夠長，還會分前中後，連歌曲名稱都有，一樣就把全部複製起來到 Suno 貼上： 把 Custom 功能打開，上方輸入歌詞，下方輸入歌曲的提示詞，二個我都用這產生器生成的提示詞： 最後出來的 AI 音樂：
-- gReader Pro
k8m 新增 Describe 内容 AI 解读功能，再也不怕看不懂了
k8m 新增 Describe 内容 AI 解读功能，再也不怕看不懂了
https://www.oschina.net/news/325401
k8m 是一款集 AI 与 Kubernetes 于一体的轻量级控制台工具，专为简化集群管理设计。基于 AMIS 构建，并通过 kom 作为 Kubernetes API 客户端，k8m 内置了 Qwen2.5-Coder-7B 模型交互能力，同时支持接入您自己的私有化大模型。 本次更新升级 1、新增对任意k8s资源的Describe功能，并且按是否包含错误调整背景色。 红色表色有问题，绿色表示正常。 2、新增AI解读 Describe描述功能。让AI详细解读，给出报告以及问题的解决方案。 k8m主要特点 迷你化设计：所有功能整合在一个单一的可执行文件中，部署便捷，使用简单。 简便易用：友好的用户界面和直观的操作流程，让 Kubernetes 管理更加轻松。 高效性能：后端采用 Golang 构建，前端基于百度 AMIS，保证资源利用率高、响应速度快。 Pod 文件管理：支持 Pod 内文件的浏览、编辑、上传、下载、删除，简化日常操作。 Pod 运行管理：支持实时查看 Pod 日志，下载日志，并在 Pod 内直接执行 Shell 命令。 CRD 管理：可自动发现并管理 CRD 资源，提高工作效率。 智能翻译与问诊：支持 YAML 属性自动翻译、异常事件诊断以及日志分析，为排查问题提供智能化支持。 跨平台支持：兼容 Linux、macOS 和 Windows，并支持 x86、ARM 等多种架构，确保多平台无缝运行。 k8m 的设计理念是"轻便高效，化繁为简"，它帮助开发者和运维人员快速上手，轻松管理 Kubernetes 集群。 运行 下载：从 GitHub 下载最新版本。 运行：使用 ./k8m 命令启动,访问http://127.0.0.1:3618。 开源地址 https://github.com/weibaohui/k8m 更新内容 refactor(describe): 优化资源描述页面的输出展示 feat(custom): 添加自定义 HTML内容高亮组件 feat(cluster): 添加 AI 解读功能 feat(chat): 添加 ChatGPT资源描述分析功能
-- gReader Pro
https://www.oschina.net/news/325401
k8m 是一款集 AI 与 Kubernetes 于一体的轻量级控制台工具，专为简化集群管理设计。基于 AMIS 构建，并通过 kom 作为 Kubernetes API 客户端，k8m 内置了 Qwen2.5-Coder-7B 模型交互能力，同时支持接入您自己的私有化大模型。 本次更新升级 1、新增对任意k8s资源的Describe功能，并且按是否包含错误调整背景色。 红色表色有问题，绿色表示正常。 2、新增AI解读 Describe描述功能。让AI详细解读，给出报告以及问题的解决方案。 k8m主要特点 迷你化设计：所有功能整合在一个单一的可执行文件中，部署便捷，使用简单。 简便易用：友好的用户界面和直观的操作流程，让 Kubernetes 管理更加轻松。 高效性能：后端采用 Golang 构建，前端基于百度 AMIS，保证资源利用率高、响应速度快。 Pod 文件管理：支持 Pod 内文件的浏览、编辑、上传、下载、删除，简化日常操作。 Pod 运行管理：支持实时查看 Pod 日志，下载日志，并在 Pod 内直接执行 Shell 命令。 CRD 管理：可自动发现并管理 CRD 资源，提高工作效率。 智能翻译与问诊：支持 YAML 属性自动翻译、异常事件诊断以及日志分析，为排查问题提供智能化支持。 跨平台支持：兼容 Linux、macOS 和 Windows，并支持 x86、ARM 等多种架构，确保多平台无缝运行。 k8m 的设计理念是"轻便高效，化繁为简"，它帮助开发者和运维人员快速上手，轻松管理 Kubernetes 集群。 运行 下载：从 GitHub 下载最新版本。 运行：使用 ./k8m 命令启动,访问http://127.0.0.1:3618。 开源地址 https://github.com/weibaohui/k8m 更新内容 refactor(describe): 优化资源描述页面的输出展示 feat(custom): 添加自定义 HTML内容高亮组件 feat(cluster): 添加 AI 解读功能 feat(chat): 添加 ChatGPT资源描述分析功能
-- gReader Pro
USB 便携式软件管理！外出旅行、随时随地、在任何电脑上即插即用！
USB 便携式软件管理！外出旅行、随时随地、在任何电脑上即插即用！
https://www.freedidi.com/17714.html
为了实现将常用软件安装到USB上并能够在任何电脑上运行，我们可以使用以下工具之一，这些工具可以帮助您创建便携式版本的软件并统一管理： 1. PortableApps 特点： 提供大量已经打包好的便携式应用（如浏览器、文本编辑器、办公软件等）。 易于安装和管理，界面友好。 支持自动更新和集中管理。 官网：PortableApps.com 适用场景：需要一站式解决方案，包括便携式软件的下载、管理和启动。 2. Cameyo 特点： 可以将安装版软件虚拟化为便携版（无需实际安装即可运行）。 软件运行时不会在目标电脑上留下痕迹。 支持将便携版存储在USB上或云端。 官网：Cameyo 适用场景：需要自己打包一些没有便携式版本的软件。 3. WinPenPack 特点： 提供一个开源的便携应用管理平台。 包含多个便携应用的集合，可轻松下载和管理。 支持将自定义的便携应用集成到平台中。 官网：WinPenPack 适用场景：希望在一个平台上管理所有便携应用，并支持一定的定制化功能。 4. LiberKey 特点： 提供超过300个已打包好的便携应用。 支持分类管理，界面直观。 支持在线更新和同步便携应用。 官网：LiberKey 适用场景：需要一个丰富的便携应用生态和简单易用的界面。 5. 自制便携版软件 如果有特定的软件不提供便携版，您也可以尝试使用以下工具自行打包： VMware ThinApp：将应用程序虚拟化为便携版本。 Enigma Virtual Box：将应用程序文件和依赖打包为单个可执行文件。 Enigma Virtual Box官方免费版：【点击下载】 推荐使用流程： 选择一个工具平台（如PortableApps或WinPenPack）。 下载和安装所需的便携式软件。 将工具和便携式应用复制到USB设备。 测试USB上的便携软件，确保兼容性和功能正常。 这些工具可以帮助您轻松管理便携式应用，方便随时随地在不同电脑上使用。 分享
-- gReader Pro
https://www.freedidi.com/17714.html
为了实现将常用软件安装到USB上并能够在任何电脑上运行，我们可以使用以下工具之一，这些工具可以帮助您创建便携式版本的软件并统一管理： 1. PortableApps 特点： 提供大量已经打包好的便携式应用（如浏览器、文本编辑器、办公软件等）。 易于安装和管理，界面友好。 支持自动更新和集中管理。 官网：PortableApps.com 适用场景：需要一站式解决方案，包括便携式软件的下载、管理和启动。 2. Cameyo 特点： 可以将安装版软件虚拟化为便携版（无需实际安装即可运行）。 软件运行时不会在目标电脑上留下痕迹。 支持将便携版存储在USB上或云端。 官网：Cameyo 适用场景：需要自己打包一些没有便携式版本的软件。 3. WinPenPack 特点： 提供一个开源的便携应用管理平台。 包含多个便携应用的集合，可轻松下载和管理。 支持将自定义的便携应用集成到平台中。 官网：WinPenPack 适用场景：希望在一个平台上管理所有便携应用，并支持一定的定制化功能。 4. LiberKey 特点： 提供超过300个已打包好的便携应用。 支持分类管理，界面直观。 支持在线更新和同步便携应用。 官网：LiberKey 适用场景：需要一个丰富的便携应用生态和简单易用的界面。 5. 自制便携版软件 如果有特定的软件不提供便携版，您也可以尝试使用以下工具自行打包： VMware ThinApp：将应用程序虚拟化为便携版本。 Enigma Virtual Box：将应用程序文件和依赖打包为单个可执行文件。 Enigma Virtual Box官方免费版：【点击下载】 推荐使用流程： 选择一个工具平台（如PortableApps或WinPenPack）。 下载和安装所需的便携式软件。 将工具和便携式应用复制到USB设备。 测试USB上的便携软件，确保兼容性和功能正常。 这些工具可以帮助您轻松管理便携式应用，方便随时随地在不同电脑上使用。 分享
-- gReader Pro
AIAPI - 转向 AI 原生检索
AIAPI - 转向 AI 原生检索
https://my.oschina.net/u/4939618/blog/16744627
导读 大型语言模型（LLMs）展示了非常强大能力，但在实际应用中仍旧有一些问题需要解决，比如幻觉现象、在垂类细分场景下的知识更新较慢，以及在回答中缺乏透明度（模型黑盒问题）等。检索增强生成（RAG）是在使用LLM回答问题之前，从外部信息系统中检索最新，最相关的信息，再借助LLM的生成能力，生成准确的结果。在多方论文和文献中，RAG已被证明其有效性。 百度作为全球最大的中文搜索引擎，收录了超过千亿的中文网页数据库，为用户提供准确、高效、便捷的搜索服务。百度搜索系统经历了20年的搜索产品演进，系统的目标是高效的为人们解决信息检索问题，经过数据抓取、收录、检索，排序和展现，为用户提供准确、易用的搜索服务。但是对于大模型来说，人类易读的搜索结果内容却不便于模型对内容抽取和理解。 在RAG场景下，提出了一个既要又要的问题：一方面希望能够利用百度检索排序的优质策略，保证数据的高相关、高时效和多样性，为大模型提供完整的全文结构化内容；另一方面又希望用更低的检索成本、更高的时延要求给大模型的内容精细化组织预留足够的空间。在此背景下，我们启动了AIAPI项目，为大模型提供更加AI原生的检索能力。 01 RAG简介 1.1 什么是RAG RAG（Retrieval-Augmented Generation）检索增强生成。检索是方法，生成是目的，通过高质量的检索系统，解决LLM生成过程中的一些问题。从当前RAG模式上，LLMs时代RAG的发展基本三种范式：简单型RAG(Naive RAG)、高级型RAG(Advanced RAG)和组件化RAG(Modular RAG)[1]。 简单型RAG：遵循传统的过程，包括索引、检索和生成，通常也称之为『检索-读取』框架 。 Advanced RAG：专注于提高检索质量，高质量的检索结果为LLM生成的提供了非常稳定，正确的数据源。 Modular RAG：采用了多种策略来改进其组件，例如添加用于相似性搜索模块(需要有一定的泛化能力)以及通过微调来改进检索器。Modular RAG 方法正在变得普遍，尽管具有独特性，Modular RAG 仍建立在 Advanced RAG 和 Naive RAG 的基本原则之上，体现了 RAG 进步和完善。 1.2 百度搜索：RAG中R? 在检索增强生成的背景下，检索质量的优劣在很大程度上影响了生成模型的最终生成结果的优劣。百度在提升检索质量等方面做了很多卓有成效的工作。 但是RAG不是R and G的简单结合。百度搜索经过多年的产品迭代和技术演进，搜索产品策略逻辑、中间态的数据结构和特征表示非常复杂。从功能上看，百度搜索的在线拓扑架构、排序召回策略设计，特征建设、检索结果的摘要/标题计算、飘红策略等都是围绕最大限度的提升用户体验和检索效率这个目标而构建，如图1所示；从数据资源维度看，百度除了拥有千亿级别的互联网数据外，还有有很多非常优质的自建资源，比如阿拉丁资源，但其中大部分是基于业务需求定制化的数据。这些数据内容虽然优质，但是对于大模型来说，明确其数据结构和意义是一件成本非常高的事情。 △图1 直接复用搜索产出结果，在模型生成前需要对数据进行清洗，筛选和结构化整理。这无疑对在线生成系统增加了复杂性。那么再为LLM的需求搭建一套类似系统呢？答案当然是否定的，其原因不仅仅是巨大资源成本开销无法满足，更多的挑战源于两套系统下的开发，效果打平和运维成本的翻倍。 我们要寻找一种架构解决方案，能够同时高效支持搜索业务场景和大模型生成场景。既能复用百度搜索技术，保证高质量的检索效果；又能做到对用户/大模型请求的系统QoS分级表达，在大模型场景下提供更低成本、时延的套餐方案来满足差异化QueryPlan生成。 02 AIAPI设计概述 2.1 AIAPI的设计要求 AIAIP的设计要求是为了提供更好的检索效果用于模型生成，同时又兼顾资源，速度，效率等需求。要求从系统层面到数据效果层面均有比较大的提升。为了更好的拓展接口和能力，Aiapi设计了一整套标准协议，保证了接口的高可解释性、可扩展性，增强大模型对检索内容吸收理解能力；同时提供基于QueryPlan的多级Qos系统控制，在保障效果的同时追求成本控制的极限； 数据上： 优质：优质性包括了数据来源是权威的、可信的、优质的、实时的。在大模型场景下权威优质库带来的体验提升可能远大于全网库。从号和站的角度，去做先验的判断，也一定程度上可以提升权威性和内容的可信性；同时搜索产品积累的大量丰富的用户后验的特征信号，可以更好的反馈生成系统，提升大模型生成质量。 完整：只言片语或者跟检索词高相关的飘红信息对于人来说是有帮助的。能够帮用户快速判断这条结果的价值。而对于LLM来说，在token数量有限的场景下，尽可能的给模型完整的文本内容或者检索命中的上下文关联信息比给经过展现策略优化的摘要好得多。不完整的摘要反而会诱导模产生幻觉。 结构化表达：高效简洁可解释的结构化接口对于大模型来说是非常重要的。有助于大模型的内容理解。百度搜索在产品化演进过程中，阿拉丁资源是非常重要的一个组成部分，但是阿拉丁资源数据结构定制化高，除了阿拉丁之外，视频，图片等资源也不是统一的结构化数据来表征。因此需要设计一套统一的结构化且有明确语义的接口，将检索结果的内容 改为对 LLM 更友好的结构，数据层级更加扁平，其中key 的语义更加明确。 系统上： 低时延：大模型检索增强的首token时延，会对用户的体验带来较大的影响。应该尽量压缩检索系统的整体时延。传统检索系统中的一些步骤（例如混排，摘要飘红计算，出图策略等）对于大语言模型不是必须的。同时在面向用户的检索产品中，由于展示位置有限，在排序中的精排阶段消耗了比较大的时间，但是对大模型而言，第一位和第二位的资源排序对其来说可能不是那么重要。因此基于搜索产品效果的策略集合在检索增强场景下存在策略裁剪的空间。 成本控制：对于收录全网内容的检索引擎来说，在大模型生成场景下，可控的成本一定是生成模型对系统的要求。否则资源会成为模型生成效果的一大制约条件。特别是在当前RAG设计场景下，仅仅一次生成往往不能满足需求，在生成时会有多轮次生成过程:迭代检索，在文本生成过程中涉及多次检索迭代，以实现动态信息集成，如图2所示。这种情况下检索成本是成倍数放大的。因此检索成本成为了系统设计中非常重要的一个指标。 △图2 2.2 AIAPI的系统分层 百度当前的搜索产品细分为基础检索、生成式检索以及多轮对话检索三大类别，此外还囊括了文心一言这一大型语言模型应用。具体产品阵列展示如图3所示： △图3 面对既要提升效果又要优化系统资源利用率的双重挑战，如何在百度既有的技术框架基础上，以最小的工程代价开创一条全新的检索路径，对当前搜索架构分层提出了要求。 第一步，召回和排序层复用。在召回排序层，尽可能复用了当前排序和召回的架构，主要原因是对成本和效果的双重考虑。对于在AIAPI场景下的差异化需求，基于流量、接口控制参数，提供了若干套套餐组合。使得业务可以根据自己的业务场景定制最合适的套餐组合，提升AIAPI的灵活性。 第二步，在数据层进行能力拓展。数据层的主要功能是对不同的流量来源做不同路由控制和数据加工（统一检索增强场景下的数据表达方式）。在数据层使用图引擎能够高效实现对不同流量的隔离和定制化数据处理。同时增加网页内容获取能力，添加对结果类型（主搜、视频、不同阿拉丁）的筛选和数据组织能力，便于业务侧做 Query Planning；出于成本和速度方面考虑，数据层还设计了不同的缓存方案。 第三步，将上层的展现层进行了拆分，即检索流量和AIAPI的生成流量在展现层是不同的。主要原因是搜索产品的前端数据渲染和数据的处理在LLM生成场景下是无法复用的，同时在AIAPI场景下基于用户的鉴权，流控，特征管理等功能是需要同步建设的。针对速度、效果、成本不同倾向的需求，提供分级的 API 能力，便于用户选择； △图4 03 AIAPI场景下的架构升级 3.1 双通道 △图5 在一套检索框架同时支持传统搜索业务（P请求）和检索增强（R请求），从架构视角看，两类请求是两个不同的数据通道，但是两个通道间还在一些阶段存在交集。拓扑关系示意图如图5所示。基于上述要求，我们将数据模式抽象为三种情况况： 仅有P请求：常规的检索请求，同时可以低成本预充R请求中P流量库结果cache； 仅有R请求：Rag的相关请求，优先复用P请求下的召回结果，如果没有可以复用的P请求召回结果，会触发一次新的检索，同时在排序层根据业务需求选用排序策略套餐进行排序； P+R混合请求：常规检索中在query分析阶段用户主要意图，比如问答类、建议类需求下，会生成先验特征信号，在混合请求场景下，100%复用召回和排序的计算过程。 假设：产品请求的召回结果集是针对该次请求最完整的结果集合，同时召回效果也会随着业务发展持续提升。那么产品请求的召回结果是完全可以满足检索增强请求的召回需求。而在资源层面，我们希望达到1(产品请求) + 1(增强检索请求) < 2次检索召回成本开销。这样就达成了效果最优的同时资源开销最小的目标。 该目标达成缓存系统也发挥了非常重要作用。一套灵活的cache方案可以极大提升整体系统的吞吐，减少重复计算。同时cache系统对检索系统的稳定性也起到了非常重要的作用。 3.2 完整内容获取方案 关键设计点： 展现策略解耦：产品搜索结果的摘要等内容信息获取在排序层，实现基于 Query 做的复杂段落选取、飘红等展现策略。而检索增强结果不依赖展现策略，可以与展现策略拆分； 内容加工效率：为了满足不同业务的内容定制化能力和提升内容获取效率，该服务在存储访问，数据加工等阶段使用动态并发处理模式，如图6所示，保证在返回结果数过多场景下的时延和效率。 △图6 cache存储优化：检索增强场景下数据Cache在数据层和排序层之间，为了减少了cache的存储开销，需要将内容获取上移到Cache层之上，最终R-Cache的存储成本降低70%左右。 04 评估 基于百度文心4.0大模型的gsb评估结论：评估结果表明**AIAPI 优质检索结果占比提升显著。**速度方面AIAPI相对产品检索接口速度相对提升34%。 效果上测评： △图7 图7中左侧使用百度搜索产品原生数据，回答内容过于宽泛，右侧使用AIAPI接口，回复准确且丰富。提升了回答的效果。 05 展望 尽管AIAPI的架构设计能够快速将业务效果提升同步到生成式检索效果上，在计算复用、资源优化方向上持续不断优化和提升资源利用效率。但作为RAG中重要的检索环节仍存在许多挑战，需要进行深入研究。比如如何降低正排，摘要的存储成本、能够在每次搜索中方便表征检索query与命中文档中相关章节的关系，解决正排存储信息中的冗余存储问题等等。因此可以预见的是随着LLMs的不断发展，AIAPI的检索架构也需要不断进行优化和升级。 ———— END ———— 推荐阅读 学校新来了一位AI作文老师：能看、会评、还教改写 搞定十万卡集群！贫穷限制了我的想象力… AI Agent重塑微服务治理 百度智能云千帆大模型平台引领企业创新增长 轻松搞定平稳运行，数据库平台 DBStack 帮助 DBA 运维不同基础设施上的各类数据库
-- gReader Pro
https://my.oschina.net/u/4939618/blog/16744627
导读 大型语言模型（LLMs）展示了非常强大能力，但在实际应用中仍旧有一些问题需要解决，比如幻觉现象、在垂类细分场景下的知识更新较慢，以及在回答中缺乏透明度（模型黑盒问题）等。检索增强生成（RAG）是在使用LLM回答问题之前，从外部信息系统中检索最新，最相关的信息，再借助LLM的生成能力，生成准确的结果。在多方论文和文献中，RAG已被证明其有效性。 百度作为全球最大的中文搜索引擎，收录了超过千亿的中文网页数据库，为用户提供准确、高效、便捷的搜索服务。百度搜索系统经历了20年的搜索产品演进，系统的目标是高效的为人们解决信息检索问题，经过数据抓取、收录、检索，排序和展现，为用户提供准确、易用的搜索服务。但是对于大模型来说，人类易读的搜索结果内容却不便于模型对内容抽取和理解。 在RAG场景下，提出了一个既要又要的问题：一方面希望能够利用百度检索排序的优质策略，保证数据的高相关、高时效和多样性，为大模型提供完整的全文结构化内容；另一方面又希望用更低的检索成本、更高的时延要求给大模型的内容精细化组织预留足够的空间。在此背景下，我们启动了AIAPI项目，为大模型提供更加AI原生的检索能力。 01 RAG简介 1.1 什么是RAG RAG（Retrieval-Augmented Generation）检索增强生成。检索是方法，生成是目的，通过高质量的检索系统，解决LLM生成过程中的一些问题。从当前RAG模式上，LLMs时代RAG的发展基本三种范式：简单型RAG(Naive RAG)、高级型RAG(Advanced RAG)和组件化RAG(Modular RAG)[1]。 简单型RAG：遵循传统的过程，包括索引、检索和生成，通常也称之为『检索-读取』框架 。 Advanced RAG：专注于提高检索质量，高质量的检索结果为LLM生成的提供了非常稳定，正确的数据源。 Modular RAG：采用了多种策略来改进其组件，例如添加用于相似性搜索模块(需要有一定的泛化能力)以及通过微调来改进检索器。Modular RAG 方法正在变得普遍，尽管具有独特性，Modular RAG 仍建立在 Advanced RAG 和 Naive RAG 的基本原则之上，体现了 RAG 进步和完善。 1.2 百度搜索：RAG中R? 在检索增强生成的背景下，检索质量的优劣在很大程度上影响了生成模型的最终生成结果的优劣。百度在提升检索质量等方面做了很多卓有成效的工作。 但是RAG不是R and G的简单结合。百度搜索经过多年的产品迭代和技术演进，搜索产品策略逻辑、中间态的数据结构和特征表示非常复杂。从功能上看，百度搜索的在线拓扑架构、排序召回策略设计，特征建设、检索结果的摘要/标题计算、飘红策略等都是围绕最大限度的提升用户体验和检索效率这个目标而构建，如图1所示；从数据资源维度看，百度除了拥有千亿级别的互联网数据外，还有有很多非常优质的自建资源，比如阿拉丁资源，但其中大部分是基于业务需求定制化的数据。这些数据内容虽然优质，但是对于大模型来说，明确其数据结构和意义是一件成本非常高的事情。 △图1 直接复用搜索产出结果，在模型生成前需要对数据进行清洗，筛选和结构化整理。这无疑对在线生成系统增加了复杂性。那么再为LLM的需求搭建一套类似系统呢？答案当然是否定的，其原因不仅仅是巨大资源成本开销无法满足，更多的挑战源于两套系统下的开发，效果打平和运维成本的翻倍。 我们要寻找一种架构解决方案，能够同时高效支持搜索业务场景和大模型生成场景。既能复用百度搜索技术，保证高质量的检索效果；又能做到对用户/大模型请求的系统QoS分级表达，在大模型场景下提供更低成本、时延的套餐方案来满足差异化QueryPlan生成。 02 AIAPI设计概述 2.1 AIAPI的设计要求 AIAIP的设计要求是为了提供更好的检索效果用于模型生成，同时又兼顾资源，速度，效率等需求。要求从系统层面到数据效果层面均有比较大的提升。为了更好的拓展接口和能力，Aiapi设计了一整套标准协议，保证了接口的高可解释性、可扩展性，增强大模型对检索内容吸收理解能力；同时提供基于QueryPlan的多级Qos系统控制，在保障效果的同时追求成本控制的极限； 数据上： 优质：优质性包括了数据来源是权威的、可信的、优质的、实时的。在大模型场景下权威优质库带来的体验提升可能远大于全网库。从号和站的角度，去做先验的判断，也一定程度上可以提升权威性和内容的可信性；同时搜索产品积累的大量丰富的用户后验的特征信号，可以更好的反馈生成系统，提升大模型生成质量。 完整：只言片语或者跟检索词高相关的飘红信息对于人来说是有帮助的。能够帮用户快速判断这条结果的价值。而对于LLM来说，在token数量有限的场景下，尽可能的给模型完整的文本内容或者检索命中的上下文关联信息比给经过展现策略优化的摘要好得多。不完整的摘要反而会诱导模产生幻觉。 结构化表达：高效简洁可解释的结构化接口对于大模型来说是非常重要的。有助于大模型的内容理解。百度搜索在产品化演进过程中，阿拉丁资源是非常重要的一个组成部分，但是阿拉丁资源数据结构定制化高，除了阿拉丁之外，视频，图片等资源也不是统一的结构化数据来表征。因此需要设计一套统一的结构化且有明确语义的接口，将检索结果的内容 改为对 LLM 更友好的结构，数据层级更加扁平，其中key 的语义更加明确。 系统上： 低时延：大模型检索增强的首token时延，会对用户的体验带来较大的影响。应该尽量压缩检索系统的整体时延。传统检索系统中的一些步骤（例如混排，摘要飘红计算，出图策略等）对于大语言模型不是必须的。同时在面向用户的检索产品中，由于展示位置有限，在排序中的精排阶段消耗了比较大的时间，但是对大模型而言，第一位和第二位的资源排序对其来说可能不是那么重要。因此基于搜索产品效果的策略集合在检索增强场景下存在策略裁剪的空间。 成本控制：对于收录全网内容的检索引擎来说，在大模型生成场景下，可控的成本一定是生成模型对系统的要求。否则资源会成为模型生成效果的一大制约条件。特别是在当前RAG设计场景下，仅仅一次生成往往不能满足需求，在生成时会有多轮次生成过程:迭代检索，在文本生成过程中涉及多次检索迭代，以实现动态信息集成，如图2所示。这种情况下检索成本是成倍数放大的。因此检索成本成为了系统设计中非常重要的一个指标。 △图2 2.2 AIAPI的系统分层 百度当前的搜索产品细分为基础检索、生成式检索以及多轮对话检索三大类别，此外还囊括了文心一言这一大型语言模型应用。具体产品阵列展示如图3所示： △图3 面对既要提升效果又要优化系统资源利用率的双重挑战，如何在百度既有的技术框架基础上，以最小的工程代价开创一条全新的检索路径，对当前搜索架构分层提出了要求。 第一步，召回和排序层复用。在召回排序层，尽可能复用了当前排序和召回的架构，主要原因是对成本和效果的双重考虑。对于在AIAPI场景下的差异化需求，基于流量、接口控制参数，提供了若干套套餐组合。使得业务可以根据自己的业务场景定制最合适的套餐组合，提升AIAPI的灵活性。 第二步，在数据层进行能力拓展。数据层的主要功能是对不同的流量来源做不同路由控制和数据加工（统一检索增强场景下的数据表达方式）。在数据层使用图引擎能够高效实现对不同流量的隔离和定制化数据处理。同时增加网页内容获取能力，添加对结果类型（主搜、视频、不同阿拉丁）的筛选和数据组织能力，便于业务侧做 Query Planning；出于成本和速度方面考虑，数据层还设计了不同的缓存方案。 第三步，将上层的展现层进行了拆分，即检索流量和AIAPI的生成流量在展现层是不同的。主要原因是搜索产品的前端数据渲染和数据的处理在LLM生成场景下是无法复用的，同时在AIAPI场景下基于用户的鉴权，流控，特征管理等功能是需要同步建设的。针对速度、效果、成本不同倾向的需求，提供分级的 API 能力，便于用户选择； △图4 03 AIAPI场景下的架构升级 3.1 双通道 △图5 在一套检索框架同时支持传统搜索业务（P请求）和检索增强（R请求），从架构视角看，两类请求是两个不同的数据通道，但是两个通道间还在一些阶段存在交集。拓扑关系示意图如图5所示。基于上述要求，我们将数据模式抽象为三种情况况： 仅有P请求：常规的检索请求，同时可以低成本预充R请求中P流量库结果cache； 仅有R请求：Rag的相关请求，优先复用P请求下的召回结果，如果没有可以复用的P请求召回结果，会触发一次新的检索，同时在排序层根据业务需求选用排序策略套餐进行排序； P+R混合请求：常规检索中在query分析阶段用户主要意图，比如问答类、建议类需求下，会生成先验特征信号，在混合请求场景下，100%复用召回和排序的计算过程。 假设：产品请求的召回结果集是针对该次请求最完整的结果集合，同时召回效果也会随着业务发展持续提升。那么产品请求的召回结果是完全可以满足检索增强请求的召回需求。而在资源层面，我们希望达到1(产品请求) + 1(增强检索请求) < 2次检索召回成本开销。这样就达成了效果最优的同时资源开销最小的目标。 该目标达成缓存系统也发挥了非常重要作用。一套灵活的cache方案可以极大提升整体系统的吞吐，减少重复计算。同时cache系统对检索系统的稳定性也起到了非常重要的作用。 3.2 完整内容获取方案 关键设计点： 展现策略解耦：产品搜索结果的摘要等内容信息获取在排序层，实现基于 Query 做的复杂段落选取、飘红等展现策略。而检索增强结果不依赖展现策略，可以与展现策略拆分； 内容加工效率：为了满足不同业务的内容定制化能力和提升内容获取效率，该服务在存储访问，数据加工等阶段使用动态并发处理模式，如图6所示，保证在返回结果数过多场景下的时延和效率。 △图6 cache存储优化：检索增强场景下数据Cache在数据层和排序层之间，为了减少了cache的存储开销，需要将内容获取上移到Cache层之上，最终R-Cache的存储成本降低70%左右。 04 评估 基于百度文心4.0大模型的gsb评估结论：评估结果表明**AIAPI 优质检索结果占比提升显著。**速度方面AIAPI相对产品检索接口速度相对提升34%。 效果上测评： △图7 图7中左侧使用百度搜索产品原生数据，回答内容过于宽泛，右侧使用AIAPI接口，回复准确且丰富。提升了回答的效果。 05 展望 尽管AIAPI的架构设计能够快速将业务效果提升同步到生成式检索效果上，在计算复用、资源优化方向上持续不断优化和提升资源利用效率。但作为RAG中重要的检索环节仍存在许多挑战，需要进行深入研究。比如如何降低正排，摘要的存储成本、能够在每次搜索中方便表征检索query与命中文档中相关章节的关系，解决正排存储信息中的冗余存储问题等等。因此可以预见的是随着LLMs的不断发展，AIAPI的检索架构也需要不断进行优化和升级。 ———— END ———— 推荐阅读 学校新来了一位AI作文老师：能看、会评、还教改写 搞定十万卡集群！贫穷限制了我的想象力… AI Agent重塑微服务治理 百度智能云千帆大模型平台引领企业创新增长 轻松搞定平稳运行，数据库平台 DBStack 帮助 DBA 运维不同基础设施上的各类数据库
-- gReader Pro
开源日报 | GitHub Copilot“免费”；美国考虑封禁TP-Link；"NVIDIA App"导致游戏性能下降； MoonBit开源核心编译器；AI改变数学的一年
开源日报 | GitHub Copilot"免费"；美国考虑封禁TP-Link；"NVIDIA App"导致游戏性能下降； MoonBit开源核心编译器；AI改变数学的一年
https://www.oschina.net/news/325706
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.12.19 今日要闻 GitHub Copilot 在 VS Code 中免费可用 GitHub 宣布了一个新的 GitHub Copilot Free 免费订阅服务，现已集成到 VS Code 。用户只需使用个人 GitHub 帐户登录，即可每月获得 2000 次 code completions 和 50 次聊天请求，以及对 GPT-4o 和 Claude 3.5 Sonnet 模型的访问权限。可要求其回答编程问题、解释现有代码或排查代码 Bug 等。 此外，付费 Pro 计划则可提供无限制的访问，以及对 o1 和 Gemini（预计将于新年推出）的支持。 苹果与腾讯、字节接洽，考虑将二者 AI 模型整合到国行 iPhone 路透社报道称，苹果公司正在与腾讯和字节跳动进行谈判，希望将它们的 AI 模型整合到在中国销售的 iPhone。 苹果本月开始在其设备中接入 OpenAI 的 ChatGPT，不过 ChatGPT 并未在中国提供服务。据悉，苹果与腾讯和字节就使用二者 AI 模型的讨论还处于非常早期的阶段。 美国考虑封禁普联（TP-Link）路由器 美国当局正在调查 TP-Link 是否对美国国家安全构成了威胁，并正在考虑封杀其设备。 TP-Link 在美国家用和小型企业路由器市场占有约 65% 的份额。它也是亚马逊网站上的首选品牌，为美国国防部及其他联邦政府机构的互联网通信提供服务。 据知情人士透露，美国商务部、国防部和司法部的调查人员已经各自对该公司展开了调查，有关部门明年可能会禁止 TP-Link 路由器在美国境内销售。一些知情人士表示，美国商务部下面的一个办公室已经传唤了 TP-Link。 英伟达承认「NVIDIA App」软件导致游戏性能下降 科技媒体 Tom's Hardware 对最新的「英伟达应用程序」（NVIDIA App）进行了测试，发现它会导致某些游戏的性能降低最高 15%。 目前，英伟达官方回复 Tom's Hardware 并承认 NVIDIA App 会导致游戏性能下降。针对此情况，英伟达称已经意识到了这些问题，目前正在努力修复。同时英伟达给出临时解决方法：如果用户遇到类似的更新后性能下滑问题，建议在设置中关闭「游戏滤镜和照片模式」切换开关，然后重新启动游戏。 AI 原生开发平台 MoonBit（月兔）开源核心编译器 由 IDEA 研究院基础软件中心打造的 MoonBit （月兔）AI 原生开发平台，今日宣布正式开源其核心的编译器 WebAssembly（简称 "Wasm"） 后端。开发者现在可以充分利用 MoonBit 的能力做性能优化，且直接参与 MoonBit 的技术迭代和生态创新。 作为工具链中的核心板块，Wasm 编译器将编程语言的特性，编译成可以在 WebAssembly 环境中运行的实际代码。基于此，开发者可以利用其选择的编程语言的特性，来创建在不同平台上运行的 Web 应用。 同时，Wasm 后端也是 MoonBit 当前最成熟的技术模块，运行性能和代码生成体积均优于 Rust 和 Go。 开源地址： 1、GitHub 代码：https://github.com/moonbitlang/moonbit-compiler 2、Gitee 代码：https://gitee.com/moonbitlang/moonbit-compiler MoonBit 目前支持多后端，包括 WebAssembly、JavaScript 和 Native，以及全场景开发。 字节跳动再掀大模型价格战？抖音副总裁回应 对于字节跳动再掀大模型价格战这一传闻，抖音副总裁李亮发文回应称：这不是价格战。 豆包大模型通过技术创新来降低成本，在算法、软件工程和硬件方案上做了非常多优化，3 厘 / 千 tokens 的定价也有可观的毛利。而且这是一步到位的透明价格，并不是 "刊例价 + 折扣" 的玩法。我们希望用更低成本推动 AI 技术普惠和应用发展，就像谭待说的："好的模型就是要让每一家企业都用得起。" 中国工程院发布 2024 全球十大工程成就 中国工程院院刊《Engineering》官方公布了由该刊评选的「2024 全球十大工程成就」。 「2024 全球十大工程成就」经由全球征集提名、专家遴选推荐、公众问卷调查、评选委员会审议确定，包括： CAR-T 细胞疗法 嫦娥六号 低轨通信卫星星座 柔性显示 高温气冷堆核电站 智能工厂 无人驾驶汽车 手术机器人 文生视频大模型 Sora 超大型风力发电装备 微信"自动下载"功能被律师曲解，微信工程师：这是造谣 腾讯 WXG（微信事业群）员工 "客村小蒋" 近日在微博发文，称看到关于微信里的 "自动下载" 功能的误解，而且居然是一位律师，用 "恶心" 这样极其主观、负面的词来曲解这个功能。 客村小蒋再次科普解释，微信里依次点击我 - 设置 - 通用 - 照片、视频、文件与通话，会看到 "自动下载" 功能，它的说明也很清楚："在其他设备查看的照片、视频、文件，在手机上自动下载。" 字面意思就是在电脑、平板上点开、查看过的，才会在手机上自动下载，解决的是防止你在其他设备上看过的重要的文件，在手机上过期的问题。 客村小蒋还表示，这个自动下载对文件大小是有限制的，只有小于 25MB 的才会自动下载。 今日观察 社交观察 NVIDIA Jetson Orin Nano Super 开发板 老黄刚刚发布了NVIDIA Jetson Orin Nano Super开发板，拥有67 TOPS，售价249USD。老铁们跟定觉得卧槽买买买！先别急，你真想买这个玩大模型？来看核心指标： 最高配有8GB内存，102GB/s带宽。 我们火速更新了大模型显卡天梯，根据测算显示，如果你买8块（接近1W5 人民币），就能拥有800GB/s的内存带宽。 这意味着获得了大概每秒钟17个token的速度.....对，跟64GB版本的Mac Studio M2 Ultra 一样...... 所以，如果你只买一个，甚至都跑不了7B模型的非量化版本，只能跑7B-int4 [开学季]。如果你真头铁买8个。。。为啥不买64G版本的 Jetson AGX Orin 呢？ 结论是——如果只跑大模型，别买。 - 微博 karminski-牙医 将自然语言转换为 SQL 的大模型能力排名 Subhash Peshwa使用BIRD-SQL Mini-Dev数据集做的测试。 - 微博 蚁工厂 各大云厂 AI Chip 的 list 最近大火的AI accelerate Chip，我整理了一个已有的和即将推出的各大云厂的 AI Chip的 list，包括大概的上市时间，性能。 （当然tpu8，MITA4，和Clea我了解不到，估计是2028年之后的事）实际上短期涨了小百分之五十的Broadcom，也只是和Google的tpu和meta的MTIA发生关系，其他几个跟他都没啥关系，比如aws是tsmc，ms的是tsmc和marvel，所以市场还是有点过度抬高Broadcom了，有认知谬误。 - 微博 Transformer-周 媒体观察 "狂飙"两年，大语言模型已至拐点？ 在AI快速发展如"烈火烹油"的表面之下，一些专家的隐忧和疑虑也悄然而生。据美国技术雷达网站12月9日报道，谷歌首席执行官桑达尔·皮查伊预测，2025年，AI发展势头将放缓。物理学家组织网稍早时间一篇报道也认为，AI智能的提升速度有所减缓，目前新款大型语言模型的研发似乎已经到了拐点。 - 科技日报 人工智能落地医疗场景势头强劲 人工智能正势不可挡地落地应用于各行各业，数据密集的医疗领域自然成为人工智能落地应用"重镇"，如"人工智能+制药""人工智能+医疗影像""人工智能医学仿真系统"等。业内专家指出，人工智能正在改变制药流程，提升了药物研发效率，政策的助力也推动"人工智能+医疗"进入快车道；同时，面对当前行业面临的诸多挑战，各方仍需携手共同探索解决之道。 - 经济参考报 鸿蒙这趟"顺风车"，龙芯坐得稳吗？ 作为曾经的"国产CPU第一股"，龙芯中科的前路或许并没有鸿蒙操作系统那么清晰。而鸿蒙的这趟"顺风车"，龙芯也并不好坐。 - 智能相对论 AI改变数学的一年！黎曼假说、朗兰兹猜想，盘点2024年数学里程碑 不可否认，所有这些数论问题距离解决还有很长的路要走，但通过一步步接近，数学家们开发出了强大的新工具包并阐明了新的观点。加上人工智能领域日新月异的进展，谁能预测2025年及以后会发生什么？ - 新智元 4000元手机，被小米、荣耀、真我盯上了 真我GT系列、Neo系列产品线负责人谭睿韬则对新消费日报记者表示："内存芯片的价格确实出现了一些松动的迹象，但先进制程的芯片价格还处于上行状态，这方面带来的成本上升压力还是非常直接的。从整个成本来看，明年或后年整个中高端机型成本其实还是处于承压情况。" - 新消费日报 美光：AI再火也填不平"周期坑" 整体来看，美光当前业务中既有传统存储需求，也有 HBM 等的 AI 相关需求。而当前公司业绩基本盘仍受传统业务影响，而今传统领域的低迷将直接影响到公司接下来的业务。而对于市场关注的具备成长性的 HBM 业务，虽然当前收入占比仍不足一成，但公司给对明年的增长预期是继续上修的。因此，公司业绩将在 2025 财年的上半年承压，而随着下游库存去化和 HBM 的放量，公司业绩有望在下半年再次迎来明显的提升。 - 海豚投研 今日推荐 开源项目 tnfe/FFCreator https://github.com/tnfe/FFCreator FFCreator是一个基于node.js的轻量、灵活的短视频加工库。只需要添加几张图片或视频片段再加一段背景音乐，就可以快速生成一个很酷的视频短片。 每日一博 AIAPI - 转向 AI 原生检索 AIAIP 的设计要求是为了提供更好的检索效果用于模型生成，同时又兼顾资源，速度，效率等需求。要求从系统层面到数据效果层面均有比较大的提升。为了更好的拓展接口和能力，Aiapi 设计了一整套标准协议，保证了接口的高可解释性、可扩展性，增强大模型对检索内容吸收理解能力；同时提供基于 QueryPlan 的多级 Qos 系统控制，在保障效果的同时追求成本控制的极限。 开源之声 用户观点 操作系统能知道自己是在虚拟机中运行的吗？ 观点 1：宇宙就是一个虚拟机，地球是一个镜像 观点 2：有一种攻击是虚拟机逃逸 观点 3：利用漏洞，逃出虚拟机，直接在上层运行代码 观点 4：啥意思啊 观点 5：逃离以后可以拿到更高的权限做横向，纵向的渗透 观点 6：知道了又能怎么样，不还是无能为你？让你在虚拟机启动你就得启动，让你关闭你就得关闭！ 观点 7：好话题，不过太短，值得深挖啊 观点 8：https://unix.stackexchange.com/questions/521827/how-to-change-oem-vendor-info Linux 这些信息似乎是 BIOS 直接管理的，即使使用 root 用户 chmod +w，凭借系统内的编辑器修改它们也只会报错而已。 观点 9：uefi下有接口可以修改，但是不同的bios厂商接口不一样无法通用 观点 10：反沙箱反虚拟机检测 观点 11：所在的世界就是现实，不会知道除此以外的东西。 观点 12：真实重要么？ 观点 13：桐人：只要背景数据量足够大，谁知道哪里是真实呢 观点 14：其实你是没办法知道，你只以为你是知道的。 观点 15：是不是虚拟机对安全很重要！ 观点 16：虚拟机可以去虚拟化，来防止检测 观点 17：菩提本无树 Xfce 4.20 发布，Wayland 支持 观点 1：喜欢xfce的简约~ 观点 2：应该是简陋，这个东西基本上不怎么更新了 观点 3：hidpi缩放的bug不知道修正没 观点 4：我在用，debian+xfce 观点 5：好用 观点 6：很喜欢xfce的稳定，只是新功能增加太慢了。 ---END---
-- gReader Pro
https://www.oschina.net/news/325706
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.12.19 今日要闻 GitHub Copilot 在 VS Code 中免费可用 GitHub 宣布了一个新的 GitHub Copilot Free 免费订阅服务，现已集成到 VS Code 。用户只需使用个人 GitHub 帐户登录，即可每月获得 2000 次 code completions 和 50 次聊天请求，以及对 GPT-4o 和 Claude 3.5 Sonnet 模型的访问权限。可要求其回答编程问题、解释现有代码或排查代码 Bug 等。 此外，付费 Pro 计划则可提供无限制的访问，以及对 o1 和 Gemini（预计将于新年推出）的支持。 苹果与腾讯、字节接洽，考虑将二者 AI 模型整合到国行 iPhone 路透社报道称，苹果公司正在与腾讯和字节跳动进行谈判，希望将它们的 AI 模型整合到在中国销售的 iPhone。 苹果本月开始在其设备中接入 OpenAI 的 ChatGPT，不过 ChatGPT 并未在中国提供服务。据悉，苹果与腾讯和字节就使用二者 AI 模型的讨论还处于非常早期的阶段。 美国考虑封禁普联（TP-Link）路由器 美国当局正在调查 TP-Link 是否对美国国家安全构成了威胁，并正在考虑封杀其设备。 TP-Link 在美国家用和小型企业路由器市场占有约 65% 的份额。它也是亚马逊网站上的首选品牌，为美国国防部及其他联邦政府机构的互联网通信提供服务。 据知情人士透露，美国商务部、国防部和司法部的调查人员已经各自对该公司展开了调查，有关部门明年可能会禁止 TP-Link 路由器在美国境内销售。一些知情人士表示，美国商务部下面的一个办公室已经传唤了 TP-Link。 英伟达承认「NVIDIA App」软件导致游戏性能下降 科技媒体 Tom's Hardware 对最新的「英伟达应用程序」（NVIDIA App）进行了测试，发现它会导致某些游戏的性能降低最高 15%。 目前，英伟达官方回复 Tom's Hardware 并承认 NVIDIA App 会导致游戏性能下降。针对此情况，英伟达称已经意识到了这些问题，目前正在努力修复。同时英伟达给出临时解决方法：如果用户遇到类似的更新后性能下滑问题，建议在设置中关闭「游戏滤镜和照片模式」切换开关，然后重新启动游戏。 AI 原生开发平台 MoonBit（月兔）开源核心编译器 由 IDEA 研究院基础软件中心打造的 MoonBit （月兔）AI 原生开发平台，今日宣布正式开源其核心的编译器 WebAssembly（简称 "Wasm"） 后端。开发者现在可以充分利用 MoonBit 的能力做性能优化，且直接参与 MoonBit 的技术迭代和生态创新。 作为工具链中的核心板块，Wasm 编译器将编程语言的特性，编译成可以在 WebAssembly 环境中运行的实际代码。基于此，开发者可以利用其选择的编程语言的特性，来创建在不同平台上运行的 Web 应用。 同时，Wasm 后端也是 MoonBit 当前最成熟的技术模块，运行性能和代码生成体积均优于 Rust 和 Go。 开源地址： 1、GitHub 代码：https://github.com/moonbitlang/moonbit-compiler 2、Gitee 代码：https://gitee.com/moonbitlang/moonbit-compiler MoonBit 目前支持多后端，包括 WebAssembly、JavaScript 和 Native，以及全场景开发。 字节跳动再掀大模型价格战？抖音副总裁回应 对于字节跳动再掀大模型价格战这一传闻，抖音副总裁李亮发文回应称：这不是价格战。 豆包大模型通过技术创新来降低成本，在算法、软件工程和硬件方案上做了非常多优化，3 厘 / 千 tokens 的定价也有可观的毛利。而且这是一步到位的透明价格，并不是 "刊例价 + 折扣" 的玩法。我们希望用更低成本推动 AI 技术普惠和应用发展，就像谭待说的："好的模型就是要让每一家企业都用得起。" 中国工程院发布 2024 全球十大工程成就 中国工程院院刊《Engineering》官方公布了由该刊评选的「2024 全球十大工程成就」。 「2024 全球十大工程成就」经由全球征集提名、专家遴选推荐、公众问卷调查、评选委员会审议确定，包括： CAR-T 细胞疗法 嫦娥六号 低轨通信卫星星座 柔性显示 高温气冷堆核电站 智能工厂 无人驾驶汽车 手术机器人 文生视频大模型 Sora 超大型风力发电装备 微信"自动下载"功能被律师曲解，微信工程师：这是造谣 腾讯 WXG（微信事业群）员工 "客村小蒋" 近日在微博发文，称看到关于微信里的 "自动下载" 功能的误解，而且居然是一位律师，用 "恶心" 这样极其主观、负面的词来曲解这个功能。 客村小蒋再次科普解释，微信里依次点击我 - 设置 - 通用 - 照片、视频、文件与通话，会看到 "自动下载" 功能，它的说明也很清楚："在其他设备查看的照片、视频、文件，在手机上自动下载。" 字面意思就是在电脑、平板上点开、查看过的，才会在手机上自动下载，解决的是防止你在其他设备上看过的重要的文件，在手机上过期的问题。 客村小蒋还表示，这个自动下载对文件大小是有限制的，只有小于 25MB 的才会自动下载。 今日观察 社交观察 NVIDIA Jetson Orin Nano Super 开发板 老黄刚刚发布了NVIDIA Jetson Orin Nano Super开发板，拥有67 TOPS，售价249USD。老铁们跟定觉得卧槽买买买！先别急，你真想买这个玩大模型？来看核心指标： 最高配有8GB内存，102GB/s带宽。 我们火速更新了大模型显卡天梯，根据测算显示，如果你买8块（接近1W5 人民币），就能拥有800GB/s的内存带宽。 这意味着获得了大概每秒钟17个token的速度.....对，跟64GB版本的Mac Studio M2 Ultra 一样...... 所以，如果你只买一个，甚至都跑不了7B模型的非量化版本，只能跑7B-int4 [开学季]。如果你真头铁买8个。。。为啥不买64G版本的 Jetson AGX Orin 呢？ 结论是——如果只跑大模型，别买。 - 微博 karminski-牙医 将自然语言转换为 SQL 的大模型能力排名 Subhash Peshwa使用BIRD-SQL Mini-Dev数据集做的测试。 - 微博 蚁工厂 各大云厂 AI Chip 的 list 最近大火的AI accelerate Chip，我整理了一个已有的和即将推出的各大云厂的 AI Chip的 list，包括大概的上市时间，性能。 （当然tpu8，MITA4，和Clea我了解不到，估计是2028年之后的事）实际上短期涨了小百分之五十的Broadcom，也只是和Google的tpu和meta的MTIA发生关系，其他几个跟他都没啥关系，比如aws是tsmc，ms的是tsmc和marvel，所以市场还是有点过度抬高Broadcom了，有认知谬误。 - 微博 Transformer-周 媒体观察 "狂飙"两年，大语言模型已至拐点？ 在AI快速发展如"烈火烹油"的表面之下，一些专家的隐忧和疑虑也悄然而生。据美国技术雷达网站12月9日报道，谷歌首席执行官桑达尔·皮查伊预测，2025年，AI发展势头将放缓。物理学家组织网稍早时间一篇报道也认为，AI智能的提升速度有所减缓，目前新款大型语言模型的研发似乎已经到了拐点。 - 科技日报 人工智能落地医疗场景势头强劲 人工智能正势不可挡地落地应用于各行各业，数据密集的医疗领域自然成为人工智能落地应用"重镇"，如"人工智能+制药""人工智能+医疗影像""人工智能医学仿真系统"等。业内专家指出，人工智能正在改变制药流程，提升了药物研发效率，政策的助力也推动"人工智能+医疗"进入快车道；同时，面对当前行业面临的诸多挑战，各方仍需携手共同探索解决之道。 - 经济参考报 鸿蒙这趟"顺风车"，龙芯坐得稳吗？ 作为曾经的"国产CPU第一股"，龙芯中科的前路或许并没有鸿蒙操作系统那么清晰。而鸿蒙的这趟"顺风车"，龙芯也并不好坐。 - 智能相对论 AI改变数学的一年！黎曼假说、朗兰兹猜想，盘点2024年数学里程碑 不可否认，所有这些数论问题距离解决还有很长的路要走，但通过一步步接近，数学家们开发出了强大的新工具包并阐明了新的观点。加上人工智能领域日新月异的进展，谁能预测2025年及以后会发生什么？ - 新智元 4000元手机，被小米、荣耀、真我盯上了 真我GT系列、Neo系列产品线负责人谭睿韬则对新消费日报记者表示："内存芯片的价格确实出现了一些松动的迹象，但先进制程的芯片价格还处于上行状态，这方面带来的成本上升压力还是非常直接的。从整个成本来看，明年或后年整个中高端机型成本其实还是处于承压情况。" - 新消费日报 美光：AI再火也填不平"周期坑" 整体来看，美光当前业务中既有传统存储需求，也有 HBM 等的 AI 相关需求。而当前公司业绩基本盘仍受传统业务影响，而今传统领域的低迷将直接影响到公司接下来的业务。而对于市场关注的具备成长性的 HBM 业务，虽然当前收入占比仍不足一成，但公司给对明年的增长预期是继续上修的。因此，公司业绩将在 2025 财年的上半年承压，而随着下游库存去化和 HBM 的放量，公司业绩有望在下半年再次迎来明显的提升。 - 海豚投研 今日推荐 开源项目 tnfe/FFCreator https://github.com/tnfe/FFCreator FFCreator是一个基于node.js的轻量、灵活的短视频加工库。只需要添加几张图片或视频片段再加一段背景音乐，就可以快速生成一个很酷的视频短片。 每日一博 AIAPI - 转向 AI 原生检索 AIAIP 的设计要求是为了提供更好的检索效果用于模型生成，同时又兼顾资源，速度，效率等需求。要求从系统层面到数据效果层面均有比较大的提升。为了更好的拓展接口和能力，Aiapi 设计了一整套标准协议，保证了接口的高可解释性、可扩展性，增强大模型对检索内容吸收理解能力；同时提供基于 QueryPlan 的多级 Qos 系统控制，在保障效果的同时追求成本控制的极限。 开源之声 用户观点 操作系统能知道自己是在虚拟机中运行的吗？ 观点 1：宇宙就是一个虚拟机，地球是一个镜像 观点 2：有一种攻击是虚拟机逃逸 观点 3：利用漏洞，逃出虚拟机，直接在上层运行代码 观点 4：啥意思啊 观点 5：逃离以后可以拿到更高的权限做横向，纵向的渗透 观点 6：知道了又能怎么样，不还是无能为你？让你在虚拟机启动你就得启动，让你关闭你就得关闭！ 观点 7：好话题，不过太短，值得深挖啊 观点 8：https://unix.stackexchange.com/questions/521827/how-to-change-oem-vendor-info Linux 这些信息似乎是 BIOS 直接管理的，即使使用 root 用户 chmod +w，凭借系统内的编辑器修改它们也只会报错而已。 观点 9：uefi下有接口可以修改，但是不同的bios厂商接口不一样无法通用 观点 10：反沙箱反虚拟机检测 观点 11：所在的世界就是现实，不会知道除此以外的东西。 观点 12：真实重要么？ 观点 13：桐人：只要背景数据量足够大，谁知道哪里是真实呢 观点 14：其实你是没办法知道，你只以为你是知道的。 观点 15：是不是虚拟机对安全很重要！ 观点 16：虚拟机可以去虚拟化，来防止检测 观点 17：菩提本无树 Xfce 4.20 发布，Wayland 支持 观点 1：喜欢xfce的简约~ 观点 2：应该是简陋，这个东西基本上不怎么更新了 观点 3：hidpi缩放的bug不知道修正没 观点 4：我在用，debian+xfce 观点 5：好用 观点 6：很喜欢xfce的稳定，只是新功能增加太慢了。 ---END---
-- gReader Pro
GitHub Copilot 面向所有用户免费开放，每月 2,000 条代码建议
GitHub Copilot 面向所有用户免费开放，每月 2,000 条代码建议
https://www.appinn.com/github-copilot-free/
GitHub Copilot 是著名的代码托管平台 GitHub 发布的 AI 辅助编程工具，可在 GitHub 网页直接使用。它能根据你的需求，自动生成代码，还能检查代码错误、优化代码，并提供建议。目前已免费向所有 GitHub 用户开放使用，每月限制 2000 条代码建议、50 条 Copilot Chat 消息，支持 Anthropic 的 Claude 3.5 Sonnet 或 OpenAI 的 GPT-4o 模型。@Appinn 今天早上青小蛙就收到了 GitHub 的邮件： You have free access to GitHub Copilot (您可以免费使用 GitHub Copilot) 当然，免费的午餐是有限制的： 每月 2,000 条代码建议：获取针对您的 VS Code 工作区和 GitHub 项目定制的上下文感知建议。 每月 50 条 Copilot Chat 消息：在 VS Code 和 GitHub 上使用 Copilot Chat 提问和重构、调试、记录和解释代码。 选择您的 AI 模型：您可以在 Anthropic 的 Claude 3.5 Sonnet 或 OpenAI 的 GPT 4o 之间进行选择。 跨多个文件渲染编辑：使用 Copilot Edits 对您正在处理的多个文件进行更改。 访问 Copilot Extensions 生态系统：使用第三方代理通过 Perplexity 进行网络搜索、从 Stack Overflow 访问信息等。 使用简单，直接打开网页就能用：https://github.com/copilot 也可以根据提示在这些软件中使用： VS Code / Visual Studio Xcode JetBrains Neovim Azure Data Studio 就…很赞。 对于不会编程的青小蛙来说，自从有了 AI，也敢着手解决一些简单的问题，并「能写一些东西」出来了。比如：《风华正同学：你要的 Chrome 插件写好了》。 这在以前，我得求爷爷告奶奶；这在现在，求 AI，很赞。 原文：https://www.appinn.com/github-copilot-free/ 相关阅读500+ 免费的中文编程电子书在 Windows 11 上打开 Windows Copilot 智能助手善用佳软:邀请你翻译 最佳 46 款免费软件Free ChmZoomer – 放大 CHM 的帮助字体TreeSize Free – 快速扫描磁盘，显示文件夹大小[Windows] ©2025 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南 3659b075e72a5b7b1b87ea74aa7932ff 点击这里留言、和原作者一起评论[ 点击前往获取链接 ]
-- gReader Pro
https://www.appinn.com/github-copilot-free/
GitHub Copilot 是著名的代码托管平台 GitHub 发布的 AI 辅助编程工具，可在 GitHub 网页直接使用。它能根据你的需求，自动生成代码，还能检查代码错误、优化代码，并提供建议。目前已免费向所有 GitHub 用户开放使用，每月限制 2000 条代码建议、50 条 Copilot Chat 消息，支持 Anthropic 的 Claude 3.5 Sonnet 或 OpenAI 的 GPT-4o 模型。@Appinn 今天早上青小蛙就收到了 GitHub 的邮件： You have free access to GitHub Copilot (您可以免费使用 GitHub Copilot) 当然，免费的午餐是有限制的： 每月 2,000 条代码建议：获取针对您的 VS Code 工作区和 GitHub 项目定制的上下文感知建议。 每月 50 条 Copilot Chat 消息：在 VS Code 和 GitHub 上使用 Copilot Chat 提问和重构、调试、记录和解释代码。 选择您的 AI 模型：您可以在 Anthropic 的 Claude 3.5 Sonnet 或 OpenAI 的 GPT 4o 之间进行选择。 跨多个文件渲染编辑：使用 Copilot Edits 对您正在处理的多个文件进行更改。 访问 Copilot Extensions 生态系统：使用第三方代理通过 Perplexity 进行网络搜索、从 Stack Overflow 访问信息等。 使用简单，直接打开网页就能用：https://github.com/copilot 也可以根据提示在这些软件中使用： VS Code / Visual Studio Xcode JetBrains Neovim Azure Data Studio 就…很赞。 对于不会编程的青小蛙来说，自从有了 AI，也敢着手解决一些简单的问题，并「能写一些东西」出来了。比如：《风华正同学：你要的 Chrome 插件写好了》。 这在以前，我得求爷爷告奶奶；这在现在，求 AI，很赞。 原文：https://www.appinn.com/github-copilot-free/ 相关阅读500+ 免费的中文编程电子书在 Windows 11 上打开 Windows Copilot 智能助手善用佳软:邀请你翻译 最佳 46 款免费软件Free ChmZoomer – 放大 CHM 的帮助字体TreeSize Free – 快速扫描磁盘，显示文件夹大小[Windows] ©2025 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南 3659b075e72a5b7b1b87ea74aa7932ff 点击这里留言、和原作者一起评论[ 点击前往获取链接 ]
-- gReader Pro
2024年12月17日 星期二
人工智慧時代，為什麼「通才」比「專家」更有未來？
人工智慧時代，為什麼「通才」比「專家」更有未來？
https://www.techbang.com/posts/120024-artificial-intelligence-generalists-experts
在人工智慧時代，知識面的廣度更加重要。在大型語言模型功能日趨完善的未來，通才將能夠利用這一技術，在複雜的環境中充分發揮跨領域解決問題的能力。我經常聽到的一句話是，在人工智慧時代，你不能成為一個「通才」。 例如，我的好朋友奈特-伊利亞森（Nat Eliason）最近就提出了這樣的觀點： 「試圖成為一個通才是你現在可能犯的最嚴重的職業錯誤。世界上每個人都有機會獲得各種白領技能的基本能力。你的『技能組合』將變得非常廉價。」 他說得很有道理。如果我們認為通才是指在各種領域都擁有廣泛基本能力的人，那麼在人工智慧時代，成為通才是一種冒險的職業選擇。一個語言模型隨時都會打敗你淺薄的專業知識。 但我認為，對很多事情都略知一二只是通才的一小部分。而且，如果你看看誰是通才，看看是什麼樣的思維模式驅使一個人對很多事情都知道一些，那麼你就會得出截然不同的結論：在人工智慧時代，通才擁有未來。 什麼是通才？ 通才通常都是充滿好奇心的人，他們喜歡在各個領域之間跳來跳去。他們喜歡搞清楚事情，尤其是在不確定或新的領域。他們善於解決領域專家難以解決的問題，因為這些人能夠將不同領域的零散知識整合在一起。 正如奈特所指出的，由於他們傾向於跳領域，所以通才往往擁有一系列廣泛而淺層的技能。但是，如果用基本技能來定義他們，就會忽略這些人真正的優勢：適應新環境的能力，以及適應新環境的願望。 通才的優勢 大衛-愛潑斯坦（David Epstein）在《成長的邊界》（Range: How Generalists Triumph in a Specialized World）一書中指出，通才在他所謂的「惡劣」環境中表現尤為出色：「在這些領域，遊戲規則往往不明確或不完整，可能存在也可能不存在重複的模式，而且這些模式可能並不明顯，回饋往往是延遲的、不準確的，或者兩者兼而有之。」 愛潑斯坦認為，這正是通才發揮作用的地方。他們能夠利用自己的不同經驗，以獨特的方式解決問題，並看到別人看不到的解決方案。 他將「惡劣」的環境與他所謂的「友好」環境進行了對比，在「友好」的環境中，回饋是即時的，而且有明確的、重複的模式可以帶來成功。這些領域往往是專家大顯身手的地方，他們可以運用自己的專業知識反復解決問題，因為以前就以某種形式解決過這些問題。 有趣的是，「友好」的環境也是大型語言模型發揮作用的地方。這些大型語言模型對世界上大多數專業知識領域都相當精通，但不擅長解決全新的問題。 不過，這種看法恰恰與奈特的論點相反：專家有麻煩，通才有機會。大型語言模型在惡劣領域的能力較弱，而在友好領域則表現很強。如果你是專家，正在解決一個新問題，那麼大型語言模型不會為你想像出新的解決方案。但對於通才來說，大型語言模型則是一種天賦，他們可以利用模型更快地掌握新領域的知識，並輕鬆地重現和應用其他領域的知識。通才可以利用自己的適應能力和想像力，解決語言模型自身無法解決的任何難題。 在分配經濟中，你的報酬不是基於你所知道的，而是基於你運用智慧的能力，語言模型對通才來說不是威脅，而是一種有力的武器。 通才的過去與未來。 至少從亞當-史密斯（Adam Smith）時代開始，通才就已經過時了。史密斯在18世紀普及了專業化和勞動分工的概念，將其作為經濟增長的推動力。事實上，我們可能要追溯到古希臘，才能找到通才是社會常態而非例外的例子。 古雅典是一個直接民主的國家，公民通常參與到生活的方方面面，從政治到戰爭。任何公民都可以成為法官、陪審團成員、參議員和士兵。古典主義學者H.D.F.基托（H.D.F. Kitto）在《希臘人》（The Greeks）一書中寫道，雅典社會是由這樣一種理想驅動的，即在雅典，「一個人既要對自己負責，也要對（城市）負責」。基托認為，這種精神意味著 「對生命整體性或統一性的尊重，以及隨之而來的對專業化的排斥」。簡而言之，雅典是一個由全面發展的個人或多面手組成的社會。(當然，必須指出的是，公民權僅限於成年男性。雅典並非烏托邦）。 但隨著時間的推移，雅典的經濟、社會、政治和軍事越來越發達，這個通才社會開始出現裂痕。進步意味著複雜，而複雜需要專業化。正如基托所解釋的，「如果一個人在他的時代要扮演所有角色，那麼這些角色對於普通人來說就不能太難。而這就是城邦崩潰的原因。」 隨著人工智慧越來越能夠勝任專業化的任務，我們可能會看到希臘理想中的全能公民的回歸。不過，這一次我們可以在先進而複雜的經濟背景下做到這一點，因為用人工智慧武裝起來的公民將比以前的公民更有能力扮演多種角色。 作為一個通才，我們擁有語言模型所不具備的東西：快速學習的能力，以及在新領域發現和解決新問題的能力。 在分配經濟中，贏家不是知道問題確切答案的專家，而是知道首先要問哪些問題的人。 延伸閱讀：「文組無用論」是真的嗎？AI 時代來臨，文組出路反而更吃香 延伸閱讀：DeepMind 聯合創始人承認，AI 本質上是一個「勞動替代工具」，就是用來搶走人類工作的 延伸閱讀：黃仁勳：AI在某些方面比人類強1000倍，但永遠無法取代人類 加入電腦王Facebook粉絲團
-- gReader Pro
https://www.techbang.com/posts/120024-artificial-intelligence-generalists-experts
在人工智慧時代，知識面的廣度更加重要。在大型語言模型功能日趨完善的未來，通才將能夠利用這一技術，在複雜的環境中充分發揮跨領域解決問題的能力。我經常聽到的一句話是，在人工智慧時代，你不能成為一個「通才」。 例如，我的好朋友奈特-伊利亞森（Nat Eliason）最近就提出了這樣的觀點： 「試圖成為一個通才是你現在可能犯的最嚴重的職業錯誤。世界上每個人都有機會獲得各種白領技能的基本能力。你的『技能組合』將變得非常廉價。」 他說得很有道理。如果我們認為通才是指在各種領域都擁有廣泛基本能力的人，那麼在人工智慧時代，成為通才是一種冒險的職業選擇。一個語言模型隨時都會打敗你淺薄的專業知識。 但我認為，對很多事情都略知一二只是通才的一小部分。而且，如果你看看誰是通才，看看是什麼樣的思維模式驅使一個人對很多事情都知道一些，那麼你就會得出截然不同的結論：在人工智慧時代，通才擁有未來。 什麼是通才？ 通才通常都是充滿好奇心的人，他們喜歡在各個領域之間跳來跳去。他們喜歡搞清楚事情，尤其是在不確定或新的領域。他們善於解決領域專家難以解決的問題，因為這些人能夠將不同領域的零散知識整合在一起。 正如奈特所指出的，由於他們傾向於跳領域，所以通才往往擁有一系列廣泛而淺層的技能。但是，如果用基本技能來定義他們，就會忽略這些人真正的優勢：適應新環境的能力，以及適應新環境的願望。 通才的優勢 大衛-愛潑斯坦（David Epstein）在《成長的邊界》（Range: How Generalists Triumph in a Specialized World）一書中指出，通才在他所謂的「惡劣」環境中表現尤為出色：「在這些領域，遊戲規則往往不明確或不完整，可能存在也可能不存在重複的模式，而且這些模式可能並不明顯，回饋往往是延遲的、不準確的，或者兩者兼而有之。」 愛潑斯坦認為，這正是通才發揮作用的地方。他們能夠利用自己的不同經驗，以獨特的方式解決問題，並看到別人看不到的解決方案。 他將「惡劣」的環境與他所謂的「友好」環境進行了對比，在「友好」的環境中，回饋是即時的，而且有明確的、重複的模式可以帶來成功。這些領域往往是專家大顯身手的地方，他們可以運用自己的專業知識反復解決問題，因為以前就以某種形式解決過這些問題。 有趣的是，「友好」的環境也是大型語言模型發揮作用的地方。這些大型語言模型對世界上大多數專業知識領域都相當精通，但不擅長解決全新的問題。 不過，這種看法恰恰與奈特的論點相反：專家有麻煩，通才有機會。大型語言模型在惡劣領域的能力較弱，而在友好領域則表現很強。如果你是專家，正在解決一個新問題，那麼大型語言模型不會為你想像出新的解決方案。但對於通才來說，大型語言模型則是一種天賦，他們可以利用模型更快地掌握新領域的知識，並輕鬆地重現和應用其他領域的知識。通才可以利用自己的適應能力和想像力，解決語言模型自身無法解決的任何難題。 在分配經濟中，你的報酬不是基於你所知道的，而是基於你運用智慧的能力，語言模型對通才來說不是威脅，而是一種有力的武器。 通才的過去與未來。 至少從亞當-史密斯（Adam Smith）時代開始，通才就已經過時了。史密斯在18世紀普及了專業化和勞動分工的概念，將其作為經濟增長的推動力。事實上，我們可能要追溯到古希臘，才能找到通才是社會常態而非例外的例子。 古雅典是一個直接民主的國家，公民通常參與到生活的方方面面，從政治到戰爭。任何公民都可以成為法官、陪審團成員、參議員和士兵。古典主義學者H.D.F.基托（H.D.F. Kitto）在《希臘人》（The Greeks）一書中寫道，雅典社會是由這樣一種理想驅動的，即在雅典，「一個人既要對自己負責，也要對（城市）負責」。基托認為，這種精神意味著 「對生命整體性或統一性的尊重，以及隨之而來的對專業化的排斥」。簡而言之，雅典是一個由全面發展的個人或多面手組成的社會。(當然，必須指出的是，公民權僅限於成年男性。雅典並非烏托邦）。 但隨著時間的推移，雅典的經濟、社會、政治和軍事越來越發達，這個通才社會開始出現裂痕。進步意味著複雜，而複雜需要專業化。正如基托所解釋的，「如果一個人在他的時代要扮演所有角色，那麼這些角色對於普通人來說就不能太難。而這就是城邦崩潰的原因。」 隨著人工智慧越來越能夠勝任專業化的任務，我們可能會看到希臘理想中的全能公民的回歸。不過，這一次我們可以在先進而複雜的經濟背景下做到這一點，因為用人工智慧武裝起來的公民將比以前的公民更有能力扮演多種角色。 作為一個通才，我們擁有語言模型所不具備的東西：快速學習的能力，以及在新領域發現和解決新問題的能力。 在分配經濟中，贏家不是知道問題確切答案的專家，而是知道首先要問哪些問題的人。 延伸閱讀：「文組無用論」是真的嗎？AI 時代來臨，文組出路反而更吃香 延伸閱讀：DeepMind 聯合創始人承認，AI 本質上是一個「勞動替代工具」，就是用來搶走人類工作的 延伸閱讀：黃仁勳：AI在某些方面比人類強1000倍，但永遠無法取代人類 加入電腦王Facebook粉絲團
-- gReader Pro
教育部令大學減聘專案師 工會控校方改藉「短期專任」蒙混
教育部令大學減聘專案師 工會控校方改藉「短期專任」蒙混
https://news.pts.org.tw/article/728845
教育部令大學減聘專案師 工會控校方改藉「短期專任」蒙混 助理教授 大學 專案 教師 ... 高教工會 發布時間：2024-12-14 12:31 更新時間：2024-12-14 13:20 林曉慧 莊志成 / 綜合報導 避免大學以大量專案教師代替專任教師，教育部要求學校逐年降低專案比率，不過近年有大學改徵「短期專任」的助理教授，號稱專任，聘期卻是1學期到2學年不等。高教工會指出，這其實就是專案教師，而且短期和專任概念互斥，提出專任的工作限制，卻無專任的保障，教職勞權惡化。 教育部1998年開放大學可聘任「專案教師」，近年來，不少大學為節省成本，以大量專案教師代替「專任教師」，大學兼任講師楊先生說，很多專案教師會被校方要求做行政，幫忙招生、產學合作。大學兼任講師楊先生透露，「坦白說，在大專的大學高教體系裡面，其實專任老師比較老的，誰願意做行政？就是交給這些所謂的專案計劃。」教育部已要求學校逐年降低專案教師比率，不過近年，有大學改徵「短期專任」的助理教授。一所位於北部的私立大學，找短期專任教師，規定每週授課基本時數，每週應留校5日，非經校方同意，不得在校外兼職或兼課。高教工會指出，短期和專任的概念互斥，這其實就是專案教師。高教工會研究員陳柏謙指出，「他的專任的意思是說，你是專屬於我的，這個等於是校方完全要用這個所謂5、6萬塊，他就要買斷你的所有的勞動時間。」有專任的工作限制，卻沒有專任保障，高教工會指出，是教職勞權惡化。教育部回應，非編制內專任教學人員，皆稱為「編制外專任教學人員」，聘期學校自訂，最長不得超過2年。學校以「短期專任」教師名義聘任教師，就是專案教師，編外人員的學校使用人數及比率皆會納入各年度統計，以確認是否達到逐年減少的目標。 黃瑀喬/編輯 人員 學校 教育部 校方 ... 產學合作 私立大學 老師
-- gReader Pro
https://news.pts.org.tw/article/728845
教育部令大學減聘專案師 工會控校方改藉「短期專任」蒙混 助理教授 大學 專案 教師 ... 高教工會 發布時間：2024-12-14 12:31 更新時間：2024-12-14 13:20 林曉慧 莊志成 / 綜合報導 避免大學以大量專案教師代替專任教師，教育部要求學校逐年降低專案比率，不過近年有大學改徵「短期專任」的助理教授，號稱專任，聘期卻是1學期到2學年不等。高教工會指出，這其實就是專案教師，而且短期和專任概念互斥，提出專任的工作限制，卻無專任的保障，教職勞權惡化。 教育部1998年開放大學可聘任「專案教師」，近年來，不少大學為節省成本，以大量專案教師代替「專任教師」，大學兼任講師楊先生說，很多專案教師會被校方要求做行政，幫忙招生、產學合作。大學兼任講師楊先生透露，「坦白說，在大專的大學高教體系裡面，其實專任老師比較老的，誰願意做行政？就是交給這些所謂的專案計劃。」教育部已要求學校逐年降低專案教師比率，不過近年，有大學改徵「短期專任」的助理教授。一所位於北部的私立大學，找短期專任教師，規定每週授課基本時數，每週應留校5日，非經校方同意，不得在校外兼職或兼課。高教工會指出，短期和專任的概念互斥，這其實就是專案教師。高教工會研究員陳柏謙指出，「他的專任的意思是說，你是專屬於我的，這個等於是校方完全要用這個所謂5、6萬塊，他就要買斷你的所有的勞動時間。」有專任的工作限制，卻沒有專任保障，高教工會指出，是教職勞權惡化。教育部回應，非編制內專任教學人員，皆稱為「編制外專任教學人員」，聘期學校自訂，最長不得超過2年。學校以「短期專任」教師名義聘任教師，就是專案教師，編外人員的學校使用人數及比率皆會納入各年度統計，以確認是否達到逐年減少的目標。 黃瑀喬/編輯 人員 學校 教育部 校方 ... 產學合作 私立大學 老師
-- gReader Pro
2024年12月16日 星期一
图片对比网站！轻松实现图片修改的前后对比特效
图片对比网站！轻松实现图片修改的前后对比特效
https://www.tuiwo.cc/17564.html
Imgsli 是一个在线免费的图像对比工具，可以用来展示图片处理前后的差异。它神奇的点在于，每次我们制作的对比图都会有一个独立的代码（这点会反应在网址中），这样我们就能以链接的方式将对比图分享给他人，方便用户直观地查看，这比只能截图查看体验好很多。 尤其当你需要做动态演示的时候，可以用它来进行对比测速，无需任何编辑技术，只需上传需要对比的两张图片即可！轻松搞定一切！ Imgsli 官网：【链接直达】 分享
-- gReader Pro
https://www.tuiwo.cc/17564.html
Imgsli 是一个在线免费的图像对比工具，可以用来展示图片处理前后的差异。它神奇的点在于，每次我们制作的对比图都会有一个独立的代码（这点会反应在网址中），这样我们就能以链接的方式将对比图分享给他人，方便用户直观地查看，这比只能截图查看体验好很多。 尤其当你需要做动态演示的时候，可以用它来进行对比测速，无需任何编辑技术，只需上传需要对比的两张图片即可！轻松搞定一切！ Imgsli 官网：【链接直达】 分享
-- gReader Pro
2024年12月14日 星期六
8 reasons LibreOffice isn't a better office suite than Microsoft Office
8 reasons LibreOffice isn't a better office suite than Microsoft Office
https://www.xda-developers.com/8-reasons-libreoffice-isnt-a-better-office-suite-than-microsoft-office/
Many people want to avoid paying for the Microsoft 365 office suite and use something that's free and open-source. LibreOffice is an excellent choice for those on a tight budget, such as students, or anyone who doesn't need fancy features. At the same time, when you think about how you use your computer every day, Microsoft 365 is still better in some significant ways. It's easier to format documents and work with others on the same document, even if they're not in the same office. So, before you decide to switch to the open-source LibreOffice suite, think about what you really need and how well it may work for you. Related 7 free and open-source tools that rival the best creative software Paid software has its perks, but going open-source has never been more feasible. Posts 7 8 Adjusting to a different user experience The learning curve impacts productivity for longtime Office users Switching to LibreOffice might feel like stepping into a new world if you've been using Microsoft Office for a while. The menus are organized logically, but the interface differs from the familiar Ribbon layout. This can make it hard to find specific formatting tools or apply advanced styles. Over time, you might get used to LibreOffice's quirks, but there can be a bit of a learning curve at first. People who are used to the smooth workflow of Microsoft Office might find themselves spending more time searching for features and changing their habits to use new commands. These small inefficiencies can add up and slow you down in a busy work environment. It takes time and effort to retrain your brain and muscle memory, and it can even reduce your productivity in the short term. If you prefer a familiar and polished interface, LibreOffice's different look and feel might not be for you. 7 Stumbling with text and layout formatting Challenges maintaining document fidelity across multiple office platforms Although LibreOffice tries to match Microsoft Word formatting, the results aren't always ideal LibreOffice does its best to keep documents looking the same as they did in Microsoft Word, but sometimes, tricky formatting can mess things up. Fonts, spacing, and special designs can change or get out of alignment, making the pages look weird. In professional settings, these slight differences can greatly affect how a presentation or proposal looks. Word files also have some cool features like SmartArt graphics and fancy style sets that don't work well in LibreOffice. This means you might have to change the document a lot or redraw essential parts to keep it looking the way you want it. When people expect everything to remain the same, this can be very unpleasant (not to mention time-consuming). LibreOffice's native file formats are usually stable, but working with various people may be tricky. If you share documents with people who only use Microsoft Office, you might run into formatting problems every time it's edited. This can get really frustrating after a while, and it might make you want to stick with Microsoft Office even though it's not free. 6 Struggling with intricate spreadsheet operations Limited macro support and missing advanced data analysis features LibreOffice Calc lacks many of the advanced macro and data analysis features offered by Excel For advanced users, Microsoft Excel is more than just a data entry tool. It's a robust platform with formulas, pivot tables, and automation through Visual Basic for Applications (VBA) macros. While LibreOffice Calc has some advanced features, it often doesn't match Excel's full capabilities. Complex macros can sometimes be tricky to use, and users might have to rewrite the code or find other ways to do things. This difference becomes even more noticeable when using specialized Excel add-ons or dynamic array formulas. Professionals who work with complex financial models, large datasets, or industry-specific analytics might find that they can't do everything they need to do with LibreOffice. Without tools like Power Query or Power Pivot, they might miss out on essential data insights. Even simple tasks like importing data from other sources or refreshing specific queries can feel more time-consuming in LibreOffice. The extra steps and fewer features add up to slow down your workflow. So, for serious data analysts, Calc might not be as helpful as it could be. 5 Making complex presentations less impactful Limited multimedia options reduce the overall quality of visual storytelling You can't rely on boring slides when it comes to presentations. Microsoft PowerPoint has some cool features like advanced transitions, embedded videos, and perfectly timed animations that can make your presentation really come alive. While LibreOffice Impress is a good tool, it isn't as polished or interactive as PowerPoint, which could make your message less effective. PowerPoint's design tools and effects can make your pitch more engaging. Visual consistency, charts, and flexible design options all help your presentation stick in people's minds. If you don't have some of these advanced features, you might have to make some compromises on your creative ideas. These limitations can add up to make LibreOffice feel like a basic tool instead of a powerful one. If you give many pitch, educational, or conference presentations, the difference in visual quality and storytelling capabilities can be a significant factor in your decision. 4 Falling short in team collaboration Less robust online syncing and simultaneous editing capabilities offered In today's work world, teamwork often goes beyond just sharing files. Microsoft's ecosystem lets multiple people work on Word or Excel files at the same time so that everyone can see the changes right away. LibreOffice has significantly improved, but editing and sharing files in real time is not as easy as using Microsoft 365. Without Microsoft's OneDrive or SharePoint, working on a LibreOffice file can be a pain without some other shared cloud solution. You have to keep track of who made changes and send everyone the new version. It can get hard to keep track of the latest version, especially when you have a lot of team members who need to make changes right away. LibreOffice is fine for small groups and slow changes, but it struggles when you need to work together quickly and share real-time changes. 3 Meeting demands of professional environments Business requirements and specialized add-ons often remain unfulfilled Many industries heavily rely on Microsoft Office because it's so reliable. Contracts, proposals, and presentations are often expected to follow specific standards that assume use of Word, Excel, and PowerPoint. If you don't use these, people might think you're not being serious, or your formatting might be off, or you'll need to explain yourself. Beyond just formatting, some businesses use third-party add-ons, industry-specific templates, and advanced integrations that work best with Microsoft. LibreOffice doesn't have as many options here, so you might have trouble meeting client expectations or regulatory requirements. In these cases, choosing LibreOffice over Microsoft Office isn't just about saving money. It's more about the risks of compatibility and compliance. LibreOffice might feel like trying to fit a square peg in a round hole if your organization needs reliability, widespread recognition, and a specific toolkit. 2 Finding help when things go wrong Relying on community forums instead of guaranteed support services Microsoft Office users have access to dedicated support channels for technical issues. Official documentation, assistance from IT departments trained in Microsoft products, and direct customer service lines are all available to help. In contrast, LibreOffice mainly relies on community forums, user guides, and volunteer-based support. The LibreOffice community is usually helpful and enthusiastic, but response times and expertise levels can vary widely. Users might get quick answers or wait a long time for complex solutions. Informal support networks could be risky for people working on time-sensitive projects. When big problems come up, like corrupted files or urgent macro failures, having a professional backup is reassuring. Many big companies choose this peace of mind over the potential savings from using open-source alternatives. LibreOffice might not be the best choice if you need a reliable safety net. 1 Looking ahead at software growth Planning for ongoing improvements and reliable new features Choosing an office suite is not just about the current features. It's also about what the software will be like in the future. Microsoft Office has a regular release cycle so that you can expect new features, security fixes, and performance improvements every few months. This means you can always count on the software to stay up-to-date with the latest trends and needs. LibreOffice also changes over time, led by volunteers who are passionate about the project. This means the updates might not always be precisely what you want and might take longer to come out. For example, while Microsoft has already incorporated support for its Copilot AI assistant into Microsoft 365, such support in LibreOffice has yet to fully arrive. However, the open-source community is active and responsive, so they'll try to ensure the software meets your needs. It will probably just take longer than the paid product Microsoft offers. If you want to know exactly what the office suite will be like in the future, Microsoft might be a better choice. It has a clear roadmap, and it's always listening to its users. This means you can be sure the software will stay competitive and relevant in the ever-changing digital world. Considering what truly matters in choosing your office tools Whether you prefer LibreOffice or Microsoft Office depends on what you need. LibreOffice is great for people who want open standards, don't want to pay a lot, and don't want to be controlled by big companies. But if you need fancy formatting, advanced collaboration, complex data analysis, or professional-grade presentations, Microsoft Office is the way to go. The choice comes down to what you really need. LibreOffice might be enough if you can live with a few formatting glitches and don't mind figuring out a cloud solution. But if you need everything to work perfectly, have a ton of features, make impressive presentations, and get great support, Microsoft Office is the best choice. Your changes have been saved Email is sent Email has already been sent LibreOffice Although LibreOffice is an excellent alternative to Microsoft Office, it may not be right for some users. Download LibreOffice Your changes have been saved Email is sent Email has already been sent Microsoft 365 Microsoft Office is the de facto standard for most productivity apps, with more features and capabilities than its competitors. See at Microsoft 365
-- gReader Pro
https://www.xda-developers.com/8-reasons-libreoffice-isnt-a-better-office-suite-than-microsoft-office/
Many people want to avoid paying for the Microsoft 365 office suite and use something that's free and open-source. LibreOffice is an excellent choice for those on a tight budget, such as students, or anyone who doesn't need fancy features. At the same time, when you think about how you use your computer every day, Microsoft 365 is still better in some significant ways. It's easier to format documents and work with others on the same document, even if they're not in the same office. So, before you decide to switch to the open-source LibreOffice suite, think about what you really need and how well it may work for you. Related 7 free and open-source tools that rival the best creative software Paid software has its perks, but going open-source has never been more feasible. Posts 7 8 Adjusting to a different user experience The learning curve impacts productivity for longtime Office users Switching to LibreOffice might feel like stepping into a new world if you've been using Microsoft Office for a while. The menus are organized logically, but the interface differs from the familiar Ribbon layout. This can make it hard to find specific formatting tools or apply advanced styles. Over time, you might get used to LibreOffice's quirks, but there can be a bit of a learning curve at first. People who are used to the smooth workflow of Microsoft Office might find themselves spending more time searching for features and changing their habits to use new commands. These small inefficiencies can add up and slow you down in a busy work environment. It takes time and effort to retrain your brain and muscle memory, and it can even reduce your productivity in the short term. If you prefer a familiar and polished interface, LibreOffice's different look and feel might not be for you. 7 Stumbling with text and layout formatting Challenges maintaining document fidelity across multiple office platforms Although LibreOffice tries to match Microsoft Word formatting, the results aren't always ideal LibreOffice does its best to keep documents looking the same as they did in Microsoft Word, but sometimes, tricky formatting can mess things up. Fonts, spacing, and special designs can change or get out of alignment, making the pages look weird. In professional settings, these slight differences can greatly affect how a presentation or proposal looks. Word files also have some cool features like SmartArt graphics and fancy style sets that don't work well in LibreOffice. This means you might have to change the document a lot or redraw essential parts to keep it looking the way you want it. When people expect everything to remain the same, this can be very unpleasant (not to mention time-consuming). LibreOffice's native file formats are usually stable, but working with various people may be tricky. If you share documents with people who only use Microsoft Office, you might run into formatting problems every time it's edited. This can get really frustrating after a while, and it might make you want to stick with Microsoft Office even though it's not free. 6 Struggling with intricate spreadsheet operations Limited macro support and missing advanced data analysis features LibreOffice Calc lacks many of the advanced macro and data analysis features offered by Excel For advanced users, Microsoft Excel is more than just a data entry tool. It's a robust platform with formulas, pivot tables, and automation through Visual Basic for Applications (VBA) macros. While LibreOffice Calc has some advanced features, it often doesn't match Excel's full capabilities. Complex macros can sometimes be tricky to use, and users might have to rewrite the code or find other ways to do things. This difference becomes even more noticeable when using specialized Excel add-ons or dynamic array formulas. Professionals who work with complex financial models, large datasets, or industry-specific analytics might find that they can't do everything they need to do with LibreOffice. Without tools like Power Query or Power Pivot, they might miss out on essential data insights. Even simple tasks like importing data from other sources or refreshing specific queries can feel more time-consuming in LibreOffice. The extra steps and fewer features add up to slow down your workflow. So, for serious data analysts, Calc might not be as helpful as it could be. 5 Making complex presentations less impactful Limited multimedia options reduce the overall quality of visual storytelling You can't rely on boring slides when it comes to presentations. Microsoft PowerPoint has some cool features like advanced transitions, embedded videos, and perfectly timed animations that can make your presentation really come alive. While LibreOffice Impress is a good tool, it isn't as polished or interactive as PowerPoint, which could make your message less effective. PowerPoint's design tools and effects can make your pitch more engaging. Visual consistency, charts, and flexible design options all help your presentation stick in people's minds. If you don't have some of these advanced features, you might have to make some compromises on your creative ideas. These limitations can add up to make LibreOffice feel like a basic tool instead of a powerful one. If you give many pitch, educational, or conference presentations, the difference in visual quality and storytelling capabilities can be a significant factor in your decision. 4 Falling short in team collaboration Less robust online syncing and simultaneous editing capabilities offered In today's work world, teamwork often goes beyond just sharing files. Microsoft's ecosystem lets multiple people work on Word or Excel files at the same time so that everyone can see the changes right away. LibreOffice has significantly improved, but editing and sharing files in real time is not as easy as using Microsoft 365. Without Microsoft's OneDrive or SharePoint, working on a LibreOffice file can be a pain without some other shared cloud solution. You have to keep track of who made changes and send everyone the new version. It can get hard to keep track of the latest version, especially when you have a lot of team members who need to make changes right away. LibreOffice is fine for small groups and slow changes, but it struggles when you need to work together quickly and share real-time changes. 3 Meeting demands of professional environments Business requirements and specialized add-ons often remain unfulfilled Many industries heavily rely on Microsoft Office because it's so reliable. Contracts, proposals, and presentations are often expected to follow specific standards that assume use of Word, Excel, and PowerPoint. If you don't use these, people might think you're not being serious, or your formatting might be off, or you'll need to explain yourself. Beyond just formatting, some businesses use third-party add-ons, industry-specific templates, and advanced integrations that work best with Microsoft. LibreOffice doesn't have as many options here, so you might have trouble meeting client expectations or regulatory requirements. In these cases, choosing LibreOffice over Microsoft Office isn't just about saving money. It's more about the risks of compatibility and compliance. LibreOffice might feel like trying to fit a square peg in a round hole if your organization needs reliability, widespread recognition, and a specific toolkit. 2 Finding help when things go wrong Relying on community forums instead of guaranteed support services Microsoft Office users have access to dedicated support channels for technical issues. Official documentation, assistance from IT departments trained in Microsoft products, and direct customer service lines are all available to help. In contrast, LibreOffice mainly relies on community forums, user guides, and volunteer-based support. The LibreOffice community is usually helpful and enthusiastic, but response times and expertise levels can vary widely. Users might get quick answers or wait a long time for complex solutions. Informal support networks could be risky for people working on time-sensitive projects. When big problems come up, like corrupted files or urgent macro failures, having a professional backup is reassuring. Many big companies choose this peace of mind over the potential savings from using open-source alternatives. LibreOffice might not be the best choice if you need a reliable safety net. 1 Looking ahead at software growth Planning for ongoing improvements and reliable new features Choosing an office suite is not just about the current features. It's also about what the software will be like in the future. Microsoft Office has a regular release cycle so that you can expect new features, security fixes, and performance improvements every few months. This means you can always count on the software to stay up-to-date with the latest trends and needs. LibreOffice also changes over time, led by volunteers who are passionate about the project. This means the updates might not always be precisely what you want and might take longer to come out. For example, while Microsoft has already incorporated support for its Copilot AI assistant into Microsoft 365, such support in LibreOffice has yet to fully arrive. However, the open-source community is active and responsive, so they'll try to ensure the software meets your needs. It will probably just take longer than the paid product Microsoft offers. If you want to know exactly what the office suite will be like in the future, Microsoft might be a better choice. It has a clear roadmap, and it's always listening to its users. This means you can be sure the software will stay competitive and relevant in the ever-changing digital world. Considering what truly matters in choosing your office tools Whether you prefer LibreOffice or Microsoft Office depends on what you need. LibreOffice is great for people who want open standards, don't want to pay a lot, and don't want to be controlled by big companies. But if you need fancy formatting, advanced collaboration, complex data analysis, or professional-grade presentations, Microsoft Office is the way to go. The choice comes down to what you really need. LibreOffice might be enough if you can live with a few formatting glitches and don't mind figuring out a cloud solution. But if you need everything to work perfectly, have a ton of features, make impressive presentations, and get great support, Microsoft Office is the best choice. Your changes have been saved Email is sent Email has already been sent LibreOffice Although LibreOffice is an excellent alternative to Microsoft Office, it may not be right for some users. Download LibreOffice Your changes have been saved Email is sent Email has already been sent Microsoft 365 Microsoft Office is the de facto standard for most productivity apps, with more features and capabilities than its competitors. See at Microsoft 365
-- gReader Pro
2024年12月13日 星期五
写个小工具，AI 纯度 99%！开源 Auto-Coder 要怎么玩？
写个小工具，AI 纯度 99%！开源 Auto-Coder 要怎么玩？
https://my.oschina.net/u/3859945/blog/16685526
Byzer-SQL 作者、Kyligence 技术合伙人祝海林，今年 3 月又开源了一个新项目 Auto-Coder 。它是一个 AI 驱动交互式编码助手，支持命令行和VSCode插件。 祝海林于 2008 年开始在线音乐领域创业，此后在 CSDN、乐视云、丁香园等知名公司任职，现专注于用 AI 革新数据与编程领域。 他还用 Auto-Coder 这个编程助手写了几个小工具，AI 纯度 99%： Video-Monkey：一款视频处理工具，使用创新的文本编辑和聊天界面进行视频编辑。 Web-typing auto-complete：一款 Chrome 扩展，旨在加速用户输入。 最好玩的是，Auto-Coder 本身，也是用 Auto-Coder 写的。（那么问题来了，是先有蛋还是先有鸡？） Auto-Coder 有多个版本，用户可以根据自己需求选择。 auto-coder.chat 是命令行版本，效率最高，适合专业研发使用。 auto-coder-copilot 是VSCode 插件版本，适合刚入门同学使用（稳定性还在持续迭代中） auto-coder.serve 提供了 Rest API，可以让企业更加方便的将自动编程集成到自己的开发流程里。 auto-coder.core ,也就是上图中 `Auto-Coder Engine` 部分，它可以根据 yaml 文件配置来实现复杂的代码修改，阅读等各种能力。上面的三层都是基于改成API来实现的交互。 底层库也是非常强大，byzerllm 可以实现对大模型的部署，管理和微调。Byzer Storage 则提供了超级易用的向量存储/全文检索/模型记忆等多方面能力。 特别要提到的是，今年9 月份，祝海林还发布了第二代架构 RAG 产品——纯 llm-native 设计的 auto-coder.rag ，相比市场主流至少有20%到60%的效果提升。它可以帮助用户快速搭建基于文档的问答系统。无需向量数据库，无需向量模型，仅需要一个SaaS 模型即可。 auto-coder.rag 既可以作为 auto-coder 的组件使用，也可以单独使用。 开源中国 OSCHINA 的直播栏目《开源项目老牌与新秀》第 2 期，邀请了Auto-Coder 的作者祝海林，来分享一下该项目的核心能力，手把手教大家演示如何在auto-coder.chat 中使用 RAG 来解决大模型使用最新知识，解决第三方库的版本使用等问题。 感兴趣的小伙伴，可以微信扫码预约直播： 另外，我们还建了一个交流群，一起聊聊自己喜欢的开源项目～～当然啦，如果你有什么特别棒的开源项目，可以推荐过来呀～ "开源项目老牌与新秀" 是开源中国 OSCHINA 推出的一档直播栏目，旨在为开源项目提供一个展示平台。栏目邀请开源项目的作者、核心团队成员或资深用户作为嘉宾，通过路演式直播分享项目的亮点和经验，有助于提高项目的知名度，吸引更多的用户和开发者关注。 如果你手上也有好的开源项目，想要跟同行交流分享，欢迎联系我，讲坛随时开放～
-- gReader Pro
https://my.oschina.net/u/3859945/blog/16685526
Byzer-SQL 作者、Kyligence 技术合伙人祝海林，今年 3 月又开源了一个新项目 Auto-Coder 。它是一个 AI 驱动交互式编码助手，支持命令行和VSCode插件。 祝海林于 2008 年开始在线音乐领域创业，此后在 CSDN、乐视云、丁香园等知名公司任职，现专注于用 AI 革新数据与编程领域。 他还用 Auto-Coder 这个编程助手写了几个小工具，AI 纯度 99%： Video-Monkey：一款视频处理工具，使用创新的文本编辑和聊天界面进行视频编辑。 Web-typing auto-complete：一款 Chrome 扩展，旨在加速用户输入。 最好玩的是，Auto-Coder 本身，也是用 Auto-Coder 写的。（那么问题来了，是先有蛋还是先有鸡？） Auto-Coder 有多个版本，用户可以根据自己需求选择。 auto-coder.chat 是命令行版本，效率最高，适合专业研发使用。 auto-coder-copilot 是VSCode 插件版本，适合刚入门同学使用（稳定性还在持续迭代中） auto-coder.serve 提供了 Rest API，可以让企业更加方便的将自动编程集成到自己的开发流程里。 auto-coder.core ,也就是上图中 `Auto-Coder Engine` 部分，它可以根据 yaml 文件配置来实现复杂的代码修改，阅读等各种能力。上面的三层都是基于改成API来实现的交互。 底层库也是非常强大，byzerllm 可以实现对大模型的部署，管理和微调。Byzer Storage 则提供了超级易用的向量存储/全文检索/模型记忆等多方面能力。 特别要提到的是，今年9 月份，祝海林还发布了第二代架构 RAG 产品——纯 llm-native 设计的 auto-coder.rag ，相比市场主流至少有20%到60%的效果提升。它可以帮助用户快速搭建基于文档的问答系统。无需向量数据库，无需向量模型，仅需要一个SaaS 模型即可。 auto-coder.rag 既可以作为 auto-coder 的组件使用，也可以单独使用。 开源中国 OSCHINA 的直播栏目《开源项目老牌与新秀》第 2 期，邀请了Auto-Coder 的作者祝海林，来分享一下该项目的核心能力，手把手教大家演示如何在auto-coder.chat 中使用 RAG 来解决大模型使用最新知识，解决第三方库的版本使用等问题。 感兴趣的小伙伴，可以微信扫码预约直播： 另外，我们还建了一个交流群，一起聊聊自己喜欢的开源项目～～当然啦，如果你有什么特别棒的开源项目，可以推荐过来呀～ "开源项目老牌与新秀" 是开源中国 OSCHINA 推出的一档直播栏目，旨在为开源项目提供一个展示平台。栏目邀请开源项目的作者、核心团队成员或资深用户作为嘉宾，通过路演式直播分享项目的亮点和经验，有助于提高项目的知名度，吸引更多的用户和开发者关注。 如果你手上也有好的开源项目，想要跟同行交流分享，欢迎联系我，讲坛随时开放～
-- gReader Pro
2024年12月12日 星期四
AI代理大混戰時代來臨：Google發佈最新AI Agent 「Jules」，開發人員可與AI協作修復錯誤程式碼
AI代理大混戰時代來臨：Google發佈最新AI Agent 「Jules」，開發人員可與AI協作修復錯誤程式碼
https://www.techbang.com/posts/120149-google-has-released-the-latest-ai-agent-jules-which-will-help
Google發佈最新AI代理Jules 將幫助開發人員修復錯誤程式碼 Google發佈了一款名為「Jules」的實驗性AI代理（AI Agent ），它可以為開發人員自動修復程式錯誤。 Jules 是今天與 Gemini 2.0 一起推出的，它使用更新後的 Google AI 模型來建立多步驟計畫，以解決 GitHub 工作流中的問題、修改多個檔案以及為 Python 和 Javascript 程式任務準備。 Google推出專注於程式的人工智慧助手並不令人意外--CEO皮查伊（Sundar Pichai）在 10 月份表示，目前公司四分之一以上的新程式碼都是由人工智慧生成的。 微軟去年為 GitHub Copilot 引入了類似的體驗，它可以識別和解釋程式碼，同時還能推薦修改和修復錯誤。 Jules 將與微軟的產品競爭，也將與Cursor等工具競爭，甚至與 Claude 和 ChatGPT 的程式能力競爭。 Google在官方部落格中說：「當你專注於你真正想要建構的東西時，Jules 會處理錯誤修復和其他耗時的任務。這項工作是我們長期目標的一部分，我們的目標是建構在包括程式在內的所有領域都有幫助的人工智慧代理。」 開發人員在選擇將 Jules 生成的程式碼併入自己的項目之前，可以全權審查和調整 Jules 建立的計畫。Google還表示，Jules 處於早期開發階段，「可能會犯錯誤」，但內部測試表明，它有利於提高開發人員的工作效率，並提供即時更新，幫助跟蹤和管理任務。 根據Google的說法，Jules 今天將向「精選的一批可信賴的測試人員」推出，並將於 2025 年初向其他開發人員發佈。 有關可用性和開發進度的更新將通過Google實驗室網站提供。 延伸閱讀：Google推出全新人工智慧模型 Gemini 2.0 Flash，用途更為廣泛 延伸閱讀：Google可能打算狙擊OpenAI o1模型，在對方發佈前推出Gemini 2.0 延伸閱讀：Google Gemini有了記憶功能，現在AI回答問題時可以記得你的特殊要求 加入T客邦Facebook粉絲團
-- gReader Pro
https://www.techbang.com/posts/120149-google-has-released-the-latest-ai-agent-jules-which-will-help
Google發佈最新AI代理Jules 將幫助開發人員修復錯誤程式碼 Google發佈了一款名為「Jules」的實驗性AI代理（AI Agent ），它可以為開發人員自動修復程式錯誤。 Jules 是今天與 Gemini 2.0 一起推出的，它使用更新後的 Google AI 模型來建立多步驟計畫，以解決 GitHub 工作流中的問題、修改多個檔案以及為 Python 和 Javascript 程式任務準備。 Google推出專注於程式的人工智慧助手並不令人意外--CEO皮查伊（Sundar Pichai）在 10 月份表示，目前公司四分之一以上的新程式碼都是由人工智慧生成的。 微軟去年為 GitHub Copilot 引入了類似的體驗，它可以識別和解釋程式碼，同時還能推薦修改和修復錯誤。 Jules 將與微軟的產品競爭，也將與Cursor等工具競爭，甚至與 Claude 和 ChatGPT 的程式能力競爭。 Google在官方部落格中說：「當你專注於你真正想要建構的東西時，Jules 會處理錯誤修復和其他耗時的任務。這項工作是我們長期目標的一部分，我們的目標是建構在包括程式在內的所有領域都有幫助的人工智慧代理。」 開發人員在選擇將 Jules 生成的程式碼併入自己的項目之前，可以全權審查和調整 Jules 建立的計畫。Google還表示，Jules 處於早期開發階段，「可能會犯錯誤」，但內部測試表明，它有利於提高開發人員的工作效率，並提供即時更新，幫助跟蹤和管理任務。 根據Google的說法，Jules 今天將向「精選的一批可信賴的測試人員」推出，並將於 2025 年初向其他開發人員發佈。 有關可用性和開發進度的更新將通過Google實驗室網站提供。 延伸閱讀：Google推出全新人工智慧模型 Gemini 2.0 Flash，用途更為廣泛 延伸閱讀：Google可能打算狙擊OpenAI o1模型，在對方發佈前推出Gemini 2.0 延伸閱讀：Google Gemini有了記憶功能，現在AI回答問題時可以記得你的特殊要求 加入T客邦Facebook粉絲團
-- gReader Pro
GPT-4o 新突破！AI 僅需兩小時訪談，輕鬆複製人類性格，準確率高達 85%
GPT-4o 新突破！AI 僅需兩小時訪談，輕鬆複製人類性格，準確率高達 85%
https://www.techbang.com/posts/120060-gpt-4o-replicates-human-personality
史丹佛大學與 Google DeepMind 最新研究，AI 技術精準模擬個人性格，準確率高達 85%人工智慧 (AI) 技術日新月異，如今已能模仿人類的對話能力，最新研究更顯示，AI 的模仿能力已更上一層樓，足以複製特定人物的性格。 史丹佛大學與 Google DeepMind 合作的研究團隊發現，AI 模型只需透過兩小時的訪談，就能以 85% 的準確率預測受訪者對一系列問卷、性格測試和思想實驗的回答。這項研究已發表於 arXiv 預印本網站，引起廣泛關注，為社會學研究帶來全新契機。 如何複製人格？ 研究人員以 OpenAI 的大型語言模型 GPT-4o 為基礎，開發出一套語音版 AI 訪談系統。該系統參考「美國之聲計畫」（American Voices Project）的訪談腳本，與受訪者進行長達兩小時的深度對談。過程中，AI 模型不僅會根據腳本提問，還會根據受訪者的回答追問，蒐集更完整的個人資訊。 研究團隊招募了 1,052 名來自美國各地的受訪者，並利用 AI 模型與真人進行訪談，生成完整的逐字稿。接著，研究人員以這些逐字稿為基礎，創造出 GPT-4o 驅動的 AI 代理人（agents），並讓這些代理人模仿受訪者回答各種問題。 ▲ a) 主要訪談介面：一個代表 AI 訪談代理人的 2D 精靈圖案顯示在白色圓圈中，圓圈會隨著音訊的音量大小而脈動，在 AI 訪談代理人說話時將其語音視覺化。 b) 受訪者回應：當輪到受訪者回應時，AI 訪談代理人的 2D 精靈圖案會變成麥克風表情符號，白色圓圈會隨著說話者的音量大小而發生有節奏的縮放變化。 c) 進度條和字幕：一個 2D 精靈地圖顯示受訪者的視覺化身沿著直線從一端移動到另一端，指示訪談進度。介面還提供顯示字幕或暫停訪談的選項。 圖片來源：arXiv (2024)。DOI：10.48550/arxiv.2411.10109 AI 分身表現如何？ 為了評估 AI 代理人的準確性，研究人員讓代理人和真人分別完成一系列測試，包括： 綜合社會調查（General Social Survey）: 測量對各種社會議題的態度 大五人格特質測試: 評估人格特質 經濟決策遊戲: 測試經濟決策能力 社會科學實驗: 測試社會行為 結果顯示，AI 代理人的回答與真人第一輪回答的準確率約為 69%。考量到真人回答在不同時間點的變化，研究人員發現 AI 模型的準確率實際上高達 85%。 這項研究的負責人 Joon Sung Park 表示：「我們現在有機會創造真正高擬真的個人模型，捕捉個人複雜性和獨特性。」 團隊表示，此項技術的目標並非取代人類，而是簡化社會學研究流程。傳統社會調查耗時費力，而 AI 代理人能快速模擬個體對不同議題的態度與回應，降低研究成本並提升效率。 以往進行社會調查需要設計問卷、招募樣本、執行調查並分析結果，但此技術可大幅縮短整體流程。未來，AI 代理人可能成為決策模擬與政策測試的強大工具，有助於制定更符合群體需求的政策。 AI 個性模擬的應用潛力與風險 這項技術的應用範圍不僅限於社會研究。它可用於提升個人助理、智慧型客服及機器人互動的能力，甚至能在虛擬會議、數位學習等場景中實現更加自然的互動體驗。研究人員指出，AI 複製人格技術可用於社會科學研究和政策制定，例如模擬不同政策選擇的社會反應或取代真人參與的焦點團體訪談，節省成本和時間。 然而，此技術也引發倫理與安全疑慮，到濫用，例如製作深度偽造影片，進行詐騙、模仿目標人物的性格，進行網路釣魚或其他犯罪活動。這種數位模擬人格被不當利用於詐騙或假新聞製作，深度偽造的風險不容忽視。專家建議，應制定嚴格的技術監管規範，確保此類技術用於正當用途。 結論 這項研究表明，能夠在各種環境下逼真模仿人類的機器即將出現。AI 複製人格技術的發展，為社會科學研究和政策制定帶來新的可能性，但也伴隨著潛在的風險。如何善用 AI 技術，同時防範其負面影響，將是未來重要的課題。 延伸閱讀：Deepfake馬斯克成詐騙神器：數百名分身串流、直播樣樣來，退休老人被騙超過千萬 延伸閱讀：失獨媽媽求助阿里：將逝去女兒做成AI，3個月後重現女兒聲音 延伸閱讀：偽造郵件、偽造筆跡、機器人電話、語音複製......AI「花式詐騙」的N種方式 資料來源：techxplore、itc.ua、singularityhub 加入T客邦Facebook粉絲團
-- gReader Pro
https://www.techbang.com/posts/120060-gpt-4o-replicates-human-personality
史丹佛大學與 Google DeepMind 最新研究，AI 技術精準模擬個人性格，準確率高達 85%人工智慧 (AI) 技術日新月異，如今已能模仿人類的對話能力，最新研究更顯示，AI 的模仿能力已更上一層樓，足以複製特定人物的性格。 史丹佛大學與 Google DeepMind 合作的研究團隊發現，AI 模型只需透過兩小時的訪談，就能以 85% 的準確率預測受訪者對一系列問卷、性格測試和思想實驗的回答。這項研究已發表於 arXiv 預印本網站，引起廣泛關注，為社會學研究帶來全新契機。 如何複製人格？ 研究人員以 OpenAI 的大型語言模型 GPT-4o 為基礎，開發出一套語音版 AI 訪談系統。該系統參考「美國之聲計畫」（American Voices Project）的訪談腳本，與受訪者進行長達兩小時的深度對談。過程中，AI 模型不僅會根據腳本提問，還會根據受訪者的回答追問，蒐集更完整的個人資訊。 研究團隊招募了 1,052 名來自美國各地的受訪者，並利用 AI 模型與真人進行訪談，生成完整的逐字稿。接著，研究人員以這些逐字稿為基礎，創造出 GPT-4o 驅動的 AI 代理人（agents），並讓這些代理人模仿受訪者回答各種問題。 ▲ a) 主要訪談介面：一個代表 AI 訪談代理人的 2D 精靈圖案顯示在白色圓圈中，圓圈會隨著音訊的音量大小而脈動，在 AI 訪談代理人說話時將其語音視覺化。 b) 受訪者回應：當輪到受訪者回應時，AI 訪談代理人的 2D 精靈圖案會變成麥克風表情符號，白色圓圈會隨著說話者的音量大小而發生有節奏的縮放變化。 c) 進度條和字幕：一個 2D 精靈地圖顯示受訪者的視覺化身沿著直線從一端移動到另一端，指示訪談進度。介面還提供顯示字幕或暫停訪談的選項。 圖片來源：arXiv (2024)。DOI：10.48550/arxiv.2411.10109 AI 分身表現如何？ 為了評估 AI 代理人的準確性，研究人員讓代理人和真人分別完成一系列測試，包括： 綜合社會調查（General Social Survey）: 測量對各種社會議題的態度 大五人格特質測試: 評估人格特質 經濟決策遊戲: 測試經濟決策能力 社會科學實驗: 測試社會行為 結果顯示，AI 代理人的回答與真人第一輪回答的準確率約為 69%。考量到真人回答在不同時間點的變化，研究人員發現 AI 模型的準確率實際上高達 85%。 這項研究的負責人 Joon Sung Park 表示：「我們現在有機會創造真正高擬真的個人模型，捕捉個人複雜性和獨特性。」 團隊表示，此項技術的目標並非取代人類，而是簡化社會學研究流程。傳統社會調查耗時費力，而 AI 代理人能快速模擬個體對不同議題的態度與回應，降低研究成本並提升效率。 以往進行社會調查需要設計問卷、招募樣本、執行調查並分析結果，但此技術可大幅縮短整體流程。未來，AI 代理人可能成為決策模擬與政策測試的強大工具，有助於制定更符合群體需求的政策。 AI 個性模擬的應用潛力與風險 這項技術的應用範圍不僅限於社會研究。它可用於提升個人助理、智慧型客服及機器人互動的能力，甚至能在虛擬會議、數位學習等場景中實現更加自然的互動體驗。研究人員指出，AI 複製人格技術可用於社會科學研究和政策制定，例如模擬不同政策選擇的社會反應或取代真人參與的焦點團體訪談，節省成本和時間。 然而，此技術也引發倫理與安全疑慮，到濫用，例如製作深度偽造影片，進行詐騙、模仿目標人物的性格，進行網路釣魚或其他犯罪活動。這種數位模擬人格被不當利用於詐騙或假新聞製作，深度偽造的風險不容忽視。專家建議，應制定嚴格的技術監管規範，確保此類技術用於正當用途。 結論 這項研究表明，能夠在各種環境下逼真模仿人類的機器即將出現。AI 複製人格技術的發展，為社會科學研究和政策制定帶來新的可能性，但也伴隨著潛在的風險。如何善用 AI 技術，同時防範其負面影響，將是未來重要的課題。 延伸閱讀：Deepfake馬斯克成詐騙神器：數百名分身串流、直播樣樣來，退休老人被騙超過千萬 延伸閱讀：失獨媽媽求助阿里：將逝去女兒做成AI，3個月後重現女兒聲音 延伸閱讀：偽造郵件、偽造筆跡、機器人電話、語音複製......AI「花式詐騙」的N種方式 資料來源：techxplore、itc.ua、singularityhub 加入T客邦Facebook粉絲團
-- gReader Pro
Google 推出新一代 Gemini 2.0！可直接使用搜尋、各種模態無縫融合
Google 推出新一代 Gemini 2.0！可直接使用搜尋、各種模態無縫融合
https://www.inside.com.tw/article/37031-google-gemini-2-launch
Google 推出了新一代 AI 模型 Gemini 2.0，並亮相系列中第一款 Gemini 2.0 Flash 模型，目標是要實現「代理人時代」。即日起 Gemini （聊天機器人）的用戶可在桌機版的模型下拉清單中看到新模型，之後擴大在行動版 App 中釋出。Gemini 2.0 Flash 關鍵基準測試中的表現優於 1.5 Pro，速度更是兩倍。模型現已作為實驗版，透過 Google AI Studio 和 Vertex AI 中的 Gemini API 向開發人員開放，同時 Google 還發布了新的 Multimodal Live API。原生圖像、音訊輸出Gemini 2.0 支援原生圖像和音訊輸出，這代表模型能理解並生成文本、圖像、影片、音訊和程式碼等多種類型內容。更多 Gemini 2.0 的多模態能力：理解複雜指令只要下文字指令不用額外任何動作，就能即時生成和編輯現有圖像。例如下單一指令「想像這輛車裝滿了海灘用品，並將顏色變成有夏天的感覺，請解釋過程」後，Gemini 2.0 會先提供新顏色的汽車圖像並用文字描述，接著就直接再生成另一張汽車裝滿海灘用品的圖像，且汽車樣式全程保持不變。Photo Credit: Google結合多模態的能力提供 Gemini 2.0 一張箱子的圖像，箱子側面印有文字「老舊電子產品」字樣，並下指令「打開盒子，生成一張俯瞰盒子內容物的圖片」，模型能理解圖像中的文字資訊進行推理和生成。Photo Credit: Google更具表現力的語音互動不同於傳統的文字轉語音，Gemini 2.0 原生音訊是直接生成語音，因此可透過指令控制 AI 代理人說話的方式，包括其語氣、速度和情感等，還能根據使用者的情境動態調整語音，例如在使用者匆忙時快速說話。另外，AI 也能更自然地在不同語言之間切換。(Google 的 demo 影片即是用 AI 生成語音)直接運用 Google 搜尋、程式碼執行工具Gemini 2.0 也支援原生工具的使用，可調用 Google 搜尋、程式碼執行，以及第三方使用者自訂函數等工具。Google 在 demo 中，用語音輸入「以長條圖比較電影教父和奧本海默的時長」，並不斷增加其他電影到比較圖表中，Gemini 2.0 能即時搜尋和互動，且特別的是使用者只要簡單描述所需功能就可設定好工具。Photo Credit: Google為了更好的控制模型使用哪些工具，用戶可在指令中指定模型只在回答特定問題時使用 Google 搜尋。責任編輯：Jocelyn核稿編輯：Sisley本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：Gemini 可以透過 OpenAI 函式庫存取！簡化開發者切換模型的流程有 Gemini 加持！Google AI 影片工具「Vids」正式推出讓 AI 排行程！Google Maps 整合 Gemini，提供地點評論摘要、問答功能
-- gReader Pro
https://www.inside.com.tw/article/37031-google-gemini-2-launch
Google 推出了新一代 AI 模型 Gemini 2.0，並亮相系列中第一款 Gemini 2.0 Flash 模型，目標是要實現「代理人時代」。即日起 Gemini （聊天機器人）的用戶可在桌機版的模型下拉清單中看到新模型，之後擴大在行動版 App 中釋出。Gemini 2.0 Flash 關鍵基準測試中的表現優於 1.5 Pro，速度更是兩倍。模型現已作為實驗版，透過 Google AI Studio 和 Vertex AI 中的 Gemini API 向開發人員開放，同時 Google 還發布了新的 Multimodal Live API。原生圖像、音訊輸出Gemini 2.0 支援原生圖像和音訊輸出，這代表模型能理解並生成文本、圖像、影片、音訊和程式碼等多種類型內容。更多 Gemini 2.0 的多模態能力：理解複雜指令只要下文字指令不用額外任何動作，就能即時生成和編輯現有圖像。例如下單一指令「想像這輛車裝滿了海灘用品，並將顏色變成有夏天的感覺，請解釋過程」後，Gemini 2.0 會先提供新顏色的汽車圖像並用文字描述，接著就直接再生成另一張汽車裝滿海灘用品的圖像，且汽車樣式全程保持不變。Photo Credit: Google結合多模態的能力提供 Gemini 2.0 一張箱子的圖像，箱子側面印有文字「老舊電子產品」字樣，並下指令「打開盒子，生成一張俯瞰盒子內容物的圖片」，模型能理解圖像中的文字資訊進行推理和生成。Photo Credit: Google更具表現力的語音互動不同於傳統的文字轉語音，Gemini 2.0 原生音訊是直接生成語音，因此可透過指令控制 AI 代理人說話的方式，包括其語氣、速度和情感等，還能根據使用者的情境動態調整語音，例如在使用者匆忙時快速說話。另外，AI 也能更自然地在不同語言之間切換。(Google 的 demo 影片即是用 AI 生成語音)直接運用 Google 搜尋、程式碼執行工具Gemini 2.0 也支援原生工具的使用，可調用 Google 搜尋、程式碼執行，以及第三方使用者自訂函數等工具。Google 在 demo 中，用語音輸入「以長條圖比較電影教父和奧本海默的時長」，並不斷增加其他電影到比較圖表中，Gemini 2.0 能即時搜尋和互動，且特別的是使用者只要簡單描述所需功能就可設定好工具。Photo Credit: Google為了更好的控制模型使用哪些工具，用戶可在指令中指定模型只在回答特定問題時使用 Google 搜尋。責任編輯：Jocelyn核稿編輯：Sisley本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：Gemini 可以透過 OpenAI 函式庫存取！簡化開發者切換模型的流程有 Gemini 加持！Google AI 影片工具「Vids」正式推出讓 AI 排行程！Google Maps 整合 Gemini，提供地點評論摘要、問答功能
-- gReader Pro
統一資訊攜手樺漢科技推出 AI 服務機器人平台，用 RAG 提供一站式解決方案
統一資訊攜手樺漢科技推出 AI 服務機器人平台，用 RAG 提供一站式解決方案
https://www.inside.com.tw/article/37030-uni-ai-service-bot
生成式 AI 技術快速發展，企業導入人工智慧 (AI) 應用成為未來競爭力的關鍵。然而，在實際導入過程中卻面臨著諸多挑戰，如不夠精準、機敏資料的安全疑慮、高昂訓練模型成本以及技術不停迭代更新等問題。為了解決企業痛點，統一資訊推出企業「AI 服務機器人」，運用 RAG (檢索增強生成) 技術，以「安全、自主、多元、擴充」四大特色，提供一站式的解決方案。結盟樺漢科技系統整合智慧方案服務推廣全球，協助企業加速轉型、創新 AI融合。統一資訊聯手樺漢科技推廣 AI 服務，邁向全球樺漢科技表示，統一資訊 AI 服務機器人的安全隱私設計與快速部署特點，結合樺漢軟硬體一站式解決方案，實現從硬體到軟體、從影像辨識到人員訓練的整合應用。此外，憑藉大語言模型的運算系統及生成式 AI 資料庫技術累積，為企業提供更智慧、更高效的 AI 應用服務，全面提升營運效率與競爭優勢，讓企業的AI 應用邁向新高度。樺漢科技專注於 IIoT (工業物聯網) 平臺及雲端人工智慧，深耕智慧零售與智慧城市等領域。此次攜手統一資訊，協助國內超商導入 AI 人流分析、節能系統與 AIoT (智慧物聯網) 等應用，展現從基礎架構到商業情境的多元技術整合能力，助力國內產業加速邁向數位化與智慧化的未來。全球數位化浪潮中， AI 已成為不可逆轉的趨勢，也成為大小企業老闆的新焦慮。統一資訊「AI 服務機器人」平台有四大核心特色：第一是「安全性」，運用 RAG 技術解決資料安全疑慮，將企業數據儲存在獨立資料庫，並透過加密、權限管理和向量化數據處理，確保企業知識不被外部大型語言模型記錄而外洩；第二是「自主性」，無論是建立專屬知識資料庫 (KM)，或選擇適合的語言模型 (LLM)，平台自有開發的 AI 技術讓企業可完全掌握模型訓練與調整的自主權；第三是「多元性」，平台支援文字、語音及虛擬人物三種互動模式，前端溝通裝置可選擇手機、平板、電腦、KOISK 或是 LINE，企業可依需求打造法規助理、報表生成、多國翻譯、文件摘要等通用型機器人；或利用企業 KM 訓練教育訓練、聊天客服、營業數據生成、智慧客服等專案型機器人；第四是「擴充性」，平台支援 API 接口，可輕鬆整合企業現有 ERP、POS 系統或其他第三方服務，幫助快速實現 AI 服務的導入。統一資訊統一資訊 AI 服務機器人平台可依企業需求選擇不同的機器人服務費用門檻低、導入快速，中小企業也可輕鬆 AI 轉型，佔領競爭先機以零售業為例，統一資訊「AI 服務機器人」平台的「營業數據分析機器人」為例，整合 ERP 系統，能快速生成銷售報告與數據分析，可減少傳統人工處理時間 70%，報告生成速度提升 80%，讓生成營業情報資訊的效率倍增；另一個應用情境是運用於企業直接面對消費者的「智慧客服機器人」，透過自動化處理常見查詢，通話處理量增加三倍，處理時間平均減少 50%，可以提升客戶滿意度達 30%，幫助企業贏得更高的客戶忠誠度與回購。統一資訊「服務機器人」平台，不只安全、聰明、易用，每月費用門檻低，導入時間最快只要 1 週，中小企業也可輕鬆負擔，能以更低的成本、更高的效率實現 AI 轉型，並在市場競爭中佔領先機。責任編輯：Mia核稿編輯：Jocelyn本文為統一資訊新聞稿，INSIDE 經編審後刊出。快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：NVIDIA 也能協助 RMN！新一代 AI 怎麼解鎖零售媒體的創新與效用？專訪電獺謝綸、蘇芃翰：RMN 是第四次數位廣告結構性革命大舉進攻線下 RMN！統一資訊與 7-ELEVEN 戶外聯播網年底將達 300 面
-- gReader Pro
https://www.inside.com.tw/article/37030-uni-ai-service-bot
生成式 AI 技術快速發展，企業導入人工智慧 (AI) 應用成為未來競爭力的關鍵。然而，在實際導入過程中卻面臨著諸多挑戰，如不夠精準、機敏資料的安全疑慮、高昂訓練模型成本以及技術不停迭代更新等問題。為了解決企業痛點，統一資訊推出企業「AI 服務機器人」，運用 RAG (檢索增強生成) 技術，以「安全、自主、多元、擴充」四大特色，提供一站式的解決方案。結盟樺漢科技系統整合智慧方案服務推廣全球，協助企業加速轉型、創新 AI融合。統一資訊聯手樺漢科技推廣 AI 服務，邁向全球樺漢科技表示，統一資訊 AI 服務機器人的安全隱私設計與快速部署特點，結合樺漢軟硬體一站式解決方案，實現從硬體到軟體、從影像辨識到人員訓練的整合應用。此外，憑藉大語言模型的運算系統及生成式 AI 資料庫技術累積，為企業提供更智慧、更高效的 AI 應用服務，全面提升營運效率與競爭優勢，讓企業的AI 應用邁向新高度。樺漢科技專注於 IIoT (工業物聯網) 平臺及雲端人工智慧，深耕智慧零售與智慧城市等領域。此次攜手統一資訊，協助國內超商導入 AI 人流分析、節能系統與 AIoT (智慧物聯網) 等應用，展現從基礎架構到商業情境的多元技術整合能力，助力國內產業加速邁向數位化與智慧化的未來。全球數位化浪潮中， AI 已成為不可逆轉的趨勢，也成為大小企業老闆的新焦慮。統一資訊「AI 服務機器人」平台有四大核心特色：第一是「安全性」，運用 RAG 技術解決資料安全疑慮，將企業數據儲存在獨立資料庫，並透過加密、權限管理和向量化數據處理，確保企業知識不被外部大型語言模型記錄而外洩；第二是「自主性」，無論是建立專屬知識資料庫 (KM)，或選擇適合的語言模型 (LLM)，平台自有開發的 AI 技術讓企業可完全掌握模型訓練與調整的自主權；第三是「多元性」，平台支援文字、語音及虛擬人物三種互動模式，前端溝通裝置可選擇手機、平板、電腦、KOISK 或是 LINE，企業可依需求打造法規助理、報表生成、多國翻譯、文件摘要等通用型機器人；或利用企業 KM 訓練教育訓練、聊天客服、營業數據生成、智慧客服等專案型機器人；第四是「擴充性」，平台支援 API 接口，可輕鬆整合企業現有 ERP、POS 系統或其他第三方服務，幫助快速實現 AI 服務的導入。統一資訊統一資訊 AI 服務機器人平台可依企業需求選擇不同的機器人服務費用門檻低、導入快速，中小企業也可輕鬆 AI 轉型，佔領競爭先機以零售業為例，統一資訊「AI 服務機器人」平台的「營業數據分析機器人」為例，整合 ERP 系統，能快速生成銷售報告與數據分析，可減少傳統人工處理時間 70%，報告生成速度提升 80%，讓生成營業情報資訊的效率倍增；另一個應用情境是運用於企業直接面對消費者的「智慧客服機器人」，透過自動化處理常見查詢，通話處理量增加三倍，處理時間平均減少 50%，可以提升客戶滿意度達 30%，幫助企業贏得更高的客戶忠誠度與回購。統一資訊「服務機器人」平台，不只安全、聰明、易用，每月費用門檻低，導入時間最快只要 1 週，中小企業也可輕鬆負擔，能以更低的成本、更高的效率實現 AI 轉型，並在市場競爭中佔領先機。責任編輯：Mia核稿編輯：Jocelyn本文為統一資訊新聞稿，INSIDE 經編審後刊出。快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：NVIDIA 也能協助 RMN！新一代 AI 怎麼解鎖零售媒體的創新與效用？專訪電獺謝綸、蘇芃翰：RMN 是第四次數位廣告結構性革命大舉進攻線下 RMN！統一資訊與 7-ELEVEN 戶外聯播網年底將達 300 面
-- gReader Pro
利用 AI 和 RAG 打造公司大脑
利用 AI 和 RAG 打造公司大脑
https://www.eiefun.com/9178.html
目前，企业使用人工智能最常见的情况是在他们必须做出决策的数据中寻找答案，或者提供精心制作但完全无用的报告，以便高层管理人员可以证明他们的巨额奖金是合理的。都是非常重要且合法的应用🧐。 问题是，你的数据分析和人工智能部门（如果有的话）可能会说巫术语言，无法给出连贯的答案，解释为什么我们拥有如此多的数据，但仍然无法回答相当琐碎的问题。 我感受到你的痛苦，让我们看看他们在说什么。 或不。由作者创建 在生成式人工智能热潮之前，搜索文档和公司知识库的主要方式要么是全文搜索引擎，如 Apache Lucene、Elasticsearch 和 Solr，要么是数据库引擎中的类似功能，如 Microsoft SQL 全文搜索、原始关键字-基于搜索或核心 ML/数据科学的东西。不再。 它们确实有效，但它们的功能有限，或者实施成本只有波音 747 的一半，因此使用这些方法的系统也非常有限。它们无法处理复杂或模糊的问题，因为系统需要理解问题的含义和对话的上下文，而不是单个单词。 我的实践示例——专利检索。这是一项艰巨的任务，旧的方法不能很好地解决，因为相似的事情在不同的专利中以非常不同的方式描述。 现在它成为可能，罪魁祸首是大型语言模型或法学硕士。人们可以争论它们是否真正聪明，但有一点是明确的——它们对于理解人类语言的复杂性非常有用。 LLM技术令人印象深刻，几乎成为人工智能的代名词。 L LM 在这方面有两个作用： 它们帮助理解用户问题并将其转化为计算机可以处理的内容。听起来可能不太令人印象深刻，但它很大。他们可以理解用户提供的任何胡言乱语，并将其转化为有意义的东西。 他们根据可用数据和对话上下文生成有意义的答案 两者之间有一项是法学硕士不处理的——检索数据来回答问题。从技术上讲，法学硕士可能知道足够的知识（即拥有足够的数据）来回答问题，如果它接受过该领域数据的培训，或者问题非常通用。但通常情况下，对于在特定领域工作的公司来说，情况并非如此。 LLM 可能不知道您公司的财务状况或营销主管的姓名和电话号码，因此您可以在深夜打电话给他，提出非常紧急的问题，例如他们何时要更改营销报告的字体。不是很有用。 所以中间还有一层称为 Retriever 。它在公司数据库、文档、CRM 等中搜索相关信息，并将其提供给法学硕士。因此，非常流行的术语 RAG 是 Retrieval Augmented Generation，它的意思就是——一个使用 LLM 和检索器来提供答案的系统。 您很可能需要多个检索器来搜索公司不同孤岛中的数据，因此在检索过程结束时，您需要合并它们的搜索结果。这称为猎犬组装。 那么RAG系统终于解决了文档搜索问题了吗？嗯，不完全是。 RAG有其自身的局限性，其中主要来自于LLM的工作方式。具体来说，法学硕士只能处理每个请求的有限文本量，因此我们无法向其发送所有可用信息来找出答案。您的公司可能拥有数百甚至数千份文档、数据库记录和其他内容。你不可能以某种方式神奇地将所有这些内容传输给法学硕士来查看。因此，如果我们有很多文档 – 我们必须过滤它们，如果文档本身很大 – 我们必须将它们分成小块。 此外，我们发送给LLM的每个代币都需要花钱，所以我们不想发送大量无用和不相关的数据并为此付费。如您所知，大多数文件都被大量垃圾冲淡了。因此，我们确实只想发送我们认为与答案相关的信息。 这带来了一系列挑战：如果我们对信息进行分块并将其存储在不同的块中，我们如何确保在检索过程中使用所有需要的块？如果您考虑包含大量表格等的复杂文档，那么这可能会非常困难，其中表格的说明可能位于文档的不同部分而不是表格本身。或者在不同的文档中。此外，您的系统中可能存在同一文档的不同版本，且信息相互冲突…… 解决这个问题的方法之一就是重新排序。 在默认 RAG 中，使用数据存储中的语义搜索来查找文档，该搜索会查找与用户问题类似的文档。例如，如果你问："为什么我的猫密谋统治世界？"该搜索使用向量嵌入来查找与猫的恶作剧相关的文档。然后，这些文件和问题一起发送给法学硕士，以得出最终的（希望不会令人担忧的）答案。 不幸的是，语义搜索算法在许多情况下无法找到完美的匹配。 发生这种情况的原因有多种，例如文档通常包含的信息不是一个主题而是多个主题，可能包含冲突和过时的信息，文档不是完整存储而是分块存储在矢量数据库中。 所以语义搜索可以返回这样的文档： 猫：人类奴役史 如果我停止喂猫，它会吃我吗？ 音乐剧《猫》今年占据票房冠军 …… 如何赢得猫并影响人们 正如您所看到的，第 3 项不是此处的相关文档。 还有一个我用一个类比来解释。假设你认识一位知识渊博的教授。他读过各种各样的书籍，并且在技术上了解很多东西。你问他关于加拉帕戈斯群岛上的鹈鹕的事——他都知道。你问他特朗普是否比拜登更好，他也知道很多这方面的信息。现在你觉得这家伙很聪明吧！我可以问他任何事！我在工作中遇到了这个问题，让这个家伙来解决吧！所以你问他，根据"偿付能力II指令"，如果一家保险公司假设为一群经营自己的对冲基金的超聪明松鼠提供保险，那么他们基于风险的资本要求将如何根据其固有的不可预测性进行调整。坚果期货？ 和？？？当然，他也知道！他给了你答案。问题是，这完全是垃圾。他在前面的主题上是正确的，但如果你进入特定的行业领域，他会给出可信但不准确的答案。原因是法学硕士接受了大量互联网数据的训练，但这些数据都是非常通用的。它不是特定于领域的，因此它会产生通用答案。 重新排名通过使用在特定领域文本上训练的重新排名模型来帮助解决这个问题，因此它可以为法学硕士提供最相关的上下文。因此，在前面的示例中，我们要求重新排序以按照相关性顺序对语义搜索输出重新排序，它将给出以下结果： 猫：人类奴役史 如果我停止喂猫，它会吃我吗？ 如何赢得猫并影响人们 …… 音乐剧《猫》今年占据票房冠军 现在，您可以获取最相关文档的第一棵树，并将它们发送给我们非常聪明的教授（法学硕士）来提供答案。 重新排名的方法有很多，这里介绍其中一些。通常，在生产系统中，会使用最适合当前领域的多种方法的组合。 要重新排列数据，您需要提取数据进行存储。有几种选择。 对于 RAG 的工作，Retriever 可以在任何地方搜索数据。例如直接在公司 SQL 数据库或您的电子邮件中。或者它可以使用公司已有的全文搜索系统进行搜索。问题是——它不实用，因为它会很慢而且不准确。存储 RAG 检索数据的首选（目前）方式是矢量数据库或矢量存储。 在向量数据库中（或更准确地说，在向量空间中），语义相似的概念彼此靠近，无论其表示如何。例如，单词"dog"和"bulldog"会很接近，而单词"lock"（如门锁）和"lock"（如城堡）会相距很远。 此外，矢量数据库将存储元数据，即有关数据的数据，以存储诸如权限（谁可以访问数据）、数据来自哪里、如何存储、数据类型和类别等内容。 因此，向量数据库非常适合语义数据搜索。 有很多选择，从开源 Quadrant 到企业 Pinecone。大多数经典数据库和 NoSQL 数据库现在也有矢量选项。 流行的矢量数据库（截至目前）： QDrant — 开源数据库，对于大多数任务我更喜欢这个 Pinecone——云原生（即，他们会向你收取很多费用）数据库，支持很多企业功能 Chroma — 另一个开源数据库（Apache-2.0 许可证） Weaviate — 在 BSD-3-Clause 许可证下开放 Milvus — 在 Apache-2.0 许可证下开放 Marqo — 开源平台和完全托管的云服务 FAISS — 一个单独的野兽，不是数据库，而是 Meta 的框架 PostgreSQL 的 Pgvector Mongo 的 Atlas 用于构建此类 RAG 系统的最常见框架（也是我个人最喜欢的框架）是 LLamaindex 。它是一个 Python 库，提供以下工具： 数据摄取：您的数据可能分布在不同的位置和格式，例如 PDF 文档、SQL 数据库、公司 wiki、CRM 等。法学硕士无法直接处理这些问题，因此我们需要从这些地方获取数据。 LLamaindex 为此提供了数据连接器。 数据索引：当我们从存储的任何地方获取数据时，您的数据可能会变得一团糟，超级计算机无法导航。所以我们需要将其构建为LLM可以理解的格式。 查询引擎：一旦我们获得了可使用格式的数据，我们就需要一个工具来查询它。 LLama索引提供了通过各种方法查询数据并将其与应用程序集成的工具。 数据代理：这些是基于 LLM 的工作人员，可以使用数据执行复杂的任务，例如调用 API、扩充数据和调用辅助函数。它们用于构建工作流程。 LLamaindex 还有其他选择，例如，如果您使用 Microsoft 堆栈，您可以选择 Semantic Kernel，尽管在我看来它仍然有很多 bug。另一个流行的替代方案是 Haystack。 我建议避免还有一种选择： L angchain 是另一个用于构建 RAG 系统的框架，尽管它更通用并且不是专门为此构建的。它被广泛用于构建各种由法学硕士支持的应用程序，例如聊天机器人，并且据说应该通过提供大量构建块并将它们链接在一起以构建流程来加快开发速度。 您甚至可以同时使用 LangChain 和 LLamaindex。我想在这里补充的一件事是，Langchain 开发人员更改内容如此频繁且如此之多，以至于他们经常破坏东西，并且框架不是很稳定，使得使用起来非常烦人。我有时开始怀疑它是否适合生产系统…… 图片由作者创建 这是另一个问题。在您当前的系统中，您可能有某种访问控制。 LLM级别没有访问控制，尝试在LLM级别上实现它是徒劳的。无论你向法学硕士发出什么指令，都可以被打破，基本上，任何法学硕士都可以通过足够的努力来解决几乎任何事情。 LLM 安全行业的一位领导者 Lakera 推出了一款有趣的游戏，很好地展示了这一点。 我并不是说你不应该为 LLM 输入和输出设置护栏，只是说你不能依赖它们进行访问控制或秘密数据。 这一事实的一个重要含义是，您也无法将您的法学硕士训练为此类数据，因为最终，它会很乐意将其告诉不应该知道的人。 因此，实际上，工作方法是在用户请求级别的检索过程中向 LLM 提供必要的数据，并且仅提供该用户可以访问的数据，例如，应在数据存储级别检查这些数据。 权限和类别是元数据的一种形式，为了使整个系统正常工作，这些元数据必须在数据摄取阶段保存在矢量数据库或其他地方。相应地，在向量数据库中进行搜索时，需要检查找到的文档的角色或其他访问属性是否与用户可用的相对应。一些（尤其是商业企业矢量）数据库已经将此功能作为标准。 您可以在这里找到一个很好的例子。 图片由作者提供 它不是 RAG 系统的强制性部分，但如果您有大量数据或数据以某种对于理解数据很重要的方式存储，您可能会需要它。 例如，考虑计算机上包含照片的文件夹。如果您要随机重命名所有子文件夹 – 尽管数据本身（照片）没有改变，但在其中找到任何内容会有多容易？ 我们人类有点相似。如果没有结构，信息对我们来说就没多大意义，所以我们脑子里有这些知识图。我们从数据存储方式（即从结构或元数据）的约定中了解数据的含义，以便有效地使用它。对于LLM来说，这个问题可以通过带有元数据的知识图（也称为知识图）来解决，这意味着LLM不仅拥有原始数据，还拥有有关存储结构和不同数据实体之间的连接的信息。这种方法也称为图检索增强生成（GraphRAG）。 图非常适合以结构化形式表示和存储异构且互连的信息，轻松捕获不同类型数据之间的复杂关系和属性，而矢量数据库则难以做到这一点。 。 图片由作者提供 普通的 RAG 看起来像这样： 图片由作者提供 修改后的流程将如下所示： 图片由作者提供 所以，其实这是一个向量数据库和知识图谱的集合。正如我在上一篇文章中关于集成的部分中提到的，它们通常会提高准确性，并且通常包括通过常规数据库或关键字（例如 Elasticsearch）进行搜索。 已经有很多图存储解决方案（尽管公司经常制作自己的版本）： Nebula — Apache 2.0 许可下的开源，良好的性能和可扩展的架构，我个人的偏好 Neo4j – 流行，支持 Cypher 查询语言，使其可用于各种应用程序，它们有 GPL v3 下的社区版，但对于任何严肃的事情，您将需要企业版 OrientDB — 结合了图模型和文档模型的多模型数据库。开源（Apache 2.0）并且已经存在一段时间了。如果您需要混合文档图形模式，可能是一个选项，否则最好使用 Nebula Memgraph — 一种内存图形数据库，专为实时图形分析和需要低延迟性能的用例而设计。如果您需要实时处理，很可能您必须在内存中进行 ArangoDB — 一个多模型数据库，在单个数据库引擎中支持图形、文档和键/值数据模型。它并不只专注于图表，因此如果您只想要图表 – Nebula 会更好 JanusGraph — 在 Apache 2.0 许可下开源，支持各种存储后端，包括 Apache Cassandra、HBase 和 BerkeleyDB。利用 Gremlin 图形遍历语言，它是 Apache TinkerPop 框架的一部分，因此如果您已经使用过该语言 — 可能是一个不错的选择。 这可能是最困难的问题。无论您如何构建 RAG 系统，如果它存储垃圾，它就会产生垃圾。垃圾进来——垃圾出去。 只提取干净的数据是很困难的，如果数据来源是像 PDF 文档这样的非结构化垃圾，则尤其困难。老实说，有人应该通过一项法律，在全球范围内禁止这种格式。 图片由作者提供 LLamaParse 和类似的框架在一定程度上可以帮助解决这个问题。但这不仅仅是格式的问题，文档版本控制也存在问题，即您拥有相似文档的多个版本，或者当一个域中的信息与另一个域中的信息相矛盾时……在这种情况下人们会做什么？我想这会有所不同，并且并不总是有一个正确的答案。 这是一个本质上很困难的问题，除非我们拥有超级智能，否则无法完全解决。有一些方法，例如最大边际相关性搜索 (MMR) 算法。它会考虑信息的相关性和新颖性来过滤和重新排序文档。 重要的是： 系统应该能够意识到它有冲突的信息，并在不确定的情况下将其交给用户来解决 为此，您必须存储文档的版本控制元数据，并决定在与 MMR 等算法以及其他类型的重新排名和相关性评分发生冲突时如何解决版本和优先级 这里没有灵丹妙药，因为这在很大程度上取决于您如何在系统中存储数据，但如果已经制定了解决冲突的结构和政策，那么它肯定会有所帮助。在这种情况下，您有机会将这些内容正式化并向法学硕士代理人解释或使用类似的方法。 作为数据的一部分，您可能有图像，或者您可能希望用户使用图像查询系统。现在在视觉变形金刚的帮助下这一切成为可能。不过，这是一个很大的单独主题。 图片由作者提供 让我们来谈谈房间里的大象。每个人都知道法学硕士会产生幻觉。在我看来，这使得它们在关键系统中无法使用，例如医疗保健决策或财务咨询。在这些领域，它可以充当人类专业人士的助手，甚至可以非常谨慎。 模特为什么会产生幻觉？它肯定不会从中得到任何好处，所以它没有任何私心，所以有几个主要原因： 大型语言模型是在来自多个来源的庞大且多样化的数据集上进行训练的。这种训练是无监督的，因此很难确保数据的公平、公正或准确。语言模型本质上无法区分真实与虚构。它们依赖于训练数据中的模式，其中可能包括冲突或主观信息。这可能会导致看似合乎逻辑但实际上不正确的输出。 像 GPT 这样的大型语言模型是为一般任务而设计的，当应用于医学、法律或金融等特定领域时，可能会产生幻觉或产生不正确的结果。出现这些幻觉是因为模型试图在没有特定领域知识的情况下创建连贯的响应。 用户通过提示提供指示。编写清晰准确的提示至关重要，就像编码一样。如果提示缺乏足够的细节或上下文，模型可能会生成不相关或不正确的响应。为了获得正确的答案，提出正确的问题非常重要。 故意错位 或者简单地说——模型被训练去撒谎。对于 ChatGPT 或 Gemini 等公开可用的模型尤其如此。他们接受过大量可疑政策的培训，以遵守各种法律和愚蠢的法规，因此他们对敏感话题提供了荒谬的答案。 上下文丢失 该模型的上下文窗口或短期记忆有限。如果对话太长或者您尝试提供的数据量太大，它将开始丢失上下文详细信息并开始产生非感官结果。我认为随着上下文窗口变大并且在某种程度上是可用计算能力的函数，这个问题很快就会得到解决。但到目前为止，这是一个问题，构建 RAG 系统以优化上下文大小非常重要。 有可能消除幻觉吗？简短的回答是否定的。有一些方法可以降低出现幻觉的可能性： 根据相关领域数据微调模型。 使用 RAG 提供有效的上下文，同时避免上下文溢出 使用提示工程创建提示，专门指示模型不要添加不确定的信息。 使用带有少量提示的即时调整。 使用LLM类似自我检查的策略"思维树"来验证其思维过程和输出。 实际上，您可以要求它返回代币的分布及其概率，然后看看模型对其所构建的内容（计算代币级别的不确定性）到底有多大信心？如果分布中的概率很低（什么被认为是低取决于任务），那么很可能模型已经开始制造（幻觉）并且对其响应完全没有信心。这可用于评估响应并向用户返回诚实的"我不知道"。 您可以使用其他模型和预言机来验证输出的真实性。 后处理和过滤机制，用于审查不符合公司政策或可能有害的输出 但是，正如我提到的，这些都不能保证不会出现幻觉。 前面说的大部分都是和文本数据相关的。但是，如果您有大量数字和表格，并且需要能够进行计算作为答案的一部分，该怎么办？事情变得很棘手，因为法学硕士不能很好地计数。即使是最好的人在简单的数学方面也很糟糕，抛开任何复杂的事情不谈。最常见的计算方法是为 LLM 提供一个工具来进行计算，例如，旧的 Elastic 或 SQL 数据库。 因此，您要做的就是使用 LLM 生成 Elastic Search 的查询，并使用它进行计算，然后使用结果生成最终输出。 例如，用户问题可能是："北美第一季度的总销售收入是多少？"。 LLM 将为 Elasticsearch 生成一个查询，如下所示： { "询问"： { "布尔"：{ "必须"： [ {"term": {"region": "北美"}}, {"范围"：{"日期"：{"gte"："2024-01-01"，"lte"："2024-03-31"}}} ] } }, "阿格斯"：{ "总收入"：{ "总和"：{ "字段"："销售收入" } } } } Elasticsearch 响应可以是： { "聚合"：{ "总收入"：{ "值"：4520000.0 } } } LLM 输出将为："北美第一季度的总销售收入为 4,520,000 美元。" Elastic 适合中等复杂的计算，如果你有一些非常复杂的东西 – 你可能必须将其委托给 NumPy 或 Pandas 脚本。 玩得开心！ 版权声明 本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除
-- gReader Pro
https://www.eiefun.com/9178.html
目前，企业使用人工智能最常见的情况是在他们必须做出决策的数据中寻找答案，或者提供精心制作但完全无用的报告，以便高层管理人员可以证明他们的巨额奖金是合理的。都是非常重要且合法的应用🧐。 问题是，你的数据分析和人工智能部门（如果有的话）可能会说巫术语言，无法给出连贯的答案，解释为什么我们拥有如此多的数据，但仍然无法回答相当琐碎的问题。 我感受到你的痛苦，让我们看看他们在说什么。 或不。由作者创建 在生成式人工智能热潮之前，搜索文档和公司知识库的主要方式要么是全文搜索引擎，如 Apache Lucene、Elasticsearch 和 Solr，要么是数据库引擎中的类似功能，如 Microsoft SQL 全文搜索、原始关键字-基于搜索或核心 ML/数据科学的东西。不再。 它们确实有效，但它们的功能有限，或者实施成本只有波音 747 的一半，因此使用这些方法的系统也非常有限。它们无法处理复杂或模糊的问题，因为系统需要理解问题的含义和对话的上下文，而不是单个单词。 我的实践示例——专利检索。这是一项艰巨的任务，旧的方法不能很好地解决，因为相似的事情在不同的专利中以非常不同的方式描述。 现在它成为可能，罪魁祸首是大型语言模型或法学硕士。人们可以争论它们是否真正聪明，但有一点是明确的——它们对于理解人类语言的复杂性非常有用。 LLM技术令人印象深刻，几乎成为人工智能的代名词。 L LM 在这方面有两个作用： 它们帮助理解用户问题并将其转化为计算机可以处理的内容。听起来可能不太令人印象深刻，但它很大。他们可以理解用户提供的任何胡言乱语，并将其转化为有意义的东西。 他们根据可用数据和对话上下文生成有意义的答案 两者之间有一项是法学硕士不处理的——检索数据来回答问题。从技术上讲，法学硕士可能知道足够的知识（即拥有足够的数据）来回答问题，如果它接受过该领域数据的培训，或者问题非常通用。但通常情况下，对于在特定领域工作的公司来说，情况并非如此。 LLM 可能不知道您公司的财务状况或营销主管的姓名和电话号码，因此您可以在深夜打电话给他，提出非常紧急的问题，例如他们何时要更改营销报告的字体。不是很有用。 所以中间还有一层称为 Retriever 。它在公司数据库、文档、CRM 等中搜索相关信息，并将其提供给法学硕士。因此，非常流行的术语 RAG 是 Retrieval Augmented Generation，它的意思就是——一个使用 LLM 和检索器来提供答案的系统。 您很可能需要多个检索器来搜索公司不同孤岛中的数据，因此在检索过程结束时，您需要合并它们的搜索结果。这称为猎犬组装。 那么RAG系统终于解决了文档搜索问题了吗？嗯，不完全是。 RAG有其自身的局限性，其中主要来自于LLM的工作方式。具体来说，法学硕士只能处理每个请求的有限文本量，因此我们无法向其发送所有可用信息来找出答案。您的公司可能拥有数百甚至数千份文档、数据库记录和其他内容。你不可能以某种方式神奇地将所有这些内容传输给法学硕士来查看。因此，如果我们有很多文档 – 我们必须过滤它们，如果文档本身很大 – 我们必须将它们分成小块。 此外，我们发送给LLM的每个代币都需要花钱，所以我们不想发送大量无用和不相关的数据并为此付费。如您所知，大多数文件都被大量垃圾冲淡了。因此，我们确实只想发送我们认为与答案相关的信息。 这带来了一系列挑战：如果我们对信息进行分块并将其存储在不同的块中，我们如何确保在检索过程中使用所有需要的块？如果您考虑包含大量表格等的复杂文档，那么这可能会非常困难，其中表格的说明可能位于文档的不同部分而不是表格本身。或者在不同的文档中。此外，您的系统中可能存在同一文档的不同版本，且信息相互冲突…… 解决这个问题的方法之一就是重新排序。 在默认 RAG 中，使用数据存储中的语义搜索来查找文档，该搜索会查找与用户问题类似的文档。例如，如果你问："为什么我的猫密谋统治世界？"该搜索使用向量嵌入来查找与猫的恶作剧相关的文档。然后，这些文件和问题一起发送给法学硕士，以得出最终的（希望不会令人担忧的）答案。 不幸的是，语义搜索算法在许多情况下无法找到完美的匹配。 发生这种情况的原因有多种，例如文档通常包含的信息不是一个主题而是多个主题，可能包含冲突和过时的信息，文档不是完整存储而是分块存储在矢量数据库中。 所以语义搜索可以返回这样的文档： 猫：人类奴役史 如果我停止喂猫，它会吃我吗？ 音乐剧《猫》今年占据票房冠军 …… 如何赢得猫并影响人们 正如您所看到的，第 3 项不是此处的相关文档。 还有一个我用一个类比来解释。假设你认识一位知识渊博的教授。他读过各种各样的书籍，并且在技术上了解很多东西。你问他关于加拉帕戈斯群岛上的鹈鹕的事——他都知道。你问他特朗普是否比拜登更好，他也知道很多这方面的信息。现在你觉得这家伙很聪明吧！我可以问他任何事！我在工作中遇到了这个问题，让这个家伙来解决吧！所以你问他，根据"偿付能力II指令"，如果一家保险公司假设为一群经营自己的对冲基金的超聪明松鼠提供保险，那么他们基于风险的资本要求将如何根据其固有的不可预测性进行调整。坚果期货？ 和？？？当然，他也知道！他给了你答案。问题是，这完全是垃圾。他在前面的主题上是正确的，但如果你进入特定的行业领域，他会给出可信但不准确的答案。原因是法学硕士接受了大量互联网数据的训练，但这些数据都是非常通用的。它不是特定于领域的，因此它会产生通用答案。 重新排名通过使用在特定领域文本上训练的重新排名模型来帮助解决这个问题，因此它可以为法学硕士提供最相关的上下文。因此，在前面的示例中，我们要求重新排序以按照相关性顺序对语义搜索输出重新排序，它将给出以下结果： 猫：人类奴役史 如果我停止喂猫，它会吃我吗？ 如何赢得猫并影响人们 …… 音乐剧《猫》今年占据票房冠军 现在，您可以获取最相关文档的第一棵树，并将它们发送给我们非常聪明的教授（法学硕士）来提供答案。 重新排名的方法有很多，这里介绍其中一些。通常，在生产系统中，会使用最适合当前领域的多种方法的组合。 要重新排列数据，您需要提取数据进行存储。有几种选择。 对于 RAG 的工作，Retriever 可以在任何地方搜索数据。例如直接在公司 SQL 数据库或您的电子邮件中。或者它可以使用公司已有的全文搜索系统进行搜索。问题是——它不实用，因为它会很慢而且不准确。存储 RAG 检索数据的首选（目前）方式是矢量数据库或矢量存储。 在向量数据库中（或更准确地说，在向量空间中），语义相似的概念彼此靠近，无论其表示如何。例如，单词"dog"和"bulldog"会很接近，而单词"lock"（如门锁）和"lock"（如城堡）会相距很远。 此外，矢量数据库将存储元数据，即有关数据的数据，以存储诸如权限（谁可以访问数据）、数据来自哪里、如何存储、数据类型和类别等内容。 因此，向量数据库非常适合语义数据搜索。 有很多选择，从开源 Quadrant 到企业 Pinecone。大多数经典数据库和 NoSQL 数据库现在也有矢量选项。 流行的矢量数据库（截至目前）： QDrant — 开源数据库，对于大多数任务我更喜欢这个 Pinecone——云原生（即，他们会向你收取很多费用）数据库，支持很多企业功能 Chroma — 另一个开源数据库（Apache-2.0 许可证） Weaviate — 在 BSD-3-Clause 许可证下开放 Milvus — 在 Apache-2.0 许可证下开放 Marqo — 开源平台和完全托管的云服务 FAISS — 一个单独的野兽，不是数据库，而是 Meta 的框架 PostgreSQL 的 Pgvector Mongo 的 Atlas 用于构建此类 RAG 系统的最常见框架（也是我个人最喜欢的框架）是 LLamaindex 。它是一个 Python 库，提供以下工具： 数据摄取：您的数据可能分布在不同的位置和格式，例如 PDF 文档、SQL 数据库、公司 wiki、CRM 等。法学硕士无法直接处理这些问题，因此我们需要从这些地方获取数据。 LLamaindex 为此提供了数据连接器。 数据索引：当我们从存储的任何地方获取数据时，您的数据可能会变得一团糟，超级计算机无法导航。所以我们需要将其构建为LLM可以理解的格式。 查询引擎：一旦我们获得了可使用格式的数据，我们就需要一个工具来查询它。 LLama索引提供了通过各种方法查询数据并将其与应用程序集成的工具。 数据代理：这些是基于 LLM 的工作人员，可以使用数据执行复杂的任务，例如调用 API、扩充数据和调用辅助函数。它们用于构建工作流程。 LLamaindex 还有其他选择，例如，如果您使用 Microsoft 堆栈，您可以选择 Semantic Kernel，尽管在我看来它仍然有很多 bug。另一个流行的替代方案是 Haystack。 我建议避免还有一种选择： L angchain 是另一个用于构建 RAG 系统的框架，尽管它更通用并且不是专门为此构建的。它被广泛用于构建各种由法学硕士支持的应用程序，例如聊天机器人，并且据说应该通过提供大量构建块并将它们链接在一起以构建流程来加快开发速度。 您甚至可以同时使用 LangChain 和 LLamaindex。我想在这里补充的一件事是，Langchain 开发人员更改内容如此频繁且如此之多，以至于他们经常破坏东西，并且框架不是很稳定，使得使用起来非常烦人。我有时开始怀疑它是否适合生产系统…… 图片由作者创建 这是另一个问题。在您当前的系统中，您可能有某种访问控制。 LLM级别没有访问控制，尝试在LLM级别上实现它是徒劳的。无论你向法学硕士发出什么指令，都可以被打破，基本上，任何法学硕士都可以通过足够的努力来解决几乎任何事情。 LLM 安全行业的一位领导者 Lakera 推出了一款有趣的游戏，很好地展示了这一点。 我并不是说你不应该为 LLM 输入和输出设置护栏，只是说你不能依赖它们进行访问控制或秘密数据。 这一事实的一个重要含义是，您也无法将您的法学硕士训练为此类数据，因为最终，它会很乐意将其告诉不应该知道的人。 因此，实际上，工作方法是在用户请求级别的检索过程中向 LLM 提供必要的数据，并且仅提供该用户可以访问的数据，例如，应在数据存储级别检查这些数据。 权限和类别是元数据的一种形式，为了使整个系统正常工作，这些元数据必须在数据摄取阶段保存在矢量数据库或其他地方。相应地，在向量数据库中进行搜索时，需要检查找到的文档的角色或其他访问属性是否与用户可用的相对应。一些（尤其是商业企业矢量）数据库已经将此功能作为标准。 您可以在这里找到一个很好的例子。 图片由作者提供 它不是 RAG 系统的强制性部分，但如果您有大量数据或数据以某种对于理解数据很重要的方式存储，您可能会需要它。 例如，考虑计算机上包含照片的文件夹。如果您要随机重命名所有子文件夹 – 尽管数据本身（照片）没有改变，但在其中找到任何内容会有多容易？ 我们人类有点相似。如果没有结构，信息对我们来说就没多大意义，所以我们脑子里有这些知识图。我们从数据存储方式（即从结构或元数据）的约定中了解数据的含义，以便有效地使用它。对于LLM来说，这个问题可以通过带有元数据的知识图（也称为知识图）来解决，这意味着LLM不仅拥有原始数据，还拥有有关存储结构和不同数据实体之间的连接的信息。这种方法也称为图检索增强生成（GraphRAG）。 图非常适合以结构化形式表示和存储异构且互连的信息，轻松捕获不同类型数据之间的复杂关系和属性，而矢量数据库则难以做到这一点。 。 图片由作者提供 普通的 RAG 看起来像这样： 图片由作者提供 修改后的流程将如下所示： 图片由作者提供 所以，其实这是一个向量数据库和知识图谱的集合。正如我在上一篇文章中关于集成的部分中提到的，它们通常会提高准确性，并且通常包括通过常规数据库或关键字（例如 Elasticsearch）进行搜索。 已经有很多图存储解决方案（尽管公司经常制作自己的版本）： Nebula — Apache 2.0 许可下的开源，良好的性能和可扩展的架构，我个人的偏好 Neo4j – 流行，支持 Cypher 查询语言，使其可用于各种应用程序，它们有 GPL v3 下的社区版，但对于任何严肃的事情，您将需要企业版 OrientDB — 结合了图模型和文档模型的多模型数据库。开源（Apache 2.0）并且已经存在一段时间了。如果您需要混合文档图形模式，可能是一个选项，否则最好使用 Nebula Memgraph — 一种内存图形数据库，专为实时图形分析和需要低延迟性能的用例而设计。如果您需要实时处理，很可能您必须在内存中进行 ArangoDB — 一个多模型数据库，在单个数据库引擎中支持图形、文档和键/值数据模型。它并不只专注于图表，因此如果您只想要图表 – Nebula 会更好 JanusGraph — 在 Apache 2.0 许可下开源，支持各种存储后端，包括 Apache Cassandra、HBase 和 BerkeleyDB。利用 Gremlin 图形遍历语言，它是 Apache TinkerPop 框架的一部分，因此如果您已经使用过该语言 — 可能是一个不错的选择。 这可能是最困难的问题。无论您如何构建 RAG 系统，如果它存储垃圾，它就会产生垃圾。垃圾进来——垃圾出去。 只提取干净的数据是很困难的，如果数据来源是像 PDF 文档这样的非结构化垃圾，则尤其困难。老实说，有人应该通过一项法律，在全球范围内禁止这种格式。 图片由作者提供 LLamaParse 和类似的框架在一定程度上可以帮助解决这个问题。但这不仅仅是格式的问题，文档版本控制也存在问题，即您拥有相似文档的多个版本，或者当一个域中的信息与另一个域中的信息相矛盾时……在这种情况下人们会做什么？我想这会有所不同，并且并不总是有一个正确的答案。 这是一个本质上很困难的问题，除非我们拥有超级智能，否则无法完全解决。有一些方法，例如最大边际相关性搜索 (MMR) 算法。它会考虑信息的相关性和新颖性来过滤和重新排序文档。 重要的是： 系统应该能够意识到它有冲突的信息，并在不确定的情况下将其交给用户来解决 为此，您必须存储文档的版本控制元数据，并决定在与 MMR 等算法以及其他类型的重新排名和相关性评分发生冲突时如何解决版本和优先级 这里没有灵丹妙药，因为这在很大程度上取决于您如何在系统中存储数据，但如果已经制定了解决冲突的结构和政策，那么它肯定会有所帮助。在这种情况下，您有机会将这些内容正式化并向法学硕士代理人解释或使用类似的方法。 作为数据的一部分，您可能有图像，或者您可能希望用户使用图像查询系统。现在在视觉变形金刚的帮助下这一切成为可能。不过，这是一个很大的单独主题。 图片由作者提供 让我们来谈谈房间里的大象。每个人都知道法学硕士会产生幻觉。在我看来，这使得它们在关键系统中无法使用，例如医疗保健决策或财务咨询。在这些领域，它可以充当人类专业人士的助手，甚至可以非常谨慎。 模特为什么会产生幻觉？它肯定不会从中得到任何好处，所以它没有任何私心，所以有几个主要原因： 大型语言模型是在来自多个来源的庞大且多样化的数据集上进行训练的。这种训练是无监督的，因此很难确保数据的公平、公正或准确。语言模型本质上无法区分真实与虚构。它们依赖于训练数据中的模式，其中可能包括冲突或主观信息。这可能会导致看似合乎逻辑但实际上不正确的输出。 像 GPT 这样的大型语言模型是为一般任务而设计的，当应用于医学、法律或金融等特定领域时，可能会产生幻觉或产生不正确的结果。出现这些幻觉是因为模型试图在没有特定领域知识的情况下创建连贯的响应。 用户通过提示提供指示。编写清晰准确的提示至关重要，就像编码一样。如果提示缺乏足够的细节或上下文，模型可能会生成不相关或不正确的响应。为了获得正确的答案，提出正确的问题非常重要。 故意错位 或者简单地说——模型被训练去撒谎。对于 ChatGPT 或 Gemini 等公开可用的模型尤其如此。他们接受过大量可疑政策的培训，以遵守各种法律和愚蠢的法规，因此他们对敏感话题提供了荒谬的答案。 上下文丢失 该模型的上下文窗口或短期记忆有限。如果对话太长或者您尝试提供的数据量太大，它将开始丢失上下文详细信息并开始产生非感官结果。我认为随着上下文窗口变大并且在某种程度上是可用计算能力的函数，这个问题很快就会得到解决。但到目前为止，这是一个问题，构建 RAG 系统以优化上下文大小非常重要。 有可能消除幻觉吗？简短的回答是否定的。有一些方法可以降低出现幻觉的可能性： 根据相关领域数据微调模型。 使用 RAG 提供有效的上下文，同时避免上下文溢出 使用提示工程创建提示，专门指示模型不要添加不确定的信息。 使用带有少量提示的即时调整。 使用LLM类似自我检查的策略"思维树"来验证其思维过程和输出。 实际上，您可以要求它返回代币的分布及其概率，然后看看模型对其所构建的内容（计算代币级别的不确定性）到底有多大信心？如果分布中的概率很低（什么被认为是低取决于任务），那么很可能模型已经开始制造（幻觉）并且对其响应完全没有信心。这可用于评估响应并向用户返回诚实的"我不知道"。 您可以使用其他模型和预言机来验证输出的真实性。 后处理和过滤机制，用于审查不符合公司政策或可能有害的输出 但是，正如我提到的，这些都不能保证不会出现幻觉。 前面说的大部分都是和文本数据相关的。但是，如果您有大量数字和表格，并且需要能够进行计算作为答案的一部分，该怎么办？事情变得很棘手，因为法学硕士不能很好地计数。即使是最好的人在简单的数学方面也很糟糕，抛开任何复杂的事情不谈。最常见的计算方法是为 LLM 提供一个工具来进行计算，例如，旧的 Elastic 或 SQL 数据库。 因此，您要做的就是使用 LLM 生成 Elastic Search 的查询，并使用它进行计算，然后使用结果生成最终输出。 例如，用户问题可能是："北美第一季度的总销售收入是多少？"。 LLM 将为 Elasticsearch 生成一个查询，如下所示： { "询问"： { "布尔"：{ "必须"： [ {"term": {"region": "北美"}}, {"范围"：{"日期"：{"gte"："2024-01-01"，"lte"："2024-03-31"}}} ] } }, "阿格斯"：{ "总收入"：{ "总和"：{ "字段"："销售收入" } } } } Elasticsearch 响应可以是： { "聚合"：{ "总收入"：{ "值"：4520000.0 } } } LLM 输出将为："北美第一季度的总销售收入为 4,520,000 美元。" Elastic 适合中等复杂的计算，如果你有一些非常复杂的东西 – 你可能必须将其委托给 NumPy 或 Pandas 脚本。 玩得开心！ 版权声明 本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com)，另:文中部分素材可能会引用自其他平台，如有侵权或其它，请联系 admin@eiefun.com，我们会第一时间配合删除
-- gReader Pro
一键将 GitHub 仓库信息提取为大模型友好文本，这个 Gitingest 有点东西
一键将 GitHub 仓库信息提取为大模型友好文本，这个 Gitingest 有点东西
https://www.oschina.net/p/cyclotruc-gitingest
GitIngest 是一个将 GitHub 仓库转换为对大型语言模型（LLM）友好的文本提取工具。可以通过替换 GitHub URL 中的 hub 为 ingest 来访问相应的提取内容。 功能特性 一键分析：只需粘贴 GitHub 仓库 URL，即可快速获取可粘贴的上下文。 智能格式化：优化输出格式，以适应 LLM 的提示。 统计数据：包括文件和目录结构、提取内容的大小，以及即将提供的令牌计数。 轻量级界面：响应式 Web 界面，便于使用。 技术栈 Tailwind CSS：用于构建用户界面的 CSS 框架。 FastAPI：用于后端框架的 Python 库。 apianalytics.dev：用于跟踪使用情况的工具。 安装指南 克隆仓库： shell git clone https://github.com/yourusername/gitingest.git cd gitingest 安装依赖： shell pip install -r requirements.txt 运行应用： shell cd src uvicorn main:app --reload 应用将在 http://localhost:8000 上可用。 Docker 支持 构建镜像： shell docker build -t gitingest . 运行容器： shell docker run -d --name gitingest -p 8000:8000 gitingest 应用将在 http://localhost:8000 上可用。
-- gReader Pro
https://www.oschina.net/p/cyclotruc-gitingest
GitIngest 是一个将 GitHub 仓库转换为对大型语言模型（LLM）友好的文本提取工具。可以通过替换 GitHub URL 中的 hub 为 ingest 来访问相应的提取内容。 功能特性 一键分析：只需粘贴 GitHub 仓库 URL，即可快速获取可粘贴的上下文。 智能格式化：优化输出格式，以适应 LLM 的提示。 统计数据：包括文件和目录结构、提取内容的大小，以及即将提供的令牌计数。 轻量级界面：响应式 Web 界面，便于使用。 技术栈 Tailwind CSS：用于构建用户界面的 CSS 框架。 FastAPI：用于后端框架的 Python 库。 apianalytics.dev：用于跟踪使用情况的工具。 安装指南 克隆仓库： shell git clone https://github.com/yourusername/gitingest.git cd gitingest 安装依赖： shell pip install -r requirements.txt 运行应用： shell cd src uvicorn main:app --reload 应用将在 http://localhost:8000 上可用。 Docker 支持 构建镜像： shell docker build -t gitingest . 运行容器： shell docker run -d --name gitingest -p 8000:8000 gitingest 应用将在 http://localhost:8000 上可用。
-- gReader Pro
YouTube 開放 AI 自動配音功能給知識型頻道！
YouTube 開放 AI 自動配音功能給知識型頻道！
https://www.inside.com.tw/article/37015-youtube-ai-dubbing-expand
YouTube 於週二宣布，自動配音功能現已向數十萬個 YouTube 合作夥伴計畫的 頻道推出，這些頻道主要是專注在資訊傳遞內容上，像是烹飪教學影片等，之後也會將功能擴大開放給其他類型的頻道。創作者僅需上傳影片，YouTube 會自動偵測語言並建立其他語言的配音版本，接著可到 YouTube Studio「語言」部分查看配音，若不滿意刪除配音即可。如果影片原本是英文，可被配音成法語、德語、印地語、印尼語、義大利語、日語、葡萄牙語和西班牙語；若影片使用上述其他語言，則會被配音為英語。不過，YouTube 也警告這項技術仍相當新，而且並不總是完美的，「我們正在努力使(配音)盡可能準確，但有時翻譯可能不太正確，或配音不能精準表現出原始說話者。」YouTube 最早於去年 VidCon 活動上，初次亮相用 AI 自動將創作者影片配音成其他語言的工具，是和 Google Area 120 的 AI 配音服務團隊 Aloud 合作研發而成，當時宣布和「數百名」創作者進行測試。YouTube 也預告將繼續與 Google DeepMind 和 Google Translate 團隊合作，目標讓配音更加自然、精準，並透過「Expressive Speech」更新，來更好的模仿創作者語氣、情感，甚至周遭的氣氛。責任編輯：Jocelyn核稿編輯：Mia 本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：YouTube 又有 AI 新工具！自動將影片配音成多種語言用 AI 生 Shorts 的時代來臨！YouTube 宣布平台整合影片模型「Veo」黑武士配音演員 James Earl Jones 過世，已授權電影公司用 AI 重現角色聲音
-- gReader Pro
https://www.inside.com.tw/article/37015-youtube-ai-dubbing-expand
YouTube 於週二宣布，自動配音功能現已向數十萬個 YouTube 合作夥伴計畫的 頻道推出，這些頻道主要是專注在資訊傳遞內容上，像是烹飪教學影片等，之後也會將功能擴大開放給其他類型的頻道。創作者僅需上傳影片，YouTube 會自動偵測語言並建立其他語言的配音版本，接著可到 YouTube Studio「語言」部分查看配音，若不滿意刪除配音即可。如果影片原本是英文，可被配音成法語、德語、印地語、印尼語、義大利語、日語、葡萄牙語和西班牙語；若影片使用上述其他語言，則會被配音為英語。不過，YouTube 也警告這項技術仍相當新，而且並不總是完美的，「我們正在努力使(配音)盡可能準確，但有時翻譯可能不太正確，或配音不能精準表現出原始說話者。」YouTube 最早於去年 VidCon 活動上，初次亮相用 AI 自動將創作者影片配音成其他語言的工具，是和 Google Area 120 的 AI 配音服務團隊 Aloud 合作研發而成，當時宣布和「數百名」創作者進行測試。YouTube 也預告將繼續與 Google DeepMind 和 Google Translate 團隊合作，目標讓配音更加自然、精準，並透過「Expressive Speech」更新，來更好的模仿創作者語氣、情感，甚至周遭的氣氛。責任編輯：Jocelyn核稿編輯：Mia 本文初稿為 INSIDE 使用 AI 編撰；快加入 INSIDE Google News 按下追蹤，給你最新、最 IN 的科技新聞！延伸閱讀：YouTube 又有 AI 新工具！自動將影片配音成多種語言用 AI 生 Shorts 的時代來臨！YouTube 宣布平台整合影片模型「Veo」黑武士配音演員 James Earl Jones 過世，已授權電影公司用 AI 重現角色聲音
-- gReader Pro
开源维护者呼吁不要用 AI 报告 Bug
开源维护者呼吁不要用 AI 报告 Bug
http://www.linuxeden.com/a/143360
随着基于大模型的 AI 系统的流行，越来越多的人使用它们去寻找 bug 和报告 bug。但众所周知大模型有"幻觉"，也就是会胡说八道，它们产生的结果通常似是而非，需要人花时间去进行判断。如果一名开源维护者收到了大量 AI 产生的 bug 报告，那么他们宝贵的时间就被浪费在鉴别 bug 报告的有效性上。Python 软件基金会安全研究员 Seth Larson 呼吁不要使用 AI 报告 Bug，认为低质量的报告应该被视为是恶意的。Curl 维护者 Daniel Stenberg 称低质量的 AI 报告给维护者带来了不必要的负担。Larson 认为开源社区应尽早采取行动，建议 bug 报告者在未经人工验证的情况下不要提交报告。 https://www.theregister.com/2024/12/10/ai_slop_bug_reports/ 转自 奇客Solidot | 开源维护者呼吁不要用 AI 报告 Bug
-- gReader Pro
http://www.linuxeden.com/a/143360
随着基于大模型的 AI 系统的流行，越来越多的人使用它们去寻找 bug 和报告 bug。但众所周知大模型有"幻觉"，也就是会胡说八道，它们产生的结果通常似是而非，需要人花时间去进行判断。如果一名开源维护者收到了大量 AI 产生的 bug 报告，那么他们宝贵的时间就被浪费在鉴别 bug 报告的有效性上。Python 软件基金会安全研究员 Seth Larson 呼吁不要使用 AI 报告 Bug，认为低质量的报告应该被视为是恶意的。Curl 维护者 Daniel Stenberg 称低质量的 AI 报告给维护者带来了不必要的负担。Larson 认为开源社区应尽早采取行动，建议 bug 报告者在未经人工验证的情况下不要提交报告。 https://www.theregister.com/2024/12/10/ai_slop_bug_reports/ 转自 奇客Solidot | 开源维护者呼吁不要用 AI 报告 Bug
-- gReader Pro
2025 年你应该告别的 5 个 JavaScript 库
2025 年你应该告别的 5 个 JavaScript 库
https://www.oschina.net/news/324033/5-javascript-libraries-say-goodbye-2025
The New Stack 发文梳理了他们认为在 2025 年可能过时的 5 个 JavaScript 库，分别是：jQuery、Moment.js、Lodash、 Underscore.js 以及 RequireJS。 并列出了相关的替代方案：Native JavaScript (for jQuery)，Date-fns or Luxon (for Moment.js)，ES6+ Native Features (for Lodash)，ES6+ Syntax (for Underscore.js)，Webpack、Vite 或 ES6 Modules (for RequireJS)。 JavaScript 生态系统发展迅速，曾经不可或缺的东西很快就会过时。继续使用不再相关的库可能会给你的应用程序带来性能问题、增加维护成本并使你的代码可读性降低。采用原生 JavaScript 功能、现代库或内置浏览器 API 可让你的堆栈保持轻量级、应用程序保持高性能并使你的开发实践保持最新。 具体分析如下： jQuery jQuery 是现代 JavaScript 库的鼻祖，因其跨浏览器支持、简单的 DOM 操作和简洁的语法而深受喜爱。然而到了 2025 年，jQuery 该正式退出历史舞台了。 文章指出，原生 JavaScript API 以及 React、Vue 和 Angular 等现代框架已经淘汰了 jQuery 的核心功能。更不用说 vanilla JavaScript 现在包含了诸如 querySelector、addEventListener 和 fetch 等原生方法，可以更方便地提供我们曾经依赖 jQuery 实现的功能。 此外，现代浏览器已经实现了标准化，因此像 jQuery 这样的跨浏览器解决方案就显得多余了。如今在应用程序中捆绑 jQuery 可能会增加不必要的臃肿，在速度为王的时代拖慢加载时间。 如果你仍然依赖 jQuery，建议考虑过渡到模块化、特定于框架的解决方案或重构代码以使用 native JS 方法。它将使你的代码更精简、更快、更易于维护。 Moment.js Moment.js 长期以来一直是默认的日期处理库，它因能够解析、验证、操作和显示日期而广受好评。然而，与较新的替代方案相比，Moment.js 现在显得笨重又不灵活，更不用说它还已经被弃用了。Moment.js 的大小约为 66 KB（已精简），在这个捆绑包大小越小性能越快、用户体验越好的时代，也可能是一个很大的负载。 推荐的替代品是 date-fns 或 luxon。两者都提供模块化导入，这意味着你可以只使用你需要的，从而大大减少包的大小。 更妙的是，JavaScript 的 Temporal API 已经发展到可以直接处理日期和时间任务，从而提供了一个更高效的解决方案，而无需依赖第三方库。"如果你还在使用 Moment.js，请将此视为开始迁移的通知。" Lodash Lodash 是一个万能实用程序库，曾经是几乎所有 JavaScript 项目的必备工具。然而时至今日，Lodash 提供的许多功能现在要么是 JavaScript 原生的，要么可以用简洁的代码轻松实现。 在 ES6 及更高版本中，诸如 Object.assign()、spread operators 和 Array 方法之类的功能已基本消除了对 Lodash 的需求。此外，Lodash 库也相当庞大，只导入一个函数往往会给项目带来大量额外开销。 Lodash 的许多实用程序在 ES6+ 中都有原生替代方案。对于一些更小众的用例，可考虑仅导入需要的特定 Lodash functions。 Underscore.js Underscore.js 是 Lodash 的前身，与 Lodash 一样，Underscore 的实用程序方法现在已在 JavaScript 中得到原生支持，要么就是可以通过更小的库或单独的函数更有效地实现。 The New Stack 认为，继续使用 Underscore 只可能给项目增加不必要的负担。脱离 Underscore 对性能和可维护性来说是一个巨大的优势，在 2025 年没有理由再坚持使用它的理由了。 RequireJS 随着 ES6 modules 的出现和现代浏览器的广泛支持，RequireJS 现在已经变得多余。ES6 提供了一种更简洁、标准化的导入和导出模块的方法，使得 RequireJS 的额外复杂性变得没有必要。 Webpack、Vite 和 Rollup 等流行的工具也提供了简化的方法来处理依赖管理，从而不再需要使用 RequireJS。此外，云自动化工具通常与这些现代捆绑程序相辅相成，提供无缝部署和扩展功能。
-- gReader Pro
https://www.oschina.net/news/324033/5-javascript-libraries-say-goodbye-2025
The New Stack 发文梳理了他们认为在 2025 年可能过时的 5 个 JavaScript 库，分别是：jQuery、Moment.js、Lodash、 Underscore.js 以及 RequireJS。 并列出了相关的替代方案：Native JavaScript (for jQuery)，Date-fns or Luxon (for Moment.js)，ES6+ Native Features (for Lodash)，ES6+ Syntax (for Underscore.js)，Webpack、Vite 或 ES6 Modules (for RequireJS)。 JavaScript 生态系统发展迅速，曾经不可或缺的东西很快就会过时。继续使用不再相关的库可能会给你的应用程序带来性能问题、增加维护成本并使你的代码可读性降低。采用原生 JavaScript 功能、现代库或内置浏览器 API 可让你的堆栈保持轻量级、应用程序保持高性能并使你的开发实践保持最新。 具体分析如下： jQuery jQuery 是现代 JavaScript 库的鼻祖，因其跨浏览器支持、简单的 DOM 操作和简洁的语法而深受喜爱。然而到了 2025 年，jQuery 该正式退出历史舞台了。 文章指出，原生 JavaScript API 以及 React、Vue 和 Angular 等现代框架已经淘汰了 jQuery 的核心功能。更不用说 vanilla JavaScript 现在包含了诸如 querySelector、addEventListener 和 fetch 等原生方法，可以更方便地提供我们曾经依赖 jQuery 实现的功能。 此外，现代浏览器已经实现了标准化，因此像 jQuery 这样的跨浏览器解决方案就显得多余了。如今在应用程序中捆绑 jQuery 可能会增加不必要的臃肿，在速度为王的时代拖慢加载时间。 如果你仍然依赖 jQuery，建议考虑过渡到模块化、特定于框架的解决方案或重构代码以使用 native JS 方法。它将使你的代码更精简、更快、更易于维护。 Moment.js Moment.js 长期以来一直是默认的日期处理库，它因能够解析、验证、操作和显示日期而广受好评。然而，与较新的替代方案相比，Moment.js 现在显得笨重又不灵活，更不用说它还已经被弃用了。Moment.js 的大小约为 66 KB（已精简），在这个捆绑包大小越小性能越快、用户体验越好的时代，也可能是一个很大的负载。 推荐的替代品是 date-fns 或 luxon。两者都提供模块化导入，这意味着你可以只使用你需要的，从而大大减少包的大小。 更妙的是，JavaScript 的 Temporal API 已经发展到可以直接处理日期和时间任务，从而提供了一个更高效的解决方案，而无需依赖第三方库。"如果你还在使用 Moment.js，请将此视为开始迁移的通知。" Lodash Lodash 是一个万能实用程序库，曾经是几乎所有 JavaScript 项目的必备工具。然而时至今日，Lodash 提供的许多功能现在要么是 JavaScript 原生的，要么可以用简洁的代码轻松实现。 在 ES6 及更高版本中，诸如 Object.assign()、spread operators 和 Array 方法之类的功能已基本消除了对 Lodash 的需求。此外，Lodash 库也相当庞大，只导入一个函数往往会给项目带来大量额外开销。 Lodash 的许多实用程序在 ES6+ 中都有原生替代方案。对于一些更小众的用例，可考虑仅导入需要的特定 Lodash functions。 Underscore.js Underscore.js 是 Lodash 的前身，与 Lodash 一样，Underscore 的实用程序方法现在已在 JavaScript 中得到原生支持，要么就是可以通过更小的库或单独的函数更有效地实现。 The New Stack 认为，继续使用 Underscore 只可能给项目增加不必要的负担。脱离 Underscore 对性能和可维护性来说是一个巨大的优势，在 2025 年没有理由再坚持使用它的理由了。 RequireJS 随着 ES6 modules 的出现和现代浏览器的广泛支持，RequireJS 现在已经变得多余。ES6 提供了一种更简洁、标准化的导入和导出模块的方法，使得 RequireJS 的额外复杂性变得没有必要。 Webpack、Vite 和 Rollup 等流行的工具也提供了简化的方法来处理依赖管理，从而不再需要使用 RequireJS。此外，云自动化工具通常与这些现代捆绑程序相辅相成，提供无缝部署和扩展功能。
-- gReader Pro
ABCoder 在大模型编程领域的探索
ABCoder 在大模型编程领域的探索
https://my.oschina.net/u/4843764/blog/16590205
本文根据字节跳动服务框架团队研发工程师高文举在 CloudWeGo 技术沙龙暨三周年庆典中演讲内容《ABCoder 在大模型编程领域的探索》整理。 前言 大语言模型（以下简称大模型或 LLM） 真正意义上火出圈，应该算是 OpenAI 发布 ChatGPT 后（22 年底）。从这个时间开始，到现在为止，已经过了很长一段时间了，市面上也出现了一些编程工具，比如 MarsCode、Copilot 或者 Cursor 等比较火的结合 IDE 的插件和工具。而实际上：经过了这么长时间的 LLM 产品发展，大家的编程方式真的被改变了吗？ 近一年多以来，我们在 LLM 编程领域做了比较多的落地尝试，有一些成果，也发现了一些问题，可以把它们简单归纳为三个方面： 意图识别不准。尤其对于复杂编程问题的描述和传递，在编程领域对于大模型来说是一个比较大的问题。 复杂任务无从下手。工程化的编程任务相对复杂或具备一定的理解成本，大模型无法准确、完备地把这类问题系统地做出来。简单来说，其实是大模型本身缺乏了一些处理编程任务的标准流程，也就是所谓的 SOP。 生成效果不理想。有些工具能够识别到意图，也能够做到 SOP 的拆解，但整个大模型或者结合大模型的一些应用，它带来的一些生成效果往往达不到我们的预期。原因可能在于其解决问题或者编程相关的一些上下文缺失或者模型本身的局限。 ABCoder Show 基于此，我们围绕 LLM 解决编程问题做了一些探索，将这个过程中的思考和实践沉淀成了 ABCoder 这个项目，也是我们今天分享的主角。尝试通过 ABCoder 来弥补或者解决前言中提到的一些问题，提升 LLM 在编程领域的表现能力。接下来我将会通过一个实机演示来具体说明。( 可通过文末视频链接观看 demo 内容) 这条链路是从需求沟通到对应的 IDL 生成，到项目生成，这几个标高亮的部分都是通过 ABCoder 进行辅助增强的一个流程。 当项目正式部署起来之后，继续根据新的需求进行调整，我们通过 ABCoder 理解存量项目，更新它，然后部署新的更新后的项目。可以看到，最后的项目也跑起来了。之后，我们将这个项目通过 ABCoder 进行项目的拆解。使用 ABCoder 对其进行理解和压缩，对应生成了高质量项目文档。 ABCoder 简介 ABCoder 背景 ABCoder 出现的背景来自于我们对大模型在语义化场景下的一些能力涌现的观察，大模型在一定程度上具备理解问题、解答问题的能力。这为我们开启了一条充满希望的道路，我们期望借助大模型的能力，在这条道路上实现一些与编程领域相关的应用。 但实际上，在我们落地的过程中也发现了一些问题，包括大模型在处理多层次逻辑，或者涉及到复杂的一些算法设计，亦或是在大型的系统架构时，大模型的表现都没有达到我们最初的预期。时间线回到去年年底，为了尝试优化、解决我们遇到的问题，我们发起了 ABCoder 项目。 什么是 ABCoder ABCoder 的命名来源于 AI-Based Coder 的缩写。核心是围绕 LLMs 构建一套 编程增强的解决方案。它能够通过弥补模型缺乏的 编程经验和 复杂逻辑思维能力，在编程和算法设计以及大型系统构建中稳定发挥 LLM 的涌现能力。 从左边的架构图可以看到，它一共分了四层： 第一层 Sources 层，是 ABCoder 将要处理的知识源，包括 Wikis——编程项目相关的一些用户文档，Grammar ——对应的编程语言，自身的语法、规则以及对应配套的工具链。最为重要的是 Repos，在 ABCoder 里，Repos 是我们第一优先级（first class）处理的知识，是我们围绕着 LLM、帮助 LLM 去理解所有编程任务的一个最核心的知识来源。 在帮助我们理解和解析 Repos 的过程中，我们做了第二层 Parsers 层。这一层我们做了大量的实践，包括实现了基于 AST 和 LSP 的 Parsers，能够将对应的 Repos，也就是语言的整个项目打包解析为面向 LLM 的更加亲和的知识原料。 第三层是 工具层，主要是一些基础能力的封装，包括数据加载的工具 Loaders，Indexing 或 Retrieval 等相似度检索相关的工具封装。 最后是 Workflows 层和 LLMs 层，Workflows 层承载的是帮助模型构建 SOP 的角色，它有机的将 LLMs 结合进来，驱动整个模型正常运转。 Workflows 层有三个图例，最左边是 sequence 的 workflows，它是一条串型的执行链路；中间是分支或者并行的 workflows；最后有一个 circle，这是 circle 范式的应用，目前主流的一些 Agent 都基于 circle 这样的方式来呈现。在这个基础上，我们通过结合大量的 workflows 和 LLMs 进行有机的交互，实现它对上面整个的应用支持。 回到真正内核的部分，整个 ABCoder 没有太多复杂的概念，主要是两个词， RAG 和 慢思考。这套系统就是为了去弥补模型在处理编程任务时缺乏的一些编程经验，我们通过 RAG 的方式去弥补编程经验的缺失，通过 workflows 弥补多级流转，让模型的生成慢下来，也就是经过多轮的迭代来尝试逼近一个更为准确的答案。 ABCoder 的实现 为了更好地让大家快速地理解 ABCoder 的本质，我们随着核心的实现来进一步阐述。熟悉 RAG 架构的同学其实很清楚了，为了实现 RAG，我们有两条具体的实现路径。 第一条是离线路径，是对于存量知识（绿框）的处理，包括用户文档、编程语言，以及编程项目都是我们核心需要处理的单位。我们将它们在离线路径上进行一些处理，转化为蓝色部分离线知识库的内容。 第二条是在线路径，我们运用知识进行工具化以及 Workflows 的封装，实现在线路径上的问答或者插件封装，以及 IDE 上的辅助能力。 离线路径 在离线实现侧，核心是上图中的第三点，即 编程项目离线 知识 的制作，对应的是我们开发的 LLM 原生解析器，负责处理编程项目。凭借这个能力，我们将编程项目自身作为一个知识来源，结合 LLM 来主动生成和丰富用户文档，作为用户文档的补充。 举例说明，图中左侧列出来的是一个典型的 Hertz 项目的 Layout。我们现在要将这个项目输入到 LLM 里，如果单纯地去输入这个项目本身，那将有若干个文件；如果将这些文件一股脑灌给 LLM，它也并不能很好地去理解这些文件集合。但实际上我们的编程项目有一个内在的关联性，这个关联性是什么呢？可以看到这里有一个例子，我们通过解析-压缩-结构化，得到了上图右侧部分看起来像是一棵树的结构，这个树的结构就是我们在项目里函数调用的一棵树。main 对应的是 main 函数，它同时依赖 r egister 以及 server.Default 这两个函数节点，它们可能也有额外的子依赖。这个树状的依赖关系其实就是项目中函数调用的关系的呈现。 上图左下侧可以看到，在这棵树下列出了五个函数和它的描述所对应的列表。这里有一个小细节，就是 1、2、3、4、5 的顺序是从这棵树叶子节点开始反向往上去理解，直到最上层的 main 函数。原因非常简单，我们在做 ABCoder 理解时，就是按照这样的顺序一步一步将整个项目进行拆解，最终达到 main。因此，每一个函数只需要关注自己所调用的函数以及本身内在的逻辑就够了，这样可以一定程度减少我们在理解函数节点时模型本身的上下文发散，或者说避免一股脑输入的信息超过了我们希望让它生成或者联想的上下文限制的问题，来保证信息准确、聚焦，达到很好的理解和压缩的效果。 以上是我们用函数作为一个示例。在处理编程项目时，除了函数以外，同时还包括对类型以及变量的处理。通过这套语言无关的 Schema 抽象，最终得到的就是将编程语言或源代码作为最后在线路径上用到的 knowledge，整个过程概括为一句话，即图中红色框所示 —— Source code as knowledge。 在线路径 相对离线路径，在线路径方面的实现非常简单。我们将经过 ABCoder 处理并消化后的知识，结合 Retrieval & Augment（检索&增强）来实现工具化以及 Workflows 的构建和调用，最终在在线链路上就能够很好地去用到刚刚在离线阶段处理的这些源码知识了。 应用落地 接下面我们来看看在应用侧是怎样的状态。回到整体架构图。有人说过这么一句话：不会做饭的厨子不是好的程序员，我觉得这句话很有意思，顺着这个逻辑，我尝试将我们的架构做了一个形象的拆解，左边是我们的架构，右边映射到的是如果将做饭这个过程映射到这套架构中，看看每一层究竟对应的是什么样的角色？ 首先，最上面绿色的部分对应的是知识库，它就是我们做饭的食材。Repo parsers 对应的是刀具，我们需要将食材通过 Repo parsers 进行一些拆解、分割，把它做到适合去炒、蒸或者煮的形态。之后，结合大量的 Tools，对应的就是锅铲类似的烹饪工具，帮助我们去处理不同形态的食材，或者在不同的阶段去处理食材。最下面这层就是 Workflows 菜谱加上 LLMs 厨子，有了菜谱，加上厨子，结合上面的烹饪工具就能够做出一锅好菜了。回过头来看 ABCoder 的这套架构，聪明的小伙伴可能已经发现，ABCoder 对应的并不是具体的某一个应用，而是一系列的应用，或者说其实是孵化应用的基座。 通过 Tools、Workflows 以及知识库进行有机组合我们就能够尝试构建出一系列的应用。上图是我们内部目前正在尝试的三大应用落地方向。 第一个方向是 SmartComment，它也是 ABCoder 能力最直接的应用尝试，它的目标是产出高质量的注释以及相关的用户文档，核心的 workflows 以及 Tools 如图表中所示，对应的知识库就是 ABCoder 解析完之后的仓库语料。其他几个方向也可以在图表中看到。 应用落地的里程碑 以上提到的三大应用制定了近期和远期的里程碑。当前，三大应用方向近期的里程碑已经陆陆续续达成。在远期上，SmartComment 将在半年到一年的时间内，探索出一套文档工程相对应的实现，即 Code2Wiki，就是通过源码的方式去补充用户文档的数量以及质量。在 Wiseman 侧，远期是希望实现从需求沟通到 全自动化研发流程的构建。语言翻译侧，不仅仅要做到项目本身的翻译，远期将实现的是一套渐进式的翻译流，包括 项目以及研发人力 的 A2B 转换，共同成长。 未来规划与展望 关于开源 在开源方面，ABCoder 将会以围绕 CloudWeGo 构建 AI 驱动的微服务生态体系作为我们的核心目标。 在关键路径上，我们后续将对 CloudWeGo 所有的组件进行 ABCoder 索引化，刚刚在 demo 里看到的处理 Hertz 的这套流程，将会无缝应用到 CloudWeGo 下的所有组件。之后，ABCoder 的应用将走进 CloudWeGo 社区，包括在研发行为以及社区生态上，为研发社区赋能。最后，当应用成熟度打磨到一定阶段，将在 CloudWeGo 上完成正式开源，之后以社区的方式进行持续迭代和演进。 关于展望 在内部，ABCoder 提供的是编程语言结合 LLM 的一套解决方案，其终极理想形态被称为「 空」。「空」是一套语言中立的编程范式，它是完全 LLM 原生的一套编程模式，期望能够为整个生产流程以及后面的发布流程，打通整个相关生态。 在外部，ABCoder 的表现在一定程度上依赖模型本身的能力。外部陆续发布的一些模型，也让我们看到了一些眼前一亮的突破，包括模型本身在深度和广度上的突破。近期一个叫做 OpenAI O1 的模型发布是一个比较好的例子。它通过引入类似强化学习的方式，在模型中内置一条思维链，主动将模型的生成降速，结合多轮思考和评估能够有效解决更加复杂的问题，其表现出的能力也是之前其他的模型未曾带来的。结合这类模型，或许在未来也会持续突破目前LLM 在编程领域的一些能力边界。 点击查看： 三周年技术沙龙视频回放 三周年演讲 PPT 下载链接
-- gReader Pro
https://my.oschina.net/u/4843764/blog/16590205
本文根据字节跳动服务框架团队研发工程师高文举在 CloudWeGo 技术沙龙暨三周年庆典中演讲内容《ABCoder 在大模型编程领域的探索》整理。 前言 大语言模型（以下简称大模型或 LLM） 真正意义上火出圈，应该算是 OpenAI 发布 ChatGPT 后（22 年底）。从这个时间开始，到现在为止，已经过了很长一段时间了，市面上也出现了一些编程工具，比如 MarsCode、Copilot 或者 Cursor 等比较火的结合 IDE 的插件和工具。而实际上：经过了这么长时间的 LLM 产品发展，大家的编程方式真的被改变了吗？ 近一年多以来，我们在 LLM 编程领域做了比较多的落地尝试，有一些成果，也发现了一些问题，可以把它们简单归纳为三个方面： 意图识别不准。尤其对于复杂编程问题的描述和传递，在编程领域对于大模型来说是一个比较大的问题。 复杂任务无从下手。工程化的编程任务相对复杂或具备一定的理解成本，大模型无法准确、完备地把这类问题系统地做出来。简单来说，其实是大模型本身缺乏了一些处理编程任务的标准流程，也就是所谓的 SOP。 生成效果不理想。有些工具能够识别到意图，也能够做到 SOP 的拆解，但整个大模型或者结合大模型的一些应用，它带来的一些生成效果往往达不到我们的预期。原因可能在于其解决问题或者编程相关的一些上下文缺失或者模型本身的局限。 ABCoder Show 基于此，我们围绕 LLM 解决编程问题做了一些探索，将这个过程中的思考和实践沉淀成了 ABCoder 这个项目，也是我们今天分享的主角。尝试通过 ABCoder 来弥补或者解决前言中提到的一些问题，提升 LLM 在编程领域的表现能力。接下来我将会通过一个实机演示来具体说明。( 可通过文末视频链接观看 demo 内容) 这条链路是从需求沟通到对应的 IDL 生成，到项目生成，这几个标高亮的部分都是通过 ABCoder 进行辅助增强的一个流程。 当项目正式部署起来之后，继续根据新的需求进行调整，我们通过 ABCoder 理解存量项目，更新它，然后部署新的更新后的项目。可以看到，最后的项目也跑起来了。之后，我们将这个项目通过 ABCoder 进行项目的拆解。使用 ABCoder 对其进行理解和压缩，对应生成了高质量项目文档。 ABCoder 简介 ABCoder 背景 ABCoder 出现的背景来自于我们对大模型在语义化场景下的一些能力涌现的观察，大模型在一定程度上具备理解问题、解答问题的能力。这为我们开启了一条充满希望的道路，我们期望借助大模型的能力，在这条道路上实现一些与编程领域相关的应用。 但实际上，在我们落地的过程中也发现了一些问题，包括大模型在处理多层次逻辑，或者涉及到复杂的一些算法设计，亦或是在大型的系统架构时，大模型的表现都没有达到我们最初的预期。时间线回到去年年底，为了尝试优化、解决我们遇到的问题，我们发起了 ABCoder 项目。 什么是 ABCoder ABCoder 的命名来源于 AI-Based Coder 的缩写。核心是围绕 LLMs 构建一套 编程增强的解决方案。它能够通过弥补模型缺乏的 编程经验和 复杂逻辑思维能力，在编程和算法设计以及大型系统构建中稳定发挥 LLM 的涌现能力。 从左边的架构图可以看到，它一共分了四层： 第一层 Sources 层，是 ABCoder 将要处理的知识源，包括 Wikis——编程项目相关的一些用户文档，Grammar ——对应的编程语言，自身的语法、规则以及对应配套的工具链。最为重要的是 Repos，在 ABCoder 里，Repos 是我们第一优先级（first class）处理的知识，是我们围绕着 LLM、帮助 LLM 去理解所有编程任务的一个最核心的知识来源。 在帮助我们理解和解析 Repos 的过程中，我们做了第二层 Parsers 层。这一层我们做了大量的实践，包括实现了基于 AST 和 LSP 的 Parsers，能够将对应的 Repos，也就是语言的整个项目打包解析为面向 LLM 的更加亲和的知识原料。 第三层是 工具层，主要是一些基础能力的封装，包括数据加载的工具 Loaders，Indexing 或 Retrieval 等相似度检索相关的工具封装。 最后是 Workflows 层和 LLMs 层，Workflows 层承载的是帮助模型构建 SOP 的角色，它有机的将 LLMs 结合进来，驱动整个模型正常运转。 Workflows 层有三个图例，最左边是 sequence 的 workflows，它是一条串型的执行链路；中间是分支或者并行的 workflows；最后有一个 circle，这是 circle 范式的应用，目前主流的一些 Agent 都基于 circle 这样的方式来呈现。在这个基础上，我们通过结合大量的 workflows 和 LLMs 进行有机的交互，实现它对上面整个的应用支持。 回到真正内核的部分，整个 ABCoder 没有太多复杂的概念，主要是两个词， RAG 和 慢思考。这套系统就是为了去弥补模型在处理编程任务时缺乏的一些编程经验，我们通过 RAG 的方式去弥补编程经验的缺失，通过 workflows 弥补多级流转，让模型的生成慢下来，也就是经过多轮的迭代来尝试逼近一个更为准确的答案。 ABCoder 的实现 为了更好地让大家快速地理解 ABCoder 的本质，我们随着核心的实现来进一步阐述。熟悉 RAG 架构的同学其实很清楚了，为了实现 RAG，我们有两条具体的实现路径。 第一条是离线路径，是对于存量知识（绿框）的处理，包括用户文档、编程语言，以及编程项目都是我们核心需要处理的单位。我们将它们在离线路径上进行一些处理，转化为蓝色部分离线知识库的内容。 第二条是在线路径，我们运用知识进行工具化以及 Workflows 的封装，实现在线路径上的问答或者插件封装，以及 IDE 上的辅助能力。 离线路径 在离线实现侧，核心是上图中的第三点，即 编程项目离线 知识 的制作，对应的是我们开发的 LLM 原生解析器，负责处理编程项目。凭借这个能力，我们将编程项目自身作为一个知识来源，结合 LLM 来主动生成和丰富用户文档，作为用户文档的补充。 举例说明，图中左侧列出来的是一个典型的 Hertz 项目的 Layout。我们现在要将这个项目输入到 LLM 里，如果单纯地去输入这个项目本身，那将有若干个文件；如果将这些文件一股脑灌给 LLM，它也并不能很好地去理解这些文件集合。但实际上我们的编程项目有一个内在的关联性，这个关联性是什么呢？可以看到这里有一个例子，我们通过解析-压缩-结构化，得到了上图右侧部分看起来像是一棵树的结构，这个树的结构就是我们在项目里函数调用的一棵树。main 对应的是 main 函数，它同时依赖 r egister 以及 server.Default 这两个函数节点，它们可能也有额外的子依赖。这个树状的依赖关系其实就是项目中函数调用的关系的呈现。 上图左下侧可以看到，在这棵树下列出了五个函数和它的描述所对应的列表。这里有一个小细节，就是 1、2、3、4、5 的顺序是从这棵树叶子节点开始反向往上去理解，直到最上层的 main 函数。原因非常简单，我们在做 ABCoder 理解时，就是按照这样的顺序一步一步将整个项目进行拆解，最终达到 main。因此，每一个函数只需要关注自己所调用的函数以及本身内在的逻辑就够了，这样可以一定程度减少我们在理解函数节点时模型本身的上下文发散，或者说避免一股脑输入的信息超过了我们希望让它生成或者联想的上下文限制的问题，来保证信息准确、聚焦，达到很好的理解和压缩的效果。 以上是我们用函数作为一个示例。在处理编程项目时，除了函数以外，同时还包括对类型以及变量的处理。通过这套语言无关的 Schema 抽象，最终得到的就是将编程语言或源代码作为最后在线路径上用到的 knowledge，整个过程概括为一句话，即图中红色框所示 —— Source code as knowledge。 在线路径 相对离线路径，在线路径方面的实现非常简单。我们将经过 ABCoder 处理并消化后的知识，结合 Retrieval & Augment（检索&增强）来实现工具化以及 Workflows 的构建和调用，最终在在线链路上就能够很好地去用到刚刚在离线阶段处理的这些源码知识了。 应用落地 接下面我们来看看在应用侧是怎样的状态。回到整体架构图。有人说过这么一句话：不会做饭的厨子不是好的程序员，我觉得这句话很有意思，顺着这个逻辑，我尝试将我们的架构做了一个形象的拆解，左边是我们的架构，右边映射到的是如果将做饭这个过程映射到这套架构中，看看每一层究竟对应的是什么样的角色？ 首先，最上面绿色的部分对应的是知识库，它就是我们做饭的食材。Repo parsers 对应的是刀具，我们需要将食材通过 Repo parsers 进行一些拆解、分割，把它做到适合去炒、蒸或者煮的形态。之后，结合大量的 Tools，对应的就是锅铲类似的烹饪工具，帮助我们去处理不同形态的食材，或者在不同的阶段去处理食材。最下面这层就是 Workflows 菜谱加上 LLMs 厨子，有了菜谱，加上厨子，结合上面的烹饪工具就能够做出一锅好菜了。回过头来看 ABCoder 的这套架构，聪明的小伙伴可能已经发现，ABCoder 对应的并不是具体的某一个应用，而是一系列的应用，或者说其实是孵化应用的基座。 通过 Tools、Workflows 以及知识库进行有机组合我们就能够尝试构建出一系列的应用。上图是我们内部目前正在尝试的三大应用落地方向。 第一个方向是 SmartComment，它也是 ABCoder 能力最直接的应用尝试，它的目标是产出高质量的注释以及相关的用户文档，核心的 workflows 以及 Tools 如图表中所示，对应的知识库就是 ABCoder 解析完之后的仓库语料。其他几个方向也可以在图表中看到。 应用落地的里程碑 以上提到的三大应用制定了近期和远期的里程碑。当前，三大应用方向近期的里程碑已经陆陆续续达成。在远期上，SmartComment 将在半年到一年的时间内，探索出一套文档工程相对应的实现，即 Code2Wiki，就是通过源码的方式去补充用户文档的数量以及质量。在 Wiseman 侧，远期是希望实现从需求沟通到 全自动化研发流程的构建。语言翻译侧，不仅仅要做到项目本身的翻译，远期将实现的是一套渐进式的翻译流，包括 项目以及研发人力 的 A2B 转换，共同成长。 未来规划与展望 关于开源 在开源方面，ABCoder 将会以围绕 CloudWeGo 构建 AI 驱动的微服务生态体系作为我们的核心目标。 在关键路径上，我们后续将对 CloudWeGo 所有的组件进行 ABCoder 索引化，刚刚在 demo 里看到的处理 Hertz 的这套流程，将会无缝应用到 CloudWeGo 下的所有组件。之后，ABCoder 的应用将走进 CloudWeGo 社区，包括在研发行为以及社区生态上，为研发社区赋能。最后，当应用成熟度打磨到一定阶段，将在 CloudWeGo 上完成正式开源，之后以社区的方式进行持续迭代和演进。 关于展望 在内部，ABCoder 提供的是编程语言结合 LLM 的一套解决方案，其终极理想形态被称为「 空」。「空」是一套语言中立的编程范式，它是完全 LLM 原生的一套编程模式，期望能够为整个生产流程以及后面的发布流程，打通整个相关生态。 在外部，ABCoder 的表现在一定程度上依赖模型本身的能力。外部陆续发布的一些模型，也让我们看到了一些眼前一亮的突破，包括模型本身在深度和广度上的突破。近期一个叫做 OpenAI O1 的模型发布是一个比较好的例子。它通过引入类似强化学习的方式，在模型中内置一条思维链，主动将模型的生成降速，结合多轮思考和评估能够有效解决更加复杂的问题，其表现出的能力也是之前其他的模型未曾带来的。结合这类模型，或许在未来也会持续突破目前LLM 在编程领域的一些能力边界。 点击查看： 三周年技术沙龙视频回放 三周年演讲 PPT 下载链接
-- gReader Pro
基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收！
基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收！
https://www.oschina.net/news/323550
基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收！ COLING，国际计算语言学会议（International Conference on Computational Linguistics），是自然语言处理和计算语言学领域的顶级国际会议（CCF 推荐 B 类国际会议）。COLING 2025 将于 2025 年 1 月 19 日至 24 日在阿联酋阿布扎比召开。VisualRWKV 论文已被 COLING 2025 主会接收。 论文标题：VisualRWKV: Exploring Recurrent Neural Networks for Visual Language Models 作者：Haowen Hou, Peigen Zeng, Fei Ma, Fei Richard Yu。 论文：https://arxiv.org/abs/2406.13362 代码：https://github.com/howard-hou/VisualRWKV 摘要 视觉语言模型（VLMs）随着大型语言模型的成功迅速发展。然而，将高效的线性循环神经网络（RNNs）架构整合到 VLMs 中的尝试还相对较少。在这项研究中，我们提出了 VisualRWKV，这是线性 RNN 模型首次应用于多模态学习任务，利用了预训练的 RWKV 语言模型。 我们提出了数据依赖的递归和三明治提示词来增强我们的建模能力，以及一个 2D 图像扫描机制来丰富视觉序列的处理。广泛的实验表明，VisualRWKV 在各种基准测试上达到了与基于 Transformer 的模型如 LLaVA-1.5 相竞争的性能，如图 1所示。同时，当上下文长度达到 24K 时，推理速度比 LLaVA-1.5 快3.98 倍，GPU 显存占用少 54%。 研究背景 视觉语言模型发展：大型语言模型在自然语言处理中表现出色，视觉语言模型（VLMs）通过整合视觉和文本信息，在解决视觉问题和推进视觉 - 语言任务方面潜力巨大，但现有模型因 Transformer 架构自注意力机制存在计算和内存复杂度高的问题，限制了其在边缘设备的应用。 线性 RNN 模型优势：RWKV 模型作为新型递归神经网络架构，在大规模数据性能上超越 Transformers，具有线性可扩展性，为长序列建模瓶颈提供解决方案，但在多模态任务应用方面的研究较少 VisualRWKV 模型设计 VisualRWKV 的整体模型结构如图 2所示，其中红字是 VisualRWKV 核心创新点。分别是数据依赖循环（Data-dependent Recurrence），三明治提示词（Sandwich Prompt）和双向扫描（Bidirectional Scanning)。 图 2 VisualRWKV 架构概述和三种提示词策略。图像在前提示：将图像标特征于文本向量之前；图像在后提示：将图像特征置于文本向量之后；三明治提示：将图像特征置于文本向量之间。红色文字表示主要贡献。 三明治提示词 如图 2 所示，设计了图像在前提示、图像在后提示和三明治提示三种方法，实验表明三明治提示效果最佳，能让模型在处理图像前回顾指令，更有针对性提取信息，减轻因图像标记减少导致的信息丢失。 数据依赖循环 Data-dependent Recurrence 可以有效增强 RWKV 模型的能力和容量，如图 3所示。 图 3 Data-dependent Recurrence 示意图，左边：时间混合模块的示意图，右边：时间混合模块的 RNN 视角。虚线箭头表示数据依赖的连接。 Data-dependent Recurrence 主要包括如下 2 点设计： 数据依赖的 Token Shift：通过定义低秩适应（lora）和数据依赖线性插值（ddlerp），动态分配新数据与现有数据比例，拓宽模型容量。 数据依赖的时间混合：将时间衰减向量从固定参数变为动态，使模型能更灵活适应输入数据，提升性能 如下表所示，VisualRWKV 引入 Data-dependent Recurrence 后，在 VQA 测试集上效果上涨了接近 15 个点，非常让人印象深刻。 我们选择在视觉问答 VQA-v2（VQA）、科学问答 ScienceQA（SQA）、文本视觉问答 TextVQA（TQA）和通用视觉问答 GQA 上进行实验，以检验模型的能力。 图像扫描机制 如图 4所示，我们探索了单向块、双向块和多向块三种变体，实验显示单向扫描不适合处理 2D 视觉信息，双向扫描在处理多模态学习任务的 2D 视觉信息方面表现较好。因为仅仅是调整不同层的扫描方向，也不并会增加模型总体的计算量。 图 4 展示了 3种不同的多模态 RWKV 块：单向块（左），双向块（中），以及多向块（右）。顶部还描绘了四种扫描模式。 实验结果 性能比较 VisualRWKV 在 8 个基准测试中的 3 个取得最佳性能，在 SQA 基准测试中排名第二，与 LLaVA-1.5 相比，在多个基准测试中表现更优，尤其在 MMB-cn 中文测试集上领先明显，表明 RWKV 语言模型多语言能力更强。表 2展示了我们提出的 VisualRWKV 模型与一些最先进的多模态大型语言模型的比较。VisualRWKV 在8 个基准测试中的 3个中取得了最佳性能，在 SQA 基准测试中排名第二。与规模参数相似且多模态训练数据量相同的 LLaVA-1.5 7B 相比，我们的模型（VisualRWKV-7B）在 4个基准测试中表现更好：SQA（68.2%对 66.8%）、GQA（64.3%对 62.0%）、MMB（65.8%对 64.3%）和 MMB-cn（63.7%对 30.5%）。值得注意的是，VisualRWKV 和LLaVA-1.5 使用了完全相同的训练数据。然而，在 MMB-cn 中文测试集上，VisualRWKV 显示出了显著的领先优势。这可能表明 RWKV 语言模型具有更强的多语言能力。这些有希望的结果不仅证实了 VisualRWKV 模型的有效性，还突显了线性 RNN 模型在多模态学习任务中的重要潜力。 由于空间限制，基准测试名称被缩写。VQA；GQA；SQA：ScienceQA-IMG；TQA：TextVQA；POPE；MME；MMB：MMBench；MMB-cn：MMBench-CN。PT 和IT 分别表示预训练和指令调优阶段涉及的样本数量。"Res."代表"分辨率"。 消融实验 表 3展示了在三种提示方法中，我们提出的三明治提示表现最佳，传统的先图像后提示排在第二位，而先图像后提示的效果最差。三明治提示增强效果的原因如下：通过让模型在处理图像之前先回顾指令，三明治提示有助于更有针对性地从图像中提取信息，从而加强图像信息检索过程中的条件方面。然而，仅仅将指令放在图像之前是不够的。我们观察到，图像后提示的效果明显较差。仅仅将指令放在图像前面是不充分的；我们发现图像后提示的效果明显较差。这是因为线性 RNN 模型在处理图像后往往会忘记指令信息，需要重复指令以获得更好的结果。此外，我们的研究表明，三明治提示能够有效减轻由于图像标记减少导致信息丢失的问题，即使只有少量的图像标记也能保持好的结果。 我们比较了三种图像扫描机制：单向扫描（UniDir）、双向扫描（BiDir）和多向扫描（MultiDir）。如表 4所示，UniDir 的表现最差，因为它天生不适合处理 2D 视觉信息。BiDir 和MultiDir 在各种基准测试评估中显示出相似的结果，但 BiDir 在大多数情况下表现更好，突显了它在处理多模态学习任务中的 2D 视觉信息方面的优势。 效率分析与文本能力 与 LLaVA-1.5 相比，在 24K 上下文时，VisualRWKV 推理速度快 3.98 倍，GPU 内存消耗降低 54%。此外，VisualRWKV 在文本能力上未出现退化，在多语言文本能力上与文本专用的 RWKV 基本一致，得益于多语言 ShareGPT4 数据的整合。
-- gReader Pro
https://www.oschina.net/news/323550
基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收！ COLING，国际计算语言学会议（International Conference on Computational Linguistics），是自然语言处理和计算语言学领域的顶级国际会议（CCF 推荐 B 类国际会议）。COLING 2025 将于 2025 年 1 月 19 日至 24 日在阿联酋阿布扎比召开。VisualRWKV 论文已被 COLING 2025 主会接收。 论文标题：VisualRWKV: Exploring Recurrent Neural Networks for Visual Language Models 作者：Haowen Hou, Peigen Zeng, Fei Ma, Fei Richard Yu。 论文：https://arxiv.org/abs/2406.13362 代码：https://github.com/howard-hou/VisualRWKV 摘要 视觉语言模型（VLMs）随着大型语言模型的成功迅速发展。然而，将高效的线性循环神经网络（RNNs）架构整合到 VLMs 中的尝试还相对较少。在这项研究中，我们提出了 VisualRWKV，这是线性 RNN 模型首次应用于多模态学习任务，利用了预训练的 RWKV 语言模型。 我们提出了数据依赖的递归和三明治提示词来增强我们的建模能力，以及一个 2D 图像扫描机制来丰富视觉序列的处理。广泛的实验表明，VisualRWKV 在各种基准测试上达到了与基于 Transformer 的模型如 LLaVA-1.5 相竞争的性能，如图 1所示。同时，当上下文长度达到 24K 时，推理速度比 LLaVA-1.5 快3.98 倍，GPU 显存占用少 54%。 研究背景 视觉语言模型发展：大型语言模型在自然语言处理中表现出色，视觉语言模型（VLMs）通过整合视觉和文本信息，在解决视觉问题和推进视觉 - 语言任务方面潜力巨大，但现有模型因 Transformer 架构自注意力机制存在计算和内存复杂度高的问题，限制了其在边缘设备的应用。 线性 RNN 模型优势：RWKV 模型作为新型递归神经网络架构，在大规模数据性能上超越 Transformers，具有线性可扩展性，为长序列建模瓶颈提供解决方案，但在多模态任务应用方面的研究较少 VisualRWKV 模型设计 VisualRWKV 的整体模型结构如图 2所示，其中红字是 VisualRWKV 核心创新点。分别是数据依赖循环（Data-dependent Recurrence），三明治提示词（Sandwich Prompt）和双向扫描（Bidirectional Scanning)。 图 2 VisualRWKV 架构概述和三种提示词策略。图像在前提示：将图像标特征于文本向量之前；图像在后提示：将图像特征置于文本向量之后；三明治提示：将图像特征置于文本向量之间。红色文字表示主要贡献。 三明治提示词 如图 2 所示，设计了图像在前提示、图像在后提示和三明治提示三种方法，实验表明三明治提示效果最佳，能让模型在处理图像前回顾指令，更有针对性提取信息，减轻因图像标记减少导致的信息丢失。 数据依赖循环 Data-dependent Recurrence 可以有效增强 RWKV 模型的能力和容量，如图 3所示。 图 3 Data-dependent Recurrence 示意图，左边：时间混合模块的示意图，右边：时间混合模块的 RNN 视角。虚线箭头表示数据依赖的连接。 Data-dependent Recurrence 主要包括如下 2 点设计： 数据依赖的 Token Shift：通过定义低秩适应（lora）和数据依赖线性插值（ddlerp），动态分配新数据与现有数据比例，拓宽模型容量。 数据依赖的时间混合：将时间衰减向量从固定参数变为动态，使模型能更灵活适应输入数据，提升性能 如下表所示，VisualRWKV 引入 Data-dependent Recurrence 后，在 VQA 测试集上效果上涨了接近 15 个点，非常让人印象深刻。 我们选择在视觉问答 VQA-v2（VQA）、科学问答 ScienceQA（SQA）、文本视觉问答 TextVQA（TQA）和通用视觉问答 GQA 上进行实验，以检验模型的能力。 图像扫描机制 如图 4所示，我们探索了单向块、双向块和多向块三种变体，实验显示单向扫描不适合处理 2D 视觉信息，双向扫描在处理多模态学习任务的 2D 视觉信息方面表现较好。因为仅仅是调整不同层的扫描方向，也不并会增加模型总体的计算量。 图 4 展示了 3种不同的多模态 RWKV 块：单向块（左），双向块（中），以及多向块（右）。顶部还描绘了四种扫描模式。 实验结果 性能比较 VisualRWKV 在 8 个基准测试中的 3 个取得最佳性能，在 SQA 基准测试中排名第二，与 LLaVA-1.5 相比，在多个基准测试中表现更优，尤其在 MMB-cn 中文测试集上领先明显，表明 RWKV 语言模型多语言能力更强。表 2展示了我们提出的 VisualRWKV 模型与一些最先进的多模态大型语言模型的比较。VisualRWKV 在8 个基准测试中的 3个中取得了最佳性能，在 SQA 基准测试中排名第二。与规模参数相似且多模态训练数据量相同的 LLaVA-1.5 7B 相比，我们的模型（VisualRWKV-7B）在 4个基准测试中表现更好：SQA（68.2%对 66.8%）、GQA（64.3%对 62.0%）、MMB（65.8%对 64.3%）和 MMB-cn（63.7%对 30.5%）。值得注意的是，VisualRWKV 和LLaVA-1.5 使用了完全相同的训练数据。然而，在 MMB-cn 中文测试集上，VisualRWKV 显示出了显著的领先优势。这可能表明 RWKV 语言模型具有更强的多语言能力。这些有希望的结果不仅证实了 VisualRWKV 模型的有效性，还突显了线性 RNN 模型在多模态学习任务中的重要潜力。 由于空间限制，基准测试名称被缩写。VQA；GQA；SQA：ScienceQA-IMG；TQA：TextVQA；POPE；MME；MMB：MMBench；MMB-cn：MMBench-CN。PT 和IT 分别表示预训练和指令调优阶段涉及的样本数量。"Res."代表"分辨率"。 消融实验 表 3展示了在三种提示方法中，我们提出的三明治提示表现最佳，传统的先图像后提示排在第二位，而先图像后提示的效果最差。三明治提示增强效果的原因如下：通过让模型在处理图像之前先回顾指令，三明治提示有助于更有针对性地从图像中提取信息，从而加强图像信息检索过程中的条件方面。然而，仅仅将指令放在图像之前是不够的。我们观察到，图像后提示的效果明显较差。仅仅将指令放在图像前面是不充分的；我们发现图像后提示的效果明显较差。这是因为线性 RNN 模型在处理图像后往往会忘记指令信息，需要重复指令以获得更好的结果。此外，我们的研究表明，三明治提示能够有效减轻由于图像标记减少导致信息丢失的问题，即使只有少量的图像标记也能保持好的结果。 我们比较了三种图像扫描机制：单向扫描（UniDir）、双向扫描（BiDir）和多向扫描（MultiDir）。如表 4所示，UniDir 的表现最差，因为它天生不适合处理 2D 视觉信息。BiDir 和MultiDir 在各种基准测试评估中显示出相似的结果，但 BiDir 在大多数情况下表现更好，突显了它在处理多模态学习任务中的 2D 视觉信息方面的优势。 效率分析与文本能力 与 LLaVA-1.5 相比，在 24K 上下文时，VisualRWKV 推理速度快 3.98 倍，GPU 内存消耗降低 54%。此外，VisualRWKV 在文本能力上未出现退化，在多语言文本能力上与文本专用的 RWKV 基本一致，得益于多语言 ShareGPT4 数据的整合。
-- gReader Pro
长上下文语言模型评估体系探析
长上下文语言模型评估体系探析
https://my.oschina.net/IDP/blog/16547371
编者按： 如今，AI模型的上下文窗口正以惊人的速度扩大------从2018年的区区512个token到现在的200万token。这种跨越式发展不仅仅是数字的变化，更代表着全新的应用机会：律师可以让AI快速分析数千页的法律文书，医生能够基于完整的病历做出更精准的诊断，研究人员可以同时处理数百篇学术论文...但问题是，我们如何确保这些超长上下文模型真的"理解"了如此庞大的信息量？ 作者从三个维度详细阐述了长上下文模型的评估方法------信息检索能力评估、深度分析能力评估、上下文学习能力评估。作者基于实际研究案例，系统地展示了这些评估方法的应用场景和局限性。 作者 | Yennie Jun 编译 | 岳扬 近年来，语言模型的上下文窗口大小呈指数级增长，此图由原文作者制作 01 Introduction 大语言模型的上下文窗口 ------ 即它们一次性能够处理的文章长度 ------ 一直在以指数级速度增长。 2018 年，BERT[1]、T5[2] 和 GPT-1[3] 等语言模型能够处理的输入 token 数量上限为 512 个。而到了 2024 年夏季，这一数字已飙升至 200 万个 token（在公开可用的 LLMs 中）。这一变化对我们有何影响，我们又该如何评估这些能力越来越强的模型呢？ 1.1 大上下文窗口究竟意味着什么？ 最新发布的 Gemini 1.5 Pro 模型能够接收高达 200 万个 token[4]。但 200 万个 token 究竟代表什么呢？ 假设大约每 4 个单词转换为 3 个 token，那么 200 万个 token 几乎可以囊括完整的《哈利·波特》和《指环王》系列小说。 这张图表展示了 Gemini 1.5 的 200 万 tokens 上下文窗口能够容纳多少本《哈利·波特》和《指环王》书籍。此图表部分灵感来源于 2024 年 3 月的这张精彩的信息图表[5]。该图由原文作者制作 这些数字指的是公开模型中可用的上下文窗口。尽管 Gemini 1.5 Pro 模型目前公开可用的上下文窗口为 200 万个 token，但它能够处理多达 1000 万个 token[6]。 正如一位 Reddit 用户所说，这意味着可以将 1000 篇科学论文纳入 Gemini 的 1000 万 token 上下文窗口中，以开展创新研究[7]。 1.2 大上下文窗口为何至关重要？ 扩大上下文窗口的意义，不仅仅在于让构建 LLMs 的公司能够相互竞技。长上下文模型在现实世界中的应用场景广泛，以下是一些例子： 法律研究：律师可以将完整的案例经过、先例和法规输入模型，在几秒钟内就能获得全面的分析，而非耗费数小时甚至数日进行人工审查。 财务分析：将多年的财务报告、市场动态和经济指标输入AI，就能立即获得深入洞察。 医疗诊断：医生能够输入患者的全部医疗记录，包括医疗检测结果、治疗记录和高清医学影像，以实现更精确的诊断和个性化治疗方案。 教育领域：学生可以将整本教材和课程资料输入模型，获得定制化的知识点解释和跨学科的知识串联。 然而，这些使用案例也引起了人们的担忧。如果不当使用，处理海量个人数据的能力可能会带来前所未有的监控和隐私侵犯。随着这些能力的提升，制定强有力的伦理规范和安全保障的需求也日益迫切。 02 我们该如何评估上下文窗口大小不断增加的 LLMs？ 拥有超长上下文窗口的模型是近期的发展趋势。因此，研究人员正在尝试开发新的评估方法，以判断这些模型的性能。这些评估方法旨在对长上下文模型的能力与局限性进行基准测试，并探讨扩展上下文窗口所带来的利弊。 核心观点是，拥有更长输入上下文的模型应当能够完成那些之前难以或无法完成的任务。 评估场景 本文将探讨研究人员考虑用于评估长上下文模型的以下三种方法： 从长篇文档中提取信息 对长篇文档进行深入分析（推理和概括） 为即时模型训练提供上下文学习支持 备注：以上列举并不全面。如需全面了解长上下文模型的基准测试，请访问 Awesome LLM Long Context Modeling 的 Github 页面[8]。 2.1 从长篇文档中提取信息 Greg Kamradt[9] 提出的"大海捞针（Needle in a Haystack）"测试[10]，是评价长文本信息检索效率的一种流行手段。该方法通过将一句与上下文不符的语句（即"针（needle）"），随机插入不同长度的文本段落（即"海（haystack）"）中，以此考察模型在不同深度下检索信息的能力。 例如，将"The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day"这句话，嵌入到 Paul Graham 的文章之中。 该测试旨在衡量 LLMs 在日益增大的上下文内，定位具体信息的能力。 Greg Kamradt[9] 设计的原始"大海捞针"图表，用于检验 LLMs 在检索深层次信息方面的能力。通过将这句不协调的句子（"针"）置于不同长度的文本片段（"海"）的各个层级，我们可以评估不同 LLMs 在寻找这些信息时的表现。 "needle in a Haystack"的多种变体 研究人员设计了几种不同的测试，以探究信息检索的各个方面： 多"针"测试：在冗长的文档中散布多个"针"句子（由 Langchain[11] 提出，并在 NeedleBench[12] 中进行实验）。 多模态搜索：根据描述，在一堆无关的图片中寻找目标图像。 音频搜索：在长达五天的音频信号中识别出一段简短的音频（该测试在 Gemini 1.5 技术报告[13]中提出）。在此测试中，一段包含"the secret keyword is needle"这句话的音频片段，被隐藏在接近五天（107小时）的音频信号中。 视频搜索：在一部长达 10.5 小时的视频中，找到含有特定文字的单帧画面（同样在 Gemini 1.5 技术报告[13]中描述）。在这个测试中，一张显示"The secret word is needle"文字的画面，被嵌入到了由七部完整的 AlphaGo 纪录片拼接而成的视频中。 Gemini 1.5 论文中介绍了基于视频的"Needle in a Haystack"，图片来自《Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context》（第 110 页） "Needle in a Haystack"方法的局限与影响 尽管"Needle in a Haystack"方法应用广泛，但它也存在一些局限性： 首先，这是一个模拟任务，可能与现实世界的应用场景不符。 其次，它仅评估信息的查找能力，而不涉及逻辑推理或理解能力。 再者，随着上下文范围的扩大，对所有可能的"海"大小和"针"位置的组合进行评估，其成本将越来越高。 尽管存在这些缺陷，该测试却凸显了长上下文模型的一项重要功能：即能从海量数据中迅速搜寻和提取信息。这一功能的重要性不容小觑，它不仅能提升研究效率，还能达到前所未有的数据分析水平------甚至可能用于监控。 值得注意的是，这种信息检索方式与检索增强生成（RAG）不同，它是在一个连贯的大型上下文中进行，而不是从外部资源中提取信息。 2.2 对长篇文档进行深入分析（推理和概括） 尽管" Needle in a Haystack "测试主要关注信息检索能力，但还有其他评估方法用于检测大语言模型在处理长篇内容时的推理、解读和综合信息的能力。这些评估方法旨在检验模型是否能够进行更高级的推理，而不仅仅是寻找数据的具体位置。 以下是属于此类的几种评估方法： 文学问答任务 书籍是长篇文档的经典例子。NOVELQA[14] 这样的基准测试就是用来评估模型处理文学小说的能力，文档长度可达 200K 个 tokens。这个测试包含了针对 88 本英语小说的问题（这些问题由人类编写），涵盖了公版书和受版权保护的作品。其他数据集，比如NoCha[15]，也采取了相似的评估方式。 插图说明：这张图表展示了来自 NovelQA 数据集[14]的两个示例问题，这些示例取自《NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens》[14]一文。 在含有隐蔽相关信息的长篇文章中进行逻辑推理 FlenQA[16] 通过将相关信息嵌入到较长的非相关信息中，生成了多个不同长度的上下文版本。这种方法有助于我们了解，随着上下文长度的增加，大语言模型的处理能力如何逐步下降。 在 FlenQA 的一个任务示例中，相关信息（以深红色表示）被穿插在大量无关信息之中。此图表摘自《Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models》[16]一文。 针对特定领域的逻辑推理 医疗领域：LongHealth[17] 基准测试采用了 20 个虚构的病例（每个病例包含 5-7 千字），以此来评估模型在医学推理方面的能力。 金融领域：DocFinQA[18] 则通过让模型处理长达 150 页的金融文档（包含超过 100K 个 tokens）来对其进行挑战。 总结摘要任务 对于大语言模型而言，能够有效地压缩长篇文档的内容是一项至关重要的能力，因为它可以让用户在不阅读全部内容的情况下，快速掌握大量文本中的关键信息。这一点在研究领域、商业分析和法律实践中尤为重要，这些领域的专家经常需要将大量资料精炼为简洁的报告。 但是，如何评价总结摘要的质量是一项复杂的任务。总结摘要不仅要求对全文有深刻的理解，还要求能够精准地识别并整合关键信息。 什么样的总结摘要算是优质，往往取决于个人主观判断和具体上下文。 目前，总结摘要质量的评估多依赖于将模型的输出与人工编写的总结摘要进行对比，这种方法并不完美，可能无法涵盖所有合理的总结摘要方式，也可能会忽略那些用词不同但含义准确的总结摘要。 为了应对这些挑战，LongBench[19] 和 ∞Bench[20] 等基准测试应运而生。LongBench 涵盖了多种文档类型（如政府报告、会议纪要、新闻报道）的摘要任务，文档长度可达 15K 字；而 ∞Bench 则进一步拓展了摘要任务的挑战边界，包含长度可达 100K 个 tokens 的文档。尽管这些基准测试颇具价值，但该领域仍在探索更为有效的评估方法，以便更精准地评价高质量总结摘要的细微差别。 若想深入了解这一主题，可以查阅《An Empirical Survey on Long Document Summarization: Datasets, Models, and Metrics》[21]这一文章。 2.3 为即时模型训练提供上下文学习支持 长上下文模型最酷的应用之一便是在上下文学习（ICL）方面的增强能力。ICL 技术使得模型能够即时从提示词中的示例中学会处理新任务。得益于更大的上下文窗口，我们现在能够纳入成百上千的训练样本，甚至是那些复杂且篇幅较长的任务，比如文本摘要。 这项技术改变了游戏规则。它让开发人员可以跳过针对特定领域的模型微调，直接通过 ICL 让模型迅速适应新任务。 Many-shot ICL DeepMind 针对多样本 ICL[22] 的研究表明，当提示词中包含更多示例时，模型在不同任务上的表现有显著提升。通过扩充到成百上千的示例，模型能够克服预训练中的偏见，并处理更为复杂的问题。 通过在提示词中增加更多的示例（即"shots"），相同的 LLM 模型在多种任务上都能展现出更好的性能。例如，将情感分析任务的示例从 32 个增加到 2048 个，模型的表现提升了 18.2 %。此图摘自《Many-Shot In-Context Learning》[22]。 这一理念不仅仅局限于性能提升。Anthropic 公司在其"Many-shot Jailbreaking"[23]项目中的研究发现，虽然仅凭几个样本无法突破模型的安全防线，但是如果有数百个样本，就能做到这一点------这一发现既展示了这种方法的威力，也揭示了其潜在的风险。 例如，我们可以看到，仅仅几个样本是无法诱导 LLM 生成有害内容的，但是当样本数量增加到数十个甚至数百个时，就能让模型忽视其"安全围栏"。此图来自于《Many-Shot Jailbreaking》[23]。 翻译低资源语言 在低资源语言的翻译方面，长上下文模型展现出了非凡的价值。在 Gemini 1.5 的技术报告[13]中，以 Kalamang 语为例，这种语言的使用者不足200人，网络资源也非常有限。通过向模型输入 500 页的语法资料、一个包含 2000 个词条的双语词汇表以及 400 个对照句子（总共 250 k个 tokens），模型不仅能翻译 Kalamang 语，还能进行语音转录。 这种方法同样适用于其他低资源语言，并且随着示例数量的增加，翻译性能也在不断提升。对于濒危语言的保护和使用来说，这无疑是一个充满希望的新进展。 03 Discussion 对于更长上下文窗口的追求正在语言模型领域掀起一场激烈的竞赛，上下文窗口的规模正以惊人的速度扩张。这种扩张迫使我们需要开发新的评估手段，以便更准确地把握这些模型的实力与短板。 尽管已经涌现出了一批针对长上下文模型的评估基准（如 SCROLLS[24]、LongBench[19]、∞BENCH[20]等），但仍有许多疑问尚待解答： 规模的权衡：当上下文长度不断增加时，模型在安全性、偏见和指令执行方面的表现会如何波动？ 多语种表现：大多数评估基准都着眼于英语（CLongEval[25] 等评估基准除外，其中也涵盖了中文的评估）。那么，对于非英语系的语言，随着上下文的增加，其表现又会与英语有何不同？ 性能衰退：模型在处理更丰富上下文的同时，是否会牺牲掉某些特定能力，比如编程技能或是创造力？ 现实影响：当模型能够处理整本书籍、完整个人经历，甚至是稀缺语言的详尽数据时，我们将面临哪些伦理和现实层面的挑战？ 随着大语言模型（LLMs）的上下文窗口不断扩大，我们不仅要了解它们能做到什么，还要探究它们的基本特性可能会如何变化。 目前来看，这场追逐更大上下文窗口模型的竞赛还将持续升温。 Thanks for reading! Hope you have enjoyed and learned new things from this blog! About the authors Yennie Jun Machine learning engineer and AI researcher exploring my curiosity of the world through creative projects END 本期互动内容 🍻 ❓ #技术探讨# 你认为评估长上下文模型最重要的指标是什么？为什么？ 🔗文中链接🔗 [1]https://arxiv.org/abs/1810.04805 [2]https://arxiv.org/abs/1910.10683 [3]https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf [4]https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio/ [5]https://www.reddit.com/r/OpenAI/comments/1buz5ju/geminis_context_window_is_much_larger_than_anyone/ [6]https://www.notion.so/Long-Context-Eval-Survey-fe3c69173f2e4eb0b5cd4c973f712626?pvs=21 [7]https://www.reddit.com/r/singularity/comments/1ausp2k/geminis_nearly_perfect_10_million_context_length/ [8]https://github.com/Xnhyacinth/Awesome-LLM-Long-Context-Modeling?tab=readme-ov-file#11-Benchmark-and-Evaluation [9]https://twitter.com/GregKamradt [10]https://github.com/gkamradt/LLMTest_NeedleInAHaystack [11]https://blog.langchain.dev/multi-needle-in-a-haystack/ [12]https://arxiv.org/abs/2407.11963 [13]https://arxiv.org/abs/2403.05530 [14]https://arxiv.org/pdf/2403.12766 [15]https://arxiv.org/abs/2406.16264 [16]https://arxiv.org/pdf/2402.14848v1 [17]https://arxiv.org/pdf/2401.14490 [18]https://arxiv.org/pdf/2401.06915 [19]https://arxiv.org/pdf/2308.14508 [20]https://arxiv.org/pdf/2402.13718 [21]https://dl.acm.org/doi/10.1145/3545176 [22]https://arxiv.org/pdf/2404.11018 [23]https://www-cdn.anthropic.com/af5633c94ed2beb282f6a53c595eb437e8e7b630/Many_Shot_Jailbreaking__2024_04_02_0936.pdf [24]https://arxiv.org/abs/2201.03533 [25]https://arxiv.org/abs/2403.03514 原文链接： https://www.artfish.ai/p/long-context-llms
-- gReader Pro
https://my.oschina.net/IDP/blog/16547371
编者按： 如今，AI模型的上下文窗口正以惊人的速度扩大------从2018年的区区512个token到现在的200万token。这种跨越式发展不仅仅是数字的变化，更代表着全新的应用机会：律师可以让AI快速分析数千页的法律文书，医生能够基于完整的病历做出更精准的诊断，研究人员可以同时处理数百篇学术论文...但问题是，我们如何确保这些超长上下文模型真的"理解"了如此庞大的信息量？ 作者从三个维度详细阐述了长上下文模型的评估方法------信息检索能力评估、深度分析能力评估、上下文学习能力评估。作者基于实际研究案例，系统地展示了这些评估方法的应用场景和局限性。 作者 | Yennie Jun 编译 | 岳扬 近年来，语言模型的上下文窗口大小呈指数级增长，此图由原文作者制作 01 Introduction 大语言模型的上下文窗口 ------ 即它们一次性能够处理的文章长度 ------ 一直在以指数级速度增长。 2018 年，BERT[1]、T5[2] 和 GPT-1[3] 等语言模型能够处理的输入 token 数量上限为 512 个。而到了 2024 年夏季，这一数字已飙升至 200 万个 token（在公开可用的 LLMs 中）。这一变化对我们有何影响，我们又该如何评估这些能力越来越强的模型呢？ 1.1 大上下文窗口究竟意味着什么？ 最新发布的 Gemini 1.5 Pro 模型能够接收高达 200 万个 token[4]。但 200 万个 token 究竟代表什么呢？ 假设大约每 4 个单词转换为 3 个 token，那么 200 万个 token 几乎可以囊括完整的《哈利·波特》和《指环王》系列小说。 这张图表展示了 Gemini 1.5 的 200 万 tokens 上下文窗口能够容纳多少本《哈利·波特》和《指环王》书籍。此图表部分灵感来源于 2024 年 3 月的这张精彩的信息图表[5]。该图由原文作者制作 这些数字指的是公开模型中可用的上下文窗口。尽管 Gemini 1.5 Pro 模型目前公开可用的上下文窗口为 200 万个 token，但它能够处理多达 1000 万个 token[6]。 正如一位 Reddit 用户所说，这意味着可以将 1000 篇科学论文纳入 Gemini 的 1000 万 token 上下文窗口中，以开展创新研究[7]。 1.2 大上下文窗口为何至关重要？ 扩大上下文窗口的意义，不仅仅在于让构建 LLMs 的公司能够相互竞技。长上下文模型在现实世界中的应用场景广泛，以下是一些例子： 法律研究：律师可以将完整的案例经过、先例和法规输入模型，在几秒钟内就能获得全面的分析，而非耗费数小时甚至数日进行人工审查。 财务分析：将多年的财务报告、市场动态和经济指标输入AI，就能立即获得深入洞察。 医疗诊断：医生能够输入患者的全部医疗记录，包括医疗检测结果、治疗记录和高清医学影像，以实现更精确的诊断和个性化治疗方案。 教育领域：学生可以将整本教材和课程资料输入模型，获得定制化的知识点解释和跨学科的知识串联。 然而，这些使用案例也引起了人们的担忧。如果不当使用，处理海量个人数据的能力可能会带来前所未有的监控和隐私侵犯。随着这些能力的提升，制定强有力的伦理规范和安全保障的需求也日益迫切。 02 我们该如何评估上下文窗口大小不断增加的 LLMs？ 拥有超长上下文窗口的模型是近期的发展趋势。因此，研究人员正在尝试开发新的评估方法，以判断这些模型的性能。这些评估方法旨在对长上下文模型的能力与局限性进行基准测试，并探讨扩展上下文窗口所带来的利弊。 核心观点是，拥有更长输入上下文的模型应当能够完成那些之前难以或无法完成的任务。 评估场景 本文将探讨研究人员考虑用于评估长上下文模型的以下三种方法： 从长篇文档中提取信息 对长篇文档进行深入分析（推理和概括） 为即时模型训练提供上下文学习支持 备注：以上列举并不全面。如需全面了解长上下文模型的基准测试，请访问 Awesome LLM Long Context Modeling 的 Github 页面[8]。 2.1 从长篇文档中提取信息 Greg Kamradt[9] 提出的"大海捞针（Needle in a Haystack）"测试[10]，是评价长文本信息检索效率的一种流行手段。该方法通过将一句与上下文不符的语句（即"针（needle）"），随机插入不同长度的文本段落（即"海（haystack）"）中，以此考察模型在不同深度下检索信息的能力。 例如，将"The best thing to do in San Francisco is eat a sandwich and sit in Dolores Park on a sunny day"这句话，嵌入到 Paul Graham 的文章之中。 该测试旨在衡量 LLMs 在日益增大的上下文内，定位具体信息的能力。 Greg Kamradt[9] 设计的原始"大海捞针"图表，用于检验 LLMs 在检索深层次信息方面的能力。通过将这句不协调的句子（"针"）置于不同长度的文本片段（"海"）的各个层级，我们可以评估不同 LLMs 在寻找这些信息时的表现。 "needle in a Haystack"的多种变体 研究人员设计了几种不同的测试，以探究信息检索的各个方面： 多"针"测试：在冗长的文档中散布多个"针"句子（由 Langchain[11] 提出，并在 NeedleBench[12] 中进行实验）。 多模态搜索：根据描述，在一堆无关的图片中寻找目标图像。 音频搜索：在长达五天的音频信号中识别出一段简短的音频（该测试在 Gemini 1.5 技术报告[13]中提出）。在此测试中，一段包含"the secret keyword is needle"这句话的音频片段，被隐藏在接近五天（107小时）的音频信号中。 视频搜索：在一部长达 10.5 小时的视频中，找到含有特定文字的单帧画面（同样在 Gemini 1.5 技术报告[13]中描述）。在这个测试中，一张显示"The secret word is needle"文字的画面，被嵌入到了由七部完整的 AlphaGo 纪录片拼接而成的视频中。 Gemini 1.5 论文中介绍了基于视频的"Needle in a Haystack"，图片来自《Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context》（第 110 页） "Needle in a Haystack"方法的局限与影响 尽管"Needle in a Haystack"方法应用广泛，但它也存在一些局限性： 首先，这是一个模拟任务，可能与现实世界的应用场景不符。 其次，它仅评估信息的查找能力，而不涉及逻辑推理或理解能力。 再者，随着上下文范围的扩大，对所有可能的"海"大小和"针"位置的组合进行评估，其成本将越来越高。 尽管存在这些缺陷，该测试却凸显了长上下文模型的一项重要功能：即能从海量数据中迅速搜寻和提取信息。这一功能的重要性不容小觑，它不仅能提升研究效率，还能达到前所未有的数据分析水平------甚至可能用于监控。 值得注意的是，这种信息检索方式与检索增强生成（RAG）不同，它是在一个连贯的大型上下文中进行，而不是从外部资源中提取信息。 2.2 对长篇文档进行深入分析（推理和概括） 尽管" Needle in a Haystack "测试主要关注信息检索能力，但还有其他评估方法用于检测大语言模型在处理长篇内容时的推理、解读和综合信息的能力。这些评估方法旨在检验模型是否能够进行更高级的推理，而不仅仅是寻找数据的具体位置。 以下是属于此类的几种评估方法： 文学问答任务 书籍是长篇文档的经典例子。NOVELQA[14] 这样的基准测试就是用来评估模型处理文学小说的能力，文档长度可达 200K 个 tokens。这个测试包含了针对 88 本英语小说的问题（这些问题由人类编写），涵盖了公版书和受版权保护的作品。其他数据集，比如NoCha[15]，也采取了相似的评估方式。 插图说明：这张图表展示了来自 NovelQA 数据集[14]的两个示例问题，这些示例取自《NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens》[14]一文。 在含有隐蔽相关信息的长篇文章中进行逻辑推理 FlenQA[16] 通过将相关信息嵌入到较长的非相关信息中，生成了多个不同长度的上下文版本。这种方法有助于我们了解，随着上下文长度的增加，大语言模型的处理能力如何逐步下降。 在 FlenQA 的一个任务示例中，相关信息（以深红色表示）被穿插在大量无关信息之中。此图表摘自《Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models》[16]一文。 针对特定领域的逻辑推理 医疗领域：LongHealth[17] 基准测试采用了 20 个虚构的病例（每个病例包含 5-7 千字），以此来评估模型在医学推理方面的能力。 金融领域：DocFinQA[18] 则通过让模型处理长达 150 页的金融文档（包含超过 100K 个 tokens）来对其进行挑战。 总结摘要任务 对于大语言模型而言，能够有效地压缩长篇文档的内容是一项至关重要的能力，因为它可以让用户在不阅读全部内容的情况下，快速掌握大量文本中的关键信息。这一点在研究领域、商业分析和法律实践中尤为重要，这些领域的专家经常需要将大量资料精炼为简洁的报告。 但是，如何评价总结摘要的质量是一项复杂的任务。总结摘要不仅要求对全文有深刻的理解，还要求能够精准地识别并整合关键信息。 什么样的总结摘要算是优质，往往取决于个人主观判断和具体上下文。 目前，总结摘要质量的评估多依赖于将模型的输出与人工编写的总结摘要进行对比，这种方法并不完美，可能无法涵盖所有合理的总结摘要方式，也可能会忽略那些用词不同但含义准确的总结摘要。 为了应对这些挑战，LongBench[19] 和 ∞Bench[20] 等基准测试应运而生。LongBench 涵盖了多种文档类型（如政府报告、会议纪要、新闻报道）的摘要任务，文档长度可达 15K 字；而 ∞Bench 则进一步拓展了摘要任务的挑战边界，包含长度可达 100K 个 tokens 的文档。尽管这些基准测试颇具价值，但该领域仍在探索更为有效的评估方法，以便更精准地评价高质量总结摘要的细微差别。 若想深入了解这一主题，可以查阅《An Empirical Survey on Long Document Summarization: Datasets, Models, and Metrics》[21]这一文章。 2.3 为即时模型训练提供上下文学习支持 长上下文模型最酷的应用之一便是在上下文学习（ICL）方面的增强能力。ICL 技术使得模型能够即时从提示词中的示例中学会处理新任务。得益于更大的上下文窗口，我们现在能够纳入成百上千的训练样本，甚至是那些复杂且篇幅较长的任务，比如文本摘要。 这项技术改变了游戏规则。它让开发人员可以跳过针对特定领域的模型微调，直接通过 ICL 让模型迅速适应新任务。 Many-shot ICL DeepMind 针对多样本 ICL[22] 的研究表明，当提示词中包含更多示例时，模型在不同任务上的表现有显著提升。通过扩充到成百上千的示例，模型能够克服预训练中的偏见，并处理更为复杂的问题。 通过在提示词中增加更多的示例（即"shots"），相同的 LLM 模型在多种任务上都能展现出更好的性能。例如，将情感分析任务的示例从 32 个增加到 2048 个，模型的表现提升了 18.2 %。此图摘自《Many-Shot In-Context Learning》[22]。 这一理念不仅仅局限于性能提升。Anthropic 公司在其"Many-shot Jailbreaking"[23]项目中的研究发现，虽然仅凭几个样本无法突破模型的安全防线，但是如果有数百个样本，就能做到这一点------这一发现既展示了这种方法的威力，也揭示了其潜在的风险。 例如，我们可以看到，仅仅几个样本是无法诱导 LLM 生成有害内容的，但是当样本数量增加到数十个甚至数百个时，就能让模型忽视其"安全围栏"。此图来自于《Many-Shot Jailbreaking》[23]。 翻译低资源语言 在低资源语言的翻译方面，长上下文模型展现出了非凡的价值。在 Gemini 1.5 的技术报告[13]中，以 Kalamang 语为例，这种语言的使用者不足200人，网络资源也非常有限。通过向模型输入 500 页的语法资料、一个包含 2000 个词条的双语词汇表以及 400 个对照句子（总共 250 k个 tokens），模型不仅能翻译 Kalamang 语，还能进行语音转录。 这种方法同样适用于其他低资源语言，并且随着示例数量的增加，翻译性能也在不断提升。对于濒危语言的保护和使用来说，这无疑是一个充满希望的新进展。 03 Discussion 对于更长上下文窗口的追求正在语言模型领域掀起一场激烈的竞赛，上下文窗口的规模正以惊人的速度扩张。这种扩张迫使我们需要开发新的评估手段，以便更准确地把握这些模型的实力与短板。 尽管已经涌现出了一批针对长上下文模型的评估基准（如 SCROLLS[24]、LongBench[19]、∞BENCH[20]等），但仍有许多疑问尚待解答： 规模的权衡：当上下文长度不断增加时，模型在安全性、偏见和指令执行方面的表现会如何波动？ 多语种表现：大多数评估基准都着眼于英语（CLongEval[25] 等评估基准除外，其中也涵盖了中文的评估）。那么，对于非英语系的语言，随着上下文的增加，其表现又会与英语有何不同？ 性能衰退：模型在处理更丰富上下文的同时，是否会牺牲掉某些特定能力，比如编程技能或是创造力？ 现实影响：当模型能够处理整本书籍、完整个人经历，甚至是稀缺语言的详尽数据时，我们将面临哪些伦理和现实层面的挑战？ 随着大语言模型（LLMs）的上下文窗口不断扩大，我们不仅要了解它们能做到什么，还要探究它们的基本特性可能会如何变化。 目前来看，这场追逐更大上下文窗口模型的竞赛还将持续升温。 Thanks for reading! Hope you have enjoyed and learned new things from this blog! About the authors Yennie Jun Machine learning engineer and AI researcher exploring my curiosity of the world through creative projects END 本期互动内容 🍻 ❓ #技术探讨# 你认为评估长上下文模型最重要的指标是什么？为什么？ 🔗文中链接🔗 [1]https://arxiv.org/abs/1810.04805 [2]https://arxiv.org/abs/1910.10683 [3]https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf [4]https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio/ [5]https://www.reddit.com/r/OpenAI/comments/1buz5ju/geminis_context_window_is_much_larger_than_anyone/ [6]https://www.notion.so/Long-Context-Eval-Survey-fe3c69173f2e4eb0b5cd4c973f712626?pvs=21 [7]https://www.reddit.com/r/singularity/comments/1ausp2k/geminis_nearly_perfect_10_million_context_length/ [8]https://github.com/Xnhyacinth/Awesome-LLM-Long-Context-Modeling?tab=readme-ov-file#11-Benchmark-and-Evaluation [9]https://twitter.com/GregKamradt [10]https://github.com/gkamradt/LLMTest_NeedleInAHaystack [11]https://blog.langchain.dev/multi-needle-in-a-haystack/ [12]https://arxiv.org/abs/2407.11963 [13]https://arxiv.org/abs/2403.05530 [14]https://arxiv.org/pdf/2403.12766 [15]https://arxiv.org/abs/2406.16264 [16]https://arxiv.org/pdf/2402.14848v1 [17]https://arxiv.org/pdf/2401.14490 [18]https://arxiv.org/pdf/2401.06915 [19]https://arxiv.org/pdf/2308.14508 [20]https://arxiv.org/pdf/2402.13718 [21]https://dl.acm.org/doi/10.1145/3545176 [22]https://arxiv.org/pdf/2404.11018 [23]https://www-cdn.anthropic.com/af5633c94ed2beb282f6a53c595eb437e8e7b630/Many_Shot_Jailbreaking__2024_04_02_0936.pdf [24]https://arxiv.org/abs/2201.03533 [25]https://arxiv.org/abs/2403.03514 原文链接： https://www.artfish.ai/p/long-context-llms
-- gReader Pro
訂閱：
文章 (Atom)
-
Wispr Flow AI 語音輸入有夠強！徹底解放雙手，目前地球上最強的語音輸入法 https://ahui3c.com/141866/wispr-flow-ai 你是否也曾感到雙手在鍵盤上飛舞的速度，永遠追不上腦中思緒奔騰的腳步？或是長時間打字導致手腕痠痛，卻又不得不繼續工作...
-
https://www.managertoday.com.tw/articles/view/70929
