2024年4月30日 星期二

Gemini App 取代 Google 語音助理,摘要網頁、總結郵件、從文件找資料實測

Gemini App 取代 Google 語音助理,摘要網頁、總結郵件、從文件找資料實測

http://www.playpcesor.com/2024/04/gemini-app-google.html

Google Gemini 今年初(2024/2)正式升級與更名,而其手機版 App 也在 2024 年 4 月底在台灣繁體中文的 Play 商店正式推出,下載「 Google Gemini Android App 」後,可以選擇「取代」原本的 Google 語音助理(也可以選擇切換回原本的 Google 語音助理,兩者並用)。如果選擇用 Google Gemini App 取代原本的 Google 語音助理,那麼會有一些語音助理原本的功能暫時無法使用:呼叫 YouTube Music 聽音樂語音直接開啟導航即時語音對話翻譯等等有些 Gemini 網頁版原本就有的功能,當然也可以在 Google Gemini App 中使用,這部分可以參考:分析圖片:Google Gemini 圖片 AI 辨識的 6 種應用案例,用手繪圖寫出簡單網頁基本問答:Google Gemini 開放支援 AI 中文問答,6種製作中文試算表與報告案例進階問答:Google Bard 免費升級 Gemini Pro 好用嗎?實測分析長文、內容查證那麼 Google Gemini App 有沒有哪些特殊功能呢?下面就來一一介紹。摘要網頁文章:如果用 Google Gemini App 取代語音助理,那麼一樣可以長按電源鍵,或是呼叫「 OK Google 」來啟動,一樣可以語音進行問答。這時候有一個我覺得很有用的特殊應用,就是在手機上察看網頁時,呼叫出 Google Gemini App ,按下對話框上方的「新增這個畫面」,可以把網頁載入 Gemini ,結合指令,進行摘要。Gemini App 的摘要效果還不錯,對於長文章也能順利完成摘要與整理。歡迎參考我的 AI 摘要方法:「讓 AI 成為閱讀助手, ChatGPT 摘要、翻譯與學習筆記提示語分享」。總結電子郵件:Google Gemini App 支援開啟「擴充功能」,可以連結 Workspace 的文件、郵件,或是 Google 地圖、航班、飯店、YouTube 等應用。這部分反而繁體中文網頁版還不支援(2024/4/30)。這部分可能是我有購買 Google One ,或是 Gemini Advanced 所開啟的功能(如果你不是而有此功能,也歡迎跟我說)。當我在 Gemini App 中連結 Workspace ,我可以在 Gemini 語音中直接跟他說:「總結今天跟 Esor 課程有關的電子郵件。」這時候, Gemini 會從我的 Gmail 中找到相關關鍵字的郵件,並摘要郵件的內容,用語音唸出來給我聽。如果想要讓 Gemini 在手機上直接撰寫郵件,目前似乎還沒跟 Gmail 緊密結合。但可以讓 Gemini 先撰寫出郵件內容,然後在右下方的「...」選單中,選擇匯出成 Gmail 草稿,就像是撰寫出一封郵件草稿一樣。列出今天有更新的 Google 雲端硬碟文件:不只可以總結特定郵件摘要,我也可以跟 Gemini 說:「列出今天有更新的 Google 文件。」Gemini 就會搜尋我的雲端硬碟,找出有更新的文件並唸出標題與摘要。搜尋 Google 文件並直接找出資料:還有一個非常好用的功能,我可以直接問 Gemini ,請他從 Google 文件中幫我找出一堂課程的大綱,然後直接提供給我課程大綱內容。Gemini 也能順利完成任務。這樣我就不用特地打開 Google 文件來看。連結 Google 地圖,規劃旅遊路線我可以在 Gemini 中請他幫我規畫旅遊路線,或是列出特定地點的特定景點,這時候不只是搜尋找到相關資料,也會直接展示出可以快速查看、導航的地圖。讀新聞的能力比 Google 語音助理更進步如果用 Google Gemini 來唸出今日新聞摘要給我聽,效果也確實比以前的 Google 助理更有效。因為 Gemini 可以即時搜尋最新資料,又是內容生成 AI,可以唸出更完整有條理的新聞。摘要 YouTube ,快速找到影片解答現在很多生活問題都會在 YouTube 找答案,而 Google Gemini 針對我們的提問,不只會找到相應的 YouTube 影片,也會進行文字摘要解答。目前 Google Gemini 如果取代 Google 語音助理,看起來最特別的應該是「快速摘要手機上的網頁文章」。但除此之外,其他功能其實都可以在 Gemini 與 Google 語音助理並用的情況下實現。有興趣的朋友可以試試看。大家好,我是電腦玩物站長 Esor ,歡迎參考我的系列課程與書籍:「個人數位生產力」線上課程(可使用電腦玩物老讀者折扣碼 ESOR500 ,獲得 500 元折價喔!)。時間管理、筆記系統、AI 工具相關課程:「課程介紹連結」目前最新著作:《防彈筆記法》訂閱追蹤 podcast 節目:「高效人生商學院」(Apple podcast 訂閱、 Google Podcast 訂閱)訂閱「電腦玩物電子報」,不定期出刊。我的電子郵件是 esorhjy@gmail.com ,如果你有任何關於筆記術、時間管理、提升工作效率的問題,歡迎寫信跟我討論。(歡迎社群分享。但全文轉載請來信詢問,禁止修改上述內文,禁止商業使用,並且必須註明來自電腦玩物原創作者 esor huang 異塵行者,及附上原文連結:Gemini App 取代 Google 語音助理,摘要網頁、總結郵件、從文件找資料實測)

-- gReader Pro 

AI 文件革命:MIT 軟體開創文件效率與安全新境界

AI 文件革命:MIT 軟體開創文件效率與安全新境界

https://www.inside.com.tw/article/34840-KDAN

PDF 文件與 AI 技術結合的時代已經來臨。近年 AI 快速發展,許多企業也開始在文件生成與管理上導入 AI 技術,以降低人工出錯、提升文件產出效率。AI 在 PDF 文件應用的範疇涵蓋了文件資安控管、翻譯、內容洞察等面向,文件是企業重要的數位資產,AI 技術的挹注不僅大幅提升了資訊處理的品質,更幫助企業放大文件的價值,因此,文件類型的AI服務絕對是企業值得投資的工具。除了費用上相較 Adobe 節省了 65%,KDAN PDF Reader 更致力於為用戶打造全能文件顧問,此次結合 AI 技術與文件服務,重新定義文件處理流程。在文件內容上,幫助用戶全面提升對內容的掌握度;在流程上更是透過人工智慧大幅縮短文件處理時間、提升工作效率。KDAN PDF Reader 提供在地團隊即時支援,不僅技術品質有保障,也提供更完善的售後服務,是企業導入的最佳選擇。為幫助使用者更準確且方便的保護重要資料,KDAN PDF Reader 結合 KDAN AI 服務以密文標記作為第一波主打功能,用戶可先選擇文件類型與想標記的資訊如:姓名、身分證字號、電話、信用卡號碼等資訊,由 AI 自動偵測對應欄位後即可一鍵遮蔽。與一般使用黑色螢光筆或色塊標記不同,使用 AI 密文標記後的資訊將「永久遮蔽」,確保資訊不被惡意破解或還原,為資料安全多一層把關,更解決了手動遮蔽及紙本文件耗時且容易疏漏的問題,實測結果顯示,導入 KDAN AI 將為企業節省 80% 作業時間與流程,對於個人資料敏感度較高的產業,例如:醫療、金融、保險等相關機構,時常需要處理大量含有個資的文件,能大幅縮短企業成本並加強文件傳輸時的安全性。除此以外,KDAN PDF Reader 密文標記亦能偵測文件中 VAT(增值稅)號碼、帳戶及信用卡號碼與價格等財務相關資訊,對於需大量處理財務文件的團隊來說,更是不可或缺的最佳助手。Photo Credit:凱鈿行動科技除了自動遮蔽敏感訊息,近期 KDAN PDF Reader 會加入 KDAN AI 聊天機器人與文件比對等功能,提供企業與一般用戶文件諮詢、摘要、比對等功能,提高生產力和每份文件帶來的資訊價值。更多的 AI 功能也將在同一年度陸續推出,主攻企業應用情境,重新定義 PDF 文件的應用可能性。Photo Credit:凱鈿行動科技KDAN PDF Reader 透過結合 AI 科技與文件應用服務,為用戶帶來更安全、更有效率的文件處理流程。密文標記功能即日起限時提供訂閱用戶免費體驗,歡迎至 KDAN PDF Reader AI 官網參考詳細內容並立即申請試用訂閱方案。本文章內容由「凱鈿行動科技」提供。 

-- gReader Pro 

2024年4月29日 星期一

微博

开源日报 | 大模型竞技场排名动态变化;AI智能终端行业研究报告;“清华系”的大模型江湖;开源在线版office

- 微博 高飞

4大主流AI搜索工具测评,秘塔超越Perplexity

AI 搜索工具哪家强?(秘塔?Perplexity?iAsk?……)废话不多说,先看网友提供的最新测评结果,主要有三大结论:

1.整体而言,各参评产品的表现均未及预期,但国内的秘塔以微弱优势超越了Perplexity。

2.各参评产品在多语言问题的回答准确率上,英文最高、俄文最低,日文也相对较低。

3.各参评产品在细分语种的表现上:

- Perplexity在英文问题的回答上遥遥领先,而其简体中文的表现也相当不俗

- 秘塔在简中和繁中的表现上同样令人瞩目,但在其他语种上均未及格

- iAsk在各语种表现中相对均衡,但整体上属于中等水平

- You.com则仅在英文问题回答上有较好的表现




开源日报 | 大模型竞技场排名动态变化;AI智能终端行业研究报告;"清华系"的大模型江湖;开源在线版office

https://www.oschina.net/news/290174

欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。 # 2024.4.29 今日要点 AI 搜索工具 Perplexica:完全开源免费、Perplexity 的开源替代品 Perplexica 是 AI 驱动的问答搜索引擎,声称可作为 Perplexity (perplexity.ai) 的开源替代方案。  Perplexica 最大特点是设计了多种搜索模式,包括学术搜索、YouTube 视频搜索、学术搜索和计算等专用模式,这些模式根据用户的具体需求调整搜索算法的行为,提供更为精确和相关的搜索结果。 Perplexica 还支持使用本地部署的大语言模型,如 Llama3 和 Mixtral。 GitHub 地址:https://github.com/ItzCrazyKns/Perplexica 开源在线办公套件:Univer (在线版office) Univer 提供了一个全面的企业级文档与数据协同的解决方案,支持电子表格、文本文档和演示幻灯片三大核心文档类型。通过灵活的 API 和插件机制,开发者可以在 Univer 的基础上进行个性化功能的定制和扩展,以适应不同用户在不同场景下的特定需求。 Univer 实现了基于 canvas 的 渲染引擎,能够高效地渲染不同类型的文档。渲染引擎支持 标点挤压 盘古之白 图文混排 滚动贴图 等高级特性。 自研的 公式引擎 拥有超快的计算速度,还能在 Web Worker 中运行,未来将会支持服务端计算。 项目地址:github.com/dream-num/univer  真·开源版老乡鸡菜谱 真·开源版老乡鸡菜谱,已整理版本,不是一整个 pdf:https://github.com/Gar-b-age/CookLikeHOC。   今日观察  社交观察   Bazel这个名字是Blaze的anagram 流行的软件构建和测试工具Bazel是谷歌内部工具Blaze的开源版本。 今天才知道Bazel这个名字是Blaze的anagram(一个单词打乱字母顺序后重新排列生成的新单词)。这开启了给软件取名字的新思路,比如把开源大模型Llama(辣麻)包装一下,新模型可以取名叫Malla(麻辣)。 - 微博 硅谷陈源博士 火爆全球的AI小镇可以本地化部署了 投资机构a16z有一个非常网红的开源项目——AI小镇(创意最早来源于斯坦福),可以实现让一群AI角色在模拟小镇中交流互动。 不过这是个需要Token实时消耗的东西,如果用ChatGPT的API跑就太贵了,但是刚刚,这个项目可以本地化运行了,成本降到0元。而且部署非常简单,感兴趣的可以访问:https://pinokio.computer/。点击安装就行,不过好像目前仅适用于 Mac 和 Linux系统。 AI小镇的基本组成: 1、虚拟城镇:创建一个真实的虚拟城镇,包含各种 AI 角色和背景环境。 2、AI 角色互动:AI 角色能够自由聊天、社交和互动,模拟真实的人类行为。 3、可定制性:用户可以根据自己的需求和喜好,定制和扩展 AI Town,包括角色、故事和环境等方面。 现在端侧AI逐渐成为一个主流赛道,但是可玩的东西还是少,这个AI小镇没准以后是手机端游的一个形态。 - 微博 高飞 4大主流AI搜索工具测评,秘塔超越Perplexity AI 搜索工具哪家强?(秘塔?Perplexity?iAsk?……)废话不多说,先看网友提供的最新测评结果,主要有三大结论: 1.整体而言,各参评产品的表现均未及预期,但国内的秘塔以微弱优势超越了Perplexity。 2.各参评产品在多语言问题的回答准确率上,英文最高、俄文最低,日文也相对较低。 3.各参评产品在细分语种的表现上: - Perplexity在英文问题的回答上遥遥领先,而其简体中文的表现也相当不俗 - 秘塔在简中和繁中的表现上同样令人瞩目,但在其他语种上均未及格 - iAsk在各语种表现中相对均衡,但整体上属于中等水平 - You.com则仅在英文问题回答上有较好的表现  - 微博 量子位  大模型竞技场近1年排名动态变化 刚刚看了Jianqi Pan(jannchie.com/zh-CN)做的Lmsys排行榜的一年动态变化视频,信息量不小。 1、模型性能差距缩小。一年前,OpenAI还是一骑绝尘。上榜的第一名和最后一名的分数差距大概是30%。一年后,差距不到10%了,ChatGPT这一年有点挤牙膏。 2、产业公司掌控市场。之前这个榜单里还有一些学术机构,和第三方组织。但是到今年4月份,基本都是商业公司,特别是大公司在主导这个市场了。Top4力量分别是OpenAI、Anthropic、Google和Meta。其他还包括Cohere、Rika等初创公司。当然,可以特别说的是阿里巴巴的@通义AI。 3、开源模型中。Mistral和Llama完成位置交换。Mistral AI是仅有的纯欧洲模型公司,在Meta的Llama3攻势之下,要加倍努力了。  - 微博 高飞  媒体观察 专访邬贺铨:手机嵌入大模型后可以不上云就使用很多应用,将带来万亿元规模换机潮 NBD:您之前提到,未来我们的手机中也会嵌入大模型,手机嵌入大模型后,会出现哪些颠覆性的功能? 邬贺铨:手机嵌入大模型之后,可以不上云就使用很多应用。为什么不上云?因为很多时候手机涉及隐私,不上云就可以比较好地保护隐私。另外,不上云也减少了时延,很多处理就可以在手机上操作,比如以文生图、以文生曲、以文生视频,不上云就可以做。也就是说,用户可以在没有云、没有网的时候用手机进行相应的操作。当然,也可以上云来协同。 另外,手机嵌入大模型,在有网的时候,用户可以实现很好的交流。比如与外国人特别是小语种的外国人交流,现在网上所谓的同声传译,实际上并不是同声,需要他讲一句,你等他翻译完了以后你再讲。而将来手机如果嵌入大模型就可以真正实现同声传译。 又比如跟聋哑人交流,他只会用手语,一般人并不懂,如果手机嵌入大模型,你用手机对准他,他的手语就可以翻译成你能懂的语言了。 - 每日经济新闻 "清华系"的大模型江湖 2023年4月27日,清华大学人工智能学院宣布成立。清华人工智能学院将聚焦"人工智能核心基础理论与架构"和"人工智能+X"两个重点方向。图灵奖获得者、中国科学院院士姚期智说,学院以人工智能基础理论人才为主、兼顾"人工智能+X"复合型人才的培养体系;在实现基础研究和关键核心技术的突破,培养顶尖的人工智能人才。 站在清华大学成立113年周年的节点上,人工智能学院的成立无疑被寄予厚望。首任院长由姚期智担任,中国科学院院士张钹担任名誉院长。二人对中国人工智能的发展有着不可磨灭的贡献,也是中国在人工智能学科的奠基人。 姚期智早期求学于台湾大学、哈佛大学、伊利诺伊大学,曾在美国的麻省理工大学、加利福尼亚大学伯克利分校、斯坦福大学、普林斯顿大学任教。 2004年,姚期智辞去普林斯顿终身教职,毅然回国。2005年,清华"姚班"成立,从这里走出一大批中国的学者和创业者。 - 界面新闻 2024年AI智能终端行业研究报告 2024年2月26日至29日,MWC(世界移动通信大会)在巴塞罗那盛大开幕,科技巨头们齐聚一堂,上演了一番"AI+硬件"的"战国时代"。 在此期间,多家手机厂商公布了旗下AI业务的最新进展,如荣耀发布了魔法OS 8.0、魔法大模型、Magic6 Pro手机、Magic V2 RSR保时捷设计款折叠屏旗舰机等多款新品。手机芯片厂商高通和联发科,也在芯片层加入了更多AI能力。 此外,AIPC产品也成为大会的焦点之一。联想公司发布了全球首款17.3英寸Micro-LED透明屏笔记本概念机,利用生成式AI技术,透明屏幕能够将物理对象与数字信息相结合,让设备自然融入周围环境。 经过2023年AI浪潮的洗礼,硬件厂商已经深刻意识到AI技术的重要性,并加速将其应用于自家产品。如果说2023年是ChatGPT等AI软件的元年,那么2024年就是"AI+硬件"的元年。 - 36氪   今日推荐 开源项目 SanderMertens/flecs  https://github.com/SanderMertens/flecs Flecs 是用于 C 和 C++ 的轻量级实体组件系统,有助于构建游戏等模拟场景。 Flecs 从一开始就以便携性为设计理念。它不仅可以在所有主要平台上运行,项目还可以将它与不同的编程语言一起使用。 每日一博 基于 service mesh 的服务治理体系实现详解 随着微服务和容器化技术的迅速发展,传统的基于 SDK 和服务框架的微服务架构在面对多元化的技术和逐步增多的服务数量时弊端逐渐显现,为了解决这些问题,service mesh 作为新一代的微服务框架逐渐展露头角。这种架构模式可以将其视为微服务时代的 TCP/IP 协议,通过将网络通信层下沉,来屏蔽分布式系统带来的复杂性。 因此各大厂纷纷向这种微服务架构模式升级,用该种模式解决东西向流量(server-server)和南北向流量(client-server)问题,期望可以让开发者回归业务,更聚焦业务。但在软件开发中并没有银弹,从传统微服务模式升级到 service mesh 架构模式可谓困难重重。​    事件点评  德国车用软件公司 Elektrobit 开源基于 Ubuntu 的汽车操作系统解决方案 Elektrobit 是德国运输行业制造商大陆集团的全资独立子公司,致力于为汽车行业提供嵌入式互联软件产品和服务, Elektrobit 最近宣布推出了面向功能安全应用的 EB corbos Linux for Safety Applications,这是全球首个符合汽车功能安全标准的开源操作系统(OS)解决方案,包括全生命周期维护。  点评 EB corbos Linux for Safety Applications 的推出,意味着汽车制造商和供应商现在可以在安全关键的高性能计算功能中安全地使用 Linux,对于推动汽车行业的安全标准提升具有重要意义。 Elektrobit 与 Canonical 合作将 Ubuntu 集成到 EB corbos Linux 中,这是业界首次将最大的开源 Linux 社区引入汽车软件领域。展示了开源社区在推动汽车行业技术进步中的重要作用。而 EB corbos Linux 的开源特性意味着汽车制造商可以利用由世界级开源开发者组建的庞大社区所取得的先进成果,从而降低开发成本和时间。 深圳发布重大开源项目申报指南 2024 年 4 月 28 日,深圳市工业和信息化局发布《市工业和信息化局关于发布 2024 年软件产业高质量发展项目重大开源项目相关申请指南的通知》,宣布组织开展 2024 年软件产业高质量发展项目重大开源项目相关申请指南的申报工作。包含应用推广体系扶持计划的两个项目:1.重大开源项目商业发行版软件推广应用项目;2.重大开源项目芯片模组采购项目。  点评 这一举措对于深圳市的软件产业具有重要意义。首先,它表明了深圳市政府对软件产业高质量发展的重视,特别是在开源项目方面。通过资助重大开源项目,政府旨在促进技术创新和产业升级,从而提升深圳市在全球软件产业中的竞争力。 其次,这一政策对于软件企业来说是一个巨大的机遇。获得资助不仅可以帮助企业提升自身技术实力,还可以加速其产品在市场中的推广和应用。此外,最高可达1000万元的资助额度对于许多企业来说是一个极具吸引力的支持。 最后,这一政策还可能对深圳市乃至整个中国的软件产业发展产生深远影响。通过支持开源项目,深圳市可能会成为技术创新和软件开发的领先城市,吸引更多企业和人才加入。 《美国对全球网络空间安全与发展的威胁和破坏》报告发布 中国网络安全产业联盟(CCIA)组织发布了《美国对全球网络空间安全与发展的威胁和破坏》报告,以揭露美国在网络空间的霸权霸道霸凌行为。  点评  这份报告的发布可能会对国际关系和网络安全领域产生多方面的影响。首先,它可能加剧中美之间的网络空间竞争和紧张关系。其次,这份报告可能会引发全球范围内对网络空间安全和发展的关注和讨论。此外,这份报告还可能促使其他国家加强自身的网络防御能力。 总之,这份报告不仅揭示了美国在网络空间的行为,还可能对国际网络安全环境产生深远影响,并促使全球各国在网络空间安全和治理方面采取更加谨慎和积极的措施。   开源之声 媒体观点 中国移动董事长杨杰:算力网络点亮AI新时代 杨杰指出,历次工业革命表明,基础设施在支撑前沿科技突破、生产要素配置和产业转型升级中发挥着关键作用,是推动社会生产力整体跃升的重要物质基础和先决条件。随着新一轮科技革命和产业变革深入发展,人工智能成为新生产工具、数据成为新生产要素、算力成为新基础能源,三者共同构成新质生产力的重要驱动因素。特别是近期,通用人工智能取得突破式进展,引发算力需求爆发式增长。加快构建高科技、高效能、高质量的算力基础设施,对于发展新质生产力至关重要。 - 中国青年网  我的公司,还没被OpenAI杀死 OpenAI每发布一个功能,就消灭了一家初创公司。 AI创业者们,如何在遮天蔽日的OpenAI狂野浪潮中幸存?AI面试这个赛道,或许可以带来一些启示。2014年伊始的AI面试,历经十年,大浪淘沙,曾经30多家存在过的公司,如今在国内只剩下6家左右。穿越AI1.0时代和AI2.0时代的幸存者发现: 第一,真正有价值的产品在大模型时代来临之前就已经得到验证,这个价值是不依赖于大模型的,大模型只是在原有基础上提升了价值。第二,务必做特定垂直领域的专门人工智能。 这也是这些公司能够存活至今的根本原因。  - 虎嗅APP 中国AI,全球掘金 在今天,尽管创业环境更加严峻,无法与十年前水大鱼大的时期相比,但生成式AI带来十倍、百倍的生产力提升,会对公司的组织形式产生深远影响。智能涌现观察到,如今不少AI出海的项目,都选择在国内招聘研发、产品团队,仅在海外招聘少量销售,就能支撑起项目运转。 对AI创业者而言,确定的事实在于:一个人能撬动的资源将会越来越多,创业机会将会长期存在。OpenAI掌门人Sam Altman抛出的观点更加乐观:"AI时代会创造出一种全新的创业公司:一个人的独角兽公司,并且,出现的时间不会太远。" - 智能涌现 RTX 40 系列GPU算力奠基,PC迎来AI生产力进化革命  业界全体AI化的进化方向似乎已经不可避免,尽管行业整体都在暗自发育发力,也呈现出了一点百花齐放的苗头,但目前来看地位最超然的仍然还是在此领域内耕耘许久且占据了先机的NVIDIA。基于RTX GPU的AI应用计算加速俨然已经走在了一众厂商的最前列,也得到了最广泛的应用支持。基于此,我们认为RTX AI有很大机会能掀起一场AI PC的生产力革命,并快速带动AI应用高速前行。  - 微型计算机 用户观点 旅客连接高铁 WiFi 时弹出骂人脏话   观点 1:长时间受压迫的国企外包 观点 2:不就是程序员调BUG调得恼火了,打印提示语句用来做断点的,然后忘记删掉就发布上线了,体现了code review的重要性。 观点 3:笑死 调试信息忘删了 07年写过个代码 如果出错就会报个fxxk 直到离职都没出过   华为高管评价开源鸿蒙价值:被国外持续打压仍有自己的操作系统   观点 1:安卓是开源的,谁都可以用,谁也都可以改,如何卡脖子?这话以其说是说给韭菜听的,不如说是给上面听的  观点 2:你是一点不看安卓开源内容啊,就抓着开源哔哔机🤣,你甚至不知道谷歌卡华为脖子是卡了啥🤣 观点 3:震惊 你是不知道 阿里 yunos 怎么死的吧?改版 ,但只能改一点点。 改多了会被告的,阿里 yunos 就是改得太多! 观点 4:随华为怎么改,只要最后不要强制所有国产手机必须用鸿蒙就行  观点 5:直接用也喷,套了也喷,独立了还喷。。。"将用户加入加灰名单后,对方将不可评论你的动态,同时你也不能看到对方的动态。" 加灰是个好功能啊 观点 6:当我们被国外打压 "卡脖子" 的时候,仍然有自己的操作系统可以用,不至于倒下。而先进性是指,我们不仅要有自己的操作系统,还要有一个面向下一代、更先进、更有竞争力、更好用的操作系统,没错,说的就是统信UOS。 观点 7:要是阿里yunos有华为一半营销手段,就没有鸿蒙什么事了。 观点 8:看别人的消息,阿里yunos系统一出来,谷歌下场禁止(哪些供应商,你要做阿里yunos,就不准做安卓)。。。华为那改版系统都没这待遇。。。后来魅族出的那个其实叫阿里yunos by 安卓。。不算真正最初的阿里yunos   RISC-V 对技术和创新的影响   观点 1:RISC,Linux,TCP/IP,HTTP这些开放技术是真正的人类文明之光! 观点 2:RISC-V还是嵌入式吧,论通用还得Loongarch。   ---END--- 最后,欢迎扫码下载「开源中国 APP」,阅读海量技术报告、程序员极客分享!

-- gReader Pro 

Your Chrome address bar is getting a machine learning upgrade

Your Chrome address bar is getting a machine learning upgrade

https://www.xda-developers.com/chrome-address-bar-machine-learning-upgrade/

Key Takeaways  Google's machine learning model in Chrome's omnibox adapts to user habits, providing more relevant results based on browsing behavior.   The new model takes into account factors like time since last website visit to predict user intent accurately.   Machine learning for the omnibox will be available in the latest Chrome update, M124, improving user experience.       If you're an avid Chrome user, there's a good chance you use the omnibox a lot throughout your daily life. And if you have no idea what an "omnibox" is, it's what Google calls the address bar in Chrome, called such because it does a lot more than just point to websites. Now, Google is implementing a machine learning model into the omnibox so it can learn what you want and better serve up what you're trying to achieve while using Chrome.             Related   Asus Chromebook Plus CX34 review: Unbelievably premium for just $400   The Asus Chromebook Plus CX34 sets a new standard for affordable but premium Chromebooks, and for $400, it's a steal Google enhances Chrome's omnibox with a machine-learning model        As announced on the Chromium blog, Justin Donnelly, Chrome software engineer, discusses the work that went into creating how the omnibox works. One of the biggest points of feedback he got over it was its scoring system; how the omnibox decided what the user wanted to achieve based on what they're typing. The problem wasn't that the scoring system was there; the issue was that it was based on static, unchanging formulae that didn't adapt to the user's habits.   As such, Justin worked on a machine learning-powered omnibox that monitored different metrics and showed you results based on how you used the browser. One metric that Justin discussed was the time since you last visited a website. The longer you don't visit a website, the less the omnibox will suggest visiting that website when trying to guess your intention. But as it turned out, the machine learning model actually gave Justin an insight into browsing habits that he didn't expect:  ...we noticed something surprising: when the time since navigation was very low (seconds instead of hours, days or weeks), the model was decreasing the relevance score. It turns out that the training data reflected a pattern where users sometimes navigate to a URL that was not what they really wanted and then immediately return to the Chrome omnibox and try again. In that case, the URL they just navigated to is almost certainly not what they want, so it should receive a low relevance score during this second attempt.    As such, not only will Chrome's machine learning learn of all your habits, but it'll also clue into all the little mistakes when browsing the internet, and adapt to them. If you're interested in this technology, machine learning for the omnibox will arrive as part of the latest Chrome update, M124.

-- gReader Pro 

台版ChatGPT再升級 國科會釋出TAIDE-LX-8B - 生活 - 自由時報電子報

全球產業夯生成式 AI?BCG:無法取代傳統 AI、工業控制系統 | TechNews 科技新報

AI 搜索工具 Perplexica:完全开源免费、Perplexity 的开源替代品

AI 搜索工具 Perplexica:完全开源免费、Perplexity 的开源替代品

https://www.oschina.net/news/290093

Perplexica 是 AI 驱动的问答搜索引擎,声称可作为 Perplexity (perplexity.ai) 的开源替代方案。 GitHub 地址:https://github.com/ItzCrazyKns/Perplexica  Perplexica 是开源人工智能搜索工具,也可以说是人工智能搜索引擎,能够深入互联网寻找答案。 Perplexica 借鉴了 Perplexity AI,可作为其开源替代选项。Perplexica 不仅能从网络搜索内容,还能理解问题。它使用相似性搜索和 embedding 等先进的机器学习算法来完善搜索结果,并提供附有出处的清晰答案。   Perplexica 最大特点是设计了多种搜索模式,包括学术搜索、YouTube 视频搜索、学术搜索和计算等专用模式,这些模式根据用户的具体需求调整搜索算法的行为,提供更为精确和相关的搜索结果。 Perplexica 还支持使用本地部署的大语言模型,如 Llama3 和 Mixtral。  Perplexica 运行效果

-- gReader Pro 

2024年4月28日 星期日

校长被 AI 生成的种族主义言论陷害

校长被 AI 生成的种族主义言论陷害

https://www.solidot.org/story?sid=78033

Pikesville High School 前体育指导员 Dazhon Darien 周四被捕,被控多项罪名,其中之一是伪造了校长 Eric Eiswert 的声音,在社交媒体上发布了种族主义言论,导致了校长被停职。警方称,Darien 制作 AI 语音是为了报复校长,因为校长已对学校资金可能被不正确处理发起调查。他制作的语音模拟校长的声音贬低了黑人学生和犹太社区,该语音在社交媒体上广泛传播。校长被停职,社交媒体传播着一波又一波仇恨信息,学校收到了大量电话。Darien 被捕时正准备飞往休斯顿,他随身携带了武器。  https://www.cbsnews.com/baltimore/news/maryland-framed-principal-racist-ai-generated-voice/ https://www.cbsnews.com/baltimore/news/maryland-framed-principal-racist-ai-generated-voice/    Local News  School principal was framed using AI-generated racist rant, police say. A co-worker is now charged.     By Christian Olaniran, Jessica Albert   Updated on: April 26, 2024 / 9:55 AM EDT / CBS Baltimore                    Maryland athletics director charged with AI-generated impersonation of principal Maryland athletics director charged with AI-generated impersonation of principal 03:02  BALTIMORE -- A former high school athletic director was arrested Thursday morning after allegedly using artificial intelligence to impersonate the school principal in a recording that included racist and antisemitic comments about individuals at the school. One-time Pikesville High School employee Dazhon Darien is facing charges that include theft, stalking, disruption of school operations and retaliation against a witness. Investigators determined he faked principal Eric Eiswert's voice and circulated the audio on social media in January. Darien's nickname, DJ, was among the names mentioned in the audio clips he allegedly faked, according to the Baltimore County State's Attorney's Office.Baltimore County detectives say Darien created the recording as retaliation against Eiswert, who had launched an investigation into the potential mishandling of school funds, Baltimore County Police Chief Robert McCullough said on Thursday. Eiswert's voice, which police and AI experts believe was simulated, made disparaging comments toward Black students and the surrounding Jewish community. The audio was widely circulated on social media.   Baltimore County Police said Darien was at the airport trying to get on a flight to Houston when he was arrested. He had a firearm on him at the time, according to police. "Mr. Darien was stopped because of the way his declared firearm was packaged when officers looked into his background they learned he had an open arrest warrant," McCullough said.Race-based commentaryOn the audio clip, a voice that mimicked Principal Eiswert made race-based commentary, including statements that African-American students were unable to "test their way out of a paper bag," according to charging documents. There were also comments about Jewish individuals and two teachers who "should never have been hired at the school." Police said the recording depicted a phony conversation between Eiswert and one of the school's assistant principals.   The clip's viral circulation on social media had significant repercussions. Eiswert was temporarily removed from the school, and waves of hate-filled messages circulated on social media, while the school received numerous phone calls.Recording's authenticity was questionedAfter a meeting, Eiswert told police he believed the audio clip was falsified using AI. According to charging documents, Eiswert told police that he believed Darien was responsible. He said that Darien was "technologically savvy and believed he was familiar with AI," and that there had been conversations with Darien about his contract not being renewed the following semester due to frequent work performance challenges.Interviews with multiple administrators at Pikesville High School revealed that Darien had multiple work-related issues since he began his role as athletic director in July 2023. Police said Darien had been reprimanded for terminating a long-standing coach at the school without approval. Investigators say Darien had accessed the school's network multiple times in December and January, performing online searches for OpenAI tools - which police linked to paid OpenAI accounts. A forensic analyst and university professor contracted by the FBI conducted an audio analysis of the file. The results determined that the recording contained traces of AI-generated content, with human editing that added background noises for realism after the fact, according to the charging documents. Another expert at the University of California, Berkley, analyzed the audio and also determined that it was manipulated. Response from school leadership"As you can imagine, this has been a very difficult time for Pikesville High School community, principal Eiswert and his family, and team BCPS. We are incredibly proud of the students and staff and how they have stepped up to support one another," Baltimore County Schools Superintendent Dr. Myriam Rogers said. "As I said then, and it bears repeating, the statements on the recording do not reflect the core values of our system."Rogers added that the county is taking "appropriate action" following Darien's arrest, "up to and including a recommendation for termination."  More from CBS News        AI expert discusses concerns of voice cloning after arrest of Baltimore County athletics director         Baltimore County examines AI's potential for misuse after false audio recording         Maryland's 'Freedom to Read' act bans book censorship in libraries, bolsters rights amid national debate         Rep. David Trone emphasizing public service, systemic reform in Maryland senate race         Angela Alsobrooks aims to become first Black woman to represent Maryland in U.S. Senate      Christian Olaniran   Christian Olaniran is a Digital Producer for CBS News Baltimore, where he writes stories on diverse topics including politics, arts, culture, sports and more. He also creates engaging social media content to complement news coverage.    Twitter    Instagram       First published on April 25, 2024 / 9:20 AM EDT   © 2024 CBS Broadcasting Inc. All Rights Reserved.    Featured Local Savings

-- gReader Pro 

T客邦 Techbang: 越來越多人覺得Google給的答案變垃圾,轉向YouTube和Reddit搜尋答案

有圖有真相嗎?要怎麼分辨 AI 生成影像避免受騙?

有圖有真相嗎?要怎麼分辨 AI 生成影像避免受騙?

https://pansci.asia/archives/375530

-----廣告,請繼續往下閱讀-----     2 月 15 日 OpenAI 發佈 Sora,隔一周後 Stable diffusion 3 隨後推出,以前人家都說有圖有真相,現在眼見不實的時代要來臨了,你說?還有什麼可以相信的? AI 生成的影像到底有沒有方法可以辨識出來?今天,我們來談談近期關於辨識 AI 生成,找出 AI 生成的破綻! 先說結論,理論上可以!但現實很困難,很容易被破解,這集我們回答三個問題:  AI 生成影像有什麼破綻? 還有哪些方法可以辨別 AI 生成的影像? 最後來談談這些辨識方法,在現實中會遇到什麼問題?     回到最基礎的問題眼見不再為憑,接下來只會越來越多,不會越來越少,謠言進化成謠圖跟謠影片,現在還真的沒有其他武器,來辨識 AI 生成的內容,說到底還是得回歸自身的媒體識讀、確認訊息來源!-----廣告,請繼續往下閱讀-----      最後也想問問你,在這個大 AI 生成的時代,你會怎麼避免自己被 AI 騙呢?  相信大公司,相信聯合制定的浮水印規範終將落實 AI 問題要用 AI 解決,相信辨識系統一定會完成 網路上的影像全是假的,是我眼睛業障重 其他答案也歡迎留言分享    更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得更多有趣的資訊!

-- gReader Pro 

2024年4月27日 星期六

AI 比你老闆還懂你——日本發明 AI 工具分析員工「想離職指數」,提醒老闆該上前關心囉

AI 比你老闆還懂你——日本發明 AI 工具分析員工「想離職指數」,提醒老闆該上前關心囉

https://www.facebook.com/641833231322747/posts/835128938659841

(Feed generated with FetchRSS)

-- gReader Pro 

動手學自然語言處理 | 【第 131 期|本期簡體新書】AI領域最熱門的技術大語言模型

動手學自然語言處理 | 【第 131 期|本期簡體新書】AI領域最熱門的技術大語言模型

https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9787115636461/2/0106018f1e3cdef7-7a87f117-f1bd-4f2c-a118-65ff10478704-000000/mi8YqFJvR7_7LGclr63ZZgzw0xo=156

動手學自然語言處理 本書介紹自然語言處理的原理和方法及其代碼實現,是一本著眼於自然語言處理教學實踐的圖書。本書分為3個部分。第一部分介紹基礎技術,包括文本規範化、文本表示等。 more  https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9787115636461/2/0106018f1e3cdef7-7a87f117-f1bd-4f2c-a118-65ff10478704-000000/mi8YqFJvR7_7LGclr63ZZgzw0xo=156 商品描述  本書介紹自然語言處理的原理和方法及其代碼實現,是一本著眼於自然語言處理教學實踐的圖書。 本書分為3個部分。第一部分介紹基礎技術,包括文本規範化、文本表示、文本分類、文本聚類。第二部分介紹自然語言的序列建模,包括語言模型、序列到序列模型、預訓練語言模型、序列標註。第三部分介紹自然語言的結構建模,包括成分句法分析、依存句法分析、語義分析、篇章分析。本書將自然語言處理的理論與實踐相結合,提供所介紹方法的代碼示例,能夠幫助讀者掌握理論知識並進行動手實踐。 本書適合作為高校自然語言處理課程的教材,也可作為相關行業的研究人員和開發人員的參考資料。  作者簡介  屠可伟,上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学习等,主要研究将符号、统计和神经方法相结合用于语言结构的表示、学习与利用。发表论文100余篇,主要发表在ACL、EMNLP、AAAI 等人工智能领域顶级会议。担任多个顶级会议程序委员会委员和领域主席。曾获ACL 2023杰出论文奖,以及SemEval 2022和SemEval 2023最佳系统论文奖。王新宇,上海科技大学博士,长期从事自然语言处理研究工作,在ACL、EMNLP、NAACL等顶级会议上发表论文10余篇,担任ACL、NAACL会议的领域主席以及ACL滚动审查(ACL Rolling Review)执行编辑。曾获得中国中文信息学会优秀博士学位论文提名、SemEval 2022最佳系统论文奖等荣誉。曲彦儒,伊利诺伊大学厄巴纳-香槟分校博士生,长期从事自然语言处理研究工作,在ACL、NAACL、AAAI、ICLR等会议上发表了多篇论文。俞勇,上海交通大学ACM班创办人,国家级教学名师,上海交通大学特聘教授。2018年创办伯禹人工智能学院,在上海交通大学ACM班人工智能专业课程体系的基础上,对人工智能课程体系进行创新,致力于培养卓越的人工智能算法工程师和研究员。  目錄大綱  第 1章 初探自然語言處理 11.1 自然語言處理是什麽 11.2 自然語言處理的應用 21.3 自然語言處理的難點 31.4 自然語言處理的方法論 41.5 小結 5第 一部分 基礎第 2章 文本規範化 82.1 分詞 82.1.1 基於空格與標點符號的分詞 82.1.2 基於正則表達式的分詞 92.1.3 詞間不含空格的語言的分詞 122.1.4 基於子詞的分詞 132.2 詞規範化 172.2.1 大小寫折疊 172.2.2 詞目還原 182.2.3 詞乾還原 192.3 分句 192.4 小結 20第3章 文本表示 223.1 詞的表示 223.2 稀疏向量表示 243.3 稠密向量表示 253.3.1 word2vec 253.3.2 上下文相關詞嵌入 303.4 文檔表示 303.4.1 詞-文檔共現矩陣 313.4.2 TF-IDF加權 313.4.3 文檔的稠密向量表示 333.5 小結 33第4章 文本分類 354.1 基於規則的文本分類 354.2 基於機器學習的文本分類 364.2.1 樸素貝葉斯 364.2.2 邏輯斯諦回歸 424.3 分類結果評價 454.4 小結 47第5章 文本聚類 495.1 k均值聚類算法 495.2 基於高斯混合模型的最大期望值算法 535.2.1 高斯混合模型 535.2.2 最大期望值算法 535.3 無監督樸素貝葉斯模型 575.4 主題模型 605.5 小結 61第二部分 序列第6章 語言模型 646.1 概述 646.2 n元語法模型 666.3 循環神經網絡 676.3.1 循環神經網絡 676.3.2 長短期記憶 736.3.3 多層雙向循環神經網絡 766.4 註意力機制 80多頭註意力 836.5 Transformer模型 856.6 小結 91第7章 序列到序列模型 937.1 基於神經網絡的序列到序列模型 937.1.1 循環神經網絡 947.1.2 註意力機制 967.1.3 Transformer 987.2 學習 1017.3 解碼 1067.3.1 貪心解碼 1067.3.2 束搜索解碼 1077.3.3 其他解碼問題與解決技巧 1107.4 指針網絡 1117.5 序列到序列任務的延伸 1127.6 小結 113第8章 預訓練語言模型 1148.1 ELMo:基於語言模型的上下文相關詞嵌入 1148.2 BERT:基於Transformer的雙向編碼器表示 1158.2.1 掩碼語言模型 1158.2.2 BERT模型 1168.2.3 預訓練 1168.2.4 微調與提示 1178.2.5 BERT代碼演示 1178.2.6 BERT模型擴展 1218.3 GPT:基於Transformer的生成式預訓練語言模型 1228.3.1 GPT模型的歷史 1228.3.2 GPT-2訓練演示 1238.3.3 GPT的使用 1258.4 基於編碼器-解碼器的預訓練語言模型 1288.5 基於HuggingFace的預訓練語言模型使用 1298.5.1 文本分類 1298.5.2 文本生成 1308.5.3 問答 1308.5.4 文本摘要 1318.6 小結 131第9章 序列標註 1339.1 序列標註任務 1339.1.1 詞性標註 1339.1.2 中文分詞 1349.1.3 命名實體識別 1349.1.4 語義角色標註 1359.2 隱馬爾可夫模型 1359.2.1 模型 1359.2.2 解碼 1369.2.3 輸入序列的邊際概率 1379.2.4 單個標簽的邊際概率 1389.2.5 監督學習 1399.2.6 無監督學習 1399.2.7 部分代碼實現 1419.3 條件隨機場 1469.3.1 模型 1469.3.2 解碼 1479.3.3 監督學習 1489.3.4 無監督學習 1499.3.5 部分代碼實現 1499.4 神經序列標註模型 1549.4.1 神經softmax 1549.4.2 神經條件隨機場 1549.4.3 代碼實現 1559.5 小結 156第三部分 結構第 10章 成分句法分析 16010.1 成分結構 16010.2 成分句法分析概述 16110.2.1 歧義性與打分 16110.2.2 解碼 16210.2.3 學習 16210.2.4 評價指標 16310.3 基於跨度的成分句法分析 16310.3.1 打分 16410.3.2 解碼 16510.3.3 學習 17010.4 基於轉移的成分句法分析 17310.4.1 狀態與轉移 17310.4.2 轉移的打分 17410.4.3 解碼 17510.4.4 學習 17610.5 基於上下文無關文法的成分句法分析 17710.5.1 上下文無關文法 17710.5.2 解碼和學習 17810.6 小結 179第 11章 依存句法分析 18111.1 依存結構 18111.1.1 投射性 18211.1.2 與成分結構的關系 18211.2 依存句法分析概述 18411.2.1 打分、解碼和學習 18411.2.2 評價指標 18411.3 基於圖的依存句法分析 18511.3.1 打分 18511.3.2 解碼 18611.3.3 Eisner算法 18611.3.4 MST算法 19111.3.5 高階方法 19411.3.6 監督學習 19411.4 基於轉移的依存句法分析 19511.4.1 狀態與轉移 19611.4.2 打分、解碼與學習 19611.5 小結 198第 12章 語義分析 20012.1 顯式和隱式的語義表示 20012.2 詞義表示 20112.2.1 WordNet 20112.2.2 詞義消歧 20312.3 語義表示 20412.3.1 專用和通用的語義表示 20412.3.2 一階邏輯 20512.3.3 語義圖 20512.4 語義分析 20612.4.1 基於句法的語義分析 20612.4.2 基於神經網絡的語義分析 20712.4.3 弱監督學習 20912.5 語義角色標註 20912.5.1 語義角色標註標準 20912.5.2 語義角色標註方法 21112.6 信息提取 21112.7 小結 212第 13章 篇章分析 21313.1 篇章 21313.1.1 連貫性關系 21313.1.2 篇章結構 21413.1.3 篇章分析 21513.2 共指消解 21513.2.1 提及檢測 21613.2.2 提及聚類 21613.3 小結 220總結與展望 221參考文獻 223中英文術語對照表 228附 錄 234

-- gReader Pro 

大語言模型:基礎與前沿 | 【第 131 期|本期簡體新書】AI領域最熱門的技術大語言模型

大語言模型:基礎與前沿 | 【第 131 期|本期簡體新書】AI領域最熱門的技術大語言模型

https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9787115634887/2/0106018f1e3cdef7-7a87f117-f1bd-4f2c-a118-65ff10478704-000000/ewtUSB9dDv3Qd4RdZ62VEpzbFK8=156

大語言模型:基礎與前沿 本書深入闡述了大語言模型的基本概念和算法、研究前沿以及應用,涵蓋大語言模型的廣泛主題,從基礎到前沿,從方法到應用,涉及從方法論到應用場景方方面面的內容。 more  https://vw87zqlw.r.ap-northeast-1.awstrack.me/L0/https:%2F%2Fwww.tenlong.com.tw%2Fproducts%2F9787115634887/2/0106018f1e3cdef7-7a87f117-f1bd-4f2c-a118-65ff10478704-000000/ewtUSB9dDv3Qd4RdZ62VEpzbFK8=156 商品描述  本書深入闡述了大語言模型的基本概念和算法、研究前沿以及應用,涵蓋大語言模型的廣泛主題,從基礎到前沿,從方法到應用,涉及從方法論到應用場景方方面面的內容。首先,本書介紹了人工智能領域的進展和趨勢;其次,探討了語言模型的基本概念和架構、Transformer、預訓練目標和解碼策略、上下文學習和輕量級微調、稀疏專家模型、檢索增強型語言模型、對齊語言模型與人類偏好、減少偏見和有害性以及視覺語言模型等內容;最後,討論了語言模型對環境的影響。本書內容全面、系統性強,適合高年級本科生和研究生、博士後研究人員、講師以及行業從業者閱讀與參考。  作者簡介  熊涛,美国明尼苏达大学双城分校电子与计算机工程博士。曾在多家中美知名高科技公司担任高级管理职位和首席科学家,在人工智能的多个领域,包括大语言模型、图神经网络等从事研发和管理工作多年。  目錄大綱  第 1章 大語言模型:辯論、爭議與未來發展方向 11.1 新時代的曙光 11.2 LLM有意識嗎 31.2.1 理解LLM的層次結構 31.2.2 意識是否需要碳基生物學 41.2.3 具身化與落地 41.2.4 世界模型 71.2.5 溝通意圖 81.2.6 系統性和全面泛化 91.3 未來發展方向 101.4 小結 13第 2章 語言模型和分詞 152.1 語言建模的挑戰 162.2 統計語言建模 162.3 神經語言模型 182.4 評估語言模型 192.5 分詞 192.5.1 按空格分割 202.5.2 字符分詞 212.5.3 子詞分詞 212.5.4 無分詞器 242.5.5 可學習的分詞 252.6 小結 27第3章 Transformer 293.1 Transformer編碼器模塊 293.2 編碼器-解碼器架構 313.3 位置嵌入 323.3.1 絕對位置編碼 323.3.2 相對位置編碼 343.4 更長的上下文 383.5 外部記憶 423.6 更快、更小的Transformer 453.6.1 高效註意力 453.6.2 條件計算 473.6.3 搜索高效Transformer 483.6.4 在單個GPU上一天內訓練一個語言模型 493.7 推理優化 493.7.1 推測解碼 493.7.2 簡化Transformer 513.7.3 修剪 523.7.4 蒸餾 533.7.5 混合精度 543.7.6 高效擴展Transformer推理 543.8 小結 56第4章 預訓練目標和解碼策略 574.1 模型架構 574.2 預訓練目標 604.3 具有代表性的語言模型 624.4 解碼策略 674.5 小結 72第5章 上下文學習和輕量級微調 735.1 上下文學習 745.1.1 示範樣本選擇 755.1.2 樣本排序 825.1.3 指令生成 825.1.4 思維鏈 845.1.5 遞歸提示 875.1.6 為什麽ICL有效 905.1.7 評估 935.2 提示語言模型的校準 945.3 輕量級微調 975.3.1 基於添加的方法 985.3.2 基於規範的方法 1005.3.3 基於重新參數化的方法 1015.3.4 混合方法 1035.4 小結 104第6章 訓練更大的模型 1076.1 擴大尺度法則 1076.1.1 預訓練Transformer擴大尺度的啟示 1076.1.2 預訓練和微調Transformer帶來的新啟示 1106.1.3 k比特推理擴大尺度法則 1116.1.4 挑戰與機遇 1126.2 涌現能力 1136.3 人工智能加速器 1156.4 並行 1176.4.1 數據並行 1196.4.2 流水線並行 1266.4.3 張量/模型並行 1316.4.4 專家混合 1336.5 混合訓練和低精度訓練 1336.5.1 單位縮放 1336.5.2 FP8與INT8 1356.6 其他節省內存的設計 1366.7 小結 137第7章 稀疏專家模型 1397.1 為什麽採用稀疏專家模型 1397.2 路由算法 1427.2.1 每個詞元選擇top-k個專家 1427.2.2 每個專家選擇top-k個詞元 1447.2.3 全局最優分配 1457.2.4 隨機路由 1487.2.5 雙層路由 1497.2.6 針對不同預訓練領域的不同專家 1497.3 其他改進措施 1527.3.1 加快訓練速度 1527.3.2 高效的MoE架構 1537.3.3 生產規模部署 1547.3.4 通過稀疏MoE擴展視覺語言模型 1547.3.5 MoE與集成 1557.4 小結 156第8章 檢索增強型語言模型 1578.1 預訓練檢索增強型語言模型 1588.2 詞元級檢索 1618.3 通過高效和精簡檢索進行問答和多跳推理 1638.4 檢索增強型Transformer 1668.5 檢索增強型黑盒語言模型 1688.6 視覺增強語言建模 1698.7 小結 170第9章 對齊語言模型與人類偏好 1719.1 基於人類反饋進行微調 1729.1.1 基於人類反饋的強化學習 1729.1.2 KL散度:前向與反向 1749.1.3 REINFORCE、TRPO和PPO 1749.1.4 帶有KL懲罰的強化學習:貝葉斯推理觀點 1789.1.5 通過分佈控制生成進行語言模型對齊 1809.1.6 通過f散度最小化統一RLHF和GDC方法 1829.2 基於語言反饋進行微調 1839.3 基於監督學習進行微調 1849.4 基於人工智能反饋的強化學習 1859.5 基於自我反饋進行迭代優化 1889.6 基於人類偏好進行預訓練 1909.7 小結 193第 10章 減少偏見和有害性 19510.1 偏見 19610.2 有害性 19910.3 偏見和有害性的檢測與減少 20010.3.1 基於解碼的策略 20110.3.2 基於提示的脫毒 20210.3.3 基於數據的策略 20410.3.4 基於投影和正則化的方法 20510.3.5 基於風格轉換的方法 20510.3.6 基於強化學習的微調和基於人類偏好的預訓練 20610.4 小結 206第 11章 視覺語言模型 20711.1 語言處理的多模態落地 20711.2 不需要額外訓練即可利用預訓練模型 20811.2.1 視覺引導解碼策略 20811.2.2 作為大語言模型提示的視覺輸入 20911.2.3 基於相似性搜索的多模態對齊 21211.3 輕量級適配 21311.3.1 鎖定圖像調優 21311.3.2 作為(凍結)語言模型前綴的學習視覺嵌入 21411.3.3 視覺-文本交叉註意力融合 21611.4 圖文聯合訓練 21911.5 檢索增強視覺語言模型 22211.6 視覺指令調整 22511.7 小結 227第 12章 環境影響 22912.1 能源消耗和溫室氣體排放 22912.2 估算訓練模型的排放量 23012.3 小結 231參考文獻 232

-- gReader Pro 

Automatic Build for Ionic Android APK and Bundle using Github Actions | nezhar.com

大型語言模型大亂鬥!近90個模型對戰 75 萬輪,GPT-4 奪冠、Llama 3 位列第五

大型語言模型大亂鬥!近90個模型對戰 75 萬輪,GPT-4 奪冠、Llama 3 位列第五

https://www.techbang.com/posts/114840-the-large-language-model-fought-750000-rounds-of-one-on-one

Llama 3 在大型語言模型排行榜中位列第五,英文單項與 GPT-4 並列第一關於 Llama 3,又有測試結果新鮮出爐 —— 大型語言模型評測社區 LMSYS 發佈了一份大型語言模型排行榜單,Llama 3 位列第五,英文單項與 GPT-4 並列第一。  不同於其他 Benchmark,這份榜單的依據是模型一對一 battle,由全網測評者自行命題並打分。 最終,Llama 3 取得了榜單中的第五名,排在前面的是 GPT-4 的三個不同版本,以及 Claude 3 超大杯 Opus。 而在英文單項榜單中,Llama 3 反超了 Claude,與 GPT-4 打成了平手。對於這一結果,Meta 的首席科學家 LeCun 十分高興,轉發了推文並留下了一個「Nice」。  PyTorch 之父 Soumith Chintala 也激動地表示,這樣的成果令人難以置信,對 Meta 感到驕傲。  Llama 3 的 400B 版本還沒出來,單靠 70B 參數就獲得了第五名…… 我還記得去年三月 GPT-4 發佈的時候,達到與之相同的表現幾乎是一件不可能的事。 …… 現在 AI 的普及化實在是令人難以置信,我對 Meta AI 的同仁們做出這樣的成功感到非常驕傲。   那麼,這份榜單具體展示了什麼樣的結果呢? 近 90 個模型對戰 75 萬輪 截至最新榜單發佈,LMSYS 共收集了近 75 萬次大型語言模型 solo 對戰結果,涉及的模型達到了 89 款。 其中,Llama 3 參與過的有 1.27 萬次,GPT-4 則有多個不同版本,最多的參與了 6.8 萬次。  下面這張圖展示了部分熱門模型的比拚次數和勝率,圖中的兩項指標都沒有統計平局的次數。  榜單方面,LMSYS 分成了總榜和多個子榜單,GPT-4-Turbo 位列第一,與之並列的是早一些的 1106 版本,以及 Claude 3 超大杯 Opus。 另一個版本(0125)的 GPT-4 則位列其後,緊接著就是 Llama 3 了。不過比較有意思的是,較新一些的 0125,表現還不如老版本 1106。  而在英文單項榜單中,Llama 3 的成績直接和兩款 GPT-4 打成了平手,還反超了 0125 版本。  中文能力排行榜的第一名則由 Claude 3 Opus 和 GPT-4-1106 共享,Llama 3 則已經排到了 20 名以外。  除了語言能力之外,榜單中還設定了長文字和程式碼能力排名,Llama 3 也都名列前茅。不過,LMSYS 的「遊戲規則」又具體是什麼樣的呢? 人人都可參與的大型語言模型評測 這是一個人人都可以參與的大型語言模型測試,題目和評價標準,都由參與者自行決定。而具體的「競技」過程,又分成了 battle 和 side-by-side 兩種模式。  battle 模式下,在測試介面輸入好問題之後,系統會隨機呼叫庫中的兩個模型,而測試者並不知道系統到底抽中了誰,介面中只顯示「模型 A」和「模型 B」。 在模型輸出答案後,測評人需要選擇哪個更好,或者是平手,當然如果模型的表現都不符合預期,也有相應的選項。 只有在做出選擇之後,模型的身份才會被揭開。side-by-side 則是由使用者選擇指定的模型來 PK,其餘測試流程與 battle 模式相同 不過,只有 battle 的匿名模式下的投票結果才會被統計,且在對話過程中模型不小心暴露身份就會導致結果失效。  按照各個模型對其他模型的 Win Rate,可以繪製出這樣的圖像:  △ 示意圖,較早版本 而最終的排行榜,是利用 Win Rate 資料,通過 Elo 評價系統換算成分數得到的。 Elo 評價系統是一種計算玩家相對技能水平的方法,由美國物理學教授 Arpad Elo 設計。 具體到 LMSYS,在初始條件下,所有模型的評分(R)都被設定為 1000,然後根據這樣的公式計算出期待勝率(E)。  隨著測試的不斷進行,會根據實際得分(S)對評分進行修正,S 有 1、0 和 0.5 三種取值,分別對應獲勝、失敗和平手三種情況。 修正演算法如下式所示,其中 K 為係數,需要測試者根據實際情況調整。  最終將所有有效資料納入計算後,就得到了模型的 Elo 評分。 不過實際操作過程中,LMSYS 團隊發現這種演算法的穩定性存在不足,於是又採用了統計學方法進行了修正。 他們利用 Bootstrap 方法進行重複採樣,得到了更穩定的結果,並估計了置信度區間。 最終修正後的 Elo 評分,就成了榜單中的排列依據。 One More Thing Llama 3 已經可以在大型語言模型推理平台 Groq(不是馬斯克的 Grok)上跑了。 這個平台的最大亮點就是"快",之前用 Mixtral 模型跑出過每秒近 500 token 的速度。 跑起 Llama 3,也是相當迅速,實測 70B 可以跑到每秒約 300 Token,8B 版本更是接近了 800。   延伸閱讀:Llama 3 最強開源大語言模型王者歸來,這次表現直逼 GPT-4   加入T客邦Facebook粉絲團

-- gReader Pro 

消息称 x.AI 正以 180 亿美元估值融资 60 亿美元

消息称 x.AI 正以 180 亿美元估值融资 60 亿美元

https://www.oschina.net/news/289756/xai-elon-musks-6b-funding

科技网站 TechCrunch 援引据知情人士消息称,埃隆-马斯克(Elon Musk)旗下的人工智能公司 xAI 正在以 180 亿美元的投前估值融资 60 亿美元。除非交易条款发生变化,否则这笔交易有望在未来几周内完成,投资者将获得公司四分之一的股份。 在此之前,交易条款已经变更过一次。上周末,马斯克家族办公室负责人 Jared Birchall 曾向潜在投资者透露,xAI 将以 150 亿美元的投前估值融资 30 亿美元。但鉴于有大量投资者争相参与这笔交易,相关数字很快重新进行了调整,而投资者基本也都不介意这一变更。  消息人士透露,红杉资本和由马斯克的老朋友 Steve Jurvetson 共同创立的风险投资基金 Future Ventures 参与了本轮融资。Jurvetson 是 SpaceX 董事会成员,并且在 2020 年之前一直是特斯拉的董事。红杉资本则是马斯克麾下SpaceX的投资者之一,并为马斯克收购X社交平台(原名推特)的交易提供了关键支持。 其他参与者还可能包括 Valor Equity Partners 和 Gigafund,这两家公司的创始人也是马斯克核心圈子的成员。Gigafund 联合创始人 Luke Nosek 曾与投资人 Peter Thiel 共同创立了 Founders Fund ,是第一位向 SpaceX 开出支票的风险投资者,此后一直担任其董事会成员。Valor 创始人 Antonio Gracias 是特斯拉最早的投资人之一;与 Jurveston 一样,他也曾是特斯拉的董事,现在也是 SpaceX 董事会成员。 TechCrunch 认为,xAI 蓬勃发展势头下最直接的受益者可能会是马斯克旗下的 X 平台 (原 Twitter)。 "尽管自马斯克收购该平台以来的一年半时间里,该平台已经成为一个有毒的污水坑,其价值也随之大打折扣。但马斯克已经让 X 持有了 xAI 的股份,因此,无论人工智能公司看到什么上升空间,X 都将从中受益。" 而这一切对于一直被马斯克放在对立面的 OpenAI 来说,还是个未知数。

-- gReader Pro 

AnimatedImages 免費下載超過 149,790 張 GIF 動畫圖片的圖庫

AnimatedImages 免費下載超過 149,790 張 GIF 動畫圖片的圖庫

https://free.com.tw/animatedimages/

早在網路發展的初期 GIF 動畫圖格式就已存在(GIF 是 1987 年發明),當年受限於網路速度還不快、許多網頁都會使用動態圖片,至今這個格式依舊活躍於社群網路、即時通訊軟體和線上討論區,如果你也喜歡畫風很簡單的 GIF 圖片,接下來要介紹的這個免費圖庫專門收錄 GIF 動態圖,所有圖檔都可免費下載或直接取得連結。  本文要推薦「AnimatedImages」是一個提供 GIF 動畫、動態圖片下載的免費圖庫,網站有龐大動畫圖檔,一共超過 2102 個分類、149790 張圖片,所有 GIF 動畫和動態圖片都可以免費下載、取得連結或是透過 eCard 寄給親朋好友,而且也不需要額外註冊帳號。 透過 AnimatedImages 搜尋功能輸入關鍵字後就會顯示相關 GIF 動畫圖結果,也能直接瀏覽分類、熱門分類或熱門圖片,這些 GIF 動態圖都很有時代感,看起來陽春卻帶有一些童趣,如果你正在尋找 GIF 圖檔可以到這個國外網站尋寶。 AnimatedImages https://www.animatedimages.org/ 使用教學 STEP 1 開啟 AnimatedImages 網站後從搜尋欄位輸入要查找的圖片關鍵字,首頁也會有一些熱門搜尋字詞,比較簡單的方法是點選上方選單「Popular Images」就會顯示熱門圖片,依照點擊次數、投票數、下載數和評分來篩選熱門圖片。  另一個「Popular Categories」可以找到熱門分類,例如:愛、花朵、天使、生日快樂、女人、美食飲品、青蛙、火車、貓咪、感謝你、狗狗和早安等等,往下捲動頁面有完整的分類列表,依照英文字母順序顯示。  STEP 2 每個分類下 GIF 圖片都會有預覽效果,直接在瀏覽器內播放顯示,不過有些 GIF 圖片是靜止狀態。  STEP 3 點擊進入 GIF 動態圖頁面後按下下方「Download」即可下載、保存 GIF 檔,依照 AnimatedImages 說明,所有圖片都可以免費使用,使用時也不需要標示出處來源。  另一個按鈕「Link Image」會顯示 HTML、Become 和直接連結網址,對於要取用圖片、在網路上使用就會變得很簡單,不需要自行託管 GIF 圖片檔案,AnimatedImages 還有提供直接連結,複製後就能貼上使用。  這篇文章 AnimatedImages 免費下載超過 149,790 張 GIF 動畫圖片的圖庫 最早出現在免費資源網路社群,請追蹤 Google 新聞、Facebook、Twitter 或 RSS feed 獲取更多科技新知及免費資源相關介紹教學。

-- gReader Pro 

2024年4月26日 星期五

Chrome 浏览器怎么修改user-agent伪装其它浏览器 - 行走的思想 - 博客园

Android手機玩Steam上的Windows遊戲 ~ Mobox模擬器使用教學

Android手機玩Steam上的Windows遊戲 ~ Mobox模擬器使用教學

https://ivonblog.com/posts/termux-mobox/

Mobox是一款開源的exe模擬器,讓我們可以在Android手機遊玩Steam上的Windows遊戲。具體來說Mobox能玩什麼Steam遊戲?只要Steam Deck(Proton)能開的遊戲,Mobox應該也能執行。只要手機硬體夠強都能跑。比如Youtuber極客灣就成功在8 Gen 3的手機跑《Cyberpunk 2077》:1. 硬體需求#10GB以上儲存空間8GB以上RAM如果你打算玩3D大作的話,那麼手機處理器最好是高通SD 865以上等級。並且考慮圖形驅動相容性,處理器以高通為佳,聯發科可能無法發揮全速。準備外接鍵盤和滑鼠Mobox背後原理參見 Android轉譯玩Windows exe遊戲的方法一覽最大差別在於,Mobox利用Termux的原生套件執行Linux系統,沒了容器的損耗,幾乎是原生效能執行,性能比Winlator 6.0和Termux Proot要快很多,跟Termux chroot性能不相上下。2. 安裝前置依賴套件#參考原作者olegos2的 Github說明安裝 Termux設定 Termux X11在Termux X11的Preferences設定,把Display Mode設定為exact,Display Resolution設定為1280x720(你可以視手機性能設定更高解析度)。再將Reseed screen…的選項取消勾選。3. 安裝Mobox#在手機系統設定,強制停止Termux和Termux X11兩個APP。開啟Termux X11,放到背景待命開啟Termux執行Mobox作者給的指令稿curl -s -o ~/x https://raw.githubusercontent.com/olegos2/mobox/main/install && . ~/x 在詢問要裝哪個版本的Box86的時候,輸入2選取Wow64版本等待Mobox裝好套件,輸入mobox指令啟動環境。使用畫面上的上下左右鍵,移動到Start Wine,按下Enter將手機打橫,等待Mobox初始化系統(需要注意有無Cannot Open Display:的錯誤訊息)接著,你的畫面應該會自動跳到Termux X11 APP,你就會看到Wine檔案總管了。Termux X11預設是以觸控板模式操作:雙指點選右鍵,按二左鍵,返回手勢叫出手機鍵盤點選左下角Start,安裝DXVK-dev圖形驅動程式部份,如果你是高通處理器就選Turnip驅動,非高通處理器請裝VirGL Mesa。退出方法:到Termux終端機按1退出,輸入exit,隨後強制中止Termux和Termux X11 APP。4. 啟用Mobox中文字體支援#參考: 一个中文汉字无法显示(显示口口框框)的解决方案 #362在Termux執行以下指令unset LD_PRELOAD export PATH=$PREFIX/glibc/bin:$PATH 生成正體中文sed -i 's/^#zh_TW.UTF-8 UTF-8/zh_TW.UTF-8 UTF-8/' $PREFIX/glibc/etc/locale.gen  locale-gen 下載中文字體,例如微軟正黑體mkdir ~/.fonts  cd ~/.fonts  wget https://raw.kkgithub.com/zanjie1999/windows-fonts/wine/msyh.ttc 啟動Moboxmobox 在Settings → System Settings → Change locale,locale,設定為zh_TW.UTF-8然後重新啟動Termux。5. 安裝Steam遊戲#不用裝Linux版的Steam,直接Windows版Steam exe就行。你可以用手機瀏覽器到 Steam官網下載SteamSetup.exe。或者按這個連結取得: https://cdn.cloudflare.steamstatic.com/client/installer/SteamSetup.exe在Mobox檔案總管的D:槽應該會看到你手機Download資料夾的檔案,捲動找到SteamSetup.exe,點二下執行按照指示安裝Steam。如果裝完後Steam沒自動開啟,請點選左下角Start,啟動SteamSteam初次開啟可能要花點時間,你可以點Start → Programs → tskmgr,開啟工作管理員,看Steam有無在執行。有時候steamwebhelper.exe可能會崩潰,並出現空白視窗,這時請點選第二個選項重啟Steam,或者重開Mobox。6. 遊玩非Steam遊戲#只要將程式的exe放到手機內部儲存空間/Download,再點選二下開啟即可。Wine相容的exe遊戲請參閱 ProtonDB。回報問題#如果Mobox指令稿有任何問題,請到olegos2的 Github回報。

-- gReader Pro 

2024年4月22日 星期一

开源日报 | 中学生开源前端动画引擎;全球首个Llama3 8B中文版开源模型;联想电脑恐出局;Linus讽刺AI炒作

开源日报 | 中学生开源前端动画引擎;全球首个Llama3 8B中文版开源模型;联想电脑恐出局;Linus讽刺AI炒作

https://www.oschina.net/news/288948

欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。 # 2024.4.22 今日要点 周鸿祎:闭源比开源好?Llama 3 已经给出最好答案 周鸿祎在微博回应了近日被指 "攻击李厂长"(百度 CEO 李彦宏)的报道:  这两天有人挑事儿,说我攻击李厂长。我一直是开源的信徒,但是我说开源好,是 13 号在哈佛讲的,李厂长说闭源好,是 16 号在北京讲的。 所以我不是针对李厂长,我还是从产业发展的角度来看开源和闭源。本想详细论证为什么开源一定会超过闭源,Llama 已经给出了最好的答案。 ​​​ 没有开源就没有 Linux,没有 PHP,没有 MySQL,甚至没有互联网。包括在人工智能发展上,如果没有当初谷歌开源 Transformer,就不会有 OpenAI 和 GPT。 我们都是受益于开源成长起来的个人和公司。昨天半夜 Meta 开源了 Llama3,一个 80 亿版本,一个 700 亿版本,性能都很强,超过了谷歌闭源的 Gemini。据说还有一个 4000 亿参数的版本在路上,性能应该会超越 GPT-4。开源到底行不行,Llama 已经给了最好的答案。  "鸿蒙之父"王成录:开源鸿蒙是我国基础软件领域唯一一次架构创新 王成录在采访中说道:  我觉得做一个操作系统,如果跟现在的操作系统是一样的,就没有未来,不可能发展起来。 开源鸿蒙操作系统是我们国家在基础软件领域里面唯一一次在架构上是创新的,它不是简单的国产替代,它是面向未来万物互联的。  王成录称,在开源鸿蒙出现之前,所有操作系统都有一个局限,就是其 DNA 都是面向单设备的,比如手机一类,桌面电脑一类,平板一类。开源鸿蒙操作系统的第一个特点,就是跟以前所有操作系统都不同,是唯一一个几乎能装在各种各样设备上的操作系统,像烟感、灯、相机、门禁、门锁等,这就意味着设备之间的交互更简单了;第二个特点是软总线,一条看不见的高速公路。设备之间的协作通过软总线连接为一体,就如同安装上一个大脑相互协作。各个设备如同积木块一样,可以按照实际需求不断复用。 Redis for rust 正式开源,使用 Rust 重塑 Redis 内核 Redis for rust 是一个基于 Rust 编程语言重新实现的 Redis 服务端,通过利用 Rust 的优势,旨在提供高性能,可靠性和安全性的键值存储服务,坦白讲,现阶段我们无法去确认其价值,而是通过不断的做,把这件事变成 "对的"。 Gitee:https://gitee.com/Jmysy/redis-for-rust 中学生开源的前端动画引擎 NewCar 加入 Dromara 社区 我从六年级的那个寒假,因为学校组织的一场编程公开课而开始玩 scratch,在六年级毕业的那个暑假开始学习 Python,然后遇到了 LStar,也是我遇到的第一个同龄计算机爱好者,我们一起创建了 BugDuck 开源团队。可以肯定的说的是,那场公开课影响了我的一生 我做的第一个还算成功的项目是一个叫 tntjs 的前端框架,并把宣传片放在了 B 站上,结果引起了两派人的轰动,一派认为我们只是在学习而已,另一派认为我们山寨了 Vue,当时正值 BugDuck 团队的内部矛盾,最后分裂了(从三十多人到不到五人),tntjs 就没有维护下去了 初三上学期,我一个学期没有碰代码,一部分原因是因为要中考了,另一部分原因是父母没收了我的电脑,但这段时间一直在构思我的新项目。当我看到老师电脑上那些老旧的 flash 课件,我就想着造一个动画引擎,并给他命名为 newcar,于是在寒假的时候开始写 newcar。newcar 项目地址:https://github.com/dromara/newcar,文档地址:newcar.js.org 总的来说,我追求技术的初心始终没变,但是路上坎坎磕磕。  今日观察  社交观察   全网首发,联通速度!中国联通人工智能创新中心打造,Llama3 8B中文版开源模型发布 全球首个Llama3 8B中文版开源模型光速发布!由中国联通人工智能创新中心打造。  - 微博 中国联通 联想电脑恐出局 联想电脑恐出局,没有符合国家集体采购,自主国产处理器的能力,要被华为彻底取代了 联想旁大款,结果大款给了他一个庵割版的小弟弟,拉泡尿都费劲的性能。 这不是重点,重点是这泡尿并不健康。 现在爸爸家里要换设备,提高工作效率,但旁大款哥凉了,名单里边并没有他。 可能旁款哥此前不曾想到,我可是国企,怎么就没有我的份,爸爸不是一直信任我,用我的产品。 不,有个叫华为的兄弟,最近好牛逼,听说产品性能更加好,庵割牌的旁款哥你回家反省。  - 微博 邹晨辉Finan 15万亿高质量数据集开源 项目名称叫Fineweb,是高质量的大规模过滤网络数据集,据说性能优于所有当前同等规模的数据集,训练了 200 多个消融模型来精心制作,仔细解析和过滤了Common Crawl,所有配方、数据、消融模型、超参数都开源。 而且,项目方计划随着时间的推移改进 Fineweb。他们在此工作过程中,得出了一些令人惊讶的观察结果,将在未来几天为精细数据爱好者发布一篇技术博客文章,汇编这些观察结果。 最后,这是一个 275GB的数据集。  - 微博 高飞  媒体观察 Mistral不相信AGI,开源大模型CEO发出警告,科技带不来"新造的人"  Mistral的首席执行官亚瑟·门施(Arthur Mensch)表示,对于创造通用人工智能的迷恋,其实质是关于"创造上帝"。 这位CEO并不相信埃隆·马斯克(Elon Musk)和山姆·奥特曼(Sam Altman)关于人工智能将超越人类智能的预测。 门施警告说,科技巨头可能会强加与全球文化和价值观相冲突的人工智能标准。  - Data数据分析站 Linux之父讽刺AI炒作:很搞笑,大概我也会被大模型取代 Torvalds 认为不要期待人工智能会成为最后的那个答案。 这两位业界开源领袖仍对人工智能炒作持疑。Torvalds 调侃道:「这看起来很搞笑,我也可能会被人工智能模型取代。」Hohndel 则认为,当今大多数人工智能就像是增强版的自动更正。 Torvalds 随即将他的态度总结为:「让我们等上 10 年,看看它实际上会发展到哪一步,我们再来作出所有这些令世人疯狂的声明。」 - 机器之心 小洞不补,大洞吃苦:西交、麦马开源全新「拖动式编辑」框架&数据集 最近,西安交通大学和麦克马斯特大学的研究人员提出的一种全新GoodDrag方法包含一种Alternating Drag and Denoising(AlDD)的用于拖动式编辑的框架和information-preserving motion supervision,有效提高了基于diffusion模型的拖动编辑的图像质量。 值得注意的是,GoodDrag遵循简约的设计原则(如无必要,勿增实体):AlDD只需要改变计算顺序,而不增加任何计算;information-preserving的改进则只需要巧妙地对损失中的一项进行改动。这种简洁性极大提升了方法的泛化能力,也为未来研究提供了扎实的基准。 - 新智元 爆火的Kimi,抢了谁的生意? 一个仅成立一年的创业公司,一群顶着名校光环的90后,做出了一款效果出众的大模型产品,让整个AI圈震动。 如今一个多月过去了,虽然热度减退,但身边依然有人在讨论Kimi。 Kimi带给人们的一个认知冲击是,AI发展太快了,创业公司也可以在短时间内做出让人眼前一亮的产品,相比之下,那些号称做了十几年、砸下千亿资金的科技大厂,不过如此。 Kimi抢走了科技大厂的风头,未来还可能抢走他们的用户。问题是,火爆能持续吗? - 定焦   今日推荐 开源项目 nalgeon/redka  https://github.com/nalgeon/redka ​​​​Redka 是采用 Go 语言开发的项目,旨在使用 SQLite 重新实现 Redis 的优秀部分,同时保持与 Redis API 的兼容性。 特性  数据不需要完全适合放入 RAM 中 支持 ACID 事务 提供 SQL 视图,以便更好地进行自省和报告 支持进程内(Go API)和独立(RESP)服务器 兼容 Redis 的命令和协议  每日一博 见鬼了!我家的 WiFi 只有下雨天才能正常使用... 事情发生在十多年前,那时我还是个愣头青大学生。有一次放暑假,我兴冲冲赶回家准备和父母共度几周美好时光。毕竟一年没回来了,而且学校在大海的另一边,回来一趟不容易。 我的父亲是一名工程师,在我出生之前就已经开始潜心研究网络设备。他创办的公司为全国各地的机构设计和部署了各种复杂的网络系统 —— 从办公楼的千兆以太网,到城际间的视距微波链路,无所不包。 我刚回到家,父亲就一本正经地告诉我:Wi-Fi 只有下雨天才能用。    事件点评  前白宫网络政策主管:微软是国家安全威胁 AJ Grotto 表示,微软对美国联邦政府内部 IT 的控制程度已经达到了令人震惊。该公司拥有美国 85% 的政府生产力软件服务市场,以及更高的操作系统份额,牢牢占据了最具主导地位的供应商位置。 针对有观点认为 "微软在某种程度上是美国的国家安全威胁" 这一说法,AJ Grotto 则表达了完全赞同。他认为,微软在一些公用单位(如电力、金融、医疗和保健等关键的基础设施领域)都拥有系统性的影响。该公司的主导性地位不仅存在于美国联邦政府内部,还在更广泛的 IT 市场,所以确实是上升到了 "国家安全风险的水平"。 因此,AJ Grotto 建议美国政府应该集中精力鼓励和促进竞争,寻找替代方案,譬如可以选择 Linux 之类的开源软件、谷歌产品套件等。不过他也表示,切换到新产品并非易事,除了技术方面的问题外,还需考虑到目前一些政府雇员的年纪都比较大,新系统的学习成本会比较高。  点评 这一评论反映了微软在国家安全方面的潜在风险,特别是在其产品和服务广泛应用于政府机构的情况下。微软在全球 IT 领域的主导地位使其成为关键基础设施的一部分,其安全问题不仅影响用户和企业,还可能影响国家安全。 此外,微软在全球范围内的大量用户和广泛的应用也意味着任何安全漏洞都可能产生广泛的影响。因此,微软在加强其产品和服务的安全性方面需要付出更多努力,以防止潜在的安全威胁和数据泄露。 总之,AJ Grotto 的评论凸显了微软在公共部门安全方面的重要性和责任,以及其在全球 IT 安全中的关键作用。这要求微软在未来的发展中更加重视安全性,以保护其用户和客户的利益,同时确保国家安全不受威胁。 前微软开发人员:Windows 11 性能 "糟糕得可笑" 微软前高级软件工程师 Andy Young 日前发文指出,Windows 11 性能已经出现了明显的下降,一些页面加载得非常缓慢。尤其是 Windows 11 的 "开始" 菜单,在打开时出现了明显的延迟问题,简直是 "糟糕得可笑"。  "需要明确的是,我喜欢 Windows。我曾帮助构建了它的一部分。我希望它和以前一样好。如果数据表明你所构建的软件让很大一部分用户感到沮丧,那就意味着还有很多工作要做。"   点评 Windows 11的性能问题不仅影响了用户的日常使用,还对微软的品牌形象、技术社区的看法、硬件兼容性以及市场竞争格局产生了影响。 开发者可能会对Windows 11的长期稳定性和可维护性产生疑虑,这可能会影响他们未来的开发决策。同时也给竞争对手提供了机会,其他操作系统提供商可能会利用这些问题来推广自己的产品,吸引那些对Windows 11性能不满意的用户。 微软需要积极应对这些问题,以确保其操作系统的稳定性和用户满意度。 马化腾周鸿祎握手 "泯恩仇" 2024 年 4 月 20 日,是中国全功能接入国际互联网 30 周年的日子,中国互联网协会在京召开 "中国互联网 30 周年发展座谈会 —— 把握机遇再出发"。 会议间歇,腾讯集团创始人马化腾、小米集团创始人雷军、360 创始人周鸿祎、猎豹移动 CEO 傅盛等行业人士线下齐聚。 经历过 2010 年被外界称为 "3Q 大战" 的纷争,马化腾与周鸿祎握手谈笑。  点评 这次握手不仅仅是两位行业巨头个人关系的缓和,也反映了互联网行业竞争态势的变化。在经历了"3Q大战"的激烈对抗后,腾讯和360的和解表明,中国互联网行业正在从过去你死我活的零和竞争,转向更加成熟、理性和包容的合作竞争。这种转变对于行业的长期健康发展至关重要,有助于建立更加健康的市场秩序,促进企业间的共赢合作。 对于整个商业社会也具有示范意义。它向其他行业展示了竞争对手之间和解与合作的可能性和价值。在当今复杂多变的市场环境中,企业间的竞争与合作是常态,如何平衡这两者之间的关系,实现良性互动,是每个企业都需要面对的课题。 还可能对消费者和用户产生积极影响。企业间的合作有助于整合资源,提高服务质量和创新能力,最终使消费者受益。特别是在互联网和科技领域,合作可以促进新技术的研发和应用,为用户带来更丰富、更便捷的体验。  开源之声 媒体观点 周鸿祎:冲进人工智能大模型时代,论道中国突围与就业重塑 周鸿祎反驳了中国在构建大型 AI 模型方面不具备适宜条件与环境的普遍忧虑,将其比作未战先降的消极态度。他坚信,尽管国外在某些领域暂时领先,但凭借灵活的竞争策略与持续的技术革新,中国完全有可能迎头赶上并实现超越。他特别提及国内芯片厂商,如华为,在算力芯片领域的显著进步,视为中国 AI 发展的重要突破。国产芯片技术的日益成熟,使得中国在 AI 硬件层面具备与国际顶尖水平抗衡的实力。 - 中华网  大模型新时代,小公司靠边站?  报告进一步指出,除了高昂的资本支出外,芯片电力供应和人工智能技术的壁垒也在增加。这些因素共同构成了进入大模型领域的重大障碍,可能会使得小公司难以与强大的巨头企业竞争。 因此,摩根士丹利对谷歌、Meta、亚马逊和微软等大型科技公司给予了增持评级,这些公司凭借其在技术、资本和市场上的优势,有望在大模型的发展中占据领先地位。与此同时,小公司虽然可能在大模型的世界被边缘化,但成本更低的小模型将为它们创造新的机会。 - 硬AI AI大模型,能给企业带来什么改变? 大模型热依然在持续。随着基础大模型能力日趋成熟、产品市场契合度逐步加深,业界普遍认为,今年将是大模型应用爆发元年。也可以说,在数字经济大背景下,大模型应用正在席卷着企业。用?还是不用?用了又会怎样?对于很多企业来说,这是一个问题。 - 新华日报财经 Llama 3拿下"赛点"?大模型角力场,开源与闭源之争仍在继续  开源与闭源之争延续到大模型时代。在寻找"新大陆"的路上,开源与闭源的辩论,就像是一场关于AI未来的"航海策略"讨论。 在AI这场没有硝烟的"航海竞赛"中,大模型已然成为眼前的灯塔,未知的是,这座灯塔究竟是向所有航海者开放其光芒,还是仅为特定的船只照亮前行的航道。 在开源与闭源的辩论中,也许答案并非非此即彼。AI的未来可能既不是完全开放的"自由港",也不是彻底封闭的"孤岛",而是一个既包含开放协作也包含封闭竞争的"混合生态"。在这个生态系统中,开放与封闭不是对立的两极,而是一枚硬币的两面。  - 每日经济新闻 用户观点 前微软开发人员:Windows 11 性能 "糟糕得可笑"   观点 1:我的10代u装win11明显比win10慢半拍,为了漂亮牺牲性能不值 观点 2:用了半个月win11,果断重装回退win10,UI延时太高了感觉就是一卡一卡的 观点 3:win10看来是一代经典了,跟win7一样 观点 4:win10 win11 差不多,现在 ubuntu + win11,平时用ubuntu ,期待期待其他桌面系统 如 华为 观点 5:确实挺卡的,唯一好的是win11比win10兼容性某些软件还好,不知道为什么,win10一直不喜欢,喜欢win7 观点 6:自从升到 win11 后,资源管理器和任务管理器有明显的卡顿感   Redis for rust 正式开源,使用 Rust 重塑 Redis 内核   观点 1:有没有mysql for rust 观点 2:吓得我还以为官方把redis用rust重写了 观点 3:我来说第一个价值:刚好可以支持广大的.net windows 服务端,Windows redis跟不上官方版本 有目共睹! 观点 4:只是兼容了RESP协议吧,并不是把redis移植到rust上 观点 5:我觉得挺不错的   "业界毒瘤"Oracle买下Java已有15年——埃里森才是它的伯乐?   观点 1:用的好好的突然收费了,是甲骨文缺钱了?好家伙,搜索了下,CEO年薪2亿多,美刀,公司能不缺钱吗…  观点 2:你得横向对比加纵向对比加多维度对比。你这种就是典型的情绪宣泄,先有结论再找证据,就算得到了客观结论也是瞎猫碰上死耗子  观点 3:可以统计一下已经多少公司换成开源发行版了,反正我看到不少已经换adoptium的发行了。  观点 4:领导:有没有不花钱的替代品。 员工:有。 领导:切换过去没有什么困难吧。 员工:嗯,没有。  观点 5:最讨厌的语言就是java了,又爱又恨,github主页给我推一次java的项目我都想github为啥没有黑名单,最喜欢的还得是go rust python,看到一次爽一次 观点 6:真伯乐有他这么整的?撵走团队成员,搞部分收费,他是不是还要做MySQL的伯乐? 观点 7:国内的Java就是最卷的开发语言,没有之一!   3Q大战14年后——马化腾周鸿祎握手 "泯恩仇"   观点 1:PC重要性下降,移动端360对腾讯不存在威胁 观点 2:大佬们额头都好长呀(狗头保命)怪不得我没有成为大佬  观点 3:我的也快这么长了,好期待  观点 4:完整经历过这个事件的出来说一句:当时QQ有个网页版QQ,而腾讯出了第一手反制之后(装有360的电脑不能运行客户端QQ)第二天;360就出了一个公告说他们研发了一个网络QQ,可以完美替代QQ客户端让大家继续使用QQ,结果其行为就是帮助用户打开网页版QQ,最后小马哥不得不暂时关闭网页版QQ的入口。然后360就再也没有宣传说他们可以替换QQ了,紧接着郭嘉就下场制止双方了。那次之后我就一直对360不感冒,感觉他们真的不尊重客户,利用用户的不之情(当时有好多同学真的以为360研发了一个QQ客户端,其实就是腾讯原生的网页QQ)来达到自己的目的,很可耻。 观点 5:周鸿祎发微博居然只用空格,不用标点符号 观点 6:红蓝对抗   Go语言之父反思错误:"并发"理念指导不足、没做好包管理、用C写了编译器、文档缺失……   观点 1:而这些问题Rust都做对了  观点 2:下一篇《Rust 创始人:我们做错了什么》  观点 3:惊世骇俗的异常处理,还是个玩具阶段就放出来给人用。这才是你的罪孽  观点 4:你可以看看Linux系统内核代码,if (errno != 0) ,if (errno < 0),这种错误处理才是Linux内核稳定的根基,不会随意crash  观点 5:好在Rust在人间 观点 6:版本间兼容性问题,以及最终程序的大小,都是go的大问题。  观点 7:版本兼容性很好啊,1.0x 一路升上来了,没啥问题。最终程序肯定比 c 大,不过又不是做嵌入式,几十兆的空间总是有的  观点 8:Go兼容性特别好,依赖管理也是特别好,不知道说Go不好的是不是没写过完整的一个Go项目? 观点 9:go比Java和c++ python简洁    程序员梗图  不是哥们,你敲代码咋压抑成这样了?   ---END--- 最后,欢迎扫码下载「开源中国 APP」,阅读海量技术报告、程序员极客分享!

-- gReader Pro 

網頁排版與可讀性 - 字型大小與行高

網頁排版與可讀性 - 字型大小與行高

https://blog.darkthread.net/blog/font-size-n-line-height/

朋友分享了一篇網路文章,題材我有興趣,但讀來帶有痛苦感,像是馬拉松最後階段,得靠意志力才能撐下去不棄賽,但我明明是在讀第一段呀。 做了民調,原來不只我有這種感覺。嚴格來說,文章用字還算淺白通順,到底什麼原因讓它散發著「別讀了,快放棄吧,這些文字不是你能駕御的」的暗示? (以上非原文章,是用廢文產生器模擬排版效果) 用 F12 工具試調了 font-size (13px -> 14.66px)、line-height (1.4 -> 1.8 倍)、color (#666666 -> black): 純黑字、字放大,每行字數變少 (由 44 降到 36 (12pt) / 39 (11pt)),可讀性變高不少,至少對我是如此。 以上是自己盲試的結果,好奇在中文排版上有沒有像文字顏色對比 WCAG 標準一樣的科學化建議可遵守? 還真的有,W3C 有份Requirements for Chinese Text Layout 中文排版需求,洋洋灑灑鉅細靡遺,連避孤行、避孤字、示亡號都討論到了。懶人如我,只想知道建議的行高(line-height)、字型大小(font-size),很不幸標準沒提。 爬文找到一些參考: 大眾字型學|怎麼製作美觀的文件版面? by justfont 要計算垂直韻律,必須先決定內文的基本字型大小。就中文來說,台灣約定俗成的印刷內文大小為 12 pt,而 1.5 倍行距也被認為是理想的設定。在這種設定下,這份文件的基本行高就是 12 X 1.5,也就是說,每一行都是 18 pt 高。 簡單做好中文排版:十項讓長文章更容易閱讀的原則 by BFA 簡報: 不只是行距,字級也是個問題。但我沒辦法告訴你字級要多大才正確,畢竟現在螢幕尺寸與DPI差距頗大,但絕對不能以排英文的方式來排中文。活版時代,內文常用的字級有兩種,一種是五號字,就是10.5pt(3.7mm),另一種是新五號,就是9pt(3.18mm)。7內文字盡量不要小於9pt。這裏請以適當的大小自行計算,畢竟螢幕與書籍是不同的。 但是行距有著正確的數字,一般而言中文行距介於1.5到2em之間,通常只要指定: p {line-height: 1.7em;} 就能得到適當的行距。 CSS 教學 – 基本文字設定 : font-size 與 line-height by 飛肯課程 當沒有特別指定時,line-height (行高)在瀏覽器的原始預設值為 1.0 ~ 1.2 倍,但如果想要讓瀏覽者在閱讀文字上面感到更舒適的話,會建議大家至少要設定為 1.5 倍以上,通常比較多人會設定在 1.5 ~ 1.8 倍之間。 舉例來說,飛肯的官網網頁,文字設定的行高就大多是使用 1.6 倍,既方便同學輕鬆閱讀,又能清楚獲取最新的開課資訊。 網站設計的最佳字體大小指南 by 瑞布科技 對於字體大小沒有確切的規則,但是在設計電腦網頁時需要考慮一些良好的做法: 正文 – 字體大小應在 16 px 到 18 px 之間以確保易讀性(或使用我們上面提到的大小規則為 1.6 rem 到 1.8 rem)。如果您可以承受更大的尺寸,那麼即使是 21 px 也可以令人愉悅地閱讀。 【結論】 原本想看看有沒有官方標準,無功而返。歸納上述建議,行高 1.5 應該是下限,原排版的 1.4 偏低了。至於字型,有 10.5pt、12pt、16px 幾種說法。取 10.5pt 字級、1.7em 行高效果如下,我個人覺得字偏小,但已比原本的排版好讀許多。由此,本回合唯一的共識為「中文內文 line-height 請 1.5 起跳」。 This article briefly explores recommendations for font-size and line-height in Chinese typography on web pages.

-- gReader Pro 

2024年4月21日 星期日

AI創作分享

WineHQ - PDF-XChange Editor

LINE 訊息畫面產生器:無需小帳號,輕鬆製作逼真的 LINE 對話擷圖

LINE 訊息畫面產生器:無需小帳號,輕鬆製作逼真的 LINE 對話擷圖

https://free.com.tw/fake-line-message-generator/

有了社群網站以後,很多人會在上面分享對話紀錄,有些梗圖其實蠻好笑的,但看得出來自問自答的成分居多,不過為了博君一笑好像也未嘗不可,如果想要製造一些 LINE 對話紀錄的擷圖,不用自己開小帳號來自問自答,現在有 LINE 訊息畫面產生器可以幫你快速達成喔!只要打開網頁把對話輸入就能製作出看起來很逼真的對話紀錄擷圖。  本文要介紹的「Fake Line Message Generator」是一個假的 LINE 訊息產生器,透過網頁就能輕鬆製作出很真實的 LINE 聊天室,使用者可自由設定聊天室名稱、大頭貼、名稱、對話內容甚至是未讀訊息數量,也能分別選擇每個訊息的時間、是否已讀,還可以傳送圖片到對話紀錄中,看起來就如同真正的 LINE 畫面擷圖。 之前介紹過「快速生成 LINE、Facebook、WhatsApp、Instagram 對話截圖工具」,不過比較可惜的是它使用英文介面,對台灣使用者來說看起來會和熟悉的中文介面略有不同,但本文介紹的 Fake Line Message Generator 就是真正的中文介面,看起來就更真實了,有興趣的朋友可以玩玩看。 Fake Line Message Generatorhttps://flmg.guychienll.dev/zh-TW 使用教學 STEP 1 開啟 Fake Line Message Generator 後可以照著網站提供的操作指引、逐步了解各項功能及基本操作方式,右上角切換語系,預設為繁體中文,也有英文可選(選取後 LINE 對話介面語系就會改變)。  STEP 2 將游標移動到訊息上方就能設定時間、刪除訊息,拖曳訊息調整排列順序。  剛開始我不知道,想要把預設的正男大頭貼、姓名換掉,但是搞很久都無法成功,才知道原來是要先從下方把新的訊息加入。  在這個步驟中也可以設定對話紀錄要顯示的 LINE 大頭貼,或是調整未讀訊息數量(顯示於對話視窗左上角),在底部姓名下方的開關是設定傳送者、接收者的功能,只要切換後大頭貼顯示為綠色,在對話視窗輸入訊息就會以綠色顯示,稍微測試一下就會知道。 把要呈現的訊息加入對話視窗,再把預設訊息刪掉即可。  STEP 3 Fake Line Message Generator 功能設計上其實很用心,對話視窗上方的名稱也可修改,另外,訊息還能設定是否為「已讀」狀態,只要將游標移動到訊息上方就會出現眼睛標誌。  STEP 4 另一個特色是點選文字欄位左側「相片」按鈕,可以將圖片傳送到對話紀錄中。 最後,點選右上角「匯出」即可將目前的對話擷圖保存為 PNG 格式。  下圖就是使用 Fake Line Message Generator 產生的假 LINE 訊息擷圖。  這篇文章 LINE 訊息畫面產生器:無需小帳號,輕鬆製作逼真的 LINE 對話擷圖 最早出現在免費資源網路社群,請追蹤 Google 新聞、Facebook、Twitter 或 RSS feed 獲取更多科技新知及免費資源相關介紹教學。

-- gReader Pro 

使用Qdrant向量資料庫實作語意相似度比對

2024年4月18日 星期四

包山包海的殺手級 LLM 整合平台 - Anything LLM

包山包海的殺手級 LLM 整合平台 - Anything LLM

https://blog.darkthread.net/blog/anything-llm/

之前試過用 Chatty GPT 打造個人專屬 ChatGPT 聊天室,但受限只能在本機桌面跑,無法多人使用。後來試了自架 Chatbot UI 伺服器因綁了 Supabase 太笨重,想等作者改 SQLite 版再用。 現在看來不用等 Chatbot UI 了! 有個包山包海的殺手級 LLM 整合平台開源專案 - Anything LLM,一口氣通吃所有 LLM API (ChatGPT、Azure OpenAI、Gemini、Hugging Face、Anthropic、Groq、Ollama... )、整進各大向量資料庫 (Chroma、Qdrant、Pinecone、Weaviate、Milvus...),甚至內建上傳 PDF 解析、爬網頁、掃 YouTube 影片... 等文字擷取及向量化功能,直接包辦 RAG 的活兒。把這些全部整進一個聊天介面,還支援多使用者管理,能設定誰可以用哪些 LLM 功能... 一口氣把大部分想得到的 LLM 整合功能都包進去了,大家還玩什麼? (讀者提醒:目前有一大塊還沒被包進去 - 整合外部資料或控制外部裝罝的 Plugin 或 Agent。但該不會 Anything LLM 己在研發中?) Anything LLM 採 MIT 授權,下幾行指令跑個 Docker 容器,幾分鐘便能架好一台多人共用的 LLM 聊天網站,背後可以接 ChatGPT 也可以接地端 LLM,還能上傳 PDF 抓網頁玩 RAG,完全免費。基本上要做簡單 LLM 整合應用,不必求人,不用寫程式,稍具 Docker 與 LLM 知識即可輕鬆搞定,傻瓜到極點。Mintplex Labs這間公司真是佛心來著,但說來也算心狠手辣,Anything LLM 一口氣讓 LLM 基本技能徹底貶值,這下子你得研究到更深才能有點價值,內捲又內捲,捲到最高點。 以下是我的安裝測試體驗筆記。(參考來源:國網中心莊朝鈞研究員線上課程 - 大型語言模型-中階/基於RAG方案的專屬私有知識庫服務網站建置) 我選擇用以下 Docker Compose 檔案執行 Anything LLM。 docker-compose.yml version: '3.8' services: anythingllm: image: mintplexlabs/anythingllm container_name: anythingllm ports: - "3001:3001" volumes: - ./storage:/app/server/storage - ./env.txt:/app/server/.env environment: - STORAGE_DIR=/app/server/storage cap_add: - SYS_ADMIN extra_hosts: - "host.docker.internal:host-gateway" restart: unless-stopped  執行前先 touch ./env.txt 及 .\mkdir storage 建好檔案及資料夾,接著用 sudo docker-compose up -d 啟動容器,開瀏覽器連上 http://localhost:3001 即可開始使用。 首次使用要先做初始設定: 先選預設 LLM 模型,清單把當今的主流 LLM 一網打盡,填一下 URL、API Key 就能用: 選擇 Embedding 服務,AnythingLLM 有內建自己的版本:(延伸閱讀:動手玩 AI - 使用 OpenAI Embedding 模型比對文字相似性) 接著選向量資料庫,預設可用免安裝的 LanceDB:(延伸閱讀:YT 筆記:向量資料庫概念科普) 再來選擇單人使用還是多人共用,多人使用時要建立管理者帳號: 接著系統提醒你 LLM、Embedding、向量資料庫的資料流向,告知哪些會上雲哪些在本地: 再來建立第一個 Workspace: 進入 Workspace,就是個標準 LLM 聊天介面,大家應能無痛上手: 上圖 [1] 按下去是系統設定,其中 Users 功能可新增及管理使用者: Workspace 聊天畫面的 [2] 為 Workspace 設定,Members 頁籤可指定哪些使用者可使用: Workspace 聊天畫面的 [3] 按下去會帶出文件管理功能,你可以上傳 PDF、提供網址,甚至 YouTube 影片位址,讓 Anything LLM 擷取文字內容轉成向量供後續查詢: 按 Move to Workspace 轉入後,按 Save and Embbed 向量化: 處理好記得按圖釘啟用文件: 用上回小試 RAG - 整合 ChatGPT 與自有資料 (駕駛人手冊實測) 的 PDF 測試,成功查到答案,並有附上出處 (Citation): 原始來源應來自 PDF 這段,回答內容有被大幅改寫: 引用來源 (Citation) 顯示的內容也不算精準: 但可算是成功由自訂文件查到內容,達成 RAG 的基本要求。 【結論】 靠著 Anything LLM,我們可以無腦架出好一個整合 ChatGPT 或地端 LLM 模型的聊天伺服器,不但內建上傳 PDF、爬網功能,還支援多使用者管理,可滿足基本 RAG 應用需求。對於想玩 LLM 整合的一般使用者來說,門檻一下變低了;而對於想投身 LLM 整合應用的開發者來說,門檻一下變高了。功能與效果不如 Anything LLM,你還玩屁? 好捲啊~~~ 我還是躺平好了。

-- gReader Pro 

2024年4月15日 星期一

歌曲生成 AI「Udio」討論度超高,為何能被稱為音樂界的 Sora 時刻?

歌曲生成 AI「Udio」討論度超高,為何能被稱為音樂界的 Sora 時刻?

https://www.inside.com.tw/article/34739-udio-music-generation

由 Google DeepMind 前研究員成立的音樂生成 AI 公司「Udio」,近日推出自家工具「udio.com」,目標要讓所有人都能輕鬆創作出富有情感的音樂,先前僅提供封閉測試版本,現在則釋出給大眾。Udio 的使用方式與 Suno 等音樂生成 AI 相似,只要描述想要的音樂風格、提供主題或歌詞,並指定激發這次創作靈感的藝術家,即可在一分鐘內生成音樂。在生成音樂之後,還能進一步調整創作,最後就可將音樂分享在應用程式內的社群,或輸出檔案。The Quantum Teleportation blues 👀(generated with Udio) pic.twitter.com/5R6giXoaMf— Iftach Yakar (@QuantumYakar) April 12, 2024 在工具公開前,就已有些音樂被流出到社群上,引起高度討論,外媒《Tom's Guide》更是在實測後,將其譽為「AI 音樂界的 Sora 時刻」,Udio 究竟厲害在哪裡呢?特點一、創作出的聲音較自然,且能保持音樂一致性外媒表示與 Suno 相比,Udio 能創作出更自然的聲音,Reddit 上也有網友分享他認為 Suno 生成的背景音樂比較好,但 Udio 在人聲方面更勝一籌。另外,外媒也指出 Udio 較令人驚訝的是在生成聲音組合和效果時,音樂仍能保持一致性,即使混合了不同風格效果仍出奇的好。公司團隊則分享他們找到 Udio 的一項新技能是可以演奏中國傳統民間音樂,他們也聽過表現很好的韓語、日語等其他語言歌曲。特點二、可對生成之音樂的任一片段,加入新段落另一項特點則是 Udio 可針對生成的音樂有更精細的調整,如加上前奏、結尾,在特定片段之前或之後增加段落。反觀許多其他 AI 音樂生成工具,較常見的加長歌曲方式只有接著生成,若忘記生前奏就可能得再重新下指令。特點三、介面直覺操作簡易,在產業落地是技術發展目標Udio 直覺的介面和操作方式是公司主推的亮點之一,創辦人暨執行長 David Ding 表示沒有任何產品可以媲美 Udio 的簡易性,並分享團隊在每個開發階段,都會和音樂業界人士討論如何以對藝術家和音樂家都有利的方式推出技術,部分藝術家和音樂製作人也反饋,希望在工作流程中加入 AI 的協助,以此找到獲利的新方法。Udio 指出剛嶄露頭角的藝術家通常沒有資源來製作完整的音樂 demo ,而透過 Udio 的速度和簡易性,可用較少的經費來創作音樂,實現音樂創作民主化,並為創作者提供新收入來源。Alright this is the "Midjourney for AI Music"Udio, the new AI music generator, does a rendition of Homer Simpson's "Baby on Board" [The B Sharps]and to think we just started down the rabbit hole... pic.twitter.com/CSUVW2Cb8c— AI Breakfast (@AiBreakfast) April 11, 2024 至於面對侵犯版權的疑慮,Udio 表示他們有自動化的版權過濾器,確保平台上創作的音樂都是原創且不會侵害到任何版權,目前也在確保保障措施夠完善。Udio 在未來會增加更多語言,從單獨的曲目中拆分音軌的功能,甚至可能指定歌手,但目前他們的重點是圍繞 Udio 建立一個 AI 音樂社群。核稿編輯:Chris快加入 INSIDE Google News 按下追蹤,給你最新、最 IN 的科技新聞!延伸閱讀:微軟 Copilot 可以生成完整歌曲!與 AI 新創 Suno 攜手加入新 PluginStability AI 公布新模型 Stable Audio!輸入文字就能生成 CD 品質的音樂OpenAI 再展黑科技力!發表文字生影片 AI「Sora」支援 1080p、最長 60 秒

-- gReader Pro 

免费无限使用GPT-4! Coze AI是一个非常不错的选择!!

免费无限使用GPT-4! Coze AI是一个非常不错的选择!!

https://www.freedidi.com/12085.html

Coze的GPT-4助手,可以让大家一分钱不花就可以免费使用 ChatGPT 专业版的功能,不仅支持图片分析、图片生成、还可以生成视频、分析文档等等, 最关键是不限次数的! Coze官方链接:【点击直达】 注意:非海外用户请自行科学上网才能使用!  Coze 的GPT-4助手现在可以免费使用GPT-4(8k) 和 GPT-4 Turbo (128k),性能还是非常给力的!

-- gReader Pro 

2024年4月14日 星期日

動區動趨 BlockTempo - 最有影響力的區塊鏈媒體 (比特幣、加密貨幣): 馬斯克xAI發布Grok-1.5V!七大功能:看圖寫程式碼、懂梗圖、理解真實世界...如何使用與收費?

Grok-1.5 Vision 预览

Grok-1.5 Vision 预览

https://www.oschina.net/news/287499/grok-1-5v

xAI 宣布推出 Grok-1.5V —— 第一代多模式模型,用于连接数字世界和物理世界。 除了强大的文本功能之外,Grok 现在可以处理各种视觉信息,包括文档、图表、屏幕截图和照片,预计该版本很快就会向早期测试者和现有 Grok 用户推出。 公告指出,Grok-1.5V 在多个领域(从多学科推理到理解文档、科学图表、图表、屏幕截图和照片)与现有的前沿多模态模型相比都具有很强的竞争力。在 RealWorldQA 基准测试中的表现也要优于同类产品。 RealWorldQA 是由 xAI 新推出的一个基准测试,旨在评估多模态模型的基本真实世界空间理解能力。 RealWorldQA 的初始版本包含 700 多张图像,每张图像都有一个问题和易于验证的答案。除了其他真实世界的图像之外,该数据集还包含从车辆拍摄的匿名图像。后续还将随着多模式模型的改进而进行扩展,RealWorldQA 在CC BY-ND 4.0 下发布。现已可供下载 (677MB)。 示例:看图写代码  用户:你能把它翻译成 Python 代码吗? Grok:当然可以!您提供的流程图描述了一个简单的猜谜游戏:计算机生成一个随机数,用户必须猜出它。下面是表示流程图中逻辑的 Python 代码:   import random def guess_number(): # Generate a random number between 1 and 10 target = random.randint(1, 10) while True: guess = int(input("Guess a number between 1 and 10: ")) if guess == target: print("You won!") break else: print("Wrong guess, try again!") if __name__ == "__main__": guess_number() 在接下来的几个月中,Grok 预计将在图像、音频和视频等各种模式中对这两种功能进行重大改进。与此同时,该公司还在进行招聘。

-- gReader Pro 

Google 推出 Infini-Transformer模型,可以讓大型語言模型無限長輸入,而不增加記憶體和運算需求

Google 推出 Infini-Transformer模型,可以讓大型語言模型無限長輸入,而不增加記憶體和運算需求

https://www.techbang.com/posts/114546-google-infini-transformer

Google又出大絕招了,發表下一代 Transformer 模型 Infini-Transformer。 不知道 Gemini 1.5 Pro 是否用到了這項技術?Google又出大絕招了,發表下一代 Transformer 模型 Infini-Transformer。 Infini-Transformer 引入了一種有效的方法,可以將基於 Transformer 的大型語言模型 (LLM) 拓展到無限長輸入,而不增加記憶體和運算需求。使用該技術,研究者成功將一個 1B 的模型上下文長度提高到 100 萬;應用到 8B 模型上,模型能處理 500K 的書籍摘要任務。 自 2017 年開創性研究論文《Attention is All You Need》問世以來,Transformer 架構就一直主導著生成式人工智慧領域。而Google對 Transformer 的優化設計最近比較頻繁,幾天前,他們更新了 Transformer 架構,發表 Mixture-of-Depths(MoD),改變了以往 Transformer 運算模式。沒過幾天,Google又放出了這項新研究。  延伸閱讀:就是要你全部的注意力!ChatGPT不小心找到一個有史以來最賺錢的商業模式 延伸閱讀:8 名Google員工發明了現代人工智慧,這是那篇論文的內幕故事  專注 AI 領域的研究者都瞭解記憶體的重要性,它是智慧的基石,可以為 LLM 提供高效的運算。然而,Transformer 和基於 Transformer 的 LLM 由於注意力機制的固有特性,即 Transformer 中的注意力機制在記憶體佔用和運算時間上都表現出二次複雜性。例如,對於大小為 512、上下文長度為 2048 的 500B 模型,注意力鍵 - 值 (KV) 狀態的記憶體佔用為 3TB。但事實上,標準 Transformer 架構有時需要將 LLM 拓展到更長的序列(如 100 萬 token),這就帶來巨大的記憶體開銷,並且隨著上下文長度的增加,部署成本也在增加。 基於此,Google引入了一種有效的方法,其關鍵組成部分是一種稱為 Infini-attention(無限注意力)的新注意力技術。不同於傳統的 Transformer 使用局部注意力丟棄舊片段,為新片段釋放記憶體空間。Infini-attention 增加了壓縮記憶體(compressive memory),可以將使用後的舊片段儲存到壓縮記憶體中,輸出時會聚合當前上下文資訊以及壓縮記憶體中的資訊,因而模型可以檢索完整的上下文歷史。 該方法使 Transformer LLM 在有限記憶體的情況下拓展到無限長上下文,並以串流的方式處理極長的輸入進行運算。 實驗表明,該方法在長上下文語言建模基準測試中的性能優於基線,同時記憶體參數減少了 100 倍以上。當使用 100K 序列長度進行訓練時,該模型實現了更好的困惑度。此外該研究發現,1B 模型在 5K 序列長度的金鑰實例上進行了微調,解決了 1M 長度的問題。最後,論文展示了具有 Infini-attention 的 8B 模型經過持續的預訓練和任務微調,在 500K 長度的書籍摘要任務上達到了新的 SOTA 結果。 本文貢獻總結如下: 引入了一種實用且強大的注意力機制 Infini-attention—— 具有長期壓縮記憶體和局部因果注意力,可用於有效地建模長期和短期上下文依賴關係; Infini-attention 對標準縮放點積注意力( standard scaled dot-product attention)進行了最小的改變,並透過設計支援隨插即用的持續預訓練和長上下文自我調整; 該方法使 Transformer LLM 能夠透過串流的方式處理極長的輸入,在有限的記憶體和運算資源下拓展到無限長的上下文。    論文連結:https://arxiv.org/pdf/2404.07143.pdf  論文標題:Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention  方法介紹 Infini-attention 使 Transformer LLM 能夠透過有限的記憶體佔用和運算有效地處理無限長的輸入。如下圖 1 所示,Infini-attention 將壓縮記憶融入到普通的注意力機制中,並在單個 Transformer 塊中構建了遮罩局部注意力和長期線性注意力機制。  對 Transformer 注意力層進行這種微妙但關鍵的修改可以透過持續的預訓練和微調將現有 LLM 的上下文視窗拓展到無限長。 Infini-attention 採用標準注意力運算的所有鍵、值和查詢狀態,以進行長期記憶鞏固(memory consolidation)和檢索,並將注意力的舊 KV 狀態儲存在壓縮記憶體中,而不是像標準注意力機制那樣丟棄它們。在處理後續序列時,Infini-attention 使用注意查詢狀態從記憶體中檢索值。為了運算最終的上下文輸出,Infini-attention 聚合了長期記憶檢索值和局部注意力上下文。 如下圖 2 所示,研究團隊比較了基於 Infini-attention 的 Infini-Transformer 和 Transformer-XL。與 Transformer-XL 類似,Infini-Transformer 對 segment 序列進行操作,並運算每個 segment 中的標準因果點積注意力上下文。因此,點積注意力運算在某種意義上是局部的。 然而,局部注意力在處理下一個 segment 時會丟棄前一個 segment 的注意力狀態,但 Infini-Transformer 複用舊的 KV 注意力狀態,以透過壓縮儲存來維護整個上下文歷史。因此,Infini-Transformer 的每個注意力層都具有全域壓縮狀態和局部細細微性狀態。 與多頭注意力(MHA)類似,除了點積注意力之外,Infini-attention 還為每個注意力層維護 H 個並行壓縮記憶體(H 是注意力頭的數量)。  下表 1 列出了幾種模型根據模型參數和輸入 segment 長度,定義的上下文記憶體佔用和有效上下文長度。Infini-Transformer 支援具有有限記憶體佔用的無限上下文視窗。 實驗 該研究在長上下文語言建模、長度為 1M 的金鑰上下文塊檢索和 500K 長度的書籍摘要任務上評估了 Infini-Transformer 模型,這些任務具有極長的輸入序列。對於語言建模,研究者選擇從頭開始訓練模型,而對於金鑰和書籍摘要任務,研究者採用不斷預訓練 LLM 的方式,以證明 Infini-attention 隨插即用的長上下文適應能力。 長上下文語言建模。表 2 結果表明 Infini-Transformer 優於 Transformer-XL 和 Memorizing Transformers 基線,並且與 Memorizing Transformer 模型相比,儲存參數減少了 114 倍。  金鑰任務。表 3 為 Infini-Transformer 在 5K 長度輸入上進行微調後,解決了高達 1M 上下文長度的金鑰任務。實驗中輸入 token 的範圍從 32K 到 1M,對於每個測試子集,研究者控制金鑰的位置,使其位於輸入序列的開頭、中間或結尾附近。實驗報告了零樣本準確率和微調準確率。在對 5K 長度輸入進行 400 個步驟的微調後,Infini-Transformer 解決了高達 1M 上下文長度的任務。  摘要任務。表 4 將 Infini-Transformer 與專門為摘要任務構建的編碼器 - 解碼器模型進行了比較。結果表明 Infini-Transformer 超越了之前最佳結果,並且通過處理書中的整個文本在 BookSum 上實現了新的 SOTA。  研究者還在圖 4 中繪製了 BookSum 資料驗證分割的總體 Rouge 分數。根據折線趨勢表明,隨著輸入長度的增加,Infini-Transformers 提高了摘要性能指標。   延伸閱讀:誰發表的AI研究最具影響力?Google遙遙領先,OpenAI成果轉化率完勝DeepMind 加入T客邦Facebook粉絲團

-- gReader Pro 

2024年4月12日 星期五

RAG 基礎 - 常見向量資料庫整理

RAG 基礎 - 常見向量資料庫整理

https://blog.darkthread.net/blog/vector-db-survey/

前幾天分享過向量資料庫概念科普,這篇也算豬走路系列,快速看一下 RAG 常用的向量資料庫選項,增廣見聞為主,點到為止。 而我出發的角度比較另類,預估未來主要會用 Semantic Kernel 框架開發 RAG 應用程式,所以會先從 SK 提到的向量資料庫看起。 早期 SK 提供一套名為 Semantic Memory 的 C#/Python/Java 程式庫以支援向量資料庫;後來 SK 重構調整後(重構是美事,但也代表早期入坑的先鋒們要流淚了 XD),將這塊獨立成 Kernel Memory 服務,接受的資料格式由純文字擴大到網頁、PDF、Word/PowerPoint/Excel、Markdown、JSON,支援 Filter/AND OR 條件複合式搜索,並支援各種語言、瀏覽器套件等。Kernel Memory 以後有機再深入,這裡只看它涵蓋的向量資料庫種類:Azure AI Search、Chroma、DuckDB、Kusto、Milvus、MongoDB Atlas、Pinecone、Postgres、Qdrant、Weaviate。 Azure AI Search 功能十分齊全,先前做 Lab 有體驗過,可接受文字、文件(PDF/Office/HTML/ePub/JSON/XML/CSV... 通吃)、圖片、影片、音訊,甚至內建 OCR,什麼文件資料無腦塞進去,就能用自然語言查詢(並支援向量跟全文搜索混合式搜尋,這段若自己實作得費點手腳),用起來超簡便,缺點是成本較高。 DuckDB 類似 OLAP 版的 SQLite,也支援 Embedding 查詢;Kusto 是 Azure Data Explorer 的別名,也可當成向量料庫使用。這兩套幾乎沒在其他地方看到討論,略過。 綜合了幾篇評比文章,下面是我整理常被提及的向量資料庫: Pinecone Cloud Native 向量資料庫,透過 API 可方便呼叫使用,屬雲端服務無系統維運需求,也可輕易擴充,但無法部署在地端。 MongoDB Atlas MongoDB 的 Atlas Vector Search 概念是為核心資料產生自動同步的向量索引,並可配置在獨立的系統環境運行,方便擴充調整。 Milvus 採 Apache 授權的開源向量資料庫,擅於 Embedding、向量相似搜尋及 AI 應用,能支援 TB 級資料量,非結構化資料處理方式簡便。 Chroma 輕巧型設計,向量資料以自訂格式存在磁碟,另使用 SQLite 維護額外 Metadata。 Weaviate Cloud Native, 開源,可將文字、照片及其他資料轉為可搜尋向量,使用 10-NN Neighbor Search 可在 ms 內搜尋百萬筆資料,強調支援 AI 模型整合。 Qdrant 開源向量相似性搜索引擎及資料庫,提供可用於生產環境的向量儲存、搜尋服務,可使用文字比對、數字區間、地理位置等額外查詢條件,主打查詢速度快。 Elasticsearch 2022 Elasticsearch 8.0+ 提供向量搜索跟 NLP,使用 Apache Lucene HNSW 實現。 Vespa AI 開源的分散式搜尋引擎和資料處理平台,最初由雅虎開發,現歸屬於Oath公司(Verizon旗下子公司),在社交網路、電子商務、新聞聚合、廣告等領域應用廣泛。 Pgvector (PostgreSQL) Pgvector 是 PostgreSQL 的擴充套件,在傳統 RDBMS 功能外擴充了向量搜索功能,特別適用原本已在使用 PostgreSQL 的系統。 Faiss Faiss 是 Facebook AI Search 釋出的開源程式庫,不算是資料庫,概念是針對向量建立索引並進行高效率搜索。 【參考資料】 Best 16 Vector Databases for 2024 by Einat Orr, PhD An Honest Comparison of Open Source Vector Databases - KDnuggets Picking a vector database: a comparison and guide for 2023 by Emil Fröberg How to pick a Vector Database — Quantitative Analysis by Jiashen Cao

-- gReader Pro 

Qdrant 向量資料庫基本練習

Qdrant 向量資料庫基本練習

https://blog.darkthread.net/blog/qdrant-w-cs/

昨天看了一輪常見的向量資料庫,Rust 開發,強調效能支援 Docker 執行的 Qdrant 深得我心。這篇將練習用 C# 寫入向量資料到 Qdrant 並進行向量相似性搜索,開始前需要對 Embedding、向量相似性等有概念,還不清楚的同學推薦前幾天的向量資料庫概念科普影片,而這次會借用之前使用 OpenAI Embedding 模型比對文字相似性範例,主要不同在於上回我們是自己寫演算法,所有向量兩兩相比暴力搜尋,用餘弦相似性找出最相近的資料,實務上要面對成千上萬甚至億級資料,得改用 HNSW 等演算法才符合效率要求。有了向量資料庫,我們只需寫入向量內容,如何實現有效率儲存、查詢,閃開讓專業的來準沒錯。 第一步先建立一個 Docker 容器跑 Qdrant 服務。 Qdrant 的說明文件完整,對初學者十分友善。我選擇用 Docker Compose 執行,官方文件有 docker-compose.yml 範例:(註:其中用到 configs,需要 Docker Engine v25+、Docker Desktop v4.26+ 版本) services: qdrant: image: qdrant/qdrant:latest restart: always container_name: qdrant ports: - 6333:6333 - 6334:6334 expose: - 6333 - 6334 - 6335 configs: - source: qdrant_config target: /qdrant/config/production.yaml volumes: - ./qdrant_data:/qdrant_data configs: qdrant_config: content: | log_level: INFO  執行 docker-compose up -d,啟動後由 http://localhost:6333/dashboard 可進入管理介面,可檢視存入的資料,並有 Console 可以測試查詢: Qdrant 有提供 C# 程式庫 - Qdrant.Client,在專案 dotnet add package Qdrant.Client 從 NuGet 安裝後用 var client = new QdrantClient("localhost"); 建立客戶端就可以開始玩了。(提醒:實務應用需啟用 API Key 認證及 TLS 加密傳輸) 我的示範程式如下: using Azure; using Azure.AI.OpenAI; using Qdrant.Client; using Qdrant.Client.Grpc; using GrpcCond = Qdrant.Client.Grpc.Conditions; var keywd = args.Any() ? args[0] : "向量"; #region OpenAI Embedding API // 加密版環境變數 https://blog.darkthread.net/blog/secure-apikey-for-console-app/ var endPoint = ProtectedEnvironmentVariables.Get("SK_EndPoint", true); var apiKey = ProtectedEnvironmentVariables.Get("SK_ApiKey", true); AzureKeyCredential credentials = new(apiKey); OpenAIClient openAIClient = new(new Uri(endPoint), credentials); Func<string, float[]> GetEmbedding = (text) => { EmbeddingsOptions embeddingOptions = new() { DeploymentName = "embedding", Input = { text }, }; return openAIClient.GetEmbeddings(embeddingOptions).Value.Data[0].Embedding.ToArray(); };

YT 背景播放無廣告破解版 失效解決方法

YT 背景播放無廣告破解版 失效解決方法

https://fdzonerom.blogspot.com/2024/04/yt.html

前些日子發現之前預裝的yt破解版本最近打開都無法看連假後來寫一篇解方~XD先移除原本的Revanced extended 以及microg下載點:https://drive.google.com/drive/folders/1_JbIgYrHPzZGfll6zuEZd-cwwZ1pc4pM?usp=drive_link下載並且重新安裝這兩個修正軟體,就可以完美復活!!低調繼續使用

-- gReader Pro 

傻瓜 LLM 架設 - Ollama + Open WebUI 之 Docker Compose 懶人包

傻瓜 LLM 架設 - Ollama + Open WebUI 之 Docker Compose 懶人包

https://blog.darkthread.net/blog/ollam-open-webui/

不久前發現不需要 GPU 也能在本機跑 LLM 模型的 llama.cpp,接著如雨後春筍冒出一堆好用地端 LLM 整合平台或工具,例如:可一個指令下載安裝跑 LLM 的 Ollama (延伸閱讀:介紹好用工具:Ollama 快速在本地啟動並執行大型語言模型 by 保哥),還有為 Ollama 加上 GUI 介面,連指令都不用敲就能架個 LLM 跟你聊天的 Open WebUI(原 Ollama WebUI 改版)。複雜繁瑣的地端 LLM 架設工作簡化到像傻瓜相機一樣簡便,稍具概念便能上手。(小朋友:傻瓜相機是什麼?) 要懶就賴到最高點,裝 Ollama 用 Docker 容器跑比安裝方便,而 Open WebUI 需搭配 Ollama 運行,一次跑兩個容器當然是用 Docker Compose 做成同綁包更省事。 在 Github 找到網友寫的 Docker Compose 版本,但它多跑一個 App 容器放了簡單的 Pynthon 導引網站,對我來說是多餘的。另外,它還在用 Ollama WebUI,也該改成新版 Open WebUI,於是我改寫成以下的 docker-compose.yml: version: '3.8' services: ollama: image: ollama/ollama:latest ports: - 11434:11434 volumes: - .:/code - ./ollama/ollama:/root/.ollama container_name: ollama pull_policy: always tty: true restart: always networks: - ollama-docker open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui volumes: - ./ollama/open-webui:/app/backend/data depends_on: - ollama ports: - 8080:8080 environment: - '/ollama/api=http://ollama:11434/api' extra_hosts: - host.docker.internal:host-gateway restart: unless-stopped networks: - ollama-docker networks: ollama-docker: external: false  註:上述範例是 CPU 版本,若你有 Nvidia 顯卡想用 GPU 加速,可參考專案說明,執行以下程序安裝 CUDA 支援並測試: curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit # Configure NVIDIA Container Toolkit sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker # Test GPU integration docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi  docker-compose.yml ollama 部分則可修改如下: ollama: volumes: - ./ollama/ollama:/root/.ollama container_name: ollama pull_policy: always tty: true restart: unless-stopped image: ollama/ollama:latest ports: - 11434:11434 networks: - ollama-docker deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu]  準備好 docker-comopse.yml,在有安裝 Docker 的主機執行 docker-compose up -d,容器啟動後下載執行後便可連上 http://localhost:8080/ 進入 Open WebUI。介面需要登入,Sign Up 輸入姓名、Email (隨便敲) 及密碼註冊,第一位註冊的使用者會成為管理者,接著如下圖輸入模型名稱按 Pull <domain-name> from Ollama.com 就會自動下載安裝模型,稍後便可跟它愉快聊天。 若不確定模型名稱,可在 https://ollama.com 輸入關鍵字查詢,例如,輸入 breeze-7b 可查到聯發科集團聯發創新基地釋出的繁體中文強化 LLM - breeze-7b-instruct-v1_0: 小試一下它知不知道何謂「專業的五樓」,驗證 Breeze 是地端的在地 LLM 無誤,呵。

-- gReader Pro 

iThome Online: Google釋出兩Gemma模型變體,專供程式開發與研究用

2024年4月9日 星期二

YT 筆記:向量資料庫概念科普

YT 筆記:向量資料庫概念科普

https://blog.darkthread.net/blog/vector-db-concept/

在 RAG 架構中,ChatGPT 等 LLM 之所以能回答專屬領域問題,其關鍵在於已事先將相關文件、影像、資訊消化後存進資料庫並建立索引,當使用者詢問時,先透過索引找到資料,再由 LLM 彙整查詢結果給出答案。 來源 文字甚至影像之所以能被搜尋,是因為它先經 Embedding 轉為量並存進向量資料庫。文字轉為向量後,可跳脫單純的關鍵字比對,實現語意上比對,例如:查詢"狗"時,講到"Dog"的英文資料也能被篩選出來。而影像資料向量化後,則能實現用顏色、形狀以圖找圖的神奇效果。 在這套機制中,專為儲存及索引向量資料設計的向量資料庫是不可或缺的成員。向量資料庫的概念有點深奧,充斥 ANN、HNSW 之的神祕術語,不太好懂。YouTuber「Ele 實驗室」向來擅長用視覺呈現及淺顯比喻科普複雜資工理論(例如這部:YT 筆記 - 資安科普:為什麼 MD5 不再安全?,大推),最近發現這部: 【上集】向量数据库技术鉴赏 再次把向量資料庫原理解釋到國中生都能懂,是很好的科普教材,搞懂餘弦相似性、KNN、ANN、量化、PQ、HNSW 等專業術語是深入 RAG 開發的基礎,故循例筆記備忘兼分享。 為什麼要用高維度向量表示資料? 想像一下,如果我們要區分數以百種的狗,最簡單的方法用體型、長短毛、毛色、嘴巴長度... 等特徵區別,每一個特徵可想成一個維度,維度愈高,愈能精細區別不同項目。此一概念可轉化為多維量向量,特徵變為一串數字後,後續便可進行數學運算,用演算法完成我們想要的任務。 將高維空間映對成 2D 平面方便說明,我們可觀察到一些有趣特性: 性質相近者會群聚 向量關係可以用來類推二者關係,例如:貓到老鼠的線與警察到小偷的線呈現平行 兩段語意相近的文字轉換成的向量數據也會有相似性,從而讓我們找出相關的文字 為什麼需要向量資料庫? 基於資料特性差異,傳統資料庫不適合儲存向量資料,改用向量資料庫更能滿足效能及效率要求。 如何比對向量資料? 向量資料是透過比較相似性找尋相關內容,主要靠最鄰近搜索(Nearest Neighbor Search, NNS)演算法。無腦做法是將查詢對象的向量跟所有資料的向量全部比對一次,用餘弦相似性(https://zh.wikipedia.org/zh-tw/%E4%BD%99%E5%BC%A6%E7%9B%B8%E4%BC%BC%E6%80%A7)或歐幾里得距離找出最近者,此法雖精準但耗時無效率。 一個改良思維是先縮小範圍,例如用 K-Means (k-平均演算法,K-Nearest Neighbors/KNN)將點分類,每次只查找所屬類別的點: 只找所屬分類極有可能出現「最近的點隸屬另一分類」的狀況,此問題可透過增加分類數量,及連帶搜索相近分類改善,雖能提升精準度卻勢必拖慢速度。 另一種做法是 Locality Sensitive Hashing (位置敏感雜湊法),使用位置愈近碰撞機率愈高的雜湊演算法,將相近的點集合在一起放入同一個 Bucket。實踐方式是用隨機線或隨機超平面將所有點劃分為 0 或 1,每條線/每個平面決定一個位元組成一串編碼,則位置愈近的點編碼相同的位數愈多,再用分段比對提高找到相近點的機率。 以上方法都必須在品質與速度間取捨,沒有絕對精準的解法,故這些演算法也被稱為 Approximate Nearest Neighbors (ANN) 近似最鄰近搜索。 向量資料庫如何減少記憶體耗用量? 高維度向量資料佔用記憶體空間十分驚人。以 128 維資料為例,浮點數 FP32 = 4 Bytes,一個向量需要 512 Bytes,一千萬筆就會佔用 4.77GB,而實務的維度常大於 128 維,資料遠超過一千萬筆,耗用空間可觀。一個有效減量做法是 Product Quantization 乘積量化,例如以 K-Means 質心座標當成該群所有點的座標(類似有損壓縮): 如此只需記錄質心向量值給編碼值,並用對照表保存質心向量。實務上高維度需切割的聚落數及質心數將爆炸成長(例如:264),記錄質心向量所需空間遠大於量化節省空間,得不償失,稱之「維度災難」。解法是將高維向量分割成多個低維子向量,在子向量進行 K-Mean 訓練及量化。例如:把 128 維分割成 8 個 16 維子向量空間,子向量只需 256 個聚落,將八個子空間編碼值合在一起表示 128 維的點(Cartesian Product 笛卡爾積),這個做法稱為 Product Quantization (積量化,PQ)。如此可將資料量由 4.77GB 降到 76 MB。 主流向量資料庫常採用什麼方法加快搜索? 使用者對速度與查詢品質敏感,用記憶體換取二者提升很值得。基於圖論的 Hierachical Navigable Small World (HNSW) 即是一例。 直覺做法是用德勞內三角剖分法(Delaunay Triangulation Algorithm)建立所有點的圖結構,但此法有路徑效率不佳的問題。NSW 改良做法是將點一一放回去時跟最近的三個點建立連線,之後將線區分為長連結跟短連結,先用長連結快速度跳到目標附近,再走短連結到達目的節點。(先粗快,後細慢) 改良版 HNSW 將路徑分層,確保可以穩定先長路徑再短路徑走到目的,雖然會多耗用記憶體記錄多層路徑,卻能有效提升搜尋速度及品質。 現代向量資料量會綜合上述各種演算法達成最佳效果。

-- gReader Pro 

iThome Online: Opera讓用戶可下載並在本機執行、測試LLM

AI 写论文好用工具!三步生成原创论文,还提供免费论文大纲

AI 写论文好用工具!三步生成原创论文,还提供免费论文大纲

https://www.iplaysoft.com/p/ibiling-paper

论文写作是一项既重要又具挑战性的任务。对于忙碌的大学生、研究生以及各学科领域的研究人员来说,面对繁杂的研究主题和严格的格式要求时,常常感到不知所措。  此时,「笔灵 AI 论文写作」作为一个能够简化论文写作流程、提供专业辅助的工具显得尤为重要。面向 700+ 学科专业,笔灵 AI 论文写作致力于一键解决所有论文写作难题。 访问:笔灵 AI 论文写作官网 平台支持免费生成千字大纲,创作多种类型论文,比如毕业论文、职称论文等等。且生成速度快、效率高,保证内容原创,低查重率,轻松帮你写好万字专业稿子。  一、笔灵 AI 论文四大写作优势     1、免费千字大纲生成:精准把握论文结构 笔灵 AI 论文写作提供千字大纲的免费生成服务。你只需输入相关关键词,就能获得一个详尽且结构清晰的论文大纲,以此有效规划文章结构。此外,你还可在线编辑大纲,随时删减章节。  2、700+ 学科专业全覆盖:满足不同专业论文要求 笔灵 AI 论文写作服务于从专科生到研究生的各个学术层次,还提供超过 700 个不同专业的论文写作支持,从文学、历史到工程、科学,无一不包。无论你学术背景或研究领域如何,都能在这个平台上找到适合自己需求的专业帮助。  3. 多类型论文支持:课题论文、开题报告、毕业论文一网打尽 笔灵 AI 论文写作提供对多种类型论文的全面支持。无论是处于学习早期的课题论文、学术研究的开题报告,还是学业的重要里程碑——毕业论文,该平台都能提供专业的写作指导和辅助,使你轻松应对各种类型的论文挑战。  4. 论文生成速度:大纲 1 分钟,全文 5 分钟 笔灵 AI 论文写作能在短短一分钟内提供完备的论文大纲,仅需五分钟就能完成整篇论文的撰写,充分体现了它在人工智能写作领域的专业优势。你因此可以节约大量准备和撰写论文时间,将更多精力投入到研究和创新中。  二、使用笔灵 AI 论文写作搞定论文,只需四步: 第 1 步:进入笔灵 AI 论文写作官方网站。 第 2 步,选择专业,并输入题目,生成千字大纲目录。  第 3 步,编辑大纲,生成全文模板,可增加、删减章节,修改章节内容。  第 4 步,下载论文文件。  无论是毕业论文还是课题论文,笔灵 AI 论文都能成为你学术写作路上的强大助力,让你的研究工作更加轻松,成果更加显著。 笔灵 AI 论文写作官网入口: 访问:笔灵 AI 论文写作官网 总之,如果你有写论文的烦恼,不妨试试笔灵 AI 论文吧。"万事开头难"这句话大家都知道,借助 AI 帮我们开头写论文的初稿,比起一片空白开始真的要轻松许多许多!!甚至有时你只需做非常少的修改,就能获得一篇非常专业的论文了!

-- gReader Pro 

2024年4月8日 星期一

微軟開發高性能聲音辨識 AI 技術!從地震、嬰兒哭聲、狗吠聲到呼吸都能辨識,可用於智慧家居和醫療保健

微軟開發高性能聲音辨識 AI 技術!從地震、嬰兒哭聲、狗吠聲到呼吸都能辨識,可用於智慧家居和醫療保健

https://www.techbang.com/posts/114322-microsoft-voice-ai-technology

微軟開發高性能聲音辨識 AI 技術!可辨識地震、風暴、門鈴聲、嬰兒哭聲、狗吠聲到咳嗽聲或呼吸困難聲用於智慧家居、醫療保健微軟一直走在人工智慧開發的最尖端,並與 OpenAI 合作開發和改進人工智慧產品,例如具備圖像辨識功能的 Copilot(當時稱為 Bing Chat)。 然而,這家總部位於雷德蒙的科技巨頭正在開發高性能的聲音辨識AI技術,使 Copilot(以及任何其他 AI 模型,例如 ChatGPT)能夠檢測即將發生的地震、風暴等自然災害。 根據最近公佈的一份專利,微軟的新技術可以辨識各種聲音,從門鈴聲、嬰兒哭聲、狗吠聲到咳嗽聲或呼吸困難聲,甚至包括打破玻璃等不尋常的噪音。 更吸引人的是,它可以辨識和監控環境聲音,並可以進一步處理,讓使用者知道自然災害是否即將發生。 該系統會將聲音信號分解成更小的部分或片段。每個片段都經過處理,以在時間域中創建聲音的標準化表示。這就像是聲音隨時間變化的地圖。 然後將這張地圖輸入到經過訓練的神經網路中,神經網路是 一種人工智慧。神經網路會為每個片段中的每種類型聲音事件判別分數和機率。這就像猜測每個片段是什麼類型的聲音,以及對這種猜測有多確定。 之後,系統會對分數和概率進行平滑處理,以消除雜訊和提高準確性。系統還會根據分析聲音的數據塊的大小產生不同的窗口大小的可信度值。例如,系統可能會生成一個 0.8 的可信度值,表示該片段在 1 秒的窗口內是嬰兒哭泣聲的可能性為 80%。 最終,這項技術可以用於各種應用程式。在智慧家居設備中,它可以透過辨識玻璃破碎的聲音來檢測有人闖入房屋,或者透過辨識嬰兒哭泣的聲音來檢測新生兒是否饑餓或難受。 它還可用於醫療保健領域,透過辨識心跳聲、咳嗽或呼吸困難來準確檢測肺部或心臟疾病。但其最重要的應用之一是透過辨識和檢測與自然災害相關的聲音來防止一般使用者遭受即將發生的事故。 原始音訊訊號可能包含環境或日常聲音,這些聲音會形成電腦系統檢測到的音訊事件,例如 警笛、警報、狗吠、嬰兒哭泣、槍聲、爆炸、掌聲或笑聲等等。 由於該技術使用神經網路,因此可以輕鬆地將其整合到人工智慧模型中,例如 Windows 上的 Copilot、ChatGPT 或市場上的任何其他模型。 然而,在Windows上,這將是最有用的,因為一般的使用者可以用Copilot來檢測自然災害並在他們處於危險時警告他們。它還可以充當安全系統,在有人闖入家中時發出警報。  延伸閱讀:咖啡廳內部鏡頭加上演算法,連你喝了幾分鐘咖啡都搞的一清二楚:AI成本越低、你我越沒有隱私 延伸閱讀:居家遠端監控產品安心採購:無線攝影機、視訊門鈴對講機產品推薦、怎麼挑選? 加入T客邦Facebook粉絲團

-- gReader Pro 

llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型

llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型

https://www.kocpc.com.tw/archives/541748

至今我們介紹過幾個可本地運行的 AI 聊天機器人,像是 LM Studio、Chat with RTX、GPT4All 等等,這些都需要安裝一個軟體後,再下載 LLM 大語言模型。如果你不想要這麼麻煩,或希望獲得一個綠色版的 AI 聊天機器人,那 llamafile 就是很不錯的選項,下載好指定檔案後就能直接執行,無需安裝任何東西。  llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 llamafile 是由 Mozilla Internet Ecosystem(MIECO)所製作的專案,有在 GitHub 上分享,跟其他大語言模型的 AI 聊天機器人軟體不一樣在,它執行之後會直接在瀏覽器中啟用聊天介面,因此不需要透過任何軟體,使用的大語言模型是 LLaVA,不僅支援聊天,也能分析圖片。CPU、GPU 都支援。 Windows、Mac、Linux 的用法不太一樣,下面我會示範 Windows 的執行步驟,簡單來說就是將檔案名稱改成 .exe 後,就能直接執行了,因此你可以把改好檔名的檔案放在隨身碟裡,這樣無論到哪一台電腦,都能啟用這個 AI 聊天機器人。 有很多聊天設置可以調整,像是 Temperature、Predictions、Mirostat 等等,連使用者名稱和機器人名稱,你都能自訂。聊天時可輸入中文,不一定要用英文,不過英文的準確度會比較高。  點我前往 GitHub 專案  點擊上方連結進到 GitHub 專案後,在 Quickstart 段落中,下載第一點的 llava-v1.5-7b… 這一個,檔案為 3.97GB,需要一點下載時間:  下載好後,Windows 部份就在後面加上 .exe,然後按是:  接著點二下執行,會跳出這提示視窗,點「其他資訊」:  就會出現「仍要執行」的按鈕:  會跳出這視窗,等待它跑完:  瀏覽器就會打開 llama.cpp 這個聊天視窗,設定部份基本上不用動,你可以先玩玩看,等到回覆內容不滿意時,再來進行微調:  把你要問的內容輸入在底部框框,然後按 Send:  就能開始聊天了,實測支援中文,不過預設會用簡體中文,如果你想要它用繁體中文,記得特別說明要用「繁體中文回答」:  雖然是本地 LLM 大語言模型,但回覆的內容品質還是挺不錯:  我還有測試上傳圖片,要它分析有什麼元素,它也明確辨識出來,不過一開始是用英文回答:  我叫它給我繁體中文翻譯,也沒問題的翻成中文給我:  至於回覆速度,這取決於你的 CPU 和 GPU,配備夠好的話,回覆速度就很快,分析圖片需要消耗比較大的算力。

-- gReader Pro 

2024年4月7日 星期日

Yahoo奇摩新聞: 打破ChatGPT 網頁版的限制!四個讓你高效生成再利用的方法

JPEG 迎接大進化?Google 開源新函式庫「Jpegli」壓得更好、畫質更高

JPEG 迎接大進化?Google 開源新函式庫「Jpegli」壓得更好、畫質更高

https://www.inside.com.tw/article/34682-google-released-an-open-source-jpeg-format-file-encoding-library-called-jpegli-which-allows-jpeg-files-to-have-higher-compression-rates-and-retain-higher-image-quality

本文來自合作媒體 Mashdigi,INSIDE 授權轉載。雖然Google提出壓縮率更高的WebP靜態圖片檔案格式,但以當前市場主流使用規格依然是JPEG (佔比約在80%以上),因此Google在近期提出技術讓JPEG格式圖像能以更高壓縮率儲存,藉此精簡傳輸使用網路頻寬,並且能維持更高影像畫質。Google以開源形式公布名為Jpegli的JPEG格式檔案編碼函式庫,其中更包含符合JPEG標準的編碼器與解碼器工具,讓使用Jpegli編碼函式庫儲存影像能相容既有網頁瀏覽器或圖像編輯軟體。在此編碼函式庫中,Google透過自適應量化方式降低雜訊生成比例,進而讓影像畫質提高,同時也參考心理視覺方式讓圖像看起來更清晰、畫質更高。Photo Credit: Google而相較傳統JPEG格式採8位元編碼儲存,Jpegli則是透過10位元方式進行編碼,不僅能相容既有8位元編碼工具,整體編碼速度也幾乎不受影響,因此能讓Jpegli編碼儲存影像用於既有瀏覽工具、編輯程式等。目前Google已經透過GitHub開源公布jpegli編碼函式庫,讓所有使用者都能直接取用。

-- gReader Pro 

ChatGPT DALL-E 添加局部編輯、轉換風格提示新功能,教你怎麼使用

ChatGPT DALL-E 添加局部編輯、轉換風格提示新功能,教你怎麼使用

https://www.kocpc.com.tw/archives/541646

對於有購買 ChatGPT Plus 會員的人,一定經常會用 DALL-E 來生成 AI 圖片,而過去如果生成出來的圖片有一部份不是很滿意,就只能全部重新生成,而就在最近,OpenAI 終於加入了局部編輯功能,可以指定要變化的區域,讓 DALL-E 重新生成,同時還提供多種風格選項,方便用戶能快速將 AI 圖片轉換成其他圖片風格。  ChatGPT DALL-E 添加局部編輯、轉換風格提示新功能,教你怎麼使用 近日 OpenAI 的官方 X(前身 Twitter)公布 DALL-E 的兩像全新功能:「局部重新生成」和「圖片生成風格」,網頁版、iOS 和 Android App 版同步新增,意味著在這些平台上都能使用到。  You can also get inspiration on styles when creating images in the DALL·E GPT. pic.twitter.com/mRrkwJKHyq — OpenAI (@OpenAI) April 3, 2024 使用方式也很簡單且直覺,我測試效果還算可以,不過有時候會碰到局部編輯時,再次生成效果並沒有我要求的內容,需要重新生成或改用其他 Prompt。而圖片生成風格建議一開始就套用上,當然也能等到生成出你想要的圖片後,再改成其他風格,不過這有可能變成另一張圖片,導致你想要的細節不見。 補充:DALL-E 圖片生成功能只有 ChatGPT Plus 會員能用,免費版沒有提供。 打開 ChatGPT 的 DALL-E 聊天視窗後,會看到輸入框上方有一些選項,如:Sai-fi、Cubism、Digital art、Anime 等等,這就是圖片風格,如果沒有你想要的,按最右側雙箭頭圖示會提供更多風格選項:  按下任一風格後,會自動輸入到框框裡:  右邊 Aspect Ratio 可選擇圖片尺寸,有 Square、Widescreen 和 Vertical 三種選項:  局部編輯使用方法如下,圖片生成好後打開,上方會看到一個鉛筆圖示,這就是編輯功能:  接著畫出你想要局部變更的區域,左上方可更改筆刷大小。畫完後,右下角輸入你要更改的內容,像我想要把這個區域「改成花朵」,然後按 Enter 鍵送出:  DALL-E 就只會重新生成這個區域,果然改成花朵,不滿意的話也可以再次局部編輯,直到生成出你想要的圖片:  這邊也會提供圖片風格選項,如果你想要變換其他圖片風格的話,一樣就點一下你要的風格選項:  我選擇 Chalk art,就變成重新生成一張圖片,細節完全不同,所以前面我才建議先設定圖片風格再進行局部編輯:  ChatGPT DALL-E 多了局部編輯後,不得不說真的方便很多,往後只要 AI 生成出還算滿意的圖片,就不用因為細節而放棄整張,可以慢慢局部編輯重新生成,直到整個都滿意。 也希望未來 DALL-E 可以提供一開始先生成解析度低的圖片,直到完全編輯好後,再生成高解析度圖檔,這樣就能大幅減少等待時間。

-- gReader Pro 

提示工程師課程爆紅,線上完課還能領證書!想挑戰年薪 400 萬先上課吧 | TechOrange 科...

提示工程師課程爆紅,線上完課還能領證書!想挑戰年薪 400 萬先上課吧 | TechOrange 科...

https://www.facebook.com/641833231322747/posts/821109166728485

提示工程師課程爆紅,線上完課還能領證書!想挑戰年薪 400 萬先上課吧 | TechOrange 科技報橘 該課程的授課老師 Jules White 是一名大學的計算機科學副教授,他指出目前上這堂為期 6 週線上課程的學員已超過 18 萬人 👇  在 ChatGPT 問世一週年多的現在,生成式 AI 不僅成為人們工作時的工具,也成為一種工作職位。據全球求職網站龍頭 Indeed 最新調查顯示,截至 10 月底,與生成式 AI 相關的職缺數量,相較年初成長了 20 倍。 而其中一種無需 coding ...(Feed generated with FetchRSS)

-- gReader Pro 

Notepad Next – 开源源代码编辑,Notepad++ 的跨平台重构版本

Notepad Next – 开源源代码编辑,Notepad++ 的跨平台重构版本

https://www.appinn.com/notepad-next/

NotepadNext 是一款源代码编辑,基于 QT 和 C++ 重构的 Notepad++,实现了跨平台支持 Windows、macOS、Linux。开发者描述「尽管该应用程序总体稳定且可用,但对于极其重要的工作来说,不应认为它是安全的。」@Appinn  这个项目在 2019年11月上线了,暂时未知是从哪个版本的 Notepad++ 开始重构。从 2022 年3月开始构建第一个 Linux 版本,4月发布了 macOS 版本。 之后每隔几个月更新一次,最近一次更新是今年2月份。  有中文界面,支持宏。 有跨平台使用需求的同学,Notepad Next 倒是个不错的选择。 获取  GitHub 搬运(Win & macOS)   原文:https://www.appinn.com/notepad-next/ 相关阅读Next Terminal – 用浏览器访问远程桌面,支持 RDP、SSH、VNC 和 TelnetNotepad GNU – 蛮有特色的文本编辑软件Crypto Notepad – 不到 2MB 的便携、开源加密文本编辑器[Windows]tagLyst Next – 文件入库、加标签,解决文件分类与聚合的难题[Win/macOS]如何替代 Windows 默认记事本(Notepad)为第三方工具 ©2023 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南 3659b075e72a5b7b1b87ea74aa7932ff 点击这里留言、和原作者一起评论 [ 点击前往获取链接 ]

-- gReader Pro 

Tengr.ai 免費 AI 圖片產生器推薦,每天可生成 800 張圖片、支援敏感內容

Tengr.ai 免費 AI 圖片產生器推薦,每天可生成 800 張圖片、支援敏感內容

https://free.com.tw/tengr-ai-image/

Tengr.ai 是使用先進 AI 技術進行各種創造的公司,旗下有一些將人工智慧運用於實際工作的案例,其中有個 AI 圖片產生工具「Image AI」是很多人會用到的功能,它使用新一代、高品質的圖片人工智慧來產生各種影像作品,不但有友善的操作介面,可以快速製作出細膩、令人驚嘆的照片!每次會產生四張預覽圖,還能從選項進行微調,例如預先設定要產生的風格、創造力、細節和圖片長寬比。  在使用 Tengr.ai 的 Image AI 工具前必須先註冊一個帳號,免費方案每天可產生 800 張圖片、單次可等待排程處理的任務只有一個、將產生的圖片保存兩週,付費升級方案除了在圖片配額、任務數量、保存圖片時間不同外其他的功能差不多(付費後還能使用 AI 圖片放大)。 Image AI 的提示詞 Prompt 支援四種語言(英語、德語、匈牙利語和羅馬尼亞語),未來也計劃支援更多語言,生成的圖片可以做為商業用途或販售,沒有版權限制,透過線上圖片編輯功能在產生圖片後進行更多修改。 另一個值得一提的特色是 Image AI 允許產生「敏感和 NSFW 內容」,也就是可用於製作成人內容影像,只要預先將過濾器關閉、就能使用未經審查(Uncensored)的 AI 圖片產生功能。 Image AI by Tengr.ai https://tengr.ai/image-ai 使用教學 STEP 1 開啟 Tengr.ai 網站的 Image AI 功能,點擊「Sign up!」按鈕先免費註冊一個帳號。  註冊時可使用 GitHub、Facebook、Discord 或 Google 帳號直接登入,也能設定一個 Email、密碼組合。  STEP 2 登入帳號後進入 Image AI 控制台就可以開始使用,上方有兩個產生圖片的方式,「Start from scratch」使用提示詞來製作圖片,另一個「Start from an image」是上傳一張圖片來產生類似圖片(不過免費帳號會有圖片不能超過 2MB 限制,容量太大可使用相片壓縮工具縮小檔案)。  STEP 3 選擇以提示詞製作圖片的功能後在上方輸入圖片描述,然後從下方選擇要產生的相片風格、按下「Generate」就會有圖片產生,這也是最基本的使用方法,若對於提示詞沒有想法也可使用 Image to Prompt 等工具產生。 其他還有可設定的選項,例如不希望在產生圖片顯示那些內容(Not this),也能以提示詞方式輸入。  下方有個「Like this image」可以上傳圖片、讓 AI 產生近似構圖的相片,非常強大!  往下捲動頁面還能設定創造力(Creativity)、細節(Details)分數,如果沒有特別的需求只要維持預設值即可,除此之外,還能預先設定產生的圖片長寬比(Aspect ratio),預設會產生正方形的結果。  STEP 4 產生圖片需要一些時間,不過速度很快,每次會產生四張預覽圖,看起來都很接近、不過又有點不太一樣,只要點擊圖片上方「Download」即可將圖片保存起來(PNG 格式),另一個「Postwork」是將圖片傳送到線上編輯器。  在 Tengr.ai 線上圖片編輯器可進行各種編輯,包括裁切、翻轉、調整大小、濾鏡、顏色、畫筆、邊框等等,若產生的圖片還有一些落差,就能透過編輯工具進行調整。  STEP 5 透過「Start from an image」可以在上傳一張圖片後以 AI 產生近似的畫面,下方還能調整相片要修改的強度分數。  AI 就會生成類似相片,但是細節又不太一樣,真的非常強大!  STEP 6 如果想要產生敏感內容,可以在右側選單找到「Sensitive and NSFW filter」篩選功能,將它關閉後就能允許不安全的內容(當然使用者必須要滿 18 歲)。  Tengr.ai Image AI 工具功能強大、操作簡單,可以幫助使用者快速生成高品質的圖片,如果您正在尋找一款好用的 AI 圖片產生器,不妨試試看囉! 這篇文章 Tengr.ai 免費 AI 圖片產生器推薦,每天可生成 800 張圖片、支援敏感內容 最早出現在免費資源網路社群,請追蹤 Google 新聞、Facebook、Twitter 或 RSS feed 獲取更多科技新知及免費資源相關介紹教學。

-- gReader Pro 

閱讀筆記 - LLM 模型發展歷程基本知識

閱讀筆記 - LLM 模型發展歷程基本知識

https://blog.darkthread.net/blog/llm-foundation/

ChatGPT 帶起大型語言模型(LLM)熱潮,對程式開發產業帶來無法忽視的衝搫。有程式需求但不會寫?跟 ChatGPT 許願就有。一行行敲程式碼太慢?Github Copilot 知道你想做什麼,自動幫你寫完。C# 老鳥遇到適合用其他語言開發的情境,不需要抱著 .NET 硬幹,有 Github Copilot 當靠山,切換不同語言快速寫完小需求是小菜一碟,近期寫 Pyhon 算百分數畫圖表及用 Node.js 寫 WebAPI的經驗即可為證。AI 出現,程式開發生態自此改變。 在這個基礎程式開發能力不再值錢的時代,程式老鳥的傳統領先優勢逐步消失,想繼續保有競爭力需要調整技能樹配置,我認為整合 LLM 的應用程式開發是極具潛力的新領域,也是我近期會投注心力的發展方向。 在安德魯 RAG 的檢索與應用一文看到 AWS 生成式 AI 技術負責人,Aishwarya Naresh Reganti,提供的免費線上課程 - Applied LLMs Mastery 2024 / 精通 LLM 應用,講得不深(但不代表淺顯,文章用詞精簡,有些地方需要機器學習及程式開發背景才易理解)但涵蓋很廣,將 LLM 應用開發的工具技術、開發策略、部署調校,乃至於安全法規道德性一網打盡,也有附上想深入研究的論文連結,大概是「絕世武功目錄」的概念,讀完或能在此 AI 革命狂潮中博個九死一生。(笑) 課程裡有一堂在講 LLM 背後機器學習技術的演進挺有意思,看完至少對 LLM 相關的專業術語會有基本認識,故這篇就花點時間簡單筆記整理備忘。 機器學習模型可區分成:生成式(Generative)及鑑別式(Discriminative)兩大類。LLM 屬於前者,透過從資料中學習如何依據輸入資料生成對映的資料(文字、影像、聲音...);而鑑別式模型則可依據輸入資料決定結果(例如:分類、是或否)或產生預測。 RNN 要訓練可生成文字的模型,最早是使用 Recurrent Neural Network (RNN,循環神經網路)。 RNN 的特色是輸入 Xt 時,會依指定權重結合狀態資料 ht-1 產生 ht,進而計算出 yt(可用於分類、預測或序列資料生成),最終得到先前一段範圍的輸入影響當前輸出的效果。但 RNN 有難以參考長範圍資料以及梯度爆炸或消失問題,故後來出現了 RNN 的變形,例如:Long Short-Term Memory (LSTM) 及 Gated Recurrent Units (GRUs) 以克服無法參照大範圍資料及梯度相關問題。 LSTM LSTM 在模型加入了 Memory Cell 以長期記憶資訊,其使用三個 Gate (Input/Output/Forget) 控制資訊流入/流出 Memory Cell 或遺忘,藉此處理更長範圍的資料(RNN 只會參考 t-1,LSTM 用 Gate 控制故能記住很久)。 RNN 跟 LSTM 被廣泛應用在語言模型任務上,用來預測下一個輸出的字。但在處理輸入長度與輸出長度可變的情境,其固定長度的隱藏狀態保留機制,侷限了能力。 延伸學習:李宏毅老師 機器學習線上課程:RNN & LSTM (下圖為 LSTM 更詳細的分解) Seq2seq Sequence-to-Sequence (Seq2seq) 模型採用 Encoder - Decoder 設計,文字經 Embedding轉成固定維度向量輸入到 Encoder,Encoder 串接 Decoder 輸出結果,輸出的第一個文字做為輸入決定第二個輸出文字,以此類推。自此,模型能處理可變長度的內容,並有效補捉語意產生相關結果,圖中的每個單元仍是 RNN 架構。 Seq2seq with Attention Seq2seq 有個問題是所有輸入資料最後轉成單一向量,無法突顯其中重要部分,使其產生較大影響。Seq2seq Model with Attention 改良模型加入注意力機制,試圖改善此一問題。在 Decoder 階段,由接收 Encoder 最後輸出改為考慮 Encoder 所有 RNN 狀態(s1, s1 ... sm),由 Attention Function 調配每個 sk 與 ht 相關度計算 score(ht, sk),得到象徵重要性的 Attention Score,以該評分作為權重計算輸出,如此輸出便能專注在重要部分。 Transformer Seq2seq Model with Attention 仍存在計算效率差及無法有效捕捉長序列相依性的問題,Google 在 2017 發表了著名的 Attension is All You Need 論文,Transformer 模型自此成為當今 LLM 主流。 Trasformer 使用 Self-Attention 機制(Mutli-Head Attention Block)在 Encoder / Decoder 階段都考量整個 Sequence,增加值得注意部分的權重,如此能用更少訓練時間得到更好的結果。 Transformer 被廣泛應用在語言模型,目前檯面上的 LLM,如 BERT、GPT、LLaMa、Mistral、Genimi、Claude 清一色都是採用 Transformer 模型,儼然已成業界標準。 延伸學習: 李宏毅老師 機器學習線上課程:Self-Attention 李宏毅老師 機器學習線上課程:Seq2seq & Transformer 早期語言模型 遠在 ChatGPT 一砲而紅前,已有一些模型如 BERT (Bidirectional Encoder Representations from Transformers)、GPT (Generative Pre-trained Transformer)、T5 (Text-To-Text Transfer Transformer) 發展多年,他們都是基於 Transformer,透過以下步驟建構: Pre-Train 與 Fine-Tune:先使用大量語料進行預訓練,熟悉語言表達及基本知識,再使用標示資料(Labeled Data)針對不同 NLP (自然語言處理)任務微調,例如:文字分類、問答、機器翻譯等。 Bidirectional Context:BERT 使用雙向上下文模型,使其能做到更深的語意捕捉,提升表現。 Autoregressive Generation:GPT 利用先前生成元素作為上下文來預測下一個元素(自迴歸生成),能很好地產生流暢有結構的文字內容。 Text-to-Text Approach:T5 用統一的 Text-to-Text 框架對應不同的 NLP 任務,簡化訓練及部署程序,並能滿足各項任務需求。 Large-Scale Training:這些模型使用數十億 Token 規模的資料集訓練,使用大量算力硬體及分散式技術完成,在語意捕捉能力上有很大的進步。 大型語言模型 LLM 近期的 LLM 如 Llama 及 ChatGPT,與 BERT、GPT 相比,有以下提升: 任務導向:BERT 及 GPT 屬多用途,可用於分類、語言產生、問答,而 Llama 主打多模態(涵蓋文字、影像),ChatGPT 專注對話應用。 多模態:Llama 及 Genimi 等模型主打 Multimodal 多模態,可支援文字、聲音、影像應用。 效率提升:能用較少參數達到相似效果。 允許針對特定領域知識進行微調(Fine-Tune),結合預訓練資料在專屬應用上有更好表現。 互動及動態回應:擅長依據互動交談內容,動態產生人類預期的回應內容。

-- gReader Pro 

2024年4月6日 星期六

別跟風!這類企業才該導入 No code / Low code 程式開發平台

別跟風!這類企業才該導入 No code / Low code 程式開發平台

https://buzzorange.com/techorange/2021/11/29/nocode-lowcode/

【為什麼我們要挑選這篇文章】公司 IT 團隊每天都要處理大量問題、系統已不符合時下需求,或是知道問題的人卻不會寫程式嗎? No code / Low code 也許可以幫得上忙。 原文作者是位 AI 數據專家,且在微軟已有三年的工作經驗。來看看她對於 No code / Low code 對於公司價值的提升以及需要特別注意的地方有什麼案例和心得分享吧!(責任編輯:邵元婷) 本文經 Wan Chung Huang 授權 在這篇文章中,我(TO 編按:原文作者)會分享在幾次協助企業客戶導入 No code / Low code 程式開發平台後的心得。希望能夠藉由這篇文章幫助各位評估 No code / Low code 開發平台是否可以幫助公司提升價值,以及有哪些應該注意的地方,是可以避免專案停留在概念驗證,而無法實際運行。 接下來會由幾個面向作討論: -企業面臨的挑戰 -No code / Low code 程式開發平台是什麼 -傳統開發方法和 No code / Low code 開發方法流程比較 -精彩案例 -我的想法 -注意事項 -總結 企業面臨的挑戰 各種來自使用者或者業務單位的需求 身為 IT 團隊,每天要面對各種類型的任務,除了日常維運之外,也包含各種線上系統的變更、新專案等,更要對緊急情況隨時待命。因此針對來自使用者或者業務單位的需求,不見得能夠優先處理,而現今的市場情況瞬息萬變,常需要公司在短時間內做出回應。 IT 部門應該如何對各種需求設定優先級,是一大挑戰。 非 IT 背景的使用者缺乏解決問題的能力 許多使用者其實是最清楚企業中流程缺陷、最有點子提出改善方案的人,無奈 IT 工具的使用不是這群使用者的專長,因此無法自己實作、將問題解決。 既有系統的最後一哩-行動裝置整合 IT 技術的發展日新月異,許多運行多年的系統並不見得能夠符合時下的趨勢和需求。舉例而言,行動辦公室和遠距工作的概念一直到近年來才漸漸流行。受到這次新冠病毒的影響,許多企業才正視這樣的需求。 痛點在於,既有系統當初的設計概念並不包含行動裝置整合,而開發方式也多以瀑布式開發為主,無法及時對需求做出回應。  TO 推薦閱讀:coding 界殘酷現實:用哪一種程式語言的工程師薪水最低? No code / Low code 程式開發平台是什麼 是一種新的創作軟體、app 的方式。有別於以往寫程式,no code / low code 以圖形化介面和設定創造程式,讓非專業開發者或軟體工程師也可以打造出軟體來解決自己日常工作的挑戰。 近幾年由於業務需求變化快速和雲端運算普及化,no code / low code 的概念變得更加廣為人知。 傳統開發和 No code / Low code 開發方法流程比較 傳統上,如果想開發一支 app ,例如圖書館館藏檢索,可能從提案、寫需求書、成案、開發、驗收就需要耗上不少時間。另外也有可能開發人員所開發的 app 和使用者想像不符的情況。 即使是近幾年流行的敏捷式開發,擁有快速疊代的天性,也不免要經過多次來回後才能達成一個最小可行產品。 Source: Differences between Power Apps and traditional app development approaches Source: Differences between Power Apps and traditional app development approaches no code / low code 程式開發平台的特性就是所見即所得,由於使用者介面可以在開發階段就讓使用者用拖拉的方式完成,因此使用者得以迅速讓第一版 app 開始運行,並不斷地加上新功能、在下個版本中更新釋出。 如此一來,使用者可以詳細的設計想要在館藏檢索 app 的介面上有哪些欄位、按鈕、功能以及整體流程,就可以確保最初的構想和成品一致性提高。 Source: Differences between Power Apps and traditional app development approaches 精彩案例 在協助客戶導入的過程中看到許多精彩的提案,絕大部分是由使用者提出來的點子,以下列舉幾類案例是多數公司可能都用得上的: 值得注意的是,所有的案例使用傳統開發方式也一樣可以達成,只是這些案例的發想和執行從傳統的開發者漸漸轉移到使用者。除此之外,開發的時程也因為許多 No code / Low code 開發平台內建的連接器而大幅縮短。 主要功能:取代紙本或者散落在不同系統的記錄 效益:讓更多資料得以被分析、取得洞察、改善現行流程 適用場景: 以客戶意見回饋表單取代現行聊天軟體,譬如 LINE 。並加上 QR Code 和照相機等功能、整合後端的資料庫和分析平台能做追蹤報表以有效改善問題。 以巡檢表單取代現行紙本和相機記錄記錄。並搭配錄音和錄影等功能、整合後端的資料庫和分析平台得到優化建議。  主要功能:利用 app 建立完整流程,引導使用者遵循流程 效益:減少遺失、損耗 適用場景:工單派送、零件管理、儀器管理、資產盤點  主要功能:利用 app 建立專案合作平台、布達進度、提醒注意事項 效益:增進跨部門合作、溝通、提高效率 適用場景:業務專案、訂單追蹤  TO 推薦閱讀:一定要學程式嗎?如果你是主管,更需要培養「no-code」的能力 我的想法 選題、選情境是最關鍵的一步,要找到對的題目,不要找沒有商業價值的題目。即使 PoC 驗證通過,也因為商業價值不夠而難以實現。 譬如之前碰到一位客戶一聽完這個平台,馬上躍躍欲試,第一個想到的應用情境是訂便當 app ,打算用這個工具來減少每日中午統計便當數量、算帳的繁瑣紙本作業和時間。我反問客戶:如果這個 app 順利在很短的時間內上線、使用者很喜歡、也真的不假 IT 之手,由使用者自行開發完成了,你覺得公司會批准這筆預算的可能有多少? 我想恐怕很低,公司的預算分配畢竟要考量到價值,包含有形的或者無形的,像訂便當這類的場景其實非常好,很適合用來鼓勵使用者發揮創意和實作能力,但如果拿這樣的題目打算說服投資者,難度很高。 除此之外,這個題目必須解決夠關鍵的問題,換句話來說,痛點要夠痛,如此一來在短時間內解決的效益才能最大化。 曾經有個客戶利用 No code / Low code 開發平台連接企業內的 ERP 系統,並搭配行動裝置達到資料寫入的目的。在導入這個平台之前,每次資產盤點總是要勞煩負責人抱著筆電和相機,整棟辦公室一一將資產拍照、整理、存檔。 在發現 No code / Low code 開發平台有許多內建的連接器,也包含 SAP ERP 的連接器後,客戶得以快速的將系統至行動裝置的路徑打通,讓整個體驗變得更順暢、同時也減少人為操作的疏失。 這類型的題目由於夠重要(關係到公司資產)、夠複雜(傳統系統廠商不會花太多時間開發 ERP 的手機端,因為這並不是 ERP 的核心任務)、價值也顯而易見,較容易受到青睞。  TO 推薦閱讀:為什麼 no-code / low-code 工具「不會取代」工程師? 注意事項 資訊安全 企業客戶最在意的資料安全問題,仰賴開發平台有完整的配套。舉例而言,這個平台是否有一個管理中心可以監視各種被調用的資料、甚至管理那些資料被允許調用、而哪些調用前須要經過申請。又或者是有個 Center of Exellence 的最佳應用建議,幫助企業在讓員工發揮最大創造力的前提下,也能夠達成資安要求。 成本管理 這裡要談的成本不只是金錢成本,也包含時間成本和沉沒成本。不可否認,許多市場,譬如台灣,擁有充沛的工程人才,因此要自行培養工程師並且開發軟體完全不是困難的任務。許多資訊長覺得,與其要使用訂閱制來維運一套系統,不如讓工程師寫,不僅可以省下訂閱費用,更可永遠將資產留在公司。 但從另一個角度來看,如果這個需求可以不假工程師之手,不用麻煩資訊部門,而由使用單位自行開發將問題解決呢?這樣一來,專長寫程式的工程師可以專注在開發更複雜的系統、解決更複雜的問題。 此外,有的公司因為數年來已經投入大量人力在一套自行開發的系統上,隨著時代推進,整合性和安全性都無法跟上新趨勢,要談砍掉重練又覺得茲事體大,導致進退兩難。 我就曾經協助一位客戶將其自行開發、供全公司上萬人使用的電子信箱系統遷移至 SaaS 服務,原因無他,不外乎各種功能,譬如行動裝置,或者使用者體驗和資安規定的需求,譬如 BYOD ,已經無法滿足企業所需,因此下定決心要搬遷,其中所要耗費的時間和成本非常可觀。 當然,這個例子也許有點誇張,因為通常企業最初導入 No code / Low code 開發平台並不會套用像電子信箱系統這樣龐大的系統,只是當企業在衡量成本的時候,也應該將金錢以外的成本納入考量。  TO 推薦閱讀:不用寫 code,也能往 AI 數位轉型?解析「無程式碼平台」工具及 3 大效益 定位 No code / Low code 開發平台最初定位的使用者其實是有業務需求的使用者,而不是專職開發者。對於開發者而言,已經習慣了開發介面,譬如各種 IDE 、 command-line interface 等等,使用上反而很不順手,甚至會覺得圖形化的介面讓工作效率降低了。 相反的,對於以前完全不以寫程式為工作內容的使用者來說,卻是一個很有吸引力的工具,激發他們使用工具來解決自己業務困難的全新方法。因此對於公司而言,在導入初期就應該對平台有清楚定位,這樣一來就可以免去日後凡事都得丟給 IT ,讓 IT 覺得又多了一套系統要維運的困擾。 總結 在結合了圖性化界面並減少程式碼的成分後, low code / no code 平台無形中降低了許多使用者的心理障礙,開始願意想像自己能夠如何動手來解決問題。 我認為這樣的新技術有助於業務部門和 IT 、開發部門展開溝通,在了解了彼此的需求和痛點後,勢必會更知道如何協同合作,打破以往因為不理解以及缺乏溝通造成的衝突。整體而言,我認為 low code / no code 的趨勢才剛開始,在充分理解它的優勢和限制後,能對企業帶來正面影響。 (本文經 Wan Chung Huang 授權刊登,並同意 TechOrange 編寫導讀與修訂標題,原文標題為〈你應該導入No code/Low code程式開發平台嗎?〉。) The post 別跟風!這類企業才該導入 No code / Low code 程式開發平台 appeared first on TechOrange 科技報橘.

-- gReader Pro 

不想讓創作變AI飼料?全新開源字型「ShieldFont」登場,靠這招讓爬蟲抓到滿頭包 | T客邦

https://www.techbang.com/posts/131901-shieldfont-anti-ai-crawler-glyph-substitution