2024-05-21 Hacker News Top Stories #
Llama3 implemented from scratch #
https://github.com/naklecha/llama3-from-scratch
这个 GitHub 地址包含了一个 llama3 的实现，通过一次次的矩阵乘法来完成。在这个文件中，作者从头开始实现了 llama3，逐步进行张量和矩阵的乘法。
此外，作者还会直接从为 llama3 提供的模型文件中加载张量，但在运行此文件之前，您需要先下载权重。作者还提到不会实现 BPE 分词器，但提供了 Andrej Karpathy 的干净实现的链接。
在代码中，作者展示了如何读取模型文件、将文本转换为标记、将标记转换为它们的嵌入等步骤。整个过程涉及了多个方面，包括注意力机制的实现、位置编码、值的计算、多头注意力等。
最终，作者展示了如何得到最终的嵌入表示，并使用输出解码器将其转换为标记值。整个过程展示了如何逐层构建 llama3 模型，以便预测下一个标记。
HN 评论 238 comments | 作者：Hadi7546 | 1 day ago #
https://news.ycombinator.com/item?id=40408880
- 有人认为阅读代码或通过调试器逐步了解 LLM 的工作方式并不如通过具有状态可视化的方式更有效
- 建议初学者从电子表格中实现 LLM 开始，更易理解
- 一些人认为 LLM 涉及的数学概念对没有数学背景的人来说难以理解
- 有人认为现有文献过多关注张量，而不是更易理解的数组和矩阵
- 建议通过在线课程学习深度学习以增加对术语的熟悉度
- 有人认为只有当你想要揭示 LLM 的幻象时才应该深入研究
- 有人分享了关于在电子表格中运行 GPT-2 的项目
- 有人认为 LLM 的代码并不复杂，实现单一模型架构的训练和推断并不困难
- 有人提到大规模 RLHF 对提高 LLM 性能的重要性
- 有人讨论了 LLM 的数据承包商对性能的影响
- 有人认为 LLM 的难点在于获取训练所需的硬件、数据和数据预处理
- 有人认为 LLM 领域仍处于起步阶段
- 有人分享了关于如何构建 LLM 的项目
- 有人讨论了 LLM 模型的发展和优化
- 有人讨论了 LLM 模型的数据质量和优化问题
Coding My Handwriting #
https://www.amygoodchild.com/blog/cursive-handwriting-in-javascript
这篇博文是由 Amy Goodchild 撰写的，标题为“编码我的手写字体 - Amy Goodchild”。在这篇文章中，她分享了如何使用 JavaScript 编写手写字体以及她如何运用它。文章中提到，Amy 最初认为草书会太复杂，因此先创建了一个块状字体的脚本。
然而，两个月后，她准备好分享她创建的草书字体。她通过编写代码来定义每个字母路径中的关键点（每个字母约有 10 个关键点），然后使用 Chaikin 的曲线算法平滑这些路径，将路径转换为具有不同粗细的形状，并使用 p5js 绘制形状路径。
她还提到了设计字母和连接字母之间的挑战，以及如何通过添加或删除关键点来解决这些问题。文章还介绍了如何在单词创建时选择基本路径，并根据相邻字母的位置调整这些路径。
最后，她展示了她的草书字体的最终效果，并提到了未来将如何将这种手写字体应用于她的图表和笔记中。
HN 评论 61 comments | 作者：tobr | 1 day ago #
https://news.ycombinator.com/item?id=40408291
- 编码手写可能被视为单向哈希，无法解密手写内容。
- 有人提到挑战，建议使用手写文字识别网站。
- 评论中分享了类似项目的 YouTube 视频和手写合成存储库链接。
- 有人提到将手写艺术转化为真实字体的可能性。
- 讨论了不同字母组合的连接方式，类似字体间的字距调整。
- 有人分享了改进手写的经验和方法。
- 评论中提到了不同的草书风格和教学方法。
- 有人对项目表示赞赏，认为这是值得一看的好东西。
The Lunacy of Artemis #
https://idlewords.com/2024/5/the_lunacy_of_artemis.htm
这篇名为"The Lunacy of Artemis"的文章探讨了 NASA 的“阿尔忒弥斯”计划，旨在重返月球。文章首先回顾了阿波罗计划，强调了其简单而成功的设计。然后详细分析了“阿尔忒弥斯”计划的各个方面，包括火箭、太空舱、轨道、登月器和加油等。
文章指出，“阿尔忒弥斯”计划存在诸多问题，如 SLS 火箭设计复杂且成本高昂、奥赖恩太空舱设计过于笨重、NRHO 轨道难以实现快速返回地球等。此外，文章还讨论了“网关”空间站的必要性和问题。最后，文章指出“阿尔忒弥斯”计划存在严重的技术挑战和时间压力，可能导致任务延期或失败。
文章认为，尽管“阿尔忒弥斯”计划对技术进行大胆尝试，但其成功可能会导致 SLS 和奥赖恩变得多余。文章呼吁 NASA 应认真思考其成功的后果，避免在技术发展和任务目标之间出现矛盾。
HN 评论 426 comments | 作者：feross | 23 hours ago #
https://news.ycombinator.com/item?id=40410404
- 项目进展可能表明工作量和资源分配存在问题，透明地将薪酬与公司成功挂钩有助于激励员工。
- 设计可能受到国会的影响，NASA 可能需要更好地应对政治压力。
- 美国政治体系可能导致资金分配问题，确保项目成功可能需要更多的政治支持。
- 中国的月球计划在不断推进，可能会对美国的太空探索产生影响。
- 美国政府的运作方式可能导致资源浪费和缺乏责任追踪。
- 美国政府可能需要鼓励节约成本的领导者，并奖励那些能够做更多事情的领导者。
- 美国的阿波罗任务架构被认为是聪明的，因为它成功实现了肯尼迪的梦想。
- 美国的阿波罗任务展示了当时的聪明设计，为实现肯尼迪的梦想提供了关键。
- 阿波罗任务展示了美国在太空探索方面的杰出成就，但也突显了风险。
- 阿波罗任务的成功表明工程设计出色，因为没有人员伤亡。
3M executives convinced a scientist forever chemicals in human blood were safe #
https://www.propublica.org/article/3m-forever-chemicals-pfas-pfos-inside-story
这篇文章讲述了克里斯·汉森在 3M 公司工作时发现了 PFOS（全氟辛烷磺酸）等“永久化学物质”（PFAS）在人体血液中的存在，以及她对公司隐瞒真相的挣扎。文章揭示了 3M 公司高管如何说服一位科学家相信她在人体血液中发现的永久化学物质是安全的。
汉森发现了这些化学物质在人体中的普遍存在，并最终迫使 3M 停止生产相关化学品。文章还提到了 3M 公司在多年来隐瞒有毒化学品的危害性方面的行为，以及这些化学物质对人类健康可能造成的影响，包括癌症、免疫系统问题等。最终，文章指出了 3M 公司的一些行动，如停止生产 PFAS 化学品，并对受污染水源的城市和镇进行赔偿。
文章还提到了全球范围内 PFAS 的普遍存在，以及相关的环境和健康问题。
HN 评论 241 comments | 作者：whereistimbo | 11 hours ago #
https://news.ycombinator.com/item?id=40414316
- 3M 高管说服一位科学家永久化学物质在人体血液中是安全的
- Johnson 认为 PFOS 不会导致重大健康问题，但他认为这是明显不好的
- Johnson 表示他是一名“忠诚的士兵”，致力于保护 3M 免受责任
- Hansen 因此遭受职业和个人困扰，感觉这些经历玷污了她的职业生涯
ICC seeks arrest warrants against Sinwar and Netanyahu for war crimes #
https://www.cnn.com/2024/05/20/middleeast/icc-israel-hamas-arrest-warrant-war-crimes-intl/index.html
根据 CNN 的报道，国际刑事法院正在寻求对哈马斯领导人 Yahya Sinwar 和以色列总理本雅明·内塔尼亚胡发出战争罪和反人类罪的逮捕令，原因是他们涉嫌 10 月 7 日对以色列的袭击以及随后在加沙的战争。
此外，国际刑事法院的检察官卡里姆·汗表示，检控团队还在寻求逮捕以色列国防部长约阿夫·加兰特以及两名其他哈马斯高层领导人的逮捕令。这些逮捕令标志着国际刑事法院首次瞄准美国亲密盟友的最高领导人。汗表示，以色列和哈马斯领导人的逮捕令申请将由国际刑事法院的法官组成的小组审议。
报道还指出，内塔尼亚胡和加兰特面临的指控包括“造成灭绝、以饥饿作为战争手段、包括拒绝提供人道主义援助物资、故意瞄准冲突中的平民”。这一决定引发了以色列官员和领导人的强烈反应，他们谴责这一行动，并表示将继续抗议。整个事件还牵涉到哈马斯对以色列的袭击、人质事件以及国际刑事法院的司法程序。
HN 评论 380 comments | 作者：spzx | 11 hours ago #
https://news.ycombinator.com/item?id=40414329
- ICC 对 Sinwar 和 Netanyahu 提出战争罪逮捕令，评论呈现不同观点；
- 评论中提到美国和以色列可能会如何威胁或贬低 ICC 领导；
- 讨论了对五人提出逮捕令的可能性，以及相关法律条款；
- 讨论了如果 Netanyahu 提供以色列最高法院文件，是否不可起诉他；
- 讨论了 ICC 逮捕令只在当前是成员国有效，以及美国不是 ICC 签署国；
- 提到了 ICC 对阿里·穆罕默德·阿卜杜勒-拉赫曼的审判；
- 讨论了美国对 ICC 的立场，以及可能提供庇护给 Netanyahu 的情况；
- 讨论了欧洲国家对 ICC 的立场；
- 讨论了 ICC 逮捕令可能对 Netanyahu 的政治生涯产生影响。
Meteor seen in Portugal #
https://old.reddit.com/r/interestingasfuck/comments/1cva6j6/meteor_just_seen_in_portugal_23h45/
这个 Reddit 帖子是关于在葡萄牙看到的一颗流星。视频显示了流星划过天空时所产生的明亮蓝色光芒，持续了大约 6 秒钟。
许多评论者分享了他们的经历，描述了类似的事件，有人称这是一次令人难以置信的体验。有人提到了流星的颜色可能是由镁等元素引起的。整个帖子充满了对这一壮观景象的赞叹和讨论。
帖子中还有其他角度的视频链接，展示了不同视角下的流星现象。整体而言，这个帖子引起了人们对自然奇观的热烈讨论和惊叹。
HN 评论 59 comments | 作者：gehwartzen | 1 day ago #
https://news.ycombinator.com/item?id=40409710
- 评论中有关火球速度、太阳逃逸速度、星际物体可能性的讨论。
- 观点认为 42km/s 速度不足以表明星际物体，可能性较低。
- 评论者分享亲眼目睹火球的经历，感受震撼并表达对大气层的感激。
- 讨论火球颜色与速度关系，提到不同元素离子化导致不同颜色。
- 有人提到过去十年的太空现象视频，但最近的“外星活动”视频是 2005 年的。
- 评论中涉及太阳食、极光、流星等太空天气现象。
- 讨论是否会有更多太空现象发生，期待在 2024 年前看到白天可见的超新星。
- 评论中涉及中国朝代变更的玩笑话题。
- 有人分享在葡萄牙北部看到火球的经历，与当地庆祝活动有趣的巧合。
- 讨论信仰者如何在自然现象中看到神迹，科学上称之为确认偏见。
Migrating Uber’s ledger data from DynamoDB to LedgerStore #
https://www.uber.com/blog/migrating-from-dynamodb-to-ledgerstore/
这篇文章介绍了 Uber 是如何将业务关键的账本数据从 DynamoDB 迁移到 LedgerStore 的过程。文章详细描述了他们如何透明地、无干扰地迁移了超过一万亿条数据（约数 PB 的数据），并讨论了迁移过程中所学到的经验。
在文章中提到，Uber 的支付平台 Gulfstream 于 2017 年启动时使用了 DynamoDB 作为存储。随着 Uber 规模的扩大，DynamoDB 的成本变得昂贵，因此他们开始将只有 12 周数据（即热数据）保留在 DynamoDB 中，并开始使用 Uber 的 blobstore TerraBlob 来存储较旧的数据（即冷数据）。TerraBlob 类似于 AWS S3。
为了长期解决方案，他们希望使用 LedgerStore（LSG）。LSG 专为存储支付类型数据而构建。LSG 的关键特性包括：可验证的不可变性、分层存储以管理成本、更好的延迟用于最终一致性的次要索引等。
迁移的原因包括 LSG 更适合存储账本式数据、迁移到 LSG 可以节省重复成本、从三个存储迁移到单一存储可以简化代码和设计等。
文章还提到了数据的性质和相关风险，以及迁移过程中进行的检查、阴影验证和离线验证等步骤。迁移过程中遇到的问题包括可扩展性、增量回填、速率控制、紧急停止、数据文件大小等。
最后，文章总结了迁移过程中的各个方面，包括迁移标准、检查、回填问题和安全性，并指出他们在两年内成功完成了迁移，没有出现任何停机或故障。
HN 评论 270 comments | 作者：gronky_ | 12 hours ago #
https://news.ycombinator.com/item?id=40413891
- Uber 在使用 DynamoDB 时存在一些问题，需要强一致性的 CUJs 和大量数据仓库用于历史交易。
- Uber 没有首先将他们的 2 个表 DynamoDB 架构转换为 DynamoDB 和 Redshift 架构或类似架构，这是一个相当常见的模式。
- Uber 似乎对旧的不可变记录很感兴趣，但这 1.7PB 的数据在任何实际标准下几乎都是古老的。Uber 不太可能关心两年前的乘车信用卡授权流程，除非是用于分析。
- 主要用例不是分析。这个数据存储是他们的信用卡授权和结算管道的记录系统，因此具有极高的一致性要求。
- Uber 似乎是一个技术公司，他们在某种程度上可以称之为数据库公司，他们在某种形式上发明了 80 多个数据库。
- 从一些前 Uber 员工那里听说，你可以称 Uber 为数据库公司，就像你可以称其为交通公司一样。他们在某种形式上发明了 80 多个数据库。
- 对于这种规模的公司来说，6 百万美元的节省可能不太值得。如果他们真的支付工程师、项目经理等每人 50 万美元，这将大大削弱财务成本节约。
- 一个 25 人的团队每年 500 万美元的年度成本节约实际上是微不足道的，尤其是如果他们每人的工资都在 50 万美元以上。
- 对于这种规模的公司来说，6 百万美元的节省可能不太值得。如果他们真的支付工程师、项目经理等每人 50 万美元，这将大大削弱财务成本节约。
- 一个 25 人的团队每年 500 万美元的年度成本节约实际上是微不足道的，尤其是如果他们每人的工资都在 50 万美元以上。
Operation CHARM: Car repair manuals for everyone #
网站 https://charm.li/提供免费汽车维修手册，无需任何附加条件。
该网站名为 Operation CHARM，旨在为所有人提供汽车维修手册。网站主页包含各种汽车品牌的服务手册，涵盖了诸如 Acura、Audi、BMW、Buick、Cadillac 等品牌的车型。无论您拥有哪种汽车品牌，您都可以在这里找到相应的维修手册。
Operation CHARM 致力于为广大车主提供方便的汽车维修信息，让您更好地了解和维护您的爱车。
HN 评论 76 comments | 作者：sergiotapia | 1 day ago #
https://news.ycombinator.com/item?id=40409588
- 一些评论者提到了现代汽车修理店需要订阅服务信息才能正常运作的高昂费用，
- 以及一些汽车制造商对修理手册的限制。
- 还有评论指出该网站停留在 2013 年可能是因为缺乏相关手册或是项目被冻结。
- 一些人谈到了针对欧洲和日本品牌汽车的修理手册匮乏问题，以及新车型手册不包含的信息。
- 一些评论者分享了自己在车辆维修方面的经验，包括工作在某些车型上的困难性以及新车型使用的现代燃油喷射系统的复杂性。
- 关于开源汽车的讨论提到，特斯拉等公司通过零部件来限制使用者，而欧洲和日本品牌汽车则具有更多的零部件选择。
- 最后，评论还提到了公共图书馆提供免费修理手册数据库的可能性，以及关于修理手册中错误信息的讨论。
Hertz Charging a Tesla Renter for Gas Was Not an Isolated Incident #
https://www.thedrive.com/news/hertz-charging-a-tesla-renter-for-gas-was-not-an-isolated-incident
根据文章内容，赫兹租车公司在租赁电动汽车方面并不是一帆风顺。由于需求有限且价值下跌，该租车机构正在清理多余的特斯拉车辆，而租用其电动汽车的顾客并不总是有良好的体验。最近，有报道称一位顾客被收取了 277 美元的汽油费，而他租用的特斯拉根本不可能使用汽油。此外，其他赫兹顾客也表示他们被收取了更高的费用。
赫兹上周因处理一位被收取“跳过加油站”费用的顾客而引起关注，该费用允许租客支付额外费用让赫兹为其加满油箱。然而，这位顾客租用的特斯拉 Model 3 是电动汽车，不使用汽油，而赫兹针对电动汽车充电有另外的固定费用。尽管顾客将车辆还回时电量与取车时相同，但他被收取了 277.39 美元，赫兹拒绝退款直到相关报道发布后。
这并非孤立事件，其他顾客也表示他们遇到了类似情况。赫兹代表在发布后联系 The Drive，解释这些错误收费是由于“系统错误”，并已修复。他们表示已主动与受影响的顾客联系并退还了错误费用。
一位名为 Evan 的顾客表示，他预订了特斯拉 Model 3 Long Range，但在取车时被告知 Long Range 型号不可用，只能换成标准续航型号。他在还车时电量为 21%，本以为只需支付 25 美元的充电费用，但却被收取了 340.97 美元的“跳过加油站”费用。另一位名为 Toan Le 的顾客在本月早些时候租用特斯拉时遇到了更糟糕的经历，他们预付了 329.83 美元，但最终被收取了 690.32 美元，其中包括重复计费和燃油费用。
赫兹的一些顾客表示他们对错误收费感到不满，而赫兹表示已修复问题并提供了一些补偿措施。然而，目前尚不清楚有多少赫兹顾客被错误收费，但有迹象表明这种情况已经发生了一年多。
HN 评论 184 comments | 作者：peutetre | 23 hours ago #
https://news.ycombinator.com/item?id=40410341
- 有人表示在租车时被收取未使用汽油费用，可能是系统错误或员工疏忷导致，而不是恶意行为。
- 有人提到 Hertz 曾被指控错误地指控数百人盗车，导致重罪指控和监禁。
- 有人分享了在租车时被收取清洁费的经历，最终客服快速取消了费用，但留下了不愉快的印象。
- 有人表示 Hertz 曾被指控错误指控数百人盗车，导致重罪指控和监禁。
- 有人提到租车公司可能会因系统错误或员工疏忽而对客户收取不当费用，而非恶意行为。
- 有人分享了在租车时被收取清洁费的经历，最终客服快速取消了费用，但留下了不愉快的印象。
Beating Jeff’s 3.14 Ghz Raspberry Pi 5 #
https://jonatron.github.io/randomstuff/pivolt/
这个网页内容主要是关于对树莓派 5 进行超频的尝试。作者试图突破树莓派 5 的 1V 限制，以达到更高的运行频率。文章提到作者使用了不同的测试工具，如 Geekbench 和 sysbench，来测试树莓派 5 的性能。
作者还分享了一些超频的设置参数，以及尝试解除固件中的电压限制的过程。在文章中还提到了树莓派 4 和 5 的启动安全性，以及一些用于解析和提取树莓派 5 固件的工具。
最后，作者总结表示，尽管尝试了多种方法，但最终并没有取得值得的成果。
HN 评论 51 comments | 作者：jonatron | 1 day ago #
https://news.ycombinator.com/item?id=40409718
- 一些评论者认为在树莓派 5 上进行超频需要注意温度控制，高温可能有助于稳定性；
- 另一些评论者分享了过去超频的经历，提到了早期处理器的超频情况；
- 有人讨论了树莓派 5 的散热问题，推荐了一些散热解决方案；
- 也有评论者提到了其他 SBC（Single Board Computer）可能具有更好的软件支持。