2024 07 12 HackerNews

2024-07-12 Hacker News Top Stories #

  1. 科学家发现红斑狼疮由一种分子缺陷引起，通过激活芳香烃受体可能逆转疾病，为治疗提供新思路。
  2. 《WALL·E》的排版与设计细节被深度剖析，展现了电影中独特的机器人未来视角和与经典科幻作品的联系。
  3. Dut是一款快速的Linux磁盘使用计算器，采用多线程设计，在所有情况下超越标准du命令，提供准确的硬链接计算和可配置输出。
  4. 构建金融系统需遵循工程原则，确保准确性、可审计性和及时性，包括数据不可变性、最小粒度表示和幂等性编码。
  5. 第二因素短信验证存在安全隐患，德国混沌计算机俱乐部揭露IdentifyMobile泄露200多家公司信息，建议使用更安全的一次性密码生成方式。
  6. 婴儿命名受游戏理论影响，父母追求名字独特性，研究构建模型分析命名趋势和未来研究方向。
  7. 微软切断与加沙地区的电子邮件服务，影响巴勒斯坦人银行账户和Skype联系，引发争议和人权关注。
  8. 多数网站和应用在订阅营销中使用“黑暗模式”误导消费者，国际消费者保护组织呼吁提高透明度和用户权益保护。
  9. 外国人在朝鲜生活三年的体验，描述了严格控制下的生活、社交活动和独特的旅行经历。
  10. Binance利用Quickwit构建100PB日志服务，大幅降低计算资源和存储成本，实现高效大规模日志管理。

Scientists discover a cause of lupus, possible way to reverse it #

https://news.feinberg.northwestern.edu/2024/07/10/scientists-discover-a-cause-of-lupus-and-a-possible-way-to-reverse-it/

这篇文章介绍了一项关于红斑狼疮（lupus）的研究成果。研究人员发现了一种分子缺陷，促进了系统性红斑狼疮中的病理免疫反应，并在《自然》杂志上发表的一项研究中指出，逆转这种缺陷可能潜在地逆转这种疾病。红斑狼疮影响美国超过 150 万人。在这项新研究之前，这种疾病的原因尚不清楚。红斑狼疮可能导致对包括肾脏、大脑和心脏在内的多个器官造成危及生命的损害。现有的治疗方法通常无法控制疾病，研究人员表示，这些治疗方法的副作用包括降低免疫系统抵抗感染的能力。

研究人员报道了一种新的途径，在红斑狼疮中推动疾病的发展。患有红斑狼疮的患者的血液中存在多种分子的疾病相关变化。最终，这些变化导致了由芳香烃受体（AHR）控制的一条通路的激活不足，该通路调节细胞对环境污染物、细菌或代谢产物的反应。AHR 的激活不足导致了过多的疾病促进免疫细胞，称为 T 外周辅助细胞，这些细胞促进了导致疾病的自身抗体的产生。

研究人员发现，通过向红斑狼疮患者的血液样本中添加芳香烃受体激活分子，似乎可以将这些导致红斑狼疮的细胞重新编程为一种称为 Th22 细胞的细胞，可能促进这种自身免疫疾病造成的损伤的愈合。

研究得到了美国国家卫生研究院（NIH）的支持，研究人员表示，他们下一步计划是开发红斑狼疮患者的新型治疗方法，目前正在努力寻找安全有效地向人体输送这些分子的方法。

HN 热度 740 points | 评论 163 comments | 作者：adamredwoods | 1 day ago #

https://news.ycombinator.com/item?id=40931636

  • 有人分享了自己患有红斑狼疮的经历，通过长期禁食和改变饮食习惯减轻疼痛；
  • 另一位提到克罗恩病与自身免疫有关，可能与肠道细菌和先天免疫系统有关；
  • 朋友患克罗恩病发现与含有除草剂的食物有关，转向有机面包和玉米面食品后症状减轻；
  • 加利福尼亚禁止溴化面粉添加剂，但实施将在 2027 年生效；
  • 有人分享经肠道菌群死亡后，通过严格的生食蔬菜饮食和益生菌恢复肠道菌群；
  • 有人尝试模仿 Benlysta 等免疫抑制药物的效果，通过饮食改善炎症症状；
  • 有人提到 Wim Hof 方法对免疫反应有益；
  • 有人讨论动物制品可能引起自身免疫问题，特别是与类型 1 糖尿病有关；
  • 有人分享通过改变饮食，如减少肉类摄入，减轻红斑狼疮症状；
  • 有人分享关于食物敏感测试和饮食对炎症的影响；
  • 有人分享通过改变饮食，如增加豆类和植物蛋白摄入，减轻疼痛；
  • 有人分享通过增加海藻摄入补充维生素 B12；
  • 有人分享海藻富含维生素 B12，可作为素食者的补充来源；
  • 有人分享通过改变饮食，如去除茄属植物，减轻风湿性关节炎和红斑狼疮症状；
  • 有人分享关于 AhR 激活剂在红斑狼疮和其他自身免疫疾病中的作用；
  • 有人讨论 AhR 在免疫系统和肠脑轴中的作用；
  • 有人分享关于 AhR 在癌症中的作用，以及与红斑狼疮的关联；
  • 有人分享关于维生素 C 对抗炎症的作用；
  • 有人分享关于 Pirenzepine 对小神经纤维的治疗作用；
  • 有人讨论自身免疫疾病和癌症之间的联系；
  • 有人分享关于 ME/CFS 和自身免疫疾病的联系；
  • 有人分享关于 ME/CFS 和疼痛综合征的治疗方法；
  • 有人分享关于治疗自身免疫疾病的新方法；
  • 有人分享家人被诊断患有红斑狼疮的经历。

The Typeset of Wall·E (2018) #

https://typesetinthefuture.com/2018/12/04/walle/

《WALL·E》是一部以垃圾填满的地球、未来的 Axiom 太空船以及回到地球的故事。这部电影精妙地平衡了消费主义的末日和六十年代太空竞赛的乐观主义。

文章详细探讨了这部电影中独特的机器人未来，透过主人公 WALL·E 的眼睛展现了人性化的一面。文章介绍了 WALL·E 的命名方式、字体设计、以及电影中的一些细节，如 Buy n Large 公司的标志、货币、以及其他细节。

此外，文章还提到了 WALL·E 的工作日常、Axiom 太空船的设计、以及与其他科幻电影如《2001 太空漫游》和《异形》之间的联系。文章还涉及到 WALL·E 中的音乐、声音设计、以及对未来的想象。

整体而言，这篇文章深入探讨了《WALL·E》这部电影的各个方面，展现了其独特的魅力和深度。

HN 热度 463 points | 评论 61 comments | 作者：drones | 14 hours ago #

https://news.ycombinator.com/item?id=40934924

  • 文章深度分析了文化、排版、建筑、艺术风格、电影和音乐，值得一读；
  • 有人对电影中使用的字体网站感兴趣，惊讶于字体被用于亿万美元的电影系列；
  • 有人讨论了电影中长长的演职员表的起源和影响；
  • 有人感慨旧电影的片头字幕和现代电影的开头字幕的变化；
  • 有人评论星球大战电影没有片头字幕的决定；
  • 有人讨论电影和游戏制作中演职员名单的庞大和真实性；
  • 有人讨论了插点在英国货币中的使用；
  • 有人分享了南非本地化问题和 Win11 中的有趣变化；
  • 有人谈到设计师和工程师对设计主题的不同看法；
  • 有人讨论了数字内容中排版细节的重要性。

Show HN: Dut – a fast Linux disk usage calculator #

https://codeberg.org/201984/dut

这个地址是关于一个名为"dut"的项目，它是一个用于 Linux 的磁盘使用量计算器。该项目具有以下特点：

  • 准确计算硬链接，输出受 NCDU 启发。
  • 纯 ASCII 输出，与普通 Linux tty 完全兼容。
  • 可配置的输出格式，通过简单的命令行参数更改显示的文件最大深度。

示例： 默认情况下，dut 将输出在当前目录下找到的最大目录的树形结构。 通过命令 dut -n 10，可以将其限制为 10 行。要限制显示的深度，可以使用 -d <n>。

输出中的第一列告诉您给定条目在磁盘上占用多少空间。然而，由于硬链接（只在磁盘上存储一次的相同文件），这可能是一个过多计数。如果要查看条目大小中独特于它自己的部分，可以从第一列减去第二列。

此外，该项目提供了构建说明，指出 dut 是一个单个源文件，所以您只需要一个 C11 编译器即可构建。还提供了性能基准测试结果，显示 dut 在某些情况下的速度表现。

HN 热度 348 points | 评论 136 comments | 作者：201984 | 1 day ago #

https://news.ycombinator.com/item?id=40932492

  • dut 是一个我几个月前用 C 语言编写的磁盘使用量计算器，它是多线程的，是最快的程序之一。它在所有情况下都胜过普通的 du，在 Linux 的缓存热时也胜过所有其他类似程序。
  • 有人提出了一个关于以速度换取准确性的想法，希望能够通过迭代的广度优先方法快速识别和丢弃小的不重要项目，然后逐步识别并丢弃剩下的项目，每次通过，您都会得到一个关于哪些目录和文件占用最多空间的更高分辨率的图像。
  • 有人提到 btrfs 中类似的功能，称为 bdtu，它具有您感兴趣的准确性/时间权衡，但实现方式有所不同。
  • 有人对 ext4 的组织方式表示惊讶，认为无法从中获得有用信息。
  • 有人提到 CephFS 可以维护每个目录的使用量作为目录文件属性。
  • 有人建议使用类似于 flamegraph 的格式来显示文件层次结构。
  • 有人分享了自己使用 du 的脚本，以快速查看磁盘使用情况。
  • 有人推荐了一些图形化工具，如 Baobab 和 Filelight，用于显示磁盘使用情况。
  • 有人提到了一些关于文件系统的技术细节和工具，如 WizTree、DaisyDisk 等。
  • 有人讨论了关于文件大小的计算和显示方式，以及不同工具之间的比较和优缺点。
  • 有人分享了关于磁盘使用分析的经验和观点，以及对现有工具的评价和期望。

Engineering principles for building financial systems #

https://substack.wasteman.codes/p/engineering-principles-and-best-practices

这篇文章讨论了构建准确可靠的软件化金融系统的最佳实践和原则。作者分享了在大型科技公司从事金融系统工作多年的经验教训。文章主要涵盖以下内容：

  • 会计系统的基本财务定义
  • 会计系统的高层目标
  • 实现这些目标的工程原则
  • 最佳实践

文章提到了会计系统的三个主要目标是准确性、可审计性和及时性。财务记录需要反映企业的实际状态，必须完整且易于审计，以便利益相关者检测错误并准确衡量业务绩效。工程原则包括数据的不可变性和持久性、数据应以最小粒度表示、代码应具有幂等性等。

此外，文章还提供了一些建议的最佳实践，如使用整数表示财务金额、支持货币转换的精度、使用一致的舍入方法等。建议尽可能延迟货币转换，使用整数表示时间等。

总的来说，这篇文章为构建金融系统提供了深入的指导，强调了准确性、可审计性和及时性的重要性，并提供了一些建议的最佳实践以避免常见的问题和陷阱。

HN 热度 331 points | 评论 82 comments | 作者：KothuRoti | 22 hours ago #

https://news.ycombinator.com/item?id=40933110

  • 使用一致的舍入方法，将时间表示为整数，避免不同技术中的时间戳解析差异。
  • 对于未来时间，应准确表示，避免使用整数或 UTC 代替，以避免未来问题。
  • UTC 适用于时间点，但不适用于跨时区的日历应用。
  • 货币转换应延迟至必要时刻，以避免精度损失。
  • 在设计财务系统时，使用关系数据库进行数据持久化和 OLAP 立方体进行报表生成。
  • ACID 和 DTC 在财务系统中可能会引起法律问题，应慎用。
  • 使用 BigDecimal 或 Decimal 等适当的十进制类型来表示金融金额，避免使用整数造成的复杂性和运行时开销。
  • 保持时间戳来源的集中化，避免客户端代码设置时间戳。
  • 为价格选择适当的数据结构，如对象或字符串，以避免精度问题。
  • 对于价格变动频繁的金融工具，使用固定小数点表示，根据资产不同设置不同的缩放因子。

Second Factor SMS: Worse Than Its Reputation #

https://www.ccc.de/en/updates/2024/2fa-sms

这篇文章讨论了通过短信发送一次性密码的二次验证方法（2FA-SMS）。文章指出，虽然 2FA-SMS 在一定程度上提高了身份验证的安全性，但这种方法长期以来一直受到攻击，例如 SIM 卡交换或利用移动网络中的 SS7 漏洞拦截短信。文章提到，德国的混沌计算机俱乐部（CCC）最近发现了一种被忽视的攻击方式，即服务提供商通常用于发送这些短信，而这些提供商对短信内容具有访问权限，因此身份验证过程的安全性也取决于这些提供商的安全性。

CCC 发现，一家名为 IdentifyMobile 的 2FA-SMS 提供商在实时向互联网共享发送的一次性密码，包括接收者的电话号码、发送者名称以及有时其他帐户信息。超过 200 家公司直接或间接地通过 IdentifyMobile 委托了他们的身份验证安全性，包括谷歌、亚马逊、Facebook、微软、Telegram、Airbnb、联邦快递和 DHL 等公司。总共泄露了超过 1.98 亿条短信。

文章指出，虽然 2FA-SMS 比简单密码验证提供了更多安全性，但建议使用应用程序生成的一次性密码或硬件令牌，因为这些方法更安全且不依赖于移动网络。最后，文章提醒用户，任何第二因素都比仅有密码更安全。

HN 热度 288 points | 评论 260 comments | 作者：F30 | 16 hours ago #

https://news.ycombinator.com/item?id=40934495

  • 一些评论指出，广告不仅仅是令人讨厌的心理恐怖行为，还是网络上传播诈骗和恶意软件的主要途径。
  • 另一些评论讨论了广告拦截器的重要性，以提高安全性。
  • 有人提到，即使美国政府也建议使用广告拦截器。
  • 评论中还有关于广告公司责任的讨论，认为它们应对发送的恶意广告承担刑事责任。
  • 有人提到，广告公司应该对他们从犯罪分子那里获得的钱负责。
  • 评论中还有关于广告行业利润和安全之间的平衡的讨论。
  • 有人提到，谷歌搜索广告的简单性和不显眼性曾是其卖点，但被收购后情况发生了变化。
  • 评论中还有关于广告商业模式和用户安全之间的矛盾的讨论。
  • 有人提到，使用密码管理器可以有效防止钓鱼攻击。
  • 评论中还有关于广告网络的责任和用户安全的讨论。
  • 有人提到，使用广告拦截器可以避免类似的诈骗。

An abundance of Katherines: The game theory of baby naming #

https://arxiv.org/abs/2404.00732

这篇论文的标题是《An Abundance of Katherines: The Game Theory of Baby Naming》。

在这篇论文中，作者研究了婴儿命名这个竞争激烈的领域。通过做出一些极其合理的假设（即，父母是目光短浅、完全了解的代理人，他们仅根据名字的独特性来选择名字），作者建立了一个模型，这个模型不仅易于处理和清晰，而且完美地捕捉了现实世界。

作者还通过数值实验和对大型语言模型工具的分析扩展了他们的研究。最后，作者讨论了未来研究的方向。

HN 热度 242 points | 评论 135 comments | 作者：cipcoder | 1 day ago #

https://news.ycombinator.com/item?id=40932006

  • 作者指出许多人选择相似的名字，如 Katherine 的变体，包括 Katy、Kate、Katie 等；
  • 评论提到东亚作者选择英文名，也属于选择 Katherine 变体的情况；
  • 跨性别社区也存在类似情况，选择相似名字，如 Lily；
  • 人们选择名字时考虑起源、流行度等因素；
  • 命名孩子时应考虑成年后的使用，而非仅适合婴儿；
  • 建议通过社会安全管理局网站查找不常见的名字；
  • 命名规则包括避免与亲戚同名、避免独特拼写等；
  • 命名过程可能经历多轮筛选，考虑名字的意义、流行度等；
  • 有人通过遗传序列选择孩子的名字；
  • 一些父母通过改变拼写或发音使孩子既融入又独特；
  • 命名孩子是一项有趣、有压力但有回报的工作。

https://www.bbc.com/news/articles/cger582weplo

这篇文章报道了一些巴勒斯坦人指控微软关闭了他们的电子邮件账户，使他们无法访问银行账户、工作机会，以及无法使用 Skype 与在战乱中的加沙的亲戚联系。

微软表示，这些人违反了其服务条款，但他们对此提出了异议。一些人怀疑他们被错误地认为与哈马斯有联系，但他们否认了这一点。这些人表示，微软的行为让他们失去了在线生活的重要部分。另外，文章还提到了以色列对加沙的军事行动对互联网和移动连接造成了严重影响，导致加沙经常断网，国际通话费用昂贵。

文章还介绍了一些受影响的巴勒斯坦人的个人经历，包括他们对微软的不信任和对账户被关闭的不满。

HN 热度 241 points | 评论 143 comments | 作者：mih | 11 hours ago #

https://news.ycombinator.com/item?id=40935971

  • Microsoft 在加沙问题上的决定引发了争议，涉及到与以色列的关系。
  • 有评论指责以色列政府对巴勒斯坦人实施封锁，导致加沙地区出现饥荒。
  • 评论提到大公司缺乏道德感，可能会做出不利于用户的决定。
  • 有人认为大公司被激励做出不道德的行为，因为道德行为会增加成本。
  • 评论提到个人应该控制自己的数据，避免依赖大公司。
  • 有人认为大公司应该像公共事业一样受到监管。
  • 评论讨论了用户在面对大公司封禁时的权利和挑战。
  • 有人提到使用加密通信工具如 Signal 可能是解决方案。
  • 评论涉及到数字权利、公司监管和用户数据隐私等议题。

Majority of sites and apps use dark patterns in the marketing of subscriptions #

https://icpen.org/news/1360

这篇文章介绍了国际消费者保护与执法网络（ICPEN）进行的一项全球互联网调查，发现了大多数网站和移动应用在订阅服务营销中使用了“黑暗模式”。调查涉及了 642 家交易商的网站和移动应用，发现其中 75.7% 的网站和应用至少使用了一种黑暗模式，66.8% 使用了两种或更多黑暗模式。黑暗模式被定义为在在线用户界面中常见的做法，旨在引导、欺骗、强迫或操纵消费者做出通常不符合其最佳利益的选择。

ICPEN Sweep 于 2024 年 1 月 29 日至 2 月 2 日进行，来自全球 26 个国家的 27 个消费者保护执法机构的参与者共同参与。这次 ICPEN Sweep 首次与全球隐私执法网络（GPEN）协调进行。GPEN 是一个由 80 多个隐私执法机构组成的网络，旨在促进隐私监管机构之间的跨境合作，加强全球市场中个人隐私保护。

ICPEN 和 GPEN 合作发布了报告，指出许多网站和应用采用的技术干扰了个人保护消费者或隐私权利的选择能力。调查者根据经济合作与发展组织（OECD）确定的六个指标评估了网站和应用，发现了一些潜在的欺骗性做法，例如消费者无法关闭订阅服务的自动续订，以及界面干扰，例如突出显示有利于交易商的订阅。

ICPEN 和 GPEN 致力于改善全球个人的消费者和隐私保护，他们今天发布了概述调查结果的报告。ICPEN 的报告可以在他们的网站上找到。

HN 热度 210 points | 评论 224 comments | 作者：ReadCarlBarks | 14 hours ago #

https://news.ycombinator.com/item?id=40934898

  • 订阅存在潜在问题，如账户访问丢失、无法取消、意外扣费等
  • 有些订阅是必要的，如邮件提供商、在线报纸、在线协作软件、MMO 游戏
  • 音乐订阅提供便利性，但拥有音乐文件的感觉也重要
  • 一些人采用定期订阅视频服务的方法，仅在需要时付费
  • 订阅应该能通过发票支付，但这可能给用户太多控制权
  • 一些公司不愿提供取消订阅的便利，因为这可能导致收入减少
  • 有时取消订阅可能困难，如 Tivo 的取消按钮缺失
  • 银行卡的“持续付款”功能可能导致不必要的费用
  • 退订服务应该简单明了，如加州法律要求的一键退订
  • 退订服务应该像订阅一样简单，以保护消费者权益
  • 退订服务应该遵循“持续热情同意”的原则
  • 退订服务应该有明确的流程，避免用户困扰
  • 退订服务应该遵循法律规定，以保护消费者利益
  • 退订服务应该简单易行，不应设置障碍
  • 退订服务应该遵循法律规定，以保护消费者和工作者

Surviving three years in North Korea as a foreigner (2021) #

https://mydiplomaticlife.com/how-to-survive-3-years-in-north-korea-as-a-foreigner/

这篇文章介绍了一个外国人在朝鲜生活三年的经历。文章首先介绍了朝鲜的背景，包括其独裁统治、人权记录、经济状况以及与外界的隔绝政策。

在朝鲜，外国人生活受到严格限制，没有互联网和社交媒体，媒体仅用于颂扬领导人。文章描述了在朝鲜的生活，包括外交官馆的生活和工作环境，以及外国人在朝鲜的社交和娱乐方式。外国人在朝鲜的社交生活主要是自发的，如举办晚餐会、游戏之夜等。此外，文章还提到了外国人在朝鲜的旅行经历，如在平壤打保龄球、学习高尔夫球等。

生活在朝鲜的挑战包括保持专注、适应当地的风俗习惯和与当地政府官员打交道。整体而言，这篇文章展示了在朝鲜生活的外国人面临的独特挑战和体验。

HN 热度 197 points | 评论 85 comments | 作者：Hansig_jw | 8 hours ago #

https://news.ycombinator.com/item?id=40937973

  • 有人提到在朝鲜的德国大使馆内部存在安全漏洞，可能导致信息泄露。
  • 有人讨论了敏感信息设施（SCIF）的安全性，指出存在多种方式可以从这样的房间中提取信息。
  • 有人怀疑德国大使馆的 SCIF 是否被入侵，或者是在房间内的人被植入窃听器。
  • 有人分享了在朝鲜短波广播中拾取北朝鲜广播的经历。
  • 有人提到朝鲜大使馆的建筑和设施，以及外交官员在当地的生活情况。
  • 有人分享了在朝鲜外交使团中使用贿赂的经历。
  • 有人讨论了外交使团在朝鲜的生活条件，包括购物、食物来源等。
  • 有人推荐了关于在朝鲜生活的书籍和视频资源。
  • 有人讨论了朝鲜的互联网限制和外交使团的通讯设施。
  • 有人分享了关于朝鲜的旅行经历和资源推荐。
  • 有人讨论了在朝鲜生活的安全感与其他国家的不同之处。

Binance built a 100PB log service with Quickwit #

https://quickwit.io/blog/quickwit-binance-story

在这篇博文中，介绍了币安如何利用 Quickwit 构建了一个 PB 级别的日志服务，并克服了将 Quickwit 扩展到多 PB 级别的挑战。作为全球领先的加密货币交易所，币安处理着大量的交易，每笔交易都会生成对安全、合规性和运营洞察至关重要的日志。这导致每秒处理大约 2100 万条日志行，相当于 18.5GB/s，或每天 1.6PB。为了管理这样的数据量，币安之前依赖于 20 个 Elasticsearch 集群。大约 600 个 Vector pod 从不同的 Kafka 主题中提取日志并处理，然后将其推送到 Elasticsearch。

然而，这种设置在几个关键领域不符合币安的要求：操作复杂性高、保留时间有限、可靠性有限。当币安的工程师发现 Quickwit 时，他们迅速意识到它相对于现有设置的几个关键优势：原生 Kafka 集成、内置 VRL 转换、对象存储作为主要存储、更好的数据压缩。币安工程师迅速扩展了其索引，感谢 Kafka 数据源。一个月后，他们的 Quickwit PoC 已经达到了几 GB/s 的索引速度。

然而，币安的规模揭示了两个主要问题：集群稳定性问题和工作负载分配不均。为了解决这些限制，币安为每个高吞吐量主题部署了单独的索引集群，保持了一个用于较小主题的集群。在迁移和优化数月后，币安最终实现了每天 1.6PB 的索引速度。接下来的挑战是扩展搜索。

为了避免这个陷阱，币安的工程师设计了一个巧妙的解决方案：他们通过将每个索引集群的所有元数据复制到一个 PostgreSQL 数据库中，创建了一个统一的元数据存储，使得能够部署一个唯一的中央搜索集群，能够搜索所有索引。

总的来说，币安迁移到 Quickwit 是一个巨大的成功，带来了几项重大好处：与 Elasticsearch 相比，计算资源减少了 80%；相同保留期的存储成本降低了 20 倍；在基础设施成本和维护操作方面，为大规模日志管理提供了经济可行的解决方案；一旦确定了正确的 pod 数量和资源，配置调整最小，工作效率高；日志保留时间延长到一个或几个月，根据日志类型不同，提高了内部故障排除能力。

币安从 Elasticsearch 迁移到 Quickwit 的过程是币安和 Quickwit 工程师之间令人兴奋的 6 个月经历，我们对这种合作感到非常自豪。已经计划了数据压缩、多集群支持和更好的 Kafka 数据源工作负载分布等方面的改进。对币安工程师在整个迁移过程中的工作和见解表示极大的赞赏。

HN 热度 195 points | 评论 145 comments | 作者：samber | 12 hours ago #

https://news.ycombinator.com/item?id=40935701

  • 大多数日志消息 99.99% 的时间都是无用的，最好的结果是将其转换为指标，偶尔会告诉您发生故障时出了什么问题；
  • 工程师通常希望有日志以便解决未预料的问题，但运维人员通常不具备相同的用例；
  • 日志对于发现问题很有用，但很糟糕地告诉您是否存在问题；
  • 日志不应该是您的主要信息来源，指标应该是；
  • 日志和指标解决不同问题，都是必需的；
  • 为了长期审计日志，需要可搜索性和每秒 10k 次写入的系统，Quickwit 可能是不错的选择；
  • 使用 Clickhouse 存储和查询长期审计日志可能具有挑战性，除非数据有利于搜索；
  • NATS 不支持高级查询功能，但可以通过构建索引来实现；
  • NATS 支持数据存储的集群/冗余性；
  • 高频交易商每天进行数百亿次订单；
  • Binance 每天产生 1.6PB 的日志，这些日志可能包括 API 请求等多种信息；
  • Binance 的日志量可能与中心化加密货币交易所的交易量相关；
  • Binance 的日志量与以太坊区块链的历史相比似乎过大；
  • 以太坊全节点的历史数据约为 1.2TB，与 Binance 的日志量相比有很大差距；
  • 中心化交易所的交易量通常比去中心化交易所大很多；
  • 以太坊全节点与 Binance 的日志量相比有很大差距；