OpenAI опубликовал первую часть рассказа об онлайн-хранилище Habitat, которое обрабатывает более 70 млн запросов в секунду, хранит 500+ петабайт данных и обслуживает 1 млрд пользователей в неделю. Система начиналась как Python-библиотека для GPT в 2023 году, а теперь это распределённый сервис поверх Azure Cosmos DB.
Телестанция Nine PBS потеряла доступ к 50 ТБ архива после того, как её облачный провайдер OSS обанкротился и перестал отвечать. Железо хранилось в дата-центрах Iron Mountain, которые отказались выдавать данные. Суд обязал Iron Mountain передать физические носители, но для расшифровки нужен бывший сотрудник OSS.
На LWN разбирают проблему negative dentries — записей, которые говорят ядру, что файла с таким именем в каталоге нет, и позволяют не делать повторные lookup'и. На сессии Linux Storage, Filesystem, Memory Management, and BPF Summit обсуждали, как эти оптимизации могут приносить побочные эффекты, если кешировать «ничего» слишком агрессивно.
Show HN с ZeroFS: автор делает log-structured filesystem для S3, то есть пытается притворить объектное хранилище нормальной файловой системой. У проекта 117 баллов и 52 комментария, так что интерес тут не в маркетинге, а в классическом вопросе: можно ли заставить S3 вести себя хоть немного как диск, не потеряв рассудок по дороге.
LWN описывает работу Амери Хунга и Якуба Ситницки: они обсуждали, как BPF-программы могут ассоциировать данные с пакетами и другими kernel objects без лишней возни. Контекст тут вполне приземлённый — локальное BPF storage уже есть, но авторы пытаются сделать доступ к нему дешевле и удобнее для сетевых сценариев.
В kernel mailing list ушла серия патчей для MD RAID5, и в некоторых конфигурациях авторы видят прирост производительности до 10–17%. Это не про магию, а про масштабируемость кода software RAID, который давно пора было тряхнуть, потому что даже в ядре иногда мешает банальная конкуренция за ресурсы.
LWN разбирает схему single-hop block replication для облачных виртуальных дисков на базе RDMA. Ключевой кусок — поверх RTRS нужен протокол, который даст блочному устройству нужные гарантии, иначе получится просто быстрый, но очень дорогой способ сломать себе данные.
На summit по storage/filesystem/BPF Амир Голдштейн рассказал, что в overlayfs за последние годы накопились новые фичи, а отдельный фокус сейчас — вложенные overlayfs-слои. Еще он вернулся к use case composefs, который обсуждали еще в 2023 году. То есть union filesystem потихоньку превращается в музейные экспонаты, которые все-таки продолжают патчить.
На Хабре автор перечисляет ключевые свойства $mol: реактивность, local storage, офлайн-режим и темы «из коробки». Заодно он честно признаёт, что основные минусы лежат не столько в коде, сколько в сообществе и туллинге — редкий случай, когда обзор фреймворка не пытается продавать рай на земле.
Автор разбирает, как на SQLite собрать durable workflows — без отдельного Kafka-ботнета и тяжёлого workflow-engine ради задачи, которая может жить в одной встраиваемой базе. В статье есть конкретные приёмы работы с транзакциями и состоянием задач, и неудивительно, что у поста 435 очков на HN: народ снова проверяет, не слишком ли мы усложнили жизнь.