large archives

%23%20%2F%2F%2F%20script%0A%23%20dependencies%20%3D%20%5B%22dascore%20%40%20..%2Fpublic%2Fwheels%2Fdascore-0.1.26.dev651%252Bg12936e3c7-py3-none-any.whl%22%2C%20%22pyyaml%3D%3D6.0.3%22%2C%20%22tabulate%22%2C%20%22findiff%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22observed%22%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App()%0A%0Awith%20app.setup(hide_code%3DTrue)%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%0A%20%20%20%20%23%20Download%20the%20example%20data%20from%20this%20site%20rather%20than%20from%20GitHub.%0A%20%20%20%20def%20_use_bundled_data()%3A%0A%20%20%20%20%20%20%20%20import%20sys%0A%0A%20%20%20%20%20%20%20%20if%20sys.platform%20!%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20from%20dascore.utils.downloader%20import%20get_fetcher%0A%0A%20%20%20%20%20%20%20%20fetcher%20%3D%20get_fetcher()%0A%20%20%20%20%20%20%20%20for%20name%20in%20('terra15_das_1_trimmed.hdf5'%2C%20'example_dasdae_event_1.h5'%2C%20'UoU_lf_urban.hdf5')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20url%20%3D%20mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22data%22%20%2F%20name%0A%20%20%20%20%20%20%20%20%20%20%20%20fetcher.urls%5Bname%5D%20%3D%20str(url)%0A%0A%0A%20%20%20%20_use_bundled_data()%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Large%20Archives%0A%0A%20%20%20%20These%20tools%20help%20with%20archives%20too%20large%20to%20load%20at%20once%3A%20reading%0A%20%20%20%20metadata%20without%20data%2C%20organizing%20directories%20and%20indexes%2C%20finding%0A%20%20%20%20patches%20by%20ID%2C%20handling%20gaps%2C%20and%20processing%20patch%20by%20patch.%20They%20build%0A%20%20%20%20on%20the%20%5Bspool%20tutorial%5D(https%3A%2F%2Fdascore.netlify.app%2Ftutorial%2Fspool.html).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20tempfile%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20import%20dascore%20as%20dc%0A%20%20%20%20from%20dascore.units%20import%20s%0A%0A%20%20%20%20patch%20%3D%20dc.get_example_patch()%0A%20%20%20%20spool%20%3D%20dc.get_example_spool()%0A%20%20%20%20return%20Path%2C%20dc%2C%20np%2C%20patch%2C%20s%2C%20spool%2C%20tempfile%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Metadata%20without%20data%0A%0A%20%20%20%20%5B%60PatchMeta%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fcore%2Fpatch_meta%2FPatchMeta.html)%20is%20everything%0A%20%20%20%20a%20patch%20is%20apart%20from%20its%20data%3A%20coordinates%2C%20attrs%20and%20dtype.%0A%20%20%20%20%5B%60dc.scan_payloads%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fio%2Fcore%2Fscan_payloads.html)%20returns%0A%20%20%20%20these%20for%20a%20file%2C%20so%20a%20patch%E2%80%99s%20shape%20and%20extents%20can%20be%20read%20without%0A%20%20%20%20loading%20samples.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(patch)%3A%0A%20%20%20%20meta%20%3D%20patch.drop_data()%0A%20%20%20%20print(meta.shape%2C%20meta.dtype)%0A%0A%20%20%20%20patch_again%20%3D%20meta.to_patch(patch.data)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60drop_data%60%20and%20%60to_patch%60%20are%20inverses.%20Operations%20which%20only%20describe%0A%20%20%20%20data%2C%20such%20as%20%60rename_coords%60%2C%20run%20on%20a%20%60PatchMeta%60%3B%20those%20which%20compute%0A%20%20%20%20samples%20need%20a%20%60Patch%60.%0A%0A%20%20%20%20%23%20Path%20attributes%0A%0A%20%20%20%20Directory%20names%20written%20as%20%60key%3Dvalue%60%20become%20string%20attributes%20on%20index%0A%20%20%20%20rows%20and%20loaded%20patches.%20Multiple%20pairs%20in%20one%20segment%20use%20%60__%60%3B%20path%0A%20%20%20%20values%20override%20attributes%20stored%20in%20the%20file.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20dc%2C%20tempfile)%3A%0A%20%20%20%20root%20%3D%20Path(tempfile.mkdtemp())%0A%20%20%20%20data_path%20%3D%20root%20%2F%20%22experiment%3Ddemo%22%20%2F%20%22cable%3Dnorth%22%0A%20%20%20%20data_path.mkdir(parents%3DTrue)%0A%20%20%20%20dc.get_example_patch().io.write(data_path%20%2F%20%22patch.h5%22%2C%20%22DASDAE%22)%0A%0A%20%20%20%20partitioned%20%3D%20dc.spool(root).update()%0A%20%20%20%20assert%20partitioned.get_contents()%5B%22experiment%22%5D.iloc%5B0%5D%20%3D%3D%20%22demo%22%0A%20%20%20%20assert%20partitioned%5B0%5D.attrs%5B%22cable%22%5D%20%3D%3D%20%22north%22%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Renaming%20a%20partition%20directory%20and%20calling%20%60update()%60%20refreshes%20path%0A%20%20%20%20attributes%20without%20rereading%20file%20contents.%20Removing%20a%20path%20attribute%0A%20%20%20%20may%20require%20rescanning%20the%20affected%20file%20so%20its%20stored%20value%20can%20be%0A%20%20%20%20restored.%0A%0A%20%20%20%20Only%20directories%20below%20the%20spool%20root%20are%20parsed%3B%20the%20root%20and%20source%0A%20%20%20%20filename%20are%20not.%20Values%20remain%20strings%20and%20support%20the%20normal%20attribute%0A%20%20%20%20selectors.%20When%20a%20path%20key%20matches%20a%20coordinate%2C%20bare%20%60select%60%20targets%0A%20%20%20%20the%20attribute%3B%20use%20%60_coords%60%20for%20the%20coordinate.%20See%20the%20%5Bdirectory%0A%20%20%20%20index%20note%5D(https%3A%2F%2Fdascore.netlify.app%2Fnotes%2Fspool_index.html)%20for%20update%20and%20indexing%20details.%0A%0A%20%20%20%20%23%20Index%20location%0A%0A%20%20%20%20A%20directory%20spool%20keeps%20its%20index%20in%20the%20data%20directory.%20Pass%20%60index%3D%60%0A%20%20%20%20to%20place%20it%20elsewhere%2C%20such%20as%20when%20the%20data%20directory%20is%20not%20writable%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(Path%2C%20dc%2C%20tempfile)%3A%0A%20%20%20%20directory%20%3D%20dc.examples.spool_to_directory(dc.get_example_spool())%0A%20%20%20%20index_path%20%3D%20Path(tempfile.mkdtemp())%20%2F%20%22index.sqlite3%22%0A%20%20%20%20external_index%20%3D%20dc.spool(directory%2C%20index%3Dindex_path).update()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20New%20spools%20normally%20rediscover%20an%20external%20index%3B%20an%20index%20inside%20the%0A%20%20%20%20data%20directory%20takes%20precedence.%20A%20directory%20that%20is%20itself%20one%20store%2C%0A%20%20%20%20such%20as%20a%20zarr%20store%2C%20keeps%20its%20index%20in%20the%20DASCore%20cache%20instead%2C%20so%0A%20%20%20%20rewriting%20the%20store%20does%20not%20take%20the%20index%20with%20it.%0A%0A%20%20%20%20An%20index%20alone%20opens%20a%20read-only%20spool%20whose%20data%20root%20is%20the%20index%E2%80%99s%0A%20%20%20%20directory%2C%20so%20an%20index%20copied%20along%20with%20its%20files%20still%20works.%20The%0A%20%20%20%20index%2C%20the%20data%20root%2C%20or%20both%20may%20be%20remote%2C%20such%20as%20a%20server%20publishing%0A%20%20%20%20its%20files%20and%20their%20index%20over%20HTTP.%20A%20read-only%20spool%20never%20scans%20its%0A%20%20%20%20files%20and%20cannot%20%60update()%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dc)%3A%0A%20%20%20%20published%20%3D%20dc.examples.spool_to_directory(dc.get_example_spool())%0A%20%20%20%20dc.spool(published).update()%20%20%23%20writes%20the%20index%20beside%20the%20data%0A%20%20%20%20read_only%20%3D%20dc.spool(index%3Dpublished%20%2F%20%22.dascore_index.sqlite3%22)%0A%20%20%20%20%23%20The%20same%20for%20a%20remote%20index%2C%20its%20root%20being%20the%20URL's%20parent%3A%0A%20%20%20%20%23%20dc.spool(index%3D%22https%3A%2F%2Fexample.com%2Fdata%2F.dascore_index.sqlite3%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Finding%20a%20patch%20by%20ID%0A%0A%20%20%20%20File-backed%20%60origin_id%60%20values%20are%20indexed%2C%20so%20a%20recorded%20ID%20can%20locate%0A%20%20%20%20its%20source%20without%20loading%20every%20patch%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(spool)%3A%0A%20%20%20%20wanted%20%3D%20spool.get_contents()%5B%22origin_id%22%5D.iloc%5B0%5D%0A%20%20%20%20found%20%3D%20spool.select(origin_id%3Dwanted)%0A%20%20%20%20assert%20found%5B0%5D.attrs.origin_id%20%3D%3D%20wanted%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60data_id%60%20is%20also%20indexed.%20Attribute%20queries%20match%20the%20stored%20source%20ID.%0A%20%20%20%20A%20value%20trim%20clears%20the%20ID%20in%20presented%20contents%20because%20the%20loaded%0A%20%20%20%20patch%20names%20the%20window%20it%20read%20and%20so%20carries%20a%20different%20value%3B%20sample%0A%20%20%20%20selections%20defer%20it%20until%20loading.%20Built%20or%20chunked%20spools%20may%20have%20no%0A%20%20%20%20%60origin_id%60%2C%20and%20moving%20a%20source%20invalidates%20its%20derived%20IDs%20until%20the%0A%20%20%20%20directory%20is%20rescanned.%20See%20%5BKeys%2C%20IDs%20and%20Rows%5D(https%3A%2F%2Fdascore.netlify.app%2Fnotes%2Fidentity.html)%0A%20%20%20%20for%20the%20identity%20rules.%0A%0A%20%20%20%20An%20empty%20ID%20after%20a%20file%20move%20is%20intentional%3A%20retaining%20the%20path-derived%0A%20%20%20%20value%20would%20point%20at%20a%20source%20which%20no%20longer%20exists.%20Calling%20%60update()%60%0A%20%20%20%20rebuilds%20the%20row%20from%20its%20new%20location.%0A%0A%20%20%20%20%23%20Merging%20files%20from%20the%20index%0A%0A%20%20%20%20When%20%60chunk%60%20merges%20whole%20files%2C%20it%20reads%20their%20arrays%20directly%20and%0A%20%20%20%20rebuilds%20coordinates%20and%20scalar%20attributes%20from%20the%20index.%20Members%0A%20%20%20%20needing%20trims%2C%20associated%20coordinates%2C%20or%20metadata%20the%20index%20cannot%0A%20%20%20%20reproduce%20go%20through%20the%20patch%20reader%20instead.%20Index-built%20results%20keep%0A%20%20%20%20patch%20identities%20but%20omit%20stored%20history.%20To%20keep%20stored%20history%2C%20load%0A%20%20%20%20the%20members%20first%2C%20as%20in%20%60dc.spool(list(spool)).chunk(time%3DNone)%60.%0A%0A%20%20%20%20%23%20Filling%20bridged%20holes%0A%0A%20%20%20%20With%20%60fill_value%60%2C%20a%20%60tolerance%60%20wide%20enough%20to%20span%20a%20hole%20merges%20the%0A%20%20%20%20patches%20on%20either%20side%20and%20writes%20the%20missing%20samples%20instead%20of%0A%20%20%20%20spreading%20the%20labels%2C%20so%20the%20output%20is%20an%20ordinary%20evenly%20sampled%20patch%0A%20%20%20%20on%20the%20sources%E2%80%99%20own%20grid.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20from%20dascore.examples%20import%20random_spool%0A%0A%20%20%20%20with_gaps%20%3D%20random_spool(time_gap%3Dnp.timedelta64(1%2C%20%22s%22)%2C%20length%3D3)%0A%20%20%20%20filled%20%3D%20with_gaps.chunk(time%3DNone%2C%20tolerance%3D300%2C%20fill_value%3Dnp.nan)%0A%20%20%20%20return%20(with_gaps%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60tolerance%60%20decides%20which%20holes%20are%20bridged%3A%20a%20hole%20it%20does%20not%20span%0A%20%20%20%20separates%20patches%20as%20before%2C%20and%20nothing%20is%20filled%20across%20it.%20When%20a%0A%20%20%20%20chunk%20length%20is%20given%20as%20well%2C%20the%20windows%20cover%20the%20whole%20bridged%20span%2C%0A%20%20%20%20so%20one%20lying%20entirely%20inside%20a%20hole%20comes%20back%20as%20an%20all-fill%20patch%20and%0A%20%20%20%20one%20the%20sources%20only%20partly%20feed%20is%20padded%20rather%20than%20left%20short.%20The%0A%20%20%20%20fill%20value%20has%20to%20survive%20a%20cast%20to%20the%20data%E2%80%99s%20own%20dtype%2C%20so%20%60np.nan%60%0A%20%20%20%20needs%20float%20data%3B%20fill%20integer%20data%20with%20an%20integer%2C%20or%20cast%20it%20first.%0A%20%20%20%20%5B%60Patch.fill_gaps%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fproc%2Fcoords%2Ffill_gaps.html)%20does%20the%0A%20%20%20%20same%20to%20a%20patch%20you%20already%20hold.%0A%0A%20%20%20%20%23%20Gaps%20and%20coverage%0A%0A%20%20%20%20%5B%60Spool.get_gaps%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fcore%2Fspool%2FSpool%2Fget_gaps.html)%20reports%0A%20%20%20%20the%20seams%20where%20%60chunk%60%20with%20the%20same%20arguments%20starts%20a%20new%20patch.%0A%20%20%20%20%5B%60Spool.get_coverage%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fcore%2Fspool%2FSpool%2Fget_coverage.html)%0A%20%20%20%20summarizes%20the%20same%20compatible%20groups.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(with_gaps)%3A%0A%20%20%20%20gaps%20%3D%20with_gaps.get_gaps()%0A%20%20%20%20coverage%20%3D%20with_gaps.get_coverage()%0A%20%20%20%20return%20(gaps%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20%60tolerance%60%20given%20in%20seconds%20joins%20every%20seam%20up%20to%20that%20width%2C%20so%0A%20%20%20%20these%20seams%2C%201.004%20s%20wide%2C%20are%20no%20longer%20gaps%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(gaps%2C%20s%2C%20with_gaps)%3A%0A%20%20%20%20second_scale_gaps%20%3D%20with_gaps.get_gaps(tolerance%3D2%20*%20s)%0A%20%20%20%20assert%20len(gaps)%20%3D%3D%202%20and%20second_scale_gaps.empty%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60gap_size%60%20spans%20from%20the%20last%20sample%20before%20a%20gap%20to%20the%20first%20after%0A%20%20%20%20it%2C%20so%20subtract%20one%20sample%20step%20for%20the%20missing%20extent%3B%20%60missing%60%20counts%0A%20%20%20%20the%20samples%20missing%20from%20it.%20The%20%60tolerance%60%20and%20%60max_shift%60%20arguments%2C%0A%20%20%20%20shared%20with%20%60chunk%60%2C%20control%20which%20seams%20count.%20Pass%20another%20dimension%0A%20%20%20%20as%20in%20%60get_gaps(%22distance%22)%60%3B%20%60time%60%20is%20only%20the%20default.%20Coverage%20uses%0A%20%20%20%20patch%20envelopes%3B%20a%20patch%20with%20holes%20is%20one%20row%2C%20and%20the%20runs%20its%20index%0A%20%20%20%20stores%20make%20its%20holes%20gaps%20like%20any%20other.%20%60group_id%60%20links%20coverage%0A%20%20%20%20rows%20to%20their%20gaps.%0A%0A%20%20%20%20By%20default%20a%20seam%20more%20than%20%60max_shift%60%20steps%20from%20one%20step%20wide%20is%20a%0A%20%20%20%20gap%2C%20so%20a%20seam%201.3%20steps%20wide%20is%20listed%2C%20missing%20no%20sample.%20A%20number%0A%20%20%20%20given%20as%20%60tolerance%60%20joins%20seams%20up%20to%20that%20many%20steps%20wide%3B%20a%20quantity%0A%20%20%20%20or%20timedelta%20joins%20seams%20up%20to%20that%20width%20in%20coordinate%20units.%20An%0A%20%20%20%20overlap%20on%20the%20earlier%20patch%E2%80%99s%20grid%20is%20not%20a%20gap%3B%20one%20off%20it%20(by%20half%20a%0A%20%20%20%20step%2C%20say)%20starts%20a%20new%20output%2C%20and%20is%20listed.%0A%0A%20%20%20%20Coverage%20groups%20use%20patch%20kind%2C%20dimensions%2C%20sampling%20rate%2C%20and%0A%20%20%20%20coordinate%20structure.%20One%20metadata%20tag%20can%20therefore%20produce%20several%0A%20%20%20%20rows%20when%20its%20patches%20cannot%20be%20combined%20safely.%0A%0A%20%20%20%20Use%20%5B%60Spool.viz.coverage%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fviz%2Fspool%2Fcoverage.html)%20or%0A%20%20%20%20%5B%60Spool.viz.calendar%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fviz%2Fspool%2Fcalendar.html)%20to%20plot%0A%20%20%20%20these%20summaries.%0A%0A%20%20%20%20%23%20Loading%20ahead%0A%0A%20%20%20%20Use%20%5B%60Spool.iterate%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fcore%2Fspool%2FSpool%2Fiterate.html)%20to%20load%0A%20%20%20%20upcoming%20patches%20in%20a%20background%20thread%20while%20processing%20the%20current%0A%20%20%20%20patch%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(spool)%3A%0A%20%20%20%20from%20contextlib%20import%20closing%0A%0A%20%20%20%20with%20closing(spool.iterate(max_in_flight%3D2))%20as%20patches%3A%0A%20%20%20%20%20%20%20%20for%20current%20in%20patches%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20processed%20%3D%20current.detrend(%22time%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20positive%20window%20requires%20thread%20support%3B%20use%20ordinary%20iteration%20or%0A%20%20%20%20%60max_in_flight%3D0%60%20in%20WebAssembly.%20The%20limit%20counts%20upcoming%20patches%3B%20the%0A%20%20%20%20current%20patch%20and%20any%20retained%20results%20are%20additional.%20Closing%20the%0A%20%20%20%20iterator%20releases%20its%20loading%20thread%20even%20if%20the%20loop%20exits%20early.%0A%20%20%20%20Ordinary%20iteration%20stays%20synchronous.%20The%20%5Bparallel%20processing%0A%20%20%20%20recipe%5D(https%3A%2F%2Fdascore.netlify.app%2Frecipes%2Fparallelization.html)%20also%20shows%20how%20to%20scan%20directory%0A%20%20%20%20updates%20with%20a%20reusable%20process%20executor.%0A%0A%20%20%20%20%23%20Mapping%0A%0A%20%20%20%20%5B%60Spool.map%60%5D(https%3A%2F%2Fdascore.netlify.app%2Fapi%2Fdascore%2Fcore%2Fspool%2FSpool%2Fmap.html)%20eagerly%20applies%20a%0A%20%20%20%20function%20to%20every%20patch.%20Chunk%20first%20to%20control%20work%20size.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dc%2C%20spool)%3A%0A%20%20%20%20def%20distance_max(patch)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Return%20each%20channel's%20maximum.%22%22%22%0A%20%20%20%20%20%20%20%20return%20patch.aggregate(%22time%22%2C%20%22max%22)%0A%0A%0A%20%20%20%20mapped%20%3D%20spool.chunk(time%3D5%2C%20overlap%3D1).map(distance_max)%0A%20%20%20%20result%20%3D%20dc.spool(mapped).concatenate(time%3DNone)%5B0%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60map%60%20returns%20a%20list%20by%20default.%20Wrap%20it%20with%20%60dc.spool(...)%60%20to%0A%20%20%20%20continue%20using%20spool%20operations%2C%20as%20above.%20Active%20runtime%20configuration%0A%20%20%20%20is%20propagated%20to%20thread%20and%20process%20workers.%0A%0A%20%20%20%20See%20the%20%5Bparallel%20processing%20recipe%5D(https%3A%2F%2Fdascore.netlify.app%2Frecipes%2Fparallelization.html)%20for%0A%20%20%20%20executors%20and%20larger%20workflows.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A