main wasm

%23!%2Fusr%2Fbin%2Fenv%20python3%0A%23%20main_wasm.py%20%E2%80%94%20Standalone%20single-file%20version%20for%20WASM%2FGitHub%20Pages%20deployment%0A%23%20Author%3A%20Pito%20Salas%20and%20Claude%20Code%0A%23%20Open%20Source%20Under%20MIT%20license%0A%23%20All%20local%20modules%20inlined%20%E2%80%94%20edit%20the%20source%20files%20in%20src%2F%2C%20not%20this%20file.%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App()%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20dataclasses%20import%20dataclass%0A%20%20%20%20from%20enum%20import%20Enum%0A%20%20%20%20import%20networkx%20as%20nx%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20node%20%2F%20edge%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20class%20NodeType(Enum)%3A%0A%20%20%20%20%20%20%20%20INPUT%20%3D%20%22input%22%0A%20%20%20%20%20%20%20%20WEIGHT%20%3D%20%22weight%22%0A%20%20%20%20%20%20%20%20MULTIPLY%20%3D%20%22multiply%22%0A%20%20%20%20%20%20%20%20ADD%20%3D%20%22add%22%0A%20%20%20%20%20%20%20%20LOSS%20%3D%20%22loss%22%0A%0A%20%20%20%20%40dataclass%0A%20%20%20%20class%20Node%3A%0A%20%20%20%20%20%20%20%20id%3A%20str%0A%20%20%20%20%20%20%20%20node_type%3A%20NodeType%0A%20%20%20%20%20%20%20%20value%3A%20float%0A%0A%20%20%20%20%40dataclass%0A%20%20%20%20class%20Edge%3A%0A%20%20%20%20%20%20%20%20from_id%3A%20str%0A%20%20%20%20%20%20%20%20to_id%3A%20str%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20CompGraph%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20class%20CompGraph%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph%20%3D%20nx.DiGraph()%0A%20%20%20%20%20%20%20%20%20%20%20%20self.targets%20%3D%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20def%20add_node(self%2C%20node)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph.add_node(node.id%2C%20node_type%3Dnode.node_type%2C%20value%3Dnode.value%2C%20gradient%3D0.0)%0A%0A%20%20%20%20%20%20%20%20def%20add_edge(self%2C%20edge)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph.add_edge(edge.from_id%2C%20edge.to_id%2C%20local_deriv%3D0.0)%0A%0A%20%20%20%20%20%20%20%20def%20set_target(self%2C%20node_id%2C%20target)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.targets%5Bnode_id%5D%20%3D%20target%0A%0A%20%20%20%20%20%20%20%20def%20get_value(self%2C%20node_id)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self.graph.nodes%5Bnode_id%5D%5B%22value%22%5D%0A%0A%20%20%20%20%20%20%20%20def%20get_gradient(self%2C%20node_id)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20self.graph.nodes%5Bnode_id%5D%5B%22gradient%22%5D%0A%0A%20%20%20%20%20%20%20%20def%20forward_pass(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20dispatch%20%3D%20%7BNodeType.MULTIPLY%3A%20self._mul%2C%20NodeType.ADD%3A%20self._add%2C%20NodeType.LOSS%3A%20self._loss%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20node_id%20in%20nx.topological_sort(self.graph)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ntype%20%3D%20self.graph.nodes%5Bnode_id%5D%5B%22node_type%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20ntype%20in%20dispatch%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dispatch%5Bntype%5D(node_id)%0A%0A%20%20%20%20%20%20%20%20def%20backward_pass(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20node_id%20in%20self.graph.nodes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.graph.nodes%5Bnode_id%5D%5B%22gradient%22%5D%20%3D%200.0%0A%20%20%20%20%20%20%20%20%20%20%20%20loss_id%20%3D%20self._find_loss_node()%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph.nodes%5Bloss_id%5D%5B%22gradient%22%5D%20%3D%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20node_id%20in%20reversed(list(nx.topological_sort(self.graph)))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20node_grad%20%3D%20self.graph.nodes%5Bnode_id%5D%5B%22gradient%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20pred_id%20in%20self.graph.predecessors(node_id)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20local_deriv%20%3D%20self.graph%5Bpred_id%5D%5Bnode_id%5D%5B%22local_deriv%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.graph.nodes%5Bpred_id%5D%5B%22gradient%22%5D%20%2B%3D%20node_grad%20*%20local_deriv%0A%0A%20%20%20%20%20%20%20%20def%20_find_loss_node(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20node_id%20in%20self.graph.nodes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20self.graph.nodes%5Bnode_id%5D%5B%22node_type%22%5D%20%3D%3D%20NodeType.LOSS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20node_id%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22No%20loss%20node%20found%20in%20graph%22)%0A%0A%20%20%20%20%20%20%20%20def%20forward_pass_n(self%2C%20n)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20dispatch%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20NodeType.MULTIPLY%3A%20self._mul%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20NodeType.ADD%3A%20self._add%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20NodeType.LOSS%3A%20self._loss%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20count%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20node_id%20in%20nx.topological_sort(self.graph)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20count%20%3E%3D%20n%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ntype%20%3D%20self.graph.nodes%5Bnode_id%5D%5B%22node_type%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20ntype%20in%20dispatch%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dispatch%5Bntype%5D(node_id)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20count%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20def%20_mul(self%2C%20node_id)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20preds%20%3D%20list(self.graph.predecessors(node_id))%0A%20%20%20%20%20%20%20%20%20%20%20%20a%2C%20b%20%3D%20self.graph.nodes%5Bpreds%5B0%5D%5D%5B%22value%22%5D%2C%20self.graph.nodes%5Bpreds%5B1%5D%5D%5B%22value%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph.nodes%5Bnode_id%5D%5B%22value%22%5D%20%3D%20a%20*%20b%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph%5Bpreds%5B0%5D%5D%5Bnode_id%5D%5B%22local_deriv%22%5D%20%3D%20b%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph%5Bpreds%5B1%5D%5D%5Bnode_id%5D%5B%22local_deriv%22%5D%20%3D%20a%0A%0A%20%20%20%20%20%20%20%20def%20_add(self%2C%20node_id)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20preds%20%3D%20list(self.graph.predecessors(node_id))%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph.nodes%5Bnode_id%5D%5B%22value%22%5D%20%3D%20sum(self.graph.nodes%5Bp%5D%5B%22value%22%5D%20for%20p%20in%20preds)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20p%20in%20preds%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.graph%5Bp%5D%5Bnode_id%5D%5B%22local_deriv%22%5D%20%3D%201.0%0A%0A%20%20%20%20%20%20%20%20def%20_loss(self%2C%20node_id)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_id%20%3D%20list(self.graph.predecessors(node_id))%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_val%20%3D%20self.graph.nodes%5Bpred_id%5D%5B%22value%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20target%20%3D%20self.targets%5Bnode_id%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph.nodes%5Bnode_id%5D%5B%22value%22%5D%20%3D%20(pred_val%20-%20target)%20**%202%0A%20%20%20%20%20%20%20%20%20%20%20%20self.graph%5Bpred_id%5D%5Bnode_id%5D%5B%22local_deriv%22%5D%20%3D%202%20*%20(pred_val%20-%20target)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20Dataset%20%2B%20examples%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%40dataclass%0A%20%20%20%20class%20Dataset%3A%0A%20%20%20%20%20%20%20%20name%3A%20str%0A%20%20%20%20%20%20%20%20samples%3A%20list%0A%20%20%20%20%20%20%20%20feat1_name%3A%20str%0A%20%20%20%20%20%20%20%20feat2_name%3A%20str%0A%20%20%20%20%20%20%20%20target_name%3A%20str%0A%20%20%20%20%20%20%20%20w1_start%3A%20float%0A%20%20%20%20%20%20%20%20w2_start%3A%20float%0A%20%20%20%20%20%20%20%20w1_min%3A%20float%0A%20%20%20%20%20%20%20%20w1_max%3A%20float%0A%20%20%20%20%20%20%20%20w2_min%3A%20float%0A%20%20%20%20%20%20%20%20w2_max%3A%20float%0A%20%20%20%20%20%20%20%20w_step%3A%20float%0A%0A%20%20%20%20def%20build_graph(sample%2C%20dataset%2C%20w1%2C%20w2)%3A%0A%20%20%20%20%20%20%20%20f1%2C%20f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20%20%20%20%20g%20%3D%20CompGraph()%0A%20%20%20%20%20%20%20%20g.add_node(Node(f1%2C%20NodeType.INPUT%2C%20sample%5Bf1%5D))%0A%20%20%20%20%20%20%20%20g.add_node(Node(f2%2C%20NodeType.INPUT%2C%20sample%5Bf2%5D))%0A%20%20%20%20%20%20%20%20g.add_node(Node(%22w1%22%2C%20NodeType.WEIGHT%2C%20w1))%0A%20%20%20%20%20%20%20%20g.add_node(Node(%22w2%22%2C%20NodeType.WEIGHT%2C%20w2))%0A%20%20%20%20%20%20%20%20g.add_node(Node(%22ht_term%22%2C%20NodeType.MULTIPLY%2C%200.0))%0A%20%20%20%20%20%20%20%20g.add_node(Node(%22len_term%22%2C%20NodeType.MULTIPLY%2C%200.0))%0A%20%20%20%20%20%20%20%20g.add_node(Node(%22prediction%22%2C%20NodeType.ADD%2C%200.0))%0A%20%20%20%20%20%20%20%20g.add_node(Node(%22loss%22%2C%20NodeType.LOSS%2C%200.0))%0A%20%20%20%20%20%20%20%20g.set_target(%22loss%22%2C%20sample%5B%22target%22%5D)%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(f1%2C%20%22ht_term%22))%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(%22w1%22%2C%20%22ht_term%22))%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(f2%2C%20%22len_term%22))%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(%22w2%22%2C%20%22len_term%22))%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(%22ht_term%22%2C%20%22prediction%22))%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(%22len_term%22%2C%20%22prediction%22))%0A%20%20%20%20%20%20%20%20g.add_edge(Edge(%22prediction%22%2C%20%22loss%22))%0A%20%20%20%20%20%20%20%20return%20g%0A%0A%20%20%20%20TURKEYS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Turkey%201%22%2C%20%22height%22%3A%201.00%2C%20%22length%22%3A%201.50%2C%20%22target%22%3A%205000%7D%2C%0A%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Turkey%202%22%2C%20%22height%22%3A%200.75%2C%20%22length%22%3A%201.25%2C%20%22target%22%3A%203500%7D%2C%0A%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Turkey%203%22%2C%20%22height%22%3A%201.25%2C%20%22length%22%3A%201.00%2C%20%22target%22%3A%204500%7D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20TURKEY_DATASET%20%3D%20Dataset(%0A%20%20%20%20%20%20%20%20name%3D%22Turkey%20Feathers%22%2C%0A%20%20%20%20%20%20%20%20samples%3DTURKEYS%2C%0A%20%20%20%20%20%20%20%20feat1_name%3D%22height%22%2C%0A%20%20%20%20%20%20%20%20feat2_name%3D%22length%22%2C%0A%20%20%20%20%20%20%20%20target_name%3D%22feathers%22%2C%0A%20%20%20%20%20%20%20%20w1_start%3D1000.0%2C%0A%20%20%20%20%20%20%20%20w2_start%3D3000.0%2C%0A%20%20%20%20%20%20%20%20w1_min%3D0.0%2C%0A%20%20%20%20%20%20%20%20w1_max%3D5000.0%2C%0A%20%20%20%20%20%20%20%20w2_min%3D0.0%2C%0A%20%20%20%20%20%20%20%20w2_max%3D5000.0%2C%0A%20%20%20%20%20%20%20%20w_step%3D50.0%2C%0A%20%20%20%20)%0A%0A%20%20%20%20CARS_DATASET%20%3D%20Dataset(%0A%20%20%20%20%20%20%20%20name%3D%22Auto%20MPG%22%2C%0A%20%20%20%20%20%20%20%20samples%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Chevrolet%20Chevelle%22%2C%20%22weight%22%3A%203.504%2C%20%22horsepower%22%3A%201.30%2C%20%22target%22%3A%2018.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Buick%20Skylark%20320%22%2C%20%20%22weight%22%3A%203.693%2C%20%22horsepower%22%3A%201.65%2C%20%22target%22%3A%2015.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Datsun%20PL510%22%2C%20%20%20%20%20%20%20%22weight%22%3A%202.110%2C%20%22horsepower%22%3A%200.95%2C%20%22target%22%3A%2028.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22VW%201131%20Deluxe%22%2C%20%20%20%20%20%22weight%22%3A%202.372%2C%20%22horsepower%22%3A%200.75%2C%20%22target%22%3A%2030.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22AMC%20Hornet%22%2C%20%20%20%20%20%20%20%20%20%22weight%22%3A%202.833%2C%20%22horsepower%22%3A%200.90%2C%20%22target%22%3A%2026.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Pontiac%20Safari%22%2C%20%20%20%20%20%22weight%22%3A%204.746%2C%20%22horsepower%22%3A%202.30%2C%20%22target%22%3A%2010.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Ford%20Galaxie%20500%22%2C%20%20%20%22weight%22%3A%204.382%2C%20%22horsepower%22%3A%201.98%2C%20%22target%22%3A%2014.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Toyota%20Corolla%22%2C%20%20%20%20%20%22weight%22%3A%202.130%2C%20%22horsepower%22%3A%200.70%2C%20%22target%22%3A%2033.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Honda%20Civic%22%2C%20%20%20%20%20%20%20%20%22weight%22%3A%201.835%2C%20%22horsepower%22%3A%200.65%2C%20%22target%22%3A%2031.0%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22label%22%3A%20%22Dodge%20Challenger%22%2C%20%20%20%22weight%22%3A%203.609%2C%20%22horsepower%22%3A%201.50%2C%20%22target%22%3A%2018.0%7D%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20feat1_name%3D%22weight%22%2C%0A%20%20%20%20%20%20%20%20feat2_name%3D%22horsepower%22%2C%0A%20%20%20%20%20%20%20%20target_name%3D%22mpg%22%2C%0A%20%20%20%20%20%20%20%20w1_start%3D5.0%2C%0A%20%20%20%20%20%20%20%20w2_start%3D5.0%2C%0A%20%20%20%20%20%20%20%20w1_min%3D-20.0%2C%0A%20%20%20%20%20%20%20%20w1_max%3D20.0%2C%0A%20%20%20%20%20%20%20%20w2_min%3D-20.0%2C%0A%20%20%20%20%20%20%20%20w2_max%3D20.0%2C%0A%20%20%20%20%20%20%20%20w_step%3D0.5%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20steps%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20forward_step_label(g%2C%20node_id)%3A%0A%20%20%20%20%20%20%20%20ntype%20%3D%20g.graph.nodes%5Bnode_id%5D%5B%22node_type%22%5D%0A%20%20%20%20%20%20%20%20preds%20%3D%20list(g.graph.predecessors(node_id))%0A%20%20%20%20%20%20%20%20result%20%3D%20g.get_value(node_id)%0A%20%20%20%20%20%20%20%20if%20ntype%20%3D%3D%20NodeType.MULTIPLY%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20a%2C%20b%20%3D%20preds%5B0%5D%2C%20preds%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(f%22**%7Bnode_id%7D**%20%3D%20%7Ba%7D%20%C3%97%20%7Bb%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3D%20%7Bg.get_value(a)%3A.2f%7D%20%C3%97%20%7Bg.get_value(b)%3A.2f%7D%20%3D%20**%7Bresult%3A.2f%7D**%22)%0A%20%20%20%20%20%20%20%20if%20ntype%20%3D%3D%20NodeType.ADD%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20terms%20%3D%20%22%20%2B%20%22.join(f%22%7Bg.get_value(p)%3A.2f%7D%22%20for%20p%20in%20preds)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22**%7Bnode_id%7D**%20%3D%20%7B'%20%2B%20'.join(preds)%7D%20%3D%20%7Bterms%7D%20%3D%20**%7Bresult%3A.2f%7D**%22%0A%20%20%20%20%20%20%20%20if%20ntype%20%3D%3D%20NodeType.LOSS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pred_val%20%3D%20g.get_value(preds%5B0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20target%20%3D%20g.targets%5Bnode_id%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(f%22**%7Bnode_id%7D**%20%3D%20(%7Bpreds%5B0%5D%7D%20%E2%88%92%20actual)%C2%B2%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%3D%20(%7Bpred_val%3A.2f%7D%20%E2%88%92%20%7Btarget%3A.2f%7D)%C2%B2%20%3D%20**%7Bresult%3A.2f%7D**%22)%0A%20%20%20%20%20%20%20%20return%20f%22**%7Bnode_id%7D**%20%3D%20%7Bresult%3A.2f%7D%22%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20table_viz%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20GOLD%20%3D%20%22%23FFD700%22%0A%20%20%20%20_HEADER_BG%20%3D%20%22%23f0f0f0%22%0A%20%20%20%20COMPUTED_NODES%20%3D%20%5B%22ht_term%22%2C%20%22len_term%22%2C%20%22prediction%22%2C%20%22loss%22%5D%0A%20%20%20%20BACKWARD_NODES%20%3D%20%5B%22loss%22%2C%20%22prediction%22%2C%20%22ht_term%22%2C%20%22len_term%22%2C%20%22w1%22%2C%20%22w2%22%5D%0A%0A%20%20%20%20def%20_cell(value%2C%20bg%2C%20bold)%3A%0A%20%20%20%20%20%20%20%20w%20%3D%20%22font-weight%3Abold%3B%22%20if%20bold%20else%20%22%22%0A%20%20%20%20%20%20%20%20return%20f'%3Ctd%20style%3D%22text-align%3Acenter%3Bpadding%3A6px%2010px%3Bbackground%3A%7Bbg%7D%3B%7Bw%7D%22%3E%7Bvalue%7D%3C%2Ftd%3E'%0A%0A%20%20%20%20def%20_header_row(step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20f1%2C%20f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20%20%20%20%20all_nodes%20%3D%20%5Bf1%2C%20f2%2C%20%22w1%22%2C%20%22w2%22%5D%20%2B%20COMPUTED_NODES%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bf1%3A%20f1%2C%20f2%3A%20f2%2C%20%22w1%22%3A%20%22w1%22%2C%20%22w2%22%3A%20%22w2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ht_term%22%3A%20f%22%7Bf1%7D%C3%97w1%22%2C%20%22len_term%22%3A%20f%22%7Bf2%7D%C3%97w2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22prediction%22%3A%20%22prediction%22%2C%20%22loss%22%3A%20%22loss%22%7D%0A%20%20%20%20%20%20%20%20cells%20%3D%20%5B'%3Cth%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%23ddd%3Btext-align%3Aleft%22%3ESample%3C%2Fth%3E'%5D%0A%20%20%20%20%20%20%20%20for%20node%20in%20all_nodes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ci%20%3D%20COMPUTED_NODES.index(node)%20%2B%201%20if%20node%20in%20COMPUTED_NODES%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20bg%20%3D%20GOLD%20if%20ci%20%3D%3D%20step%20else%20_HEADER_BG%0A%20%20%20%20%20%20%20%20%20%20%20%20cells.append(f'%3Cth%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%7Bbg%7D%3Btext-align%3Acenter%22%3E%7Blabels%5Bnode%5D%7D%3C%2Fth%3E')%0A%20%20%20%20%20%20%20%20return%20%22%3Ctr%3E%22%20%2B%20%22%22.join(cells)%20%2B%20%22%3C%2Ftr%3E%22%0A%0A%20%20%20%20def%20_sample_row(t%2C%20w1%2C%20w2%2C%20step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20f1%2C%20f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20%20%20%20%20input_nodes%20%3D%20%5Bf1%2C%20f2%2C%20%22w1%22%2C%20%22w2%22%5D%0A%20%20%20%20%20%20%20%20g%20%3D%20build_graph(t%2C%20dataset%2C%20w1%2C%20w2)%0A%20%20%20%20%20%20%20%20g.forward_pass_n(step)%0A%20%20%20%20%20%20%20%20cells%20%3D%20%5Bf'%3Ctd%20style%3D%22padding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23f8f8f8%22%3E%7Bt%5B%22label%22%5D%7D%3C%2Ftd%3E'%5D%0A%20%20%20%20%20%20%20%20for%20node%20in%20input_nodes%20%2B%20COMPUTED_NODES%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ci%20%3D%20COMPUTED_NODES.index(node)%20%2B%201%20if%20node%20in%20COMPUTED_NODES%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20is_active%20%3D%20ci%20%3D%3D%20step%0A%20%20%20%20%20%20%20%20%20%20%20%20bg%20%3D%20GOLD%20if%20is_active%20else%20%22white%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20node%20in%20input_nodes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cells.append(_cell(f%22%7Bg.get_value(node)%3Ag%7D%22%2C%20bg%2C%20False))%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20ci%20is%20not%20None%20and%20ci%20%3C%3D%20step%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cells.append(_cell(f%22%7Bg.get_value(node)%3A%2C.2f%7D%22%2C%20bg%2C%20is_active))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cells.append(_cell(%22%E2%80%94%22%2C%20bg%2C%20False))%0A%20%20%20%20%20%20%20%20return%20%22%3Ctr%3E%22%20%2B%20%22%22.join(cells)%20%2B%20%22%3C%2Ftr%3E%22%0A%0A%20%20%20%20def%20_total_loss_row(w1%2C%20w2%2C%20step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20if%20step%20%3C%20COMPUTED_NODES.index(%22loss%22)%20%2B%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%22%0A%20%20%20%20%20%20%20%20total%20%3D%200.0%0A%20%20%20%20%20%20%20%20for%20t%20in%20dataset.samples%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20g%20%3D%20build_graph(t%2C%20dataset%2C%20w1%2C%20w2)%0A%20%20%20%20%20%20%20%20%20%20%20%20g.forward_pass_n(step)%0A%20%20%20%20%20%20%20%20%20%20%20%20total%20%2B%3D%20g.get_value(%22loss%22)%0A%20%20%20%20%20%20%20%20label%20%3D%20'%3Ctd%20style%3D%22padding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23f0d0d0%22%3ESum%20of%20squares%3Cbr%2F%3E%3Cspan%20style%3D%22font-weight%3Anormal%3Bfont-size%3A12px%22%3E%CE%A3(pred%E2%88%92actual)%C2%B2%3C%2Fspan%3E%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20spacer%20%3D%20'%3Ctd%20colspan%3D%227%22%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%23fafafa%22%3E%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20total_cell%20%3D%20f'%3Ctd%20style%3D%22text-align%3Acenter%3Bpadding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23ffe0e0%22%3E%7Btotal%3A%2C.2f%7D%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20return%20%22%3Ctr%3E%22%20%2B%20label%20%2B%20spacer%20%2B%20total_cell%20%2B%20%22%3C%2Ftr%3E%22%0A%0A%20%20%20%20def%20forward_pass_table(w1%2C%20w2%2C%20step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B_header_row(step%2C%20dataset)%5D%0A%20%20%20%20%20%20%20%20for%20t%20in%20dataset.samples%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(_sample_row(t%2C%20w1%2C%20w2%2C%20step%2C%20dataset))%0A%20%20%20%20%20%20%20%20total_row%20%3D%20_total_loss_row(w1%2C%20w2%2C%20step%2C%20dataset)%0A%20%20%20%20%20%20%20%20if%20total_row%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(total_row)%0A%20%20%20%20%20%20%20%20return%20f'%3Ctable%20style%3D%22border-collapse%3Acollapse%3Bfont-size%3A14px%3Bwidth%3A100%25%22%3E%7B%22%22.join(rows)%7D%3C%2Ftable%3E'%0A%0A%20%20%20%20def%20_back_header_row(step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20f1%2C%20f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20%20%20%20%20back_labels%20%3D%20%7B%22loss%22%3A%20%22loss%22%2C%20%22prediction%22%3A%20%22prediction%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ht_term%22%3A%20f%22%7Bf1%7D%C3%97w1%22%2C%20%22len_term%22%3A%20f%22%7Bf2%7D%C3%97w2%22%2C%20%22w1%22%3A%20%22w1%22%2C%20%22w2%22%3A%20%22w2%22%7D%0A%20%20%20%20%20%20%20%20cells%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cth%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%23ddd%3Btext-align%3Aleft%22%3ESample%3C%2Fth%3E'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cth%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%7B_HEADER_BG%7D%3Btext-align%3Acenter%22%3Eactual%3C%2Fth%3E'%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20i%2C%20node%20in%20enumerate(BACKWARD_NODES)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20bg%20%3D%20GOLD%20if%20(i%20%2B%201)%20%3D%3D%20step%20else%20_HEADER_BG%0A%20%20%20%20%20%20%20%20%20%20%20%20cells.append(f'%3Cth%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%7Bbg%7D%3Btext-align%3Acenter%22%3E%7Bback_labels%5Bnode%5D%7D%3C%2Fth%3E')%0A%20%20%20%20%20%20%20%20return%20%22%3Ctr%3E%22%20%2B%20%22%22.join(cells)%20%2B%20%22%3C%2Ftr%3E%22%0A%0A%20%20%20%20def%20_back_sample_row(t%2C%20w1%2C%20w2%2C%20step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20g%20%3D%20build_graph(t%2C%20dataset%2C%20w1%2C%20w2)%0A%20%20%20%20%20%20%20%20g.forward_pass()%0A%20%20%20%20%20%20%20%20g.backward_pass()%0A%20%20%20%20%20%20%20%20cells%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Ctd%20style%3D%22padding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23f8f8f8%22%3E%7Bt%5B%22label%22%5D%7D%3C%2Ftd%3E'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_cell(f%22%7Bt%5B'target'%5D%3A%2Cg%7D%22%2C%20_HEADER_BG%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20i%2C%20node%20in%20enumerate(BACKWARD_NODES)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20col_idx%20%3D%20i%20%2B%201%0A%20%20%20%20%20%20%20%20%20%20%20%20is_active%20%3D%20col_idx%20%3D%3D%20step%0A%20%20%20%20%20%20%20%20%20%20%20%20bg%20%3D%20GOLD%20if%20is_active%20else%20%22white%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20col_idx%20%3C%3D%20step%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cells.append(_cell(f%22%7Bg.get_gradient(node)%3A%2C.2f%7D%22%2C%20bg%2C%20is_active))%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cells.append(_cell(%22%E2%80%94%22%2C%20bg%2C%20False))%0A%20%20%20%20%20%20%20%20return%20%22%3Ctr%3E%22%20%2B%20%22%22.join(cells)%20%2B%20%22%3C%2Ftr%3E%22%0A%0A%20%20%20%20def%20_back_sum_row(w1%2C%20w2%2C%20step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20w1_col%20%3D%20BACKWARD_NODES.index(%22w1%22)%20%2B%201%0A%20%20%20%20%20%20%20%20w2_col%20%3D%20BACKWARD_NODES.index(%22w2%22)%20%2B%201%0A%20%20%20%20%20%20%20%20if%20step%20%3C%20w1_col%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%22%0A%20%20%20%20%20%20%20%20total_w1%2C%20total_w2%20%3D%200.0%2C%200.0%0A%20%20%20%20%20%20%20%20for%20t%20in%20dataset.samples%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20g%20%3D%20build_graph(t%2C%20dataset%2C%20w1%2C%20w2)%0A%20%20%20%20%20%20%20%20%20%20%20%20g.forward_pass()%0A%20%20%20%20%20%20%20%20%20%20%20%20g.backward_pass()%0A%20%20%20%20%20%20%20%20%20%20%20%20total_w1%20%2B%3D%20g.get_gradient(%22w1%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20total_w2%20%2B%3D%20g.get_gradient(%22w2%22)%0A%20%20%20%20%20%20%20%20label%20%3D%20'%3Ctd%20style%3D%22padding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23f0d0d0%22%3ESum%20(all%20samples)%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20spacer%20%3D%20f'%3Ctd%20colspan%3D%22%7Bw1_col%7D%22%20style%3D%22padding%3A6px%2010px%3Bbackground%3A%23fafafa%22%3E%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20w1_cell%20%3D%20f'%3Ctd%20style%3D%22text-align%3Acenter%3Bpadding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23ffe0e0%22%3E%7Btotal_w1%3A%2C.2f%7D%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20w2_cell%20%3D%20(f'%3Ctd%20style%3D%22text-align%3Acenter%3Bpadding%3A6px%2010px%3Bfont-weight%3Abold%3Bbackground%3A%23ffe0e0%22%3E%7Btotal_w2%3A%2C.2f%7D%3C%2Ftd%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20step%20%3E%3D%20w2_col%20else%20%22%22)%0A%20%20%20%20%20%20%20%20return%20%22%3Ctr%3E%22%20%2B%20label%20%2B%20spacer%20%2B%20w1_cell%20%2B%20w2_cell%20%2B%20%22%3C%2Ftr%3E%22%0A%0A%20%20%20%20def%20backward_pass_table(w1%2C%20w2%2C%20step%2C%20dataset)%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B_back_header_row(step%2C%20dataset)%5D%0A%20%20%20%20%20%20%20%20for%20t%20in%20dataset.samples%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(_back_sample_row(t%2C%20w1%2C%20w2%2C%20step%2C%20dataset))%0A%20%20%20%20%20%20%20%20sum_row%20%3D%20_back_sum_row(w1%2C%20w2%2C%20step%2C%20dataset)%0A%20%20%20%20%20%20%20%20if%20sum_row%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(sum_row)%0A%20%20%20%20%20%20%20%20return%20f'%3Ctable%20style%3D%22border-collapse%3Acollapse%3Bfont-size%3A14px%3Bwidth%3A100%25%22%3E%7B%22%22.join(rows)%7D%3C%2Ftable%3E'%0A%0A%20%20%20%20def%20backward_step_labels(dataset)%3A%0A%20%20%20%20%20%20%20%20s0%20%3D%20dataset.samples%5B0%5D%0A%20%20%20%20%20%20%20%20g%20%3D%20build_graph(s0%2C%20dataset%2C%20dataset.w1_start%2C%20dataset.w2_start)%0A%20%20%20%20%20%20%20%20g.forward_pass()%0A%20%20%20%20%20%20%20%20pred%20%3D%20g.get_value(%22prediction%22)%0A%20%20%20%20%20%20%20%20error%20%3D%20pred%20-%20s0%5B%22target%22%5D%0A%20%20%20%20%20%20%20%20pred_grad%20%3D%202%20*%20error%0A%20%20%20%20%20%20%20%20f1%2C%20f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20%20%20%20%20return%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**loss**%20gradient%20%3D%201.%20The%20backward%20pass%20asks%3A%20how%20much%20does%20each%20node%20affect%20the%20loss%3F%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20loss%20node%20*is*%20the%20loss%2C%20so%20%E2%88%82L%2F%E2%88%82loss%20%3D%201%20%E2%80%94%20a%20one-unit%20nudge%20to%20the%20loss%20node%20changes%20loss%20by%20exactly%20one%20unit.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20seed%20value%20of%201%20is%20what%20the%20rest%20of%20the%20backward%20pass%20multiplies%20through.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**prediction**%20gradient%20%3D%20loss_grad%20%C3%97%202(pred%20%E2%88%92%20actual).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22loss%20%3D%20(pred%20%E2%88%92%20actual)%C2%B2%2C%20so%20its%20local%20derivative%20w.r.t.%20prediction%20is%202(pred%20%E2%88%92%20actual)%20%E2%80%94%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22the%20power%20rule%3A%20d%2Fdx%5Bx%C2%B2%5D%20%3D%202x%2C%20where%20x%20%3D%20(pred%20%E2%88%92%20actual).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22For%20%7Bs0%5B'label'%5D%7D%3A%201%20%C3%97%202%20%C3%97%20(%7Bpred%3A.2f%7D%20%E2%88%92%20%7Bs0%5B'target'%5D%3A.2f%7D)%20%3D%201%20%C3%97%202%20%C3%97%20%7Berror%3A.2f%7D%20%3D%20**%7Bpred_grad%3A.2f%7D**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Each%20sample%20differs%20because%20each%20has%20a%20different%20prediction%20error.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**ht_term**%20gradient%20%3D%20prediction_grad%20%C3%97%201.%20Addition%20passes%20the%20gradient%20through%20unchanged.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**len_term**%20gradient%20%3D%20prediction_grad%20%C3%97%201.%20Same%20rule%20%E2%80%94%20addition%20local%20derivative%20is%20always%201.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**w1**%20gradient%20%3D%20ht_term_grad%20%C3%97%20%7Bf1%7D.%20The%20sum%20row%20shows%20the%20total%20across%20all%20samples.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**w2**%20gradient%20%3D%20len_term_grad%20%C3%97%20%7Bf2%7D.%20Backward%20pass%20complete%20%E2%80%94%20both%20weight%20gradients%20ready.%22%2C%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20chain_rule%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20def%20_chain_forward(x)%3A%0A%20%20%20%20%20%20%20%20a%20%3D%20x%20**%202%0A%20%20%20%20%20%20%20%20b%20%3D%20a%20**%203%0A%20%20%20%20%20%20%20%20return%20a%2C%20b%0A%0A%20%20%20%20def%20_chain_derivs(x)%3A%0A%20%20%20%20%20%20%20%20a%20%3D%20x%20**%202%0A%20%20%20%20%20%20%20%20da_dx%20%3D%202%20*%20x%0A%20%20%20%20%20%20%20%20db_da%20%3D%203%20*%20(a%20**%202)%0A%20%20%20%20%20%20%20%20return%20da_dx%2C%20db_da%2C%20da_dx%20*%20db_da%0A%0A%20%20%20%20def%20chain_html(x)%3A%0A%20%20%20%20%20%20%20%20a%2C%20b%20%3D%20_chain_forward(x)%0A%20%20%20%20%20%20%20%20da_dx%2C%20db_da%2C%20db_dx%20%3D%20_chain_derivs(x)%0A%0A%20%20%20%20%20%20%20%20node_style%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22display%3Ainline-block%3Bpadding%3A10px%2018px%3Bborder-radius%3A8px%3B%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22font-size%3A1.1em%3Bfont-weight%3Abold%3Btext-align%3Acenter%3B%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20input_style%20%3D%20node_style%20%2B%20%22background%3A%23cce5ff%3Bborder%3A2px%20solid%20%234a90d9%3B%22%0A%20%20%20%20%20%20%20%20op_style%20%3D%20node_style%20%2B%20%22background%3A%23f0f0f0%3Bborder%3A2px%20solid%20%23aaa%3Bfont-size%3A0.9em%3B%22%0A%20%20%20%20%20%20%20%20arrow_style%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22display%3Ainline-block%3Bvertical-align%3Amiddle%3B%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22text-align%3Acenter%3Bmargin%3A0%206px%3B%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20def%20arrow(label)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Barrow_style%7D%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22font-size%3A0.8em%3Bcolor%3A%23000%3B%22%3E%7Blabel%7D%3C%2Fspan%3E%3Cbr%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22font-size%3A1.4em%3B%22%3E%E2%86%92%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20diagram%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22display%3Aflex%3Balign-items%3Acenter%3Bgap%3A4px%3Bflex-wrap%3Awrap%3Bmargin%3A16px%200%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Binput_style%7D%22%3Ex%20%3D%20%7Bx%3Ag%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%7Barrow(f%22local%20deriv%20%3D%20%7Bda_dx%3Ag%7D%22)%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Bop_style%7D%22%3Esquare%3Cbr%3E%3Csmall%3EA%20%3D%20x%C2%B2%3C%2Fsmall%3E%3Cbr%3EA%20%3D%20%7Ba%3Ag%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%7Barrow(f%22local%20deriv%20%3D%20%7Bdb_da%3Ag%7D%22)%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Bop_style%7D%22%3Ecube%3Cbr%3E%3Csmall%3EB%20%3D%20A%C2%B3%3C%2Fsmall%3E%3Cbr%3EB%20%3D%20%7Bb%3Ag%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20summary%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cp%20style%3D%22margin%3A8px%200%3Bfont-size%3A1em%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cstrong%3EChain%20rule%20at%20x%20%3D%20%7Bx%3Ag%7D%3A%3C%2Fstrong%3E%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'df%2Fdx%20%3D%20(dA%2Fdx)%20%C3%97%20(dB%2FdA)%20%3D%20%7Bda_dx%3Ag%7D%20%C3%97%20%7Bdb_da%3Ag%7D%20%3D%20%3Cstrong%3E%7Bdb_dx%3Ag%7D%3C%2Fstrong%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3C%2Fp%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cp%20style%3D%22margin%3A4px%200%3Bcolor%3A%23000%3Bfont-size%3A0.9em%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'A%20tiny%20nudge%20to%20x%20causes%20the%20output%20to%20change%20by%20%7Bdb_dx%3Ag%7D%C3%97%20that%20amount.'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3C%2Fp%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20f'%3Cdiv%20style%3D%22font-family%3Asans-serif%3B%22%3E%7Bdiagram%7D%7Bsummary%7D%3C%2Fdiv%3E'%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BACKWARD_NODES%2C%0A%20%20%20%20%20%20%20%20CARS_DATASET%2C%0A%20%20%20%20%20%20%20%20COMPUTED_NODES%2C%0A%20%20%20%20%20%20%20%20TURKEY_DATASET%2C%0A%20%20%20%20%20%20%20%20backward_pass_table%2C%0A%20%20%20%20%20%20%20%20backward_step_labels%2C%0A%20%20%20%20%20%20%20%20build_graph%2C%0A%20%20%20%20%20%20%20%20chain_html%2C%0A%20%20%20%20%20%20%20%20forward_pass_table%2C%0A%20%20%20%20%20%20%20%20forward_step_label%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20Backpropagation%20Explorer%0A%0A%20%20%20%20Each%20section%20below%20is%20one%20lesson.%20Work%20through%20them%20top%20to%20bottom.%0A%0A%20%20%20%20%7C%20Section%20%7C%20Lesson%20%7C%0A%20%20%20%20%7C---------%7C--------%7C%0A%20%20%20%20%7C%201%20%7C%20**The%20Model**%20%E2%80%94%20the%20computation%20graph%20for%20the%20first%20sample%20%7C%0A%20%20%20%20%7C%202%20%7C%20**Computing%20Loss**%20%E2%80%94%20step%20through%20the%20forward%20pass%20%7C%0A%20%20%20%20%7C%203%20%7C%20**Changing%20a%20Weight**%20%E2%80%94%20use%20sliders%2C%20watch%20loss%20respond%20%7C%0A%20%20%20%20%7C%204%20%7C%20**The%20Chain%20Rule**%20%E2%80%94%20how%20gradients%20flow%20backwards%20%7C%0A%20%20%20%20%7C%205%20%7C%20**The%20Backward%20Pass**%20%E2%80%94%20automated%20gradient%20computation%20%7C%0A%0A%20%20%20%20**Select%20a%20dataset%20to%20explore%3A**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(CARS_DATASET%2C%20TURKEY_DATASET%2C%20mo)%3A%0A%20%20%20%20dataset_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20%7B%22Turkey%20Feathers%22%3A%20TURKEY_DATASET%2C%20%22Auto%20MPG%22%3A%20CARS_DATASET%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Turkey%20Feathers%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Dataset%22%2C%0A%20%20%20%20)%0A%20%20%20%20dataset_selector%0A%20%20%20%20return%20(dataset_selector%2C)%0A%0A%0A%40app.cell%0Adef%20_(dataset_selector)%3A%0A%20%20%20%20dataset%20%3D%20dataset_selector.value%0A%20%20%20%20return%20(dataset%2C)%0A%0A%0A%40app.cell%0Adef%20_(dataset%2C%20mo)%3A%0A%20%20%20%20_s0%20%3D%20dataset.samples%5B0%5D%0A%20%20%20%20_f1%2C%20_f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20The%20Model%0A%0A%20%20%20%20The%20**%7Bdataset.name%7D**%20dataset%20has%20%7Blen(dataset.samples)%7D%20samples.%20Each%20has%20two%20measurements%20%E2%80%94%0A%20%20%20%20**%7B_f1%7D**%20and%20**%7B_f2%7D**%20%E2%80%94%20and%20a%20known%20**%7Bdataset.target_name%7D**%20the%20model%20should%20learn%20to%20predict.%0A%0A%20%20%20%20The%20model%20makes%20its%20prediction%20as%20a%20weighted%20sum%3A%0A%0A%20%20%20%20%3E%20prediction%20%3D%20%7B_f1%7D%20%C3%97%20w1%20%2B%20%7B_f2%7D%20%C3%97%20w2%0A%0A%20%20%20%20We%20start%20with%20initial%20weights%20**w1%20%3D%20%7Bdataset.w1_start%3Ag%7D%2C%20w2%20%3D%20%7Bdataset.w2_start%3Ag%7D**.%0A%20%20%20%20Here%20is%20the%20full%20computation%20for%20**%7B_s0%5B'label'%5D%7D**%2C%20step%20by%20step%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(build_graph%2C%20dataset%2C%20mo)%3A%0A%20%20%20%20_s0%20%3D%20dataset.samples%5B0%5D%0A%20%20%20%20_g%20%3D%20build_graph(_s0%2C%20dataset%2C%20dataset.w1_start%2C%20dataset.w2_start)%0A%20%20%20%20_g.forward_pass()%0A%20%20%20%20_f1%2C%20_f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20_f1v%20%3D%20_s0%5B_f1%5D%0A%20%20%20%20_f2v%20%3D%20_s0%5B_f2%5D%0A%20%20%20%20_ht%20%3D%20_g.get_value(%22ht_term%22)%0A%20%20%20%20_lt%20%3D%20_g.get_value(%22len_term%22)%0A%20%20%20%20_pred%20%3D%20_g.get_value(%22prediction%22)%0A%20%20%20%20_target%20%3D%20_s0%5B%22target%22%5D%0A%20%20%20%20_err%20%3D%20_pred%20-%20_target%0A%20%20%20%20_loss%20%3D%20_g.get_value(%22loss%22)%0A%0A%20%20%20%20_blue%20%3D%20%22color%3A%231a6bb5%3Bfont-weight%3Abold%3B%22%0A%20%20%20%20_green%20%3D%20%22color%3A%232a7a2a%3Bfont-weight%3Abold%3B%22%0A%20%20%20%20_eq%20%3D%20%22padding%3A0%208px%3Bcolor%3A%23000%3B%22%0A%20%20%20%20_lbl%20%3D%20%22text-align%3Aright%3Bpadding-right%3A12px%3Bcolor%3A%23000%3B%22%0A%0A%20%20%20%20_html%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22font-family%3Amonospace%3Bfont-size%3A1.05em%3Bline-height%3A2.2%3Bmargin%3A16px%200%3B%22%3E%0A%20%20%20%20%20%20%3Ctable%20style%3D%22border-collapse%3Acollapse%3B%22%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3Eprediction%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cspan%20style%3D%22%7B_blue%7D%22%3E%7B_f1%7D%20%26times%3B%20w1%3C%2Fspan%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%2B%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cspan%20style%3D%22%7B_green%7D%22%3E%7B_f2%7D%20%26times%3B%20w2%3C%2Fspan%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cspan%20style%3D%22%7B_blue%7D%22%3E%7B_f1v%3Ag%7D%20%26times%3B%20%7Bdataset.w1_start%3Ag%7D%3C%2Fspan%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%2B%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cspan%20style%3D%22%7B_green%7D%22%3E%7B_f2v%3Ag%7D%20%26times%3B%20%7Bdataset.w2_start%3Ag%7D%3C%2Fspan%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_blue%7D%22%3E%7B_ht%3A%2C.2f%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%2B%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_green%7D%22%3E%7B_lt%3A%2C.2f%7D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20colspan%3D%223%22%3E%3Cstrong%3E%7B_pred%3A%2C.2f%7D%3C%2Fstrong%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%20colspan%3D%225%22%20style%3D%22padding-top%3A12px%3B%22%3E%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3Eloss%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20colspan%3D%223%22%3E(prediction%20%26minus%3B%20actual)%26sup2%3B%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20colspan%3D%223%22%3E(%7B_pred%3A%2C.2f%7D%20%26minus%3B%20%7B_target%3Ag%7D)%26sup2%3B%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_lbl%7D%22%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20style%3D%22%7B_eq%7D%22%3E%3D%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctd%20colspan%3D%223%22%3E%7B_err%3A%2C.2f%7D%26sup2%3B%20%3D%20%3Cstrong%3E%7B_loss%3A%2C.2f%7D%3C%2Fstrong%3E%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(_html)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dataset%2C%20mo)%3A%0A%20%20%20%20_f1%2C%20_f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Computing%20Loss%0A%0A%20%20%20%20The%20table%20below%20shows%20all%20%7Blen(dataset.samples)%7D%20samples%20at%20once.%20Each%20column%20is%20a%20node%20in%20the%0A%20%20%20%20computation%20graph.%20Click%20**Next%20%E2%86%92**%20to%20compute%20the%20next%20node%20for%20all%20samples%0A%20%20%20%20simultaneously.%20The%20gold%20column%20is%20the%20one%20being%20computed.%0A%0A%20%20%20%20The%20first%20two%20computed%20columns%20are%20**%7B_f1%7D%C3%97w1**%20and%20**%7B_f2%7D%C3%97w2**%20%E2%80%94%20each%20input%0A%20%20%20%20multiplied%20by%20its%20weight.%20These%20are%20the%20two%20*terms*%20of%20the%20weighted%20sum.%20w1%20and%0A%20%20%20%20w2%20are%20the%20knobs%20the%20model%20will%20eventually%20learn%20to%20tune.%0A%0A%20%20%20%20**prediction**%20adds%20the%20two%20terms%20together.%20**loss**%20measures%20how%20wrong%20that%20guess%0A%20%20%20%20is%3A%20(prediction%20%E2%88%92%20actual)%C2%B2.%20Squaring%20makes%20all%20errors%20positive%20and%20penalizes%20large%0A%20%20%20%20errors%20more%20than%20small%20ones.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prev_btn%20%3D%20mo.ui.button(label%3D%22%E2%86%90%20Prev%22%2C%20value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201)%0A%20%20%20%20next_btn%20%3D%20mo.ui.button(label%3D%22Next%20%E2%86%92%22%2C%20value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201)%0A%20%20%20%20mo.hstack(%5Bprev_btn%2C%20next_btn%5D%2C%20gap%3D1)%0A%20%20%20%20return%20next_btn%2C%20prev_btn%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20COMPUTED_NODES%2C%0A%20%20%20%20build_graph%2C%0A%20%20%20%20dataset%2C%0A%20%20%20%20forward_pass_table%2C%0A%20%20%20%20forward_step_label%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20next_btn%2C%0A%20%20%20%20prev_btn%2C%0A)%3A%0A%20%20%20%20_step%20%3D%20max(0%2C%20min(next_btn.value%20-%20prev_btn.value%2C%20len(COMPUTED_NODES)))%0A%20%20%20%20if%20_step%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20mo.md(%22Click%20**Next%20%E2%86%92**%20to%20begin%20the%20forward%20pass.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_node%20%3D%20COMPUTED_NODES%5B_step%20-%201%5D%0A%20%20%20%20%20%20%20%20_g_ex%20%3D%20build_graph(dataset.samples%5B0%5D%2C%20dataset%2C%20dataset.w1_start%2C%20dataset.w2_start)%0A%20%20%20%20%20%20%20%20_g_ex.forward_pass_n(_step)%0A%20%20%20%20%20%20%20%20_suffix%20%3D%20%22%20%20%5Cn%E2%9C%93%20Forward%20pass%20complete.%22%20if%20_step%20%3D%3D%20len(COMPUTED_NODES)%20else%20%22%22%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20mo.md(f%22**Step%20%7B_step%7D%20of%20%7Blen(COMPUTED_NODES)%7D%3A**%20%7Bforward_step_label(_g_ex%2C%20_node)%7D%7B_suffix%7D%22)%0A%20%20%20%20mo.vstack(%5Bmo.Html(forward_pass_table(dataset.w1_start%2C%20dataset.w2_start%2C%20_step%2C%20dataset))%2C%20_explanation%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dataset%2C%20mo)%3A%0A%20%20%20%20_f1%20%3D%20dataset.feat1_name%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20Changing%20a%20Weight%0A%0A%20%20%20%20So%20far%20w1%20and%20w2%20have%20been%20fixed%20at%20their%20starting%20values.%20But%20those%20are%20just%20an%0A%20%20%20%20initial%20guess%20%E2%80%94%20the%20whole%20point%20of%20training%20is%20to%20find%20better%20values.%0A%0A%20%20%20%20Try%20dragging%20the%20**w1**%20slider%20below.%20w1%20is%20the%20weight%20on%20**%7B_f1%7D**%3A%20a%20higher%20w1%0A%20%20%20%20means%20the%20model%20thinks%20%7B_f1%7D%20matters%20more.%20Watch%20how%20every%20prediction%20and%20every%0A%20%20%20%20loss%20changes%20instantly%20across%20all%20samples.%0A%0A%20%20%20%20Your%20goal%3A%20find%20values%20of%20w1%20and%20w2%20that%20minimize%20the%20total%20loss.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dataset%2C%20mo)%3A%0A%20%20%20%20w1_slider%20%3D%20mo.ui.slider(start%3Ddataset.w1_min%2C%20stop%3Ddataset.w1_max%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20step%3Ddataset.w_step%2C%20value%3Ddataset.w1_start%2C%20label%3D%22w1%22)%0A%20%20%20%20w2_slider%20%3D%20mo.ui.slider(start%3Ddataset.w2_min%2C%20stop%3Ddataset.w2_max%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20step%3Ddataset.w_step%2C%20value%3Ddataset.w2_start%2C%20label%3D%22w2%22)%0A%20%20%20%20mo.vstack(%5Bw1_slider%2C%20w2_slider%5D)%0A%20%20%20%20return%20w1_slider%2C%20w2_slider%0A%0A%0A%40app.cell%0Adef%20_(COMPUTED_NODES%2C%20dataset%2C%20forward_pass_table%2C%20mo%2C%20w1_slider%2C%20w2_slider)%3A%0A%20%20%20%20mo.Html(forward_pass_table(w1_slider.value%2C%20w2_slider.value%2C%20len(COMPUTED_NODES)%2C%20dataset))%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20The%20Chain%20Rule%0A%0A%20%20%20%20Before%20we%20can%20run%20the%20backward%20pass%2C%20we%20need%20one%20idea%3A%20the%20**chain%20rule**.%20It%0A%20%20%20%20tells%20us%20how%20to%20find%20the%20derivative%20of%20a%20composed%20function%20%E2%80%94%20one%20function%20fed%0A%20%20%20%20into%20another.%0A%0A%20%20%20%20Consider%20**f(x)%20%3D%20(x%C2%B2)%C2%B3**.%20We%20can%20think%20of%20it%20as%20two%20steps%3A%0A%0A%20%20%20%20-%20**Step%20A%3A**%20square%20the%20input%20%E2%86%92%20A%20%3D%20x%C2%B2%0A%20%20%20%20-%20**Step%20B%3A**%20cube%20the%20result%20%E2%86%92%20B%20%3D%20A%C2%B3%0A%0A%20%20%20%20Each%20step%20has%20a%20*local%20derivative*%20%E2%80%94%20how%20much%20its%20output%20changes%20when%20its%20input%0A%20%20%20%20nudges%20a%20tiny%20bit.%20At%20x%20%3D%203%3A%0A%0A%20%20%20%20-%20dA%2Fdx%20%3D%202x%20%3D%20**6**%20(squaring%3A%20derivative%20is%202%C3%97input)%0A%20%20%20%20-%20dB%2FdA%20%3D%203A%C2%B2%20%3D%20**243**%20(cubing%3A%20derivative%20is%203%C3%97input%C2%B2)%0A%0A%20%20%20%20The%20chain%20rule%20says%20the%20overall%20derivative%20is%20just%20their%20product%3A%0A%20%20%20%20**df%2Fdx%20%3D%206%20%C3%97%20243%20%3D%201458**%0A%0A%20%20%20%20Drag%20the%20slider%20below%20to%20see%20how%20the%20values%20and%20derivatives%20change%20with%20x.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20x_slider%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D5%2C%20step%3D0.5%2C%20value%3D3%2C%20label%3D%22x%22)%0A%20%20%20%20x_slider%0A%20%20%20%20return%20(x_slider%2C)%0A%0A%0A%40app.cell%0Adef%20_(chain_html%2C%20mo%2C%20x_slider)%3A%0A%20%20%20%20mo.Html(chain_html(x_slider.value))%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(build_graph%2C%20dataset%2C%20mo)%3A%0A%20%20%20%20_s0%20%3D%20dataset.samples%5B0%5D%0A%20%20%20%20_f1%2C%20_f2%20%3D%20dataset.feat1_name%2C%20dataset.feat2_name%0A%20%20%20%20_g%20%3D%20build_graph(_s0%2C%20dataset%2C%20dataset.w1_start%2C%20dataset.w2_start)%0A%20%20%20%20_g.forward_pass()%0A%20%20%20%20_pred%20%3D%20_g.get_value(%22prediction%22)%0A%20%20%20%20_target%20%3D%20_s0%5B%22target%22%5D%0A%20%20%20%20_loss_deriv%20%3D%202%20*%20(_pred%20-%20_target)%0A%20%20%20%20_f1_val%20%3D%20_s0%5B_f1%5D%0A%20%20%20%20_chain_prod%20%3D%20_loss_deriv%20*%201%20*%20_f1_val%0A%0A%20%20%20%20_total_w1%20%3D%200.0%0A%20%20%20%20for%20_s%20in%20dataset.samples%3A%0A%20%20%20%20%20%20%20%20_gi%20%3D%20build_graph(_s%2C%20dataset%2C%20dataset.w1_start%2C%20dataset.w2_start)%0A%20%20%20%20%20%20%20%20_gi.forward_pass()%0A%20%20%20%20%20%20%20%20_gi.backward_pass()%0A%20%20%20%20%20%20%20%20_total_w1%20%2B%3D%20_gi.get_gradient(%22w1%22)%0A%20%20%20%20_new_w1%20%3D%20dataset.w1_start%20-%200.01%20*%20_total_w1%0A%20%20%20%20_direction%20%3D%20(%22positive%20%E2%80%94%20increasing%20w1%20increases%20loss%20%E2%80%94%20so%20we%20decrease%20it%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_total_w1%20%3E%200%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22negative%20%E2%80%94%20increasing%20w1%20decreases%20loss%20%E2%80%94%20so%20we%20increase%20it%22)%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%23%20From%20chain%20rule%20to%20partial%20derivatives%0A%0A%20%20%20%20The%20%7Bdataset.name%7D%20model%20is%20the%20same%20idea%20as%20(x%C2%B2)%C2%B3%20%E2%80%94%20a%20chain%20of%20operations.%20Follow%20w1%0A%20%20%20%20through%20the%20computation%3A%20w1%20feeds%20into%20**ht_term**%20(%7B_f1%7D%20%C3%97%20w1)%2C%20which%20feeds%0A%20%20%20%20into%20**prediction**%20(ht_term%20%2B%20len_term)%2C%20which%20feeds%20into%20**loss**%0A%20%20%20%20((prediction%20%E2%88%92%20actual)%C2%B2).%20Three%20steps%20chained%20together.%0A%0A%20%20%20%20A%20**partial%20derivative**%20asks%3A%20holding%20w2%20fixed%2C%20how%20much%20does%20loss%20change%20if%20I%0A%20%20%20%20nudge%20w1%20a%20tiny%20bit%3F%20We%20apply%20the%20chain%20rule%20backwards%20along%20that%20path%2C%0A%20%20%20%20multiplying%20local%20derivatives%20at%20each%20step.%0A%0A%20%20%20%20At%20w1%3D%7Bdataset.w1_start%3Ag%7D%2C%20w2%3D%7Bdataset.w2_start%3Ag%7D%2C%20%7B_s0%5B'label'%5D%7D%3A%0A%0A%20%20%20%20%7C%20Step%20%7C%20Local%20derivative%20%7C%20Value%20%7C%0A%20%20%20%20%7C------%7C-----------------%7C-------%7C%0A%20%20%20%20%7C%20loss%20w.r.t.%20prediction%20%7C%202%20%C3%97%20(%7B_pred%3A.2f%7D%20%E2%88%92%20%7B_target%3Ag%7D)%20%7C%20%7B_loss_deriv%3A.2f%7D%20%7C%0A%20%20%20%20%7C%20prediction%20w.r.t.%20ht_term%20%7C%201%20(addition)%20%7C%201%20%7C%0A%20%20%20%20%7C%20ht_term%20w.r.t.%20w1%20%7C%20%7B_f1%7D%20%7C%20%7B_f1_val%3Ag%7D%20%7C%0A%0A%20%20%20%20Product%20for%20%7B_s0%5B'label'%5D%7D%3A%20%7B_loss_deriv%3A.2f%7D%20%C3%97%201%20%C3%97%20%7B_f1_val%3Ag%7D%20%3D%20**%7B_chain_prod%3A.2f%7D**.%20Sum%20across%20all%0A%20%20%20%20%7Blen(dataset.samples)%7D%20samples%20gives%20the%20partial%20derivative%20of%20total%20loss%20w.r.t.%20w1%20%3D%20**%7B_total_w1%3A.2f%7D**.%0A%0A%20%20%20%20%7B_total_w1%3A.2f%7D%20is%20%7B_direction%7D.%0A%20%20%20%20With%20a%20learning%20rate%20of%200.01%3A%0A%0A%20%20%20%20%3E%20new%20w1%20%3D%20%7Bdataset.w1_start%3Ag%7D%20%E2%88%92%200.01%20%C3%97%20%7B_total_w1%3A.2f%7D%20%3D%20**%7B_new_w1%3A.2f%7D**%0A%0A%20%20%20%20Loss%20goes%20down.%20Repeat%20thousands%20of%20times%20and%20the%20weights%20converge.%20The%20next%0A%20%20%20%20lesson%20runs%20this%20process%20automatically%20for%20both%20weights%20at%20once%20%E2%80%94%20that's%20the%0A%20%20%20%20backward%20pass.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(dataset%2C%20mo)%3A%0A%20%20%20%20_n%20%3D%20len(dataset.samples)%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%20The%20Backward%20Pass%0A%0A%20%20%20%20In%20the%20last%20lesson%20we%20computed%20%E2%88%82L%2F%E2%88%82w1%20by%20hand%20%E2%80%94%20tracing%20one%20chain%20and%0A%20%20%20%20multiplying%20three%20local%20derivatives.%20That%20worked%2C%20but%20a%20real%20network%20has%20dozens%0A%20%20%20%20of%20weights.%20Doing%20it%20by%20hand%20for%20each%20one%20is%20impractical.%0A%0A%20%20%20%20The%20**backward%20pass**%20automates%20the%20whole%20thing%20in%20one%20sweep.%20It%20starts%20at%20the%0A%20%20%20%20loss%20node%20(gradient%20%3D%201%20by%20definition)%20and%20walks%20backwards%3A%20each%20node's%20gradient%0A%20%20%20%20equals%20its%20own%20gradient%20times%20the%20local%20derivative%20on%20each%20edge.%20Every%20weight's%0A%20%20%20%20gradient%20comes%20out%20in%20one%20sweep.%0A%0A%20%20%20%20The%20table%20below%20steps%20through%20the%20backward%20pass%20for%20all%20%7B_n%7D%20%7Bdataset.name%7D%20samples.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20back_prev%20%3D%20mo.ui.button(label%3D%22%E2%86%90%20Prev%22%2C%20value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201)%0A%20%20%20%20back_next%20%3D%20mo.ui.button(label%3D%22Next%20%E2%86%92%22%2C%20value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201)%0A%20%20%20%20mo.hstack(%5Bback_prev%2C%20back_next%5D%2C%20gap%3D1)%0A%20%20%20%20return%20back_next%2C%20back_prev%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BACKWARD_NODES%2C%0A%20%20%20%20back_next%2C%0A%20%20%20%20back_prev%2C%0A%20%20%20%20backward_pass_table%2C%0A%20%20%20%20backward_step_labels%2C%0A%20%20%20%20dataset%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20_labels%20%3D%20backward_step_labels(dataset)%0A%20%20%20%20_step%20%3D%20max(0%2C%20min(back_next.value%20-%20back_prev.value%2C%20len(BACKWARD_NODES)))%0A%20%20%20%20if%20_step%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20mo.md(%22Click%20**Next%20%E2%86%92**%20to%20begin%20the%20backward%20pass.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_suffix%20%3D%20%22%20%20%5Cn%E2%9C%93%20Backward%20pass%20complete.%22%20if%20_step%20%3D%3D%20len(BACKWARD_NODES)%20else%20%22%22%0A%20%20%20%20%20%20%20%20_explanation%20%3D%20mo.md(f%22**Step%20%7B_step%7D%20of%20%7Blen(BACKWARD_NODES)%7D%3A**%20%7B_labels%5B_step%20-%201%5D%7D%7B_suffix%7D%22)%0A%20%20%20%20mo.vstack(%5Bmo.Html(backward_pass_table(dataset.w1_start%2C%20dataset.w2_start%2C%20_step%2C%20dataset))%2C%20_explanation%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(build_graph%2C%20dataset%2C%20mo)%3A%0A%20%20%20%20_total_w1%2C%20_total_w2%20%3D%200.0%2C%200.0%0A%20%20%20%20for%20_s%20in%20dataset.samples%3A%0A%20%20%20%20%20%20%20%20_g%20%3D%20build_graph(_s%2C%20dataset%2C%20dataset.w1_start%2C%20dataset.w2_start)%0A%20%20%20%20%20%20%20%20_g.forward_pass()%0A%20%20%20%20%20%20%20%20_g.backward_pass()%0A%20%20%20%20%20%20%20%20_total_w1%20%2B%3D%20_g.get_gradient(%22w1%22)%0A%20%20%20%20%20%20%20%20_total_w2%20%2B%3D%20_g.get_gradient(%22w2%22)%0A%20%20%20%20_new_w1%20%3D%20dataset.w1_start%20-%200.01%20*%20_total_w1%0A%20%20%20%20_new_w2%20%3D%20dataset.w2_start%20-%200.01%20*%20_total_w2%0A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%23%20What%20do%20we%20do%20with%20the%20gradients%3F%0A%0A%20%20%20%20Once%20the%20backward%20pass%20is%20complete%2C%20the%20sum%20row%20gives%20us%20the%20total%20gradient%20for%0A%20%20%20%20each%20weight%20across%20all%20%7Blen(dataset.samples)%7D%20samples%3A%20**%E2%88%82L%2F%E2%88%82w1%20%3D%20%7B_total_w1%3A.2f%7D**%20and%20**%E2%88%82L%2F%E2%88%82w2%20%3D%20%7B_total_w2%3A.2f%7D**.%0A%0A%20%20%20%20Applying%20the%20weight%20update%20rule%20with%20learning%20rate%200.01%3A%0A%0A%20%20%20%20%3E%20new%20w1%20%3D%20%7Bdataset.w1_start%3Ag%7D%20%E2%88%92%200.01%20%C3%97%20%7B_total_w1%3A.2f%7D%20%3D%20**%7B_new_w1%3A.2f%7D**%0A%0A%20%20%20%20%3E%20new%20w2%20%3D%20%7Bdataset.w2_start%3Ag%7D%20%E2%88%92%200.01%20%C3%97%20%7B_total_w2%3A.2f%7D%20%3D%20**%7B_new_w2%3A.2f%7D**%0A%0A%20%20%20%20Repeat%20forward%20pass%20%E2%86%92%20backward%20pass%20%E2%86%92%20weight%20update%20thousands%20of%20times%20and%20the%0A%20%20%20%20weights%20converge.%20That's%20gradient%20descent.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A