Původní podoba příspěvku
Surová data tak, jak byla v roce 2013 stažena z Pandory (HTML zdroj bez úprav, osobní e-mailové adresy jsou maskované).
<!--------------------------------------------------------------> <!--------------------------------------------------------------> <table width="100%"><tr><td align="left" valign="middle"></td><td align=right valign="middle"></td></tr></table><BR> <font><br/> Tato zprava je crospostovana do konferenci sharpemu a do speccy. Budu rad, kdyz ji budete posilat (alespon odkaze) dle vlastniho uvazeni i do dalsich konferenci na pandore.<br/> <br/> Ahoj,<br/> <br/> <font>protoze jsem na svou posledni zpravu, kterou jsem zaslal adminum pandory uz neo<font>bdrzel zadnou odpoved, tak jsem se vrhnul na <font>ubastleni vlastniho parseru, ktery vyzo<font>be obsa<font>h libovolne <font>verejne dostupne konference z jejiho archivu na webu pandory a ulozi jej do smysluplne datove struktury.<br/> <br/> <font>Script si sam projde vsechny roky a mesice<font> v konferenci, ale j<font>im</font> parsovat <font>treba jen na konkretni rok, mesic, nebo zpravu</font>. <font>U</font>kladani obsahu je aditivni, takze po nacteni <font>casti konference do</font> DB muze byt dale akt<font>ualizova<font>n</font> ob<font>sah databaze podle toho, jak budou <font>na pandore pribyvat prispevky.<br/> <br/> <font>Vizualizaci <font>jiz stazeneho archivu konference sharpemu <font>jsem provedl zde<font> <a href="http://sharpemu.ordoz.com/">http://sharpemu.ordoz.com/</a></font></font></font></font><br/> <br/> <font>Prozatim je to <font>bez jakychkoliv st<font>ylu, jen hole html, takze to vypada ... tak jak to vypada.</font></font></font><br/> <br/> <font><font>S</font>cript umi z vebu parsovat:<br/> <br/> <font>- <font>hlavicku zpravy (from, date, subject)<br/> </font></font></font></font></font></font></font>- samotne telo<br/> <font>-</font> attachment files<font> (zatim <font>ulozeno jen <font>jako seznam)<br/> <font>- strom vlaken zprav<br/> <br/> <font>TODO:<br/> <br/> <font>- <font>automaticke stazeni attach<font>mentu<br/> <font>- vyparsovani <font>a stazeni obrazku, ktere jsou soucasti tela zpravy (<font>zrejme jen</font> smailiky :)<br/> <font>- procisteni tela zprav od zbytecneho html balastu<br/> <font>- alespon caste<font>cne </font>odstraneni reklam z<font> tela</font> zprav</font></font> <br/> - automaticke generovani xml exportu pro google search<br/> <br/> <font>Pokud se chcete na neco zeptat, tak se ptejte :) <br/> <font>Pokud mate zajem o vygenerovani archivu nejake dalsi konference provozovane na pandore, tak mi dejte vedet.<br/> <br/> </font></font><font><font>Vyparsovana data jsou prozatim ulozena do t<font>akto rozvrzenych tabulek:</font></font></font><br/> <br/> <font>CREATE TABLE `message` (<br/> `id` bigint(20) NOT NULL AUTO_INCREMENT,<br/> `parent_id` bigint(20) DEFAULT NULL,<br/> `msgid` varchar(255) NOT NULL,<br/> `author_name` tinytext NOT NULL,<br/> `subject` tinytext NOT NULL,<br/> `msgtime` datetime NOT NULL,<br/> `body` longtext,<br/> PRIMARY KEY (`id`),<br/> UNIQUE KEY `k_msgid` (`msgid`),<br/> KEY `k_parent_id` (`parent_id`)<br/> ) ENGINE=InnoDB AUTO_INCREMENT=<font>0</font> DEFAULT CHARSET=utf8;<br/> <br/> CREATE TABLE `attachment` (<br/> `id` bigint(20) NOT NULL AUTO_INCREMENT,<br/> `message_msgid` varchar(255) NOT NULL,<br/> `path` varchar(255) NOT NULL,<br/> PRIMARY KEY (`id`),<br/> UNIQUE KEY `k_path` (`path`),<br/> KEY `fk_msgid` (`message_msgid`),<br/> CONSTRAINT `fk_msgid` FOREIGN KEY (`message_msgid`) REFERENCES `message` (`msgid`)<br/> ) ENGINE=InnoDB AUTO_INCREMENT=<font>0</font> DEFAULT CHARSET=utf8;<br/> <font><br/> <br/> <font>S pozdravem -<br/> <font> Michal Hucik<br/> <br/> </font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font></font>