Opisywanie słów

opisywanie słów

pomysł na silnik opisujący słowa Przyszedł, gdy budowałem silnik dla powiązanych słów(to jest jak tezaurus, ale daje znacznie szerszy zestaw powiązanych słów, a nie tylko synonimy). Podczas zabawy z wektorami słów i API” HasProperty ” w conceptnet, miałem trochę zabawy próbując uzyskać przymiotniki, które powszechnie opisują słowo. W końcu zdałem sobie sprawę, że jest na to znacznie lepszy sposób: parse books!,

Projekt Gutenberg był początkowym korpusem, ale parser stał się bardziej chciwy i chciwy, a ja skończyłem karmiąc go gdzieś około 100 gigabajtów plików tekstowych – głównie fikcją, w tym wieloma współczesnymi dziełami. Parser po prostu przegląda każdą książkę i wyciąga różne opisy rzeczowników.,

Mam nadzieję, że jest to coś więcej niż tylko nowość i niektórzy ludzie rzeczywiście uznają ją za przydatną do pisania i burzy mózgów, ale jedną zgrabną rzeczą do spróbowania jest porównanie dwóch rzeczowników, które są podobne, ale różnią się w jakiś znaczący sposób – na przykład płeć jest interesująca: „kobieta” kontra „mężczyzna” i „chłopiec” kontra „dziewczyna”. Na wstępnej szybkiej analizie wydaje się, że autorzy fikcji są co najmniej 4x bardziej skłonni do opisywania kobiet (w przeciwieństwie do mężczyzn) za pomocą terminów związanych z pięknem (dotyczących ich wagi, cech i ogólnej atrakcyjności)., W rzeczywistości „piękna” jest prawdopodobnie najczęściej używanym przymiotnikiem dla kobiet w całej światowej literaturze, co jest dość zgodne z ogólną, jednowymiarową reprezentacją kobiet w wielu innych formach medialnych. Jeśli ktoś chce zrobić dalsze badania na ten temat, daj mi znać, a mogę podać dużo więcej danych (na przykład, jest około 25000 różnych wpisów dla „kobiety” – zbyt wiele, aby pokazać tutaj).

niebieskość wyników reprezentuje ich względną częstotliwość. Możesz najechać na element przez sekundę, a wynik częstotliwości powinien wyskoczyć., Sortowanie „wyjątkowości” jest domyślne i dzięki mojemu skomplikowanemu algorytmowi™ porządkuje je według wyjątkowości przymiotników do danego rzeczownika w stosunku do innych rzeczowników (w rzeczywistości jest to dość proste). Jak można się spodziewać, możesz kliknąć przycisk „Sortuj według częstotliwości użycia”, aby przymiotniki według częstotliwości użycia dla tego rzeczownika.

Share

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *